빅데이터 분석 및 머신러닝 서비스를 위한 컨테이너 기반 HPC 클러스터 구축 및 성능 분석

Abstract

기상, 화학, 고에너지 물리와 같은 기초 과학 분야의 대규모 워크로드를 실행하기 위해 대규모의 클러스터 시스템에서는 병렬 컴퓨팅에 최적화된 시스템 환경을 구축하여 서비스를 제공하고 있다. 그러나 최근 4차 산업 혁명으로 인하여 빅데이터 분석, 머신 러닝과 같은 새로운 형태의 사용자 요구 사항이 제시됨에 따라 기존 클러스터 시스템에서는 경직된 소프트웨어 구성, 유지 보수 비용 증가, 제한된 작업형태 지원 등 많은 어려움에 직면해 있다. 이러한 어려움을 해결하기 위해 본 논문에서는 컨테이너 기반 HPC 클러스터 구축 방안을 제시한다. 제시된 구축 방안에서는 컨테이너 기술을 활용하여 클러스터 시스템의 소프트웨어 스택을 간결화함으로써 자원 유연성을 향상시켜 사용자 맞춤형 서비스가 가능하다. 실험환경은 컨테이너 실행 데몬으로 Docker, 컨테이너 관리 툴킷으로는 kubernetes를 활용하여 구축했으며 HPL, HPCG, NPB benchmark 툴킷을 이용하여 다양한 워크로드에 대한 계산 성능 측정 결과를 제시한다.