MPI 환경에서 자원 사용량 측정을 위한 어카운팅 시스템 개발

Abstract

유닉스 계열의 운영체제에서 사용되는 로컬 어카운팅 시스템은 하나의 호스트상에서 동작하는 프로세스의 어카운팅 정보를 제공한다. 그러나 분산 처리 환경에서 전통적인 로컬 어카운팅 시스템은 동일 작업을 수행하는 프로세스들의 전체 자원 사용량 데이터를 기록하지 못한다. 따라서 본 논문에서는 클러스터 환경에서 MPI(Message Passing Interface) 작업에 대한 자원 사용량 데이터를 측정하고, 관리할 수 있는 어카운팅 시스템을 개발한다. 각 클러스터 노드에 병렬 작업을 수행하는 프로세스의 자원 사용량 데이터와, 병렬 작업을 처리하기 위해 협력하는 프로세스들간의 네트워크 접속 정보를 기록하는 로컬 어카운팅 시스템을 구현한다. 그리고 각 노드의 로컬 어카운팅 시스템에서 기록된 자원 사용량 데이터를 수집하여, MPI 작업 단위의 어카운팅 정보를 만들어 내는 어카운팅 시스템을 개발한다. 마지막으로 대규모 클러스터링 환경에서 널리 사용되는 로컬 스케줄러들에 의해 측정된 자원 사용량 데이터 항목들과 비교 평가한다. Local accounting system used by UNIX-like operating system provides the accounting information of processes that are in single host. But it is impossible for this local accounting system to record the total resource consumption data of all processes for doing the same job simultaneously. In this paper, we implement accounting system to measure and manage resource usage for MPI(Message Passing Interface) job in the clustering environment. We designed and implemented the accounting system which measure resource usage of each process runs on a cluster node and record the interconnection information of the entire set of processes across network. Also we implemented accounting system which collect the resource usage data of process in the local accounting system and generate the job-level accounting information. Finally, to evaluate the resource consumption data measured by this accounting system we compare with the data collected by local scheduler that widely used in large scale clustering environment.