인피니밴드 네트워크에서 분산 병렬 그래프 데이터 처리의 성능 개선

Abstract

각 객체의 관계를 중시하는 그래프 데이터는 관계형 데이터베이스에서는 찾아낼 수 없는 새로운 규칙이나 연관성 분석에 많이 사용되지만, 복잡한 구조와 방대한 양으로 인해 빠른 처리에는 한계가 있다. 본 논문에서는 이러한 그래프 데이터 처리의 성능 향상을 위해 PIGraph(Pregel and InfiniBandbased Graph processing engine)를 제안한다. PIGraph는 대표적인 그래프 처리 모델인 Pregel 기반 그래프 처리 엔진이다. PIGraph는 분산 그래프 처리의 관리 복잡도 감소를 위해 인피니밴드와 RDMA (Remote Direct Memory Access) 기술을 활용한 분산 병렬 구조를 지원한다. 특히, 세그먼트 단위 전송으로 RDMA 통신을 최적화하여 그래프 데이터의 처리 성능 한계를 개선한다. 성능 평가 결과, PIGraph가 비교 시스템인 Apache Giraph에 비해 최대 190% 이상 빠른 처리 시간을 보임을 확인하였다.