중소기업을 위한 하둡 클러스터의 프로토타입과 분석 소프트웨어의 통합된 검증

Abstract

최근 IT 분야의 화두인 클라우드 컴퓨팅과 빅데이터 패러다임을 중소기업(Small and Medium Business: SMB) 차원에서 용이하게 활용하도록 지원하는 시도가 증가하고 있다. 이러한 노력의 일환으로, 본 논문에서는 프라이빗 클라우드 인프라 환경을 대상으로 하둡(Hadoop) 클러스터를 시험적으로 구축하는 프로토타입을 설계하고 구현한다. 프로토타입 구현은 싱글보드, PC, 그리고 서버를 이용하여 각각 수행하고, 그 성능을 테스트한다. 또한, ASA (American Standard Association) Dataset을 이용한 빅데이터 분석을 통해서 구축된 하둡 프로토타입을 활용하는 분석 소프트웨어 시스템의 성능을 통합적으로 검증한 결과를 제시한다. 이를 위해, R, 파이썬, D3, 자바와 같은 오픈소스를 이용하여 분석 소프트웨어 시스템을 구현하고, 테스트를 수행한다. Recently, researches to facilitate utilization by small and medium business (SMB) of cloud computing and big data paradigm, which is the booming adoption of IT area, has been on the increase. As one of these efforts, in this paper, we design and implement the prototype to tentatively build up Hadoop cluster under private cloud infrastructure environments. Prototype implementation are made on each hardware type such as single board, PC, and server and performance is measured. Also, we present the integrated verification results for the data analysis performance of the analysis software system running on top of realized prototypes by employing ASA (American Standard Association) Dataset. For this, we implement the analysis software system using several open sources such as R, Python, D3, and java and perform a test.