대용량 압축 데이터베이스를 위한 비대칭 색인 관리 기법

Abstract

전통적인 기존의 데이터베이스는 높은 성능을 얻기 위하여 느린 하드 디스크에서 관련된 레코드가 연속적으로 저장되어 있는 레코드 기반 모델을 활용한다. 그러나 읽기 집중적인 데이터 분석 시스템을 위해서는 컬럼 기반 압축 데이터베이스가 월등한 판독 성능으로 인하여 더 적합한 모델이 되고 있으며, 최근 플래시 메모리 SSD가 고속 분석용 시스템에 적합한 저장 매체로 선호되고 있다. 본 논문에서는 세로로 저장하는 컬럼 기반 스토리지 모델을 소개하고, 대용량 데이터웨어하우스 시스템을 위한 새로운 인덱스와 데이터 관리 기법을 제안한다. 제안된 인덱스 관리 기법은 두 개의 인덱스를 사용하는 비대칭 인덱스 이중화이며, 갱신용 마스터 인덱스와 판독용 컴팩트 인덱스를 활용하여 특히 읽기가 집중된 빅 데이터베이스에서 우수한 검색 성능을 얻는다. 그리고 본 데이터 관리 기법은 관련된 컬럼 압축과 두 개의 플래시 메모리 SSD를 이중화하여 높은 판독 성능과 처리 안정성에 도움을 준다. 고부하 워크로드 조건의 성능 평가 결과를 기반으로, 본 데이터 관리 기법이 기존 기법보다 검색 처리 및 응답 시간 측면에서 더 우수함을 보이고자 한다. Traditional databases exploit a record-based model, where the attributes of a record are placed contiguously in a slow hard disk to achieve high performance. On the other hand, for read-intensive data analysis systems, the column-based compressed database has become a proper model because of its superior read performance. Currently, flash memory SSD is largely recognized as the preferred storage media for high-speed analysis systems. This paper introduces a compressed column-storage model and proposes a new index and its data management scheme for a high-capacity data warehouse system. The proposed index management scheme is based on the asymmetric index duplication and achieves superior search performance using the master index and compact index, particularly for large read-mostly databases. In addition, the data management scheme contributes to the read performance and high reliability by compressing the related columns and replicating them in two mirrored SSD. Based on the results of the performance evaluation under the high workload conditions, the data management scheme outperforms the traditional scheme in terms of the search throughput and response time.