개선된 LZW 사전 관리 기법에 기반한 효과적인 Hyper-Text 문서 압축 방안

Abstract

LZW 알고리즘은 사전(dictionary) 방식의 압축 알고리즘인 LZ78의 변형된 형태로써 높은 압축률을 제공하기 때문에 많은 상업용 압축 프로그램에서 사용되고 있다. LZW의 핵심은 가장 빈번하게 사용되는 문자열을 사전에 저장하면서, 저장된 것과 동일한 입력 데이터의 문자열을 해당 사전 인덱스로 대체하는 것이다. 본 논문에서는 자주 사용되지 않는 사전의 엔트리를 찾기 위해 카운터를 이용하는 새로운 사전 관리 방법을 제안한다. 또한 하이퍼텍스트 문서를 효율적으로 압축하기 위해 태그와 같은 자주 사용되는 용어들을 코드화하여 사전에 저장한 후 압축을 시도하는 방안을 제안한다. 실험결과 기존의 V.42bis와 UNIX의 compress에 비해 상대적으로 일반문서는 3∼8％, HTML 문서는 23∼24％의 향상된 압축효과를 보여준다. LZW is a popular variant of LZ78 to compress text documents. LZW yields a high compression rate and is widely used by many commercial programs. Its core idea is to assign most probably used character group an entry in a dictionary. If a group of character which is already positioned in a dictionary appears in the streaming data, then an index of a dictionary is replaced in the position of character group. In this paper, we propose a new efficient method to find least used entries in a dictionary using counter. We also achieve higher compression rate by preassigning widely used tags in hyper-text documents. Experimental results show that the proposed method is more effective than V.42bis and Unix compression method. It gives 3∼8％ better in the standard Calgary Corpus and 23∼24％ better in HTML documents.