주성분 분석과 비정칙치 분해를 이용한 문서 요약

Abstract

본 논문에서는 통계적 분석 기법인 주성분 분석과 비정칙치 분해를 이용한 문서 방법을 제안한다. 제안한 방법은 문서내의 주제어를 추출한 후, 추출된 주제어와 문장간의 거리가 가장 짧은 문장들을 중요 문장으로 추출하여 요약으로 제시한다. 주제어를 추출하기 위해서는 주성분 분석을 이용하였으며, 이는 문서 자체내의 빈도 정보와 단어간의 연관 정보를 이용한 것이다. 그리고, 중요 문장을 추출하기 위해 비정칙치 분해를 시행하여 문장 벡터와 주제어 벡터론 획득한 후, 두 벡터간의 유클리디언 거리를 계산하였다. 신문 기사를 대상으로 실험한 결과, 제안한 방법이 출현 빈도만을 이용한 방법과 주성분 분석만을 이용한 방법보다 성능이 우수함을 알 수 있었다. In this paper, we propose the text summarization method using PCA (Principal Component Analysis) and SVD (Singular Value Decomposition). The proposed method presents a summary by extracting significant sentences based on the distances between thematic words and sentences. To extract thematic words, we use both word frequency and co-occurence information that result from performing PCA. To extract significant sentences, we exploit Euclidean distances between thematic word vectors and sentence vectors that result from carrying out SVD. Experimental results using newspaper articles show that the proposed method is superior to the method using either word frequency or only PCA.