News Category Classification Using Mutual Information and Log Normalization

Abstract

최근 트위터, 페이스북, 인스타그램 등 사용자들이 쉽게 이용할 수 있는 소셜 네트워크 발달로 카테고리 종류가 다양해져 정확한 카테고리를 분류하기 어려운 상황이다. 기존의 카테고리 분류 방법의 하나인 빈도수 기반 지도학습은 기준 데이터별 단어 개수에 따라 중복 단어 개수가 많은 카테고리로 분류되었다. 빈도수 차이에 따른 카테고리 오분류를 개선하기 위해 본 논문에서는 단어 개수가 작은 카테고리에 높은 가중치를 부여하는 로그 정규화와 두 문서의 정보를 확률 기반으로 비교하는 상호 정보량을 이용해 뉴스 웹 문서의 카테고리 분류방법을 제시하고, 빈도수 기반 지도학습 연구와 비교 실험한다. 실험 결과 기존 연구인 빈도수 기반 지도학습의 카테고리 분류 보다 본 연구의 카테고리 분류 결과의 정확도 성능이 3.28% 향상되었다.