부정적 피드백과 강화학습을 이용한 사용자 프로파일 학습

Abstract

정보추천은 동적인 사용자의 정보요구를 기준으로 문서들을 선별하여 제시한다. 사용자의 정보요구는 하나 이상의 단어들로 구성된 프로파일로 표현이 되며, 문서의 추천 과정 동안에 발생하는 사용자의 관련성 평가를 통해 구체적인 내용으로 변할 수 있다. 기존 연구의 경우 사용자는 자신이 직접 관련성 평가에 참여하여 평가 정보를 입력하고, 사용자가 평가한 긍정적 피드백 정보를 이용하여 사용자 프로파일을 학습한다. 본 연구는 사용자가 평가한 긍정적 피드백, 부정적 피드백 정보와 강화학습을 이용한 사용자 프로파일의 학습 방법을 제안한다. 제안된 방법과 기존의 긍정적 평가 정보만을 이용한 방법의 성능을 측정하기 위해 동일한 토픽에 대한 추천 성능을 비교 실험하였다. 실험한 결과 제안된 방식에 의한 추천성능이 긍정적 평가 정보만을 이용한 피드백 방법보다 나은 성능을 보였다. The information recommendation system offers selected documents according to information needs of dynamic users. User's needs are expressed as profiles consisting of one or more words and may be changed into some specifics through relevance feedback made by users during the recommendation process. In previous research, users have entered relevance information by taking part in explicit relevance feedbacks and learned user profiles using the positive relevance feedbacks. In this paper, we learn user profiles using not only positive relevance feedback but negative relevance feedback and reinforcement learning. To compare the proposed with previous method, we performed experiments to evaluate recommendation performance of the same topic. As a result, the former shows the improved performance than the latter does.