수리계획법을 이용한 서포트 벡터 기계 방법에 관한 연구

Abstract

기계학습은 패턴분류의 한 도구로써 광범위하게 연구되고 있다. 기계학습 방법들 중에서 서포트 벡터 기계(Support Vector Machines)는 많은 분야에서 연구되어지는 것으로 이진 패턴 분류문제에서 고차원의 특징공간에서 두 집합들 사이에 가장 큰 분리를 제공하는 최대 여유도(margin)를 가지는 분리 초평면을 찾는 것이다. 최대 여유도의 분리의 개념에 기초하여 Mangasarian(1968)은 다중-표면 방법(multi-surface method)을 제안하였고, 1980년대에 목적 계획법을 이용한 방법들이 광범위하게 개발되었다. 본 논문에서는 다목적 계획법과 목적 계획법을 이용한 수리계획법인 서포트 벡터 기계의 두가지 방법들을 제안하고 수치 예제들을 통하여 효용성에 대하여 논의하고자 한다. Machine learning has been extensively studied in recent years as effective tools in pattern classification problem. Although there have been several approaches to machine learning, we focus on the mathematical programming (in particular, multi-objective and goal programming; MOP/GP) approaches in this paper. Among them, Support Vector Machine (SVM) is gaining much popularity recently. In pattern classification problem with two class sets, the idea is to find a maximal margin separating hyperplane which gives the greatest separation between the classes in a high dimensional feature space. However, the idea of maximal margin separation is not quite new: in 1960's the multi-surface method (MSM) was suggested by Mangasarian. In 1980's, linear classifiers using goal programming were developed extensively. This paper proposes a new family of SVM using MOP/GP techniques, and discusses its effectiveness throughout several numerical experiments.