LLE 알고리즘을 사용한 얼굴 모션 데이터의 투영 및 실시간 표정제어

Abstract

본 논문은 얼굴 모션 캡쳐 데이터를 재사용하여 실시간 표정 제어 및 표정 애니메이션을 생성하기 위한 방법론을 기술한다. 이 방법의 핵심요소는 얼굴 표정들을 정의할 수 있는 표정상태 표현법을 정하고, 이를 LLE 알고리즘에 적용하여 표정들을 적당한 공간에 분포시키는 방법론과, 이 공간을 사용하여 실시간 표정 애니메이션 생성 및 표정제어를 수행하기 위한 사용자 인터페이스 기법이다. 본 논문에서는 약 2400개의 얼굴 표정 프레임 데이터를 이용하여 공간을 생성하고, 애니메이터가 이 공간을 자유롭게 항해할 때, 항해경로 상에 위치한 얼굴 표정 프레임 데이터들이 연속적으로 선택되어 하나의 애니메이션이 생성되거나 표정제어가 가능하도록 하였다. 약 2400개의 얼굴 표정 프레임 데이터들을 직관적인 공간상에 분포하기 위해서는 얼굴 표정 프레임 데이터로부터 얼굴 표정상태를 표현할 필요가 있고, 이를 위해서는 임의의 두 마커 사이의 거리들로 구성된 거리행렬 벡터를 이용한다. 직관적인 공간에서의 데이터 배치는 얼굴 표정상태벡터들의 집합을 LLE 알고리즘에 적용하고, 이로부터 2차원 평면에 균일하게 분포하였다. 본 논문에서는 애니메이터로 하여금 사용자 인터페이스를 사용하여 실시간으로 표정 애니메이션을 생성하거나 표정제어를 수행하도록 하였으며, 그 결과를 평가한다. This paper describes methodology that enables animators to create the facial expression animations and to control the facial expressions in real-time by reusing motion capture datas. In order to achieve this, we fix a facial expression state expression method to express facial states based on facial motion data. In addition, by distributing facial expressions into intuitive space using LLE algorithm, it is possible to create the animations or to control the expressions in real-time from facial expression space using user interface. In this paper, approximately 2400 facial expression frames are used to generate facial expression space. In addition, by navigating facial expression space projected on the 2-dimensional plane, it is possible to create the animations or to control the expressions of 3-dimensional avatars in real-time by selecting a series of expressions from facial expression space. In order to distribute approximately 2400 facial expression data into intuitional space, there is need to represents the state of each expressions from facial expression frames. In order to achieve this, the distance matrix that presents the distances between pairs of feature points on the faces, is used. In order to distribute this datas, LLE algorithm is used for visualization in 2-dimensional plane. Animators are told to control facial expressions or to create animations when using the user interface of this system. This paper evaluates the results of the experiment.