사실적인 3D 얼굴 모델링 시스템

Abstract

본 논문은 사실적인 3D 얼굴 모델링과 얼굴 표정 생성 시스템을 제안한다. 사실적인 3D 얼굴 모델링 기법에서 개별적인 3D 얼굴 모양과 텍스쳐 맵을 만들기 위해 Generic Model Fitting 기법을 적용하였다. Generic Model Fitting에서 Deformation Function을 계산하기 위해 개별적인 얼굴과 Generic Model 사이의 대응점을 결정하였다. 그 후, Calibrated Stereo Camera로부터 캡쳐 된 영상들로부터 특징점을 3D로 복원하였다. 텍스쳐 매핑을 위해 Fitted된 Generic Model을 영상으로 Projection하였고 사전에 정의된 Triangle Mesh에서 텍스쳐를 Generic Model에 매핑 하였다. 잘못된 텍스쳐 매핑을 방지하기 위해, Modified Interpolation Function을 사용한 간단한 방법을 제안하였다. 3D 얼굴 표정을 생성하기 위해 Vector Muscle기반 알고리즘을 사용하고, 보다 사실적인 표정 생성을 위해 Deformation 과 vector muscle 기반의 턱 rotation을 적용하였다. In this paper, we present realistic 3D head modeling and facial expression systems. For 3D head modeling, we perform generic model fitting to make individual head shape and texture mapping. To calculate the deformation function in the generic model fitting, we determine correspondence between individual heads and the generic model. Then, we reconstruct the feature points to 3D with simultaneously captured images from calibrated stereo camera. For texture mapping, we project the fitted generic model to image and map the texture in the predefined triangle mesh to generic model. To prevent extracting the wrong texture, we propose a simple method using a modified interpolation function. For generating 3D facial expression, we use the vector muscle based algorithm. For more realistic facial expression, we add the deformation of the skin according to the jaw rotation to basic vector muscle model and apply mass spring model. Finally, several 3D facial expression results are shown at the end of the paper.