3D 변형가능 형상 모델 기반 3D 얼굴 모델링

Abstract

3D 얼굴 모델링은 33공간에서 얼굴을 자유롭게 회전 시켜 다양한 얼굴 자세를 표현하고 조명 효과도 적절하게 모델링 할 수 있으므로, 얼굴 자세, 조명, 표정 등의 표현에 있어서 2D 얼굴 모델링에 비해 보다 정교하며 사실감이 뛰어나 얼굴 인식, 게임, 아바타 등에서 많은 요구가 존재한다. 본 논문에서는 3D 변형 가능 형상 모델에 기반을 둔 3D 얼굴 모델링 방법을 제안한다. 제안된 3D 얼굴 모델링 방법은 먼저 3D 스캐너를 통하여 획득한 3D 얼굴 스캔 데이터를 이용하여 3D 얼굴 변형 가능 형상 모델을 구축한다. 다음, 3D 얼굴 모델링을 하고자 하는 얼굴의 2D 이미지 시퀀스로부터, 해당 얼굴의 특징점들을 검출하고 이들을 매칭하여, 매칭된 특징점들로부터 인수분해 기반 SfM 기법을 이용하여 해당 특징점의 3D 버텍스 좌표 값을 구한다. 이후, 구한 3D 버텍스들을 3D 변형 가능 형상 모델에 정합하여 해당 얼굴의 3D 형상 모델을 얻는다. 또한, 2D 얼굴 이미지 시퀀스들로부터 뷰 독립적인 2D 원통 좌표 텍스쳐 맵을 구하고 이를 이용하여 3D 형상 모델을 렌더링 함으로써, 최종적으로 3B 얼굴 모델을 완성한다. 제안된 3D 얼굴 모델링 방법에 의한 3D 얼굴 모델 생성 과정을 통해서, 본 논문에서 제안한 3D 얼굴 모델링 방법이 기존의 얼굴 모델링 방법들에 비해 상대적으로 빠르고 비교적 정교하게 수행됨을 볼 수 있었다. Since 3D face can be rotated freely in 3D space and illumination effects can be modeled properly, 3D face modeling Is more precise and realistic in face pose, illumination, and expression than 2D face modeling. Thus, 3D modeling is necessitated much in face recognition, game, avatar, and etc. In this paper, we propose a 3D face modeling method based on 3D morphable shape modeling. The proposed 3D modeling method first constructs a 3D morphable shape model out of 3D face scan data obtained using a 3D scanner Next, the proposed method extracts and matches feature points of the face from 2D image sequence containing a face to be modeled, and then estimates 3D vertex coordinates of the feature points using a factorization based SfM technique. Then, the proposed method obtains a 3D shape model of the face to be modeled by fitting the 3D vertices to the constructed 3D morphable shape model. Also, the proposed method makes a cylindrical texture map using 2D face image sequence. Finally, the proposed method builds a 3D face model by rendering the 3D face shape model with the cylindrical texture map. Through building processes of 3D face model by the proposed method, it is shown that the proposed method is relatively easy, fast and precise than the previous 3D face model methods.