객체 기반 3D 업체 영상 변환 기법

Abstract

본 논문에서는 움직임 추정 (motion estimation, ME), 컬러 라벨링(labeling) 그리고 Non-local mean 필터를 이용하여 2D 영상을 3D 업체 영상으로 변환하는 기법을 제안한다. 제안하는 기법에서는 먼저 프레임 간의 움직임을 추정하여 객체의 움직임 벡터를 추출하고 주어진 영상에 대해 컬러 라벨링 작업을 수행하여 영상을 분리한다. 움직임 추정 결과와 컬러 라벨링 결과를 비교 분석하여 영상내의 객체를 추출하고 추출된 객체를 이동하여 우 영상을 생성하게 되는데 이때 우 영상을 생성하는 과정에서 채워지지 않은 가려짐 영역이 발생하며 전체 화소간의 상관도를 고려하는 Non-local mean 필터를 사용하여 보상한다. 이후 원본 영상인 좌 영상과 생성된 우 영상으로 비윌 주사하여 최종 3D 업체 영상을 재현한다. 실험 결과를 통해 제안된 기법으로 생성된 3D 업체 영상에서 객체위주의 안정된 업체 변환이 수행되는 것을 확인할 수 있었다. In this paper, we propose an object based 2D image to 3D conversion algorithm by using motion estimation, color labeling and non-local mean filtering methods. In the proposed algorithm, we first extract the motion vector of each object by estimating the motion between frames and then segment a given image frame with color labeling method. Then, combining the results of motion estimation and color labeling, we extract object regions and assign an exact depth value to each object to generate the right image. While generating the right image, occlusion regions occur but they are effectively recovered by using non-local mean filter. Through the experimental results, it is shown that the proposed algorithm performs much better than conventional conversion scheme by removing the eye fatigue effectively.