키넥트 카메라를 이용한 실시간 가상 시점 영상 생성 기법

Abstract

키넥트 카메라는 마이크로소프트사에서 2010년 11월에 출시한 xbox360의 움직임 감지 카메라로 깊이 영상과 색상 영상을 획득할 수 있다. 하지만 적외선 패턴을 이용한 깊이 영상의 획득 방법의 한계로 인해 객체의 경계 주변으로 홀(hole) 및 잡음이 생기고 영상으로 재생 시 경계 주변에서 흔들림(flickering) 현상이 발생한다. 본 논문에서는 이러한 흔들림 현상을 보정하여 화질이 좋은 가상 시점 영상을 실시간으로 생성하는 기법을 제안한다. 제안하는 기법에서는 먼저 결합형 양방향 필터를 이용하여 경계 주변의 홀을 채운다. 경계 주변의 흔들림 현상은 화소를 탐색하여 처리하는 기법을 적용하여 보정한다. 향상된 깊이 영상과 색상 영상에 3D 워핑(3D warping) 기법을 적용하여 가상 시점 영상을 획득한다. 획득된 영상에서 가려짐 영역(occlusion region)으로 인하여 생기는 홀은 블록기반의 기울기 탐색 기법과 블록의 신뢰도를 이용하여 채우게 된다. 실험을 통해 제안하는 시스템이 가상 시점 영상을 실시간으로 합성하는 것을 확인하였다. Kinect released by Microsoft in November 2010 is a motion sensing camera in xbox360 and gives depth and color images. However, Kinect camera also generates holes and noise around object boundaries in the obtained images because it uses infrared pattern. Also, boundary flickering phenomenon occurs. Therefore, we propose a real-time virtual-view video synthesis algorithm which results in a high-quality virtual view by solving these problems. In the proposed algorithm, holes around the boundary are filled by using the joint bilateral filter. Color image is converted into intensity image and then flickering pixels are searched by analyzing the variation of intensity and depth images. Finally, boundary flickering phenomenon can be reduced by converting values of flickering pixels into the maximum pixel value of a previous depth image and virtual views are generated by applying 3D warping technique. Holes existing on regions that are not part of occlusion region are also filled with a center pixel value of the highest reliability block after the final block reliability is calculated by using a block based gradient searching algorithm with block reliability. The experimental results show that the proposed algorithm generated the virtual view image in real-time.