영역 구분을 통한 다시점 영상의 깊이맵 손상 복구 기법

Abstract

깊이맵은 색채 영상과 달리 색상 정보가 아닌 깊이 정보가 픽셀 값을 이루고 있어서 색차가 크더라도 비슷한 거리에 있으면 유사한 픽셀 값으로 나타난다. 또한 색채 영상은 미세한 영역에서 단계적으로 값이 변하면서 대상의 윤곽을 나타내지만 깊이맵은 픽셀 값이 계단식으로 변하여 픽셀 값이 변하는 지점에서 급변하는 경향이 있다. 이러한 깊이맵의 특성상 경계 영역과 그 외의 영역으로 크게 영상의 영역을 구분 할 수 있고, 전송 시 나타나는 오류에 대해 각 영역에 효과적으로 적용 될 수 있는 오류 은닉 방법이 필요하다. 본 연구에서는 깊이맵의 경계 방향에 따라 영역을 구분하고 각 영역의 값이 변화하는 방향성에 맞추어 적응적으로 오류가 은닉 될 수 있는 방법을 적용하여 깊이맵을 복구한다. 복구된 깊이맵은 다시점 영상과 함께 합성하여 새로운 중간 시점 영상을 만들고 이를 객관적 화질평가 방법을 통해 평가한다. The pixel value of depth image is depth value so that different objects which are placed on nearby position have similar pixel value. Moreover, the pixels of depth image have distinct pixel values compared to adjacent pixels while those of color image has very similar values. Accordingly distorted depth image of multiview video plus depth (MVD) needs proper error concealment methods considering the characteristics of depth image when transmission errors are happened. In this paper, classifying regions of depth image to consider edge directions and then applying adaptive error concealment methods to each region are proposed. Recovered depth images utilize with multiview video data to synthesize intermediate-view point video. The synthesized view is evaluated by objective quality metrics to demonstrate proposed method performance.