2차원 동영상의 3차원 변환을 위한 깊이 단서의 신뢰성 기반 적응적 깊이 융합

Abstract

3차원 동영상은 다양한 응용분야들에서 차세대 콘텐츠로 큰 주목을 받고 있다. 2D-to-3D 변환은 3차원 동영상의 시대로 넘어가는 과도기 동안에 3차원 동영상 콘텐츠의 부족현상을 해결하기위한 강력한 기술로 여겨지고 있다. 일반적으로 2D-to-3D 변환을 위해서는 2차원 동영상 각 장면의 깊이영상을 추정/생성한 후 깊이 영상 기반 랜더링 (DIBR : Depth Image Based Rendering) 기술을 이용하여 스테레오 동영상을 합성한다. 본 논문은 2차원 동영상 내 존재하는 다양한 변환 단서들을 통합하는 새로운 깊이 융합 기법을 제안한다. 우선, 알맞은 깊이 융합을 위해 몇몇 단서가 현재 장면을 효과적으로 표현할 수 있는 지 아닌지 검사된다. 그 후, 신뢰성 검사의 결과를 기반으로 현재 장면은 4개의 유형 중 하나로 분류된다. 마지막으로 최종 깊이 영상을 생성하기 위해 신뢰할 수 있는 깊이 단서들을 조합하는 장면 적응적 깊이 융합이 수행된다. 실험 결과를 통해 각각의 단서가 장면 유형에 따라 타당하게 활용되었고 최종 깊이 영상이 현재 장면을 효과적으로 표현할 수 있는 단서들에 의해 생성되었음을 관찰할 수 있다. 3D video is regarded as the next generation contents in numerous applications. The 2D-to-3D video conversion technologies are strongly required to resolve a lack of 3D videos during the period of transition to the full ripe 3D video era. In 2D-to-3D conversion methods, after the depth image of each scene in 2D video is estimated, stereoscopic video is synthesized using DIBR (Depth Image Based Rendering) technologies. This paper proposes a novel depth fusion algorithm that integrates multiple depth cues contained in 2D video to generate stereoscopic video. For the proper depth fusion, it is checked whether some cues are reliable or not in current scene. Based on the result of the reliability tests, current scene is classified into one of 4 scene types and scene-adaptive depth fusion is applied to combine those reliable depth cues to generate the final depth information. Simulation results show that each depth cue is reasonably utilized according to scene types and final depth is generated by cues which can effectively represent the current scene.