고속 컨텐츠 인식 동영상 리타겟팅 기법

Abstract

본 논문에서는 동영상의 주요 컨텐츠를 보존하면서 영상의 크기를 변환하는 고속 동영상 리타겟팅 기법을 제안한다. 기존의 Seam Carving에서는 seam을 하나씩 구할 때마다 누적 에너지의 갱신이 발생하며, 여기서 누적 에너지는 동적계획법을 이용하여 계산하기 때문에 전체 연산시간의 지연은 불가피하다. 본 논문에서는 전체 동영상을 특징이 서로 비슷한 scene으로 나누고, 각 scene의 첫 프레임에서는 seam이 될 수 있는 모든 후보들 중 복수개의 seam을 추출하여 누적 에너지의 갱신과정을 줄여 고속화한다. 또한 scene의 두 번째 프레임부터 인접한 프레임 상호간에 상관성을 이용하여, 연속하는 프레임은 누적 에너지를 계산하지 않고 이전 프레임의 seam 정보를 참조한 계산만으로 모든 seam을 추출한다. 따라서 제안하는 시스템은 누적 에너지에 계산되는 연산량을 대폭 줄였으며 전체 프레임의 분석도 필요하지 않아 고속화가 가능하고, 컨텐츠의 떨림 현상은 발생하지 않는다. 실험 결과는 제안하는 방법이 처리 속도와 메모리 사용량 면에서 실시간 처리에 적합하고, 영상이 가지고 있는 컨텐츠를 보존하면서 영상의 크기를 조절할 수 있음을 보여준다. In this paper, we propose a fast video retargeting method which preserves the contents of a video and converts the image size. Since the conventional Seam Carving which is the well-known content-aware image retargeting technique uses the dynamic programming method, the repetitive update procedure of the accumulation energy is absolutely needed to obtain seam. The energy update procedure cannot avoid the processing time delay because of many operations by the image full-searching. By applying the proposed method, frames which have similar features in video are classified into a scene, and the first frame of a scene is resized by the modified Seam Carving where multiple seams are extracted from candidate seams to reduce the repetitive update procedure. After resizing the first frame of a scene, all continuous frames of the same scene are resized with reference to the seam information stored in the previous frame without the calculation of the accumulation energy. Therefore, although the fast processing is possible with reducing complexity and without analyzing all frames of scene, the quality of an image can be analogously maintained with an existing method. The experimental results show that the proposed method can preserve the contents of an image and can be practically applied to retarget the image on real time.