방송 콘텐츠의 후반 제작을 위한 카메라 추적 시스템

Abstract

과거 값비싼 워크스테이션에서만 구현 가능했던 실시간 가상스튜디오를 이제는 하드웨어의 발달로 개인용 컴퓨터에서도 운용할 수 있게 되었다. 그럼에도 불구하고 여전히 실시간 제작의 그래픽 품질에는 한계가 있기 때문에 영화나 드라마에서는 후반 제작(post production)으로 그래픽을 합성하는 것이 일반적이다. 그러나 후반 제작을 위한 순수 영상 기반 카메라 추적은 많은 작업 시간을 요하며, 자주 불안정한 결과를 보인다. 이를 극복하기 위해 가상스튜디오와 마찬가지로 촬영 단계에서 카메라 모션 데이터를 센서로부터 수신하되, 이를 저장하여 후반제작에서 활용할 수 있는 시스템(POVIS: post virtual imaging system)을 제안하였다. 실사와 그래픽의 매끄러운 정합을 위해서는 정확한 카메라 캘리브레이션이 선행되어야 하는데, 이를 위해 두 장의 평면 패턴만을 이용하여 간단하게 수행할 수 있는 캘리브레이션 방법을 사용하였다. 또한 카메라 센서 데이터는 기계적 부정합 등으로 인해 약간의 오류를 포함하게 되는데, Kalman 필터를 이용하여 이를 줄이는 방법을 제안하였다. 개발된 POVIS는 다큐멘터리 제작에 사용되어 작업 시간을 크게 단축시키고, 특징점의 부재로 인해 기존의 방법을 적용할 수 없는 영상에서의 카메라 추적을 성공적으로 수행하였다. Real-time virtual studios which could run only on expensive workstations are now available for personal computers thanks to the recent development of graphics hardware. Nevertheless, graphics are rendered off-line in the post production stage in film or TV drama productions, because the graphics' quality is still restricted by the real-time hardware. Software-based camera tracking methods taking only the source video into account take much computation time, and often shows unstable results. To overcome this restriction, we propose a system that stores camera motion data from sensors at shooting time as common virtual studios and uses them in the post production stage, named as POVIS(post virtual imaging system). For seamless registration of graphics onto the camera video, precise zoom lens calibration must precede the post production. A practical method using only two planar patterns is used in this work. We present a method to reduce the camera sensor's error due to the mechanical mismatch, using the Kalman filter. POVIS was successfully used to track the camera in a documentary production and saved much of the processing time, while conventional methods failed due to lack of features to track.