시·공간 정보를 이용한 동영상의 인공 캡션 검출

Abstract

동영상에 포함되는 인공 캡션은 영상과 관계있는 의미정보를 포함한다. 이러한 영상을 표현하는 정보를 이용하기 위해 캡션을 추출하는 연구는 근래에 들어 활발히 진행되고 있다. 기존 방법들은 대부분 정지영상에서 캡션을 검출하였다. 하지만 동영상의 경우에는 유용한 시간정보가 있다. 따라서 본 연구는 이러한 시간정보를 사용한 캡션영역 검출방법을 제안한다. 먼저, 캡션후보영역 검출을 위해 문자출현맵을 생성하고, 후보영역 매칭 과정에서 지속후보영역을 검출한다. 검출된 지속후보영역의 소멸성 검사를 통해 캡션의 소멸 여부를 검출하고 소멸된 캡션 일 경우 시 공간정보에 의한 병합과정을 통해 캡션후보영역을 결정한다. 마지막으로 결정된 캡션후보영역을 검증하기 위하여 에지 방향 히스토그램을 이용한 신경망 인식기를 통하여 최종캡션영역을 검출한다. 실험을 위해 다양한 크기와 형태, 위치의 캡션을 포함하는 동영상에 대해 영역검출의 성능을 평가하고자 Recall과 Precision을 이용하여 제안하는 방법의 영역검출에 대한 효율성을 입증한다. The artificial captions appearing in videos include information that relates to the videos. In order to obtain the information carried by captions, many methods for caption extraction from videos have been studied. Most traditional methods of detecting caption region have used one frame. However video include not only spatial information but also temporal information. So we propose a method of detection caption region using temporal and spatial information. First, we make improved Text-Appearance-Map and detect continuous candidate regions through matching between candidate-regions. Second, we detect disappearing captions using disappearance test in candidate regions. In case of captions disappear, the caption regions are decided by a merging process which use temporal and spatial information. Final, we decide final caption regions through ANNs using edge direction histograms for verification. Our proposed method was experienced on many kinds of captions with a variety of sizes, shapes, positions and the experiment result was evaluated through Recall and Precision.