본 논문에서는 XML을 이용하여 멀티미디어 데이터를 구조적으로 표현하고 효율적으로 추출하기 위한 XML 기반 멀티미디어 주석 및 검색 시스템을 제안한다. 이 시스템은 멀티미디어 데이터에 대한 주석이나 검색, 브라우징을 위한 그래픽 인터페이스를 제공하며 멀티미디어 정보를 표현하기 위해 계층적 메타데이터 모델을 기반으로 하여 구현되었다. 비디오에 대한 메타데이터는 MPEG-7 표준에 정의되어 있는 멀티미디어 서술 스키마를 기반으로 XML 스키마를 사용하여 작성하였다. 또한, 멀티미디어 데이터의 효율적인 인덱싱과 추출을 위하여 자막과 주석을 바탕으로 한 카테고라이징 기법을 사용한다. This paper proposes an XML based Multimedia Annotation and Retrieval System, which can represent and retrieve video data efficiently using XML. The system provides a graphical user interface for annotating, searching, and browsing multimedia data. It is Implemented based on the hierarchical metadata model to represent multimedia information. The metadata about video is organized based on multimedia description schema using XML Schema that basically conforms to the MPEG-7 standard. Also, for the effective indexing and retrieval of multimedia data, video segments are annotated and categorized using the closed caption.