수동형 멀리미터파 영상과 가시 영상과의 정합 및 융합에 관한 연구

Abstract

수동형(passive) 밀리미터파(millimeter wave) 영상은 의복 등에 은닉된 물체의 탐지가 가능하며 악천후의 상황에서도 감쇄도(attenuation)가 낮아 식별이 가능한 영상을 획득할 수 있다. 그러나 영상 시스템의 공간 해상도(spatial resolution)가 낮고 수신신호가 미약하여 잡음의 영향이 크고 시스템의 온도 분해능(temperature resolution)에 따라 영상의 질이 달라진다. 본 논문에서는 수동형 밀리미터파 영상과 일반 카메라부터 획득되는 영상의 정합(registration)과 은닉된 물체의 시각화를 위한 영상 융합(fusion)을 연구한다. 영상의 정합은 추출된 몸체 경계 간의 상호상관도를 최대로 하는 어파인 변환(affine transform)으로 수행되며 융합은 영상 분해를 위한 이산 웨이블릿 변환(discrete wavelet transform), 융합 법칙(fusion rule), 영상을 복원하기 위한 역 이산 웨이블릿 변환의 3단계로 구성된다. 실험에서는 수동형 밀리미터파 영상 시스템에 의해 칼, 도끼, 화장품, 그리고 휴대폰과 같은 또는 비금속의 다양한 물체가 탐지됨을 보인다. 또한 정합과 융합된 영상의 결과로부터 가시 영상으로부터 얻은 얼굴과 의복 등의 대상자의 신원정보와 밀리미터파 영상으로부터 획득한 은닉된 물체의 정보를 동시에 시각화할 수 있음을 보인다. Passive millimeter wave imaging has the capability of detecting concealed objects under clothing. Also, passive millimeter imaging can obtain interpretable images under low visibility conditions like rain, fog, smoke, and dust. However, the image quality is often degraded due to low spatial resolution, low signal level, and low temperature resolution. This paper addresses image registration and fusion between passive millimeter images and visual images. The goal of this study is to combine and visualize two different types of information together: human subject's identity and concealed objects. The image registration process is composed of body boundary detection and an affine transform maximizing cross-correlation coefficients of two edge images. The image fusion process comprises three stages: discrete wavelet transform for image decomposition, a fusion rule for merging the coefficients, and the inverse transform for image synthesis. In the experiments, various types of metallic and non-metallic objects such as a knife, gel or liquid type beauty aids and a phone are detected by passive millimeter wave imaging. The registration and fusion process can visualize the meaningful information from two different types of sensors.