웹 카메라와 손을 이용한 마우스 기능의 구현

Abstract

본 논문에서는 USB 인터페이스 방식의 웹 카메라를 통해 입력받은 영상을 영상처리 기법을 통해 손의 움직임과 손가락 개수를 파악하여 실시간으로 마우스의 기능을 구현하는 알고리즘을 제안하였다. 웹 카메라로부터 입력받은 RGB 컬러모델 영상을 조명 변화에 강한 YCbCr 컬러 모델 영상으로 변환하여 휘도 성분을 제외한 색차 성분만으로 피부색을 추출해 이진화된 영상으로 만든다. YCbCr 컬러 모델을 이용하여 피부색을 추출할 경우, 주변 환경에 의해 정확한 손 영역을 추출할 수 없어 라벨링(labeling)과 열림(opening) 연산, 닫힘(closing) 연산을 수행하여 정확한 손 영역을 추출한다. 이렇게 추출된 손 영역의 중심을 이용하여 마우스 포인터를 이동시키며 손가락 개수를 이용하여 마우스의 클릭을 수행하였다. 구현된 제안 기법을 실험한 결과, 마우스 포인터 이동을 위한 기능 성공률은 평균 94.0%, 손가락 개수 인식률은 평균 96.0%로 실용화 가능성을 보였다. In this paper, we proposed an algorithm implementing mouse functions using hand motion and number of fingers which are extracted from an image sequence. The sequence is acquired through a web camera and processed with image processing algorithms. The sequence is first converted from RGB model to YCbCr model to efficiently extract skin area and the extracted area is further processed using labeling, opening, and closing operations to decide the center of a hand. Based on the center position, the number of fingers is decided, which serves as the information to decide and perform a mouse function. Experimental results show that 94.0% of pointer moves and 96.0% of finger extractions are successful, which opens the possibility of further development for a commercial product.