키넥트를 이용한 종이건반 피아노 구현 연구

Abstract

본 논문에서는 키넥트의 3차원 영상정보를 이용하여 손가락 움직임을 검출하고 이 정보를 이용하여 종이건반 피아노를 구현하는 방법을 제안한다. 키넥트의 컬러영상과 깊이영상을 이용하여 먼저 건반 식별을 위해 필요한 건반 패턴 정보와 사용자의 종이건반 누름 여부를 판정하기 위한 건반깊이 정보를 검출한다. 배경의 깊이정보를 이용하여 입력된 깊이정보로부터 손 영역을 검출할 경우 종이건반과 접촉한 손가락 끝부분이 잘려나가는 문제를 해결하기 위해 스킨 컬러를 이용하여 정확도를 향상시켰다. 그리고 면적을 이용한 외곽선 검출과 convex hull 알고리즘을 이용하여 손가락 끝점을 검출하고 건반 패턴 정보와 비교하여 건반 누름을 판정하였다. 본 논문에서 제안하는 방법을 이용하여 종이건반 피아노 성능평가를 수행한 결과 높은 검출 정확도를 보였다. 구현된 종이건반 피아노 기능을 활용하여 피아노 연주 입력장치를 구현함으로써 PC기반 피아노 연주시스템 구현의 편리성을 보였으며 악기 초보자가 PC 기반 피아노 연주 학습에 사용자 인터페이스로 활용할 수 있는 가능성을 확인하였다. In this paper, we propose a paper keyboard piano implementation using the finger movement detection with the 3D image data from a kinect. Keyboard pattern and keyboard depth information are extracted from the color image and depth image to detect the touch event on the paper keyboard and to identify the touched key. Hand region detection error is unavoidable when using the simple comparison method between input depth image and background depth image, and this error is critical in key touch detection. Skin color is used to minimize the error. And finger tips are detected using contour detection with area limit and convex hull. Finally decision of key touch is carried out with the keyboard pattern information at the finger tip position. The experimental results showed that the proposed method can detect key touch with high accuracy. Paper keyboard piano can be utilized for the easy and convenient interface for the beginner to learn playing piano with the PC-based learning software.