손동작을 이용한 상호작용 증강현실 시스템

Abstract

본 논문에서는 컴퓨터 비전 기술 기반으로 사용자의 손 움직임과 가상객체 사이의 자연스러운 상호작용을 위한 증강현실 시스템을 제안한다. 기존의 증강현실 시스템은 마커를 이용하거나 트랙커 같은 센서를 직접 조작해야 했기 때문에 사용자에게 불편함을 제공한다. 우리는 이러한 문제점을 해결하기 위해서 손 움직임을 증강현실 시스템에 적용한다. 또한 가상객체의 움직임에 물리적 현상을 적용하여 현실감을 부여한다. 제안한 시스템은 마커를 이용하여 기하학적 정보를 얻어 가상의 공이 움직이는 가상공간, 벽돌 등의 시스템 환경을 구성하였으며, 사용자의 손 움직임은 테이핑을 통하여 특징점을 추출하여 정보를 얻는다. 이 특징점을 이용하여 손 위에 가상 평면을 안정적으로 정합한다. 가상의 공의 움직임은 포물선 방정식을 이용하여 기본적으로 포물선 움직임을 보이고, 평면 또는 벽돌에 충돌이 발생할 경우에는 가상 공의 위치와 평면의 법선벡터를 이용하여 가상 공의 움직임을 보였다. 실험을 통해 충돌 시 발생되는 잘못된 공의 위치에 대해 보정되는 과정을 보였고, 증강된 가상객체의 떨림과 수행속도에 대해 마커를 이용한 시스템과 비교하여 제안한 시스템으로 대체할 수 있다는 것을 확인하였다. In this paper, We propose Augmented Reality (AR) System for the interaction between user's hand motion and virtual object motion based on computer vision. The previous AR system provides inconvenience to user because the users have to control the marker and the sensor like a tracker. We solved the problem through hand motion and provide the convenience to the user. Also the motion of virtual object using a physical phenomenon gives a reality. The proposed system obtains geometrical information by the marker and hand. The system environments like virtual space of moving virtual ball and bricks are made by using the geometrical information and user's hand motion is obtained from the hand's information with extracted feature point through the taping hand. And it registers a virtual plane stably by getting movement of the feature points. The movement of the virtual ball basically is parabolic motion with a parabolic equation. When the collision occurs either the planes or the bricks, we show movement of the virtual ball with ball position and normal vector of plane and the ball position is faulted. So we showed corrected ball position through experiment. and we proved that this system can replaced the marker system to compare to jitter of augmented virtual object and progress speed with it.