눈동자 시선 추적에 의한 3차원 1인칭 슈팅 게임

Abstract

본 논문에서는 HMD(Head Mounted Display) 하단에 눈동자의 움직임 영상을 취득할 수 있는 USB 카메라를 부착한 후, 3차원 1인칭 슈팅(First Person Shooting) 게임에서 게임 캐릭터의 시선방향을 눈동자 움직임에 의해 조작하는 방법을 제안한다. 본 논문에서 제안하는 방법은 다음과 같은 3부분으로 이루어져 있다. 첫 번째는 입력 영상으로부터 눈동자의 중심 위치를 실시간 영상 처리 방법으로 추출하는 부분, 두번째는 HMD 모니터상의 임의 지점을 쳐다볼 때 추출된 눈동자의 위치 정보와 모니터상의 응시 지점사이의 기하학적인 연관관계를 결정하는 캘리브레이션 부분, 그리고 마지막은 캘리브레이션 정보를 기반으로 모니터 상의 최종적인 응시 위치를 결정하고 이 정보에 의해 게임상의 3차원 뷰 방향을 조정하는 부분으로 구성되어 있다. 실험 결과 본 논문의 방법에 의해 손이 불편한 사용자에게 게임을 즐길 수 있는 기회를 제공하고, 게임 캐릭터와 게임 사용자의 시선 방향을 일치시킴으로서 게임의 흥미와 몰입감을 증가시킬 수 있는 결과를 얻음을 알 수 있었다. In this paper, we propose the method of manipulating the gaze direction of 3D FPS game's character by using eye gaze detection from the successive images captured by USB camera, which is attached beneath HMB. The proposed method is composed of 3 parts. At first, we detect user's pupil center by real-time image processing algorithm from the successive input images. In the second part of calibration, when the user gaze on the monitor plane, the geometric relationship between the gazing position of monitor and the detected position of pupil center is determined. In the last part, the final gaze position on the HMD monitor is tracked and the 3D view in game is controlled by the gaze position based on the calibration information. Experimental results show that our method can be used for the handicapped game player who cannot use his(or her) hand. Also, it can Increase the interest and the immersion by synchronizing the gaze direction of game player and the view direction of game character.