키포인트 기반 수어 시작 및 종료 시점 탐지 기법

Abstract

최근 딥러닝 기반 수어 인식 모델을 활용한 수어 인식 서비스나 응용의 개발이 활발하게 이루어지고 있다. 이와 같은 수어 인식 서비스나 응용에서는 수어 인식 모델의 정확도가 매우 중요하다. 대부분의 수어 데이터셋은 실제 수어의 발화 데이터뿐만 아니라, 실제 수어 발화와 관련이 없는 정보가 공통적으로 포함되어 있다. 따라서, 본 논문에서는 수어 인식 정확도를 향상시키기 위해 수어 데이터에서 발화자의 주요 키포인트 정보를 추출하고 각 키포인트의 변화량에 기반하여 수어의 시작 시점과 종료 시점을 탐지하는 기법을 제안한다. 제안기법은 각 키포인트 변화량의 평균값을 임곗값으로 사용하여 임곗값보다 평균 변화량이 커지는 시점을 수어 시작 시점으로 탐지하고, 평균 변화량이 임계값보다 다시 작아지는 시점을 수어 종료 시점으로 탐지한다. 실험을 통해 제안기법의 성능을 분석하였다. 성능 평가 결과 10개의 키포인트 정보를 이용하는 경우, 평균 약 2프레임 내외에서 정확하게 수어의 시작 시점과 종료 시점을 탐지할 수 있음을 확인하였다.