Mask R-CNN과 MediaPipe를 이용한 제조 현장 작업자의 행동 식별

Abstract

제조 현장에서 작업자의 행동을 모니터링하고 잠재적인 실수를 식별하여 제품 불량을 예방할 필요가 있다. 따라서 본 연구에서는 작업장 주변에 작업자, 설비, 도구, 공구함, 제품 등 다양한 객체를 감지하고 작업자의 행동을 추정하는 모델을 개발하였다. 제안하는 모델은 다중 객체 인식 및 중복 객체를 감지하는 Mask R-CNN 알고리즘을 사용하며, 작업자의 신체부위를 추정하고 자세를 추적하기 위해 MediaPipe를 사용한다. 제안 모델의 실험을 위해 560장의 제조 현장 사진들을 직접 수집하였으며, Python3 언어와 TensorFlow, MediaPipe 라이브러리, 그리고 Jupiter Notebooks 툴을 이용해 실험을 진행했다. 실험 결과, 제안하는 모델은 객체 감지 성능이 94%, 작업자의 자세 추정에 99%의 정확도를 보였으며, 이를 통해 작업자의 행동을 설명할 수 있으며 작업자의 잘못된 행동도 확인 가능함을 알 수 있었다.