클러터 환경에서 로봇 파지를 위한 역학 예측 신경망 기반 강화학습 방법

Abstract

본 연구는 둘 이상의 물체가 서로 겹치거나 인접하여 로봇 파지 포인트를 파악하기 어려운 클러터 환경(cluttered environment)에서 역학 예측 신경망(Dynamics Prediction Network, DPN)을 이용하여 작업환경과 로봇 행동 사이의 역학 관계를 학습하고 파지 작업을 수행하는 강화학습 방법을 제안한다. 클러터 환경에서 파지 포인트를 찾을 수 없는 상황을 해결하기 위해 비파지 동작을 활용하며, 제안하는 역학 예측 신경망을 이용한 강화학습 방법은 파지뿐 아니라 비파지 동작 학습에서도 효과적임을 보여준다. 학습 환경을 추계(stochastic world)가 아닌 결정계(deterministic world)로 가정하여 전이 확률(state transition probability)을 1로 고정함으로써 DPN은 현재 상태(current state), 현재 행동(current action), 다음 상태(next state)의 일대일 대응관계를 학습한다. 학습 단계에서 추가적으로 진행되는 DPN으로 인한 학습 부담을 줄이기 위하여 매개변수 공유(parameter sharing)를 학습 모델에 적용하였다. 제안하는 방법은 매개변수 공유와 DPN으로 학습에서의 부담뿐 아니라 동작모델의 가중치 메모리 크기를 절반으로 줄이면서도 블록 테스트 환경에서 8%의 파지 성공률 향상을 보였다. 실세계 물체를 3D 스캔하여 구성한 새로운 테스트 환경 실험에서 23%의 파지 성공률 향상을 보여 물리적 상호작용 학습으로 일반화(generalization)가 잘 이루어졌음을 보였다.