3-D human pose measurement method based on deep learning and epipolar constraint

Abstract

为了实现汽车座椅上三维人体姿态的高精度实时测量，基于现有二维人体关节点和三维人体关节点测量方法，提出了一种融合深度学习与外极线约束的三维人体姿态测量方法。该方法将二维人体关节点深度网络提取方法和双目测量系统相结合，采用双通道多阶段迭代网络分别提取左右相机图像中人体二维关节点，结合关节点位置的Brief特征和外极线约束，利用双目相机标定结果将匹配二维关节点信息转换到三维空间中，最终得到三维人体姿态。实验结果表明，文中提出方法在自采测试集中的检测精度可达到98%。通过得到三维关节点计算所得关键位姿角度的偏差小于10°。该文所提出的方法能够满足实际汽车座椅设计的数据采集要求。