Optical flow estimation based on local-global modeling and visual similarity guidance

Abstract

光流估计是计算机视觉的核心任务. 近年来, 基于卷积神经网络的光流估计方法已取得很大成功, 然而由于现有模型的卷积感受野有限, 难以建模远距离的依赖关系, 导致在大位移和局部歧义性区域的光流估计效果较差. 此外, 现有方法在光流上采样过程采用的插值操作会导致误差的传播放大, 进而引起光流估计的运动边缘模糊等问题. 针对以上问题, 本文提出了一种基于局部-全局建模与视觉相似引导上采样的光流估计方法. 首先, 引入一个高效且简单的自注意力机制加强光流计算网络的局部和全局建模能力. 通过提取更具有表达力的图像特征, 降低因大位移和局部歧义性导致的光流估计误差问题. 其次, 基于物体视觉特征越相似、运动也越相似的假设, 构建视觉相似引导的光流上采样网络模型. 将特征的视觉相似性转化为运动的相似性进而指导光流上采样过程, 提高了运动边界区域光流估计的精度. 最后, 分别采用MPI-Sintel和KITTI数据库测试图像集对本文方法和最先进的深度学习光流计算方法进行综合对比分析. 实验结果表明, 本文方法在所有对比方法中取得了最优的光流计算结果, 尤其在大位移和运动边界区域显著提升了光流计算的精度.