基于多尺度变形卷积的特征金字塔光流计算方法

• Published in: 自动化学报 Vol. 49; no. 1; pp. 197 - 209
• Main Authors: 范兵兵, 葛利跃, 张聪炫, 李兵, 冯诚, 陈震
• Format: Journal Article
• Language: Chinese
• Published: 南昌航空大学测试与光电工程学院 南昌 330063 2023; 南昌航空大学江西省图像处理与模式识别重点实验室 南昌330063%中国科学院自动化研究所模式识别国家重点实验室 北京100190%北京航空航天大学仪器科学与光电工程学院 北京100083
• Subjects: 光流; 边缘保护; 深度学习; 变形卷积; 特征金字塔
• ISSN: 0254-4156
• DOI: 10.16383/j.aas.c220142

针对现有深度学习光流计算方法的运动边缘模糊问题,提出了一种基于多尺度变形卷积的特征金字塔光流计算方法.首先,构造基于多尺度变形卷积的特征提取模型,显著提高图像边缘区域特征提取的准确性;然后,将多尺度变形卷积特征提取模型与特征金字塔光流计算网络耦合,提出一种基于多尺度变形卷积的特征金字塔光流计算模型;最后,设计一种结合图像与运动边缘约束的混合损失函数,通过指导模型学习更加精准的边缘信息,克服了光流计算运动边缘模糊问题.分别采用MPI-Sintel和KITTI2015测试图像集对该方法与代表性的深度学习光流计算方法进行综合对比分析.实验结果表明,该方法具有更高的光流计算精度,有效解决了光流计算的边缘模糊问题.