一种改进的视频分割网络及其全局信息优化方法

提出了一种基于注意力机制的视频分割网络及其全局信息优化训练方法.该方法包含一个改进的视频分割网络,在对视频中的物体进行分割后,利用初步分割的结果作为先验信息对网络优化,再次分割得到最终结果.该分割网络是一种双流卷积网络,以视频图像和光流图像作为输入,分别提取图像的表观信息和运动信息,最终融合得到分割掩膜(Segment-ation mask).网络中嵌入了一个新的卷积注意力模块,应用于卷积网络的高层次特征与相邻低层次特征之间,使得高层语义特征可以定位低层特征中的重要区域,提高网络的收敛速度和分割准确度.在初步分割之后,本方法提出利用初步结果作为监督信息对表观网络的权值进行微调,使其辨识前景物体...

Full description

Saved in:
Bibliographic Details
Published in自动化学报 Vol. 48; no. 3; pp. 787 - 796
Main Authors 张琳, 陆耀, 卢丽华, 周天飞, 史青宣
Format Journal Article
LanguageChinese
Published 智能信息技术北京市重点实验室 北京100081 01.03.2022
北方电子设备研究所 北京100083%北京理工大学计算机学院 北京100081
北京理工大学计算机学院 北京100081
智能信息技术北京市重点实验室 北京100081%河北大学网络空间安全与计算机学院 保定071000
Subjects
视频物体分割;卷积神经网络;注意力机制;全局信息优化
Online AccessGet full text
ISSN0254-4156
DOI10.16383/j.aas.c190292

Cover

More Information
Summary:提出了一种基于注意力机制的视频分割网络及其全局信息优化训练方法.该方法包含一个改进的视频分割网络,在对视频中的物体进行分割后,利用初步分割的结果作为先验信息对网络优化,再次分割得到最终结果.该分割网络是一种双流卷积网络,以视频图像和光流图像作为输入,分别提取图像的表观信息和运动信息,最终融合得到分割掩膜(Segment-ation mask).网络中嵌入了一个新的卷积注意力模块,应用于卷积网络的高层次特征与相邻低层次特征之间,使得高层语义特征可以定位低层特征中的重要区域,提高网络的收敛速度和分割准确度.在初步分割之后,本方法提出利用初步结果作为监督信息对表观网络的权值进行微调,使其辨识前景物体的特征,进一步提高双流网络的分割效果.在公开数据集DAV-IS 上的实验结果表明,该方法可准确地分割出视频中时空显著的物体,效果优于同类双流分割方法.对注意力模块的对比分析实验表明,该注意力模块可以极大地提高分割网络的效果,较本方法的基准方法(Baseline)有很大的提高.
ISSN:0254-4156
DOI:10.16383/j.aas.c190292