基于边缘保持和注意力生成对抗网络的红外与可见光图像融合

TP391.41; 由于红外与可见光图像特征差异大,并且不存在理想的融合图像监督网络学习源图像与融合图像之间的映射关系,深度学习在图像融合领域的应用受到了限制.针对此问题,提出了一个基于注意力机制和边缘损失函数的生成对抗网络框架,应用于红外与可见光图像融合.通过引入对抗训练和注意力机制的思想,将融合问题视为源图像和融合图像对抗的关系,并结合了通道注意力和空间注意力机制学习特征通道域和空间域的非线性关系,增强了显著性目标特征表达.同时提出了一种边缘损失函数,将源图像与融合图像像素之间的映射关系转化为边缘之间的映射关系.多个数据集的测试结果表明,该方法能有效融合红外目标和可见光纹理信息,锐化图像边...

Full description

Saved in:
Bibliographic Details
Published in红外与毫米波学报 Vol. 40; no. 5; pp. 696 - 708
Main Authors 朱雯青, 汤心溢, 张瑞, 陈潇, 苗壮
Format Journal Article
LanguageChinese
Published 中国科学院红外探测与成像技术重点实验室,上海200083%中国科学院上海技术物理研究所,上海200083 01.10.2021
中国科学院上海技术物理研究所,上海200083
中国科学院红外探测与成像技术重点实验室,上海200083
中国科学院大学,北京100049
Subjects
图像融合;生成对抗网络;边缘损失;注意力机制
Online AccessGet full text
ISSN1001-9014
DOI10.11972/j.issn.1001-9014.2021.05.017

Cover

More Information
Summary:TP391.41; 由于红外与可见光图像特征差异大,并且不存在理想的融合图像监督网络学习源图像与融合图像之间的映射关系,深度学习在图像融合领域的应用受到了限制.针对此问题,提出了一个基于注意力机制和边缘损失函数的生成对抗网络框架,应用于红外与可见光图像融合.通过引入对抗训练和注意力机制的思想,将融合问题视为源图像和融合图像对抗的关系,并结合了通道注意力和空间注意力机制学习特征通道域和空间域的非线性关系,增强了显著性目标特征表达.同时提出了一种边缘损失函数,将源图像与融合图像像素之间的映射关系转化为边缘之间的映射关系.多个数据集的测试结果表明,该方法能有效融合红外目标和可见光纹理信息,锐化图像边缘,显著提高图像清晰度和对比度.
ISSN:1001-9014
DOI:10.11972/j.issn.1001-9014.2021.05.017