基于边缘保持和注意力生成对抗网络的红外与可见光图像融合

TP391.41; 由于红外与可见光图像特征差异大,并且不存在理想的融合图像监督网络学习源图像与融合图像之间的映射关系,深度学习在图像融合领域的应用受到了限制.针对此问题,提出了一个基于注意力机制和边缘损失函数的生成对抗网络框架,应用于红外与可见光图像融合.通过引入对抗训练和注意力机制的思想,将融合问题视为源图像和融合图像对抗的关系,并结合了通道注意力和空间注意力机制学习特征通道域和空间域的非线性关系,增强了显著性目标特征表达.同时提出了一种边缘损失函数,将源图像与融合图像像素之间的映射关系转化为边缘之间的映射关系.多个数据集的测试结果表明,该方法能有效融合红外目标和可见光纹理信息,锐化图像边...

Full description

Saved in:
Bibliographic Details
Published in红外与毫米波学报 Vol. 40; no. 5; pp. 696 - 708
Main Authors 朱雯青, 汤心溢, 张瑞, 陈潇, 苗壮
Format Journal Article
LanguageChinese
Published 中国科学院红外探测与成像技术重点实验室,上海200083%中国科学院上海技术物理研究所,上海200083 01.10.2021
中国科学院上海技术物理研究所,上海200083
中国科学院红外探测与成像技术重点实验室,上海200083
中国科学院大学,北京100049
Subjects
图像融合;生成对抗网络;边缘损失;注意力机制
Online AccessGet full text
ISSN1001-9014
DOI10.11972/j.issn.1001-9014.2021.05.017

Cover

Abstract TP391.41; 由于红外与可见光图像特征差异大,并且不存在理想的融合图像监督网络学习源图像与融合图像之间的映射关系,深度学习在图像融合领域的应用受到了限制.针对此问题,提出了一个基于注意力机制和边缘损失函数的生成对抗网络框架,应用于红外与可见光图像融合.通过引入对抗训练和注意力机制的思想,将融合问题视为源图像和融合图像对抗的关系,并结合了通道注意力和空间注意力机制学习特征通道域和空间域的非线性关系,增强了显著性目标特征表达.同时提出了一种边缘损失函数,将源图像与融合图像像素之间的映射关系转化为边缘之间的映射关系.多个数据集的测试结果表明,该方法能有效融合红外目标和可见光纹理信息,锐化图像边缘,显著提高图像清晰度和对比度.
AbstractList TP391.41; 由于红外与可见光图像特征差异大,并且不存在理想的融合图像监督网络学习源图像与融合图像之间的映射关系,深度学习在图像融合领域的应用受到了限制.针对此问题,提出了一个基于注意力机制和边缘损失函数的生成对抗网络框架,应用于红外与可见光图像融合.通过引入对抗训练和注意力机制的思想,将融合问题视为源图像和融合图像对抗的关系,并结合了通道注意力和空间注意力机制学习特征通道域和空间域的非线性关系,增强了显著性目标特征表达.同时提出了一种边缘损失函数,将源图像与融合图像像素之间的映射关系转化为边缘之间的映射关系.多个数据集的测试结果表明,该方法能有效融合红外目标和可见光纹理信息,锐化图像边缘,显著提高图像清晰度和对比度.
Author 汤心溢
朱雯青
张瑞
陈潇
苗壮
AuthorAffiliation 中国科学院上海技术物理研究所,上海200083;中国科学院大学,北京100049;中国科学院红外探测与成像技术重点实验室,上海200083%中国科学院上海技术物理研究所,上海200083;中国科学院红外探测与成像技术重点实验室,上海200083
AuthorAffiliation_xml – name: 中国科学院上海技术物理研究所,上海200083;中国科学院大学,北京100049;中国科学院红外探测与成像技术重点实验室,上海200083%中国科学院上海技术物理研究所,上海200083;中国科学院红外探测与成像技术重点实验室,上海200083
Author_FL ZHANG Rui
MIAO Zhuang
TANG Xin-Yi
CHEN Xiao
ZHU Wen-Qing
Author_FL_xml – sequence: 1
  fullname: ZHU Wen-Qing
– sequence: 2
  fullname: TANG Xin-Yi
– sequence: 3
  fullname: ZHANG Rui
– sequence: 4
  fullname: CHEN Xiao
– sequence: 5
  fullname: MIAO Zhuang
Author_xml – sequence: 1
  fullname: 朱雯青
– sequence: 2
  fullname: 汤心溢
– sequence: 3
  fullname: 张瑞
– sequence: 4
  fullname: 陈潇
– sequence: 5
  fullname: 苗壮
BookMark eNo9kE1LAlEYRu_CIDN_RrSa6X3vnTsfy5C-QIig1nJn5ppKjdAQ0lIyMDG1iIqshAhq56JNWtmf8c74MzKKVgeexXngzJFEUA4kIQsIOqJj0aWSXgzDQEcA1BxAQ6dAUQeuA1oJkvzfZ0k6DIsuMBsswzSdJNlSveF42JqMBvHHzfjrPmpW1UUzen2Jam3V6MaXvajeUf1B1LiOP8_j97v4thYPH9XT1fitpdr9yXNVnZyq7kgdtycPZ6pTnyczebEXyvQfU2RndWU7s65lN9c2MstZLUSglmaaYDEQniE9YQvD8w3m-ki5ibZDUaKN3HWo5II6pkQufWSepJRR5rp5ipylyOKvtyKCvAh2c6Xy4UEwfcwVKkeFffcnAfBpAPYNukNxpg
ClassificationCodes TP391.41
ContentType Journal Article
Copyright Copyright © Wanfang Data Co. Ltd. All Rights Reserved.
Copyright_xml – notice: Copyright © Wanfang Data Co. Ltd. All Rights Reserved.
DBID 2B.
4A8
92I
93N
PSX
TCJ
DOI 10.11972/j.issn.1001-9014.2021.05.017
DatabaseName Wanfang Data Journals - Hong Kong
WANFANG Data Centre
Wanfang Data Journals
万方数据期刊 - 香港版
China Online Journals (COJ)
China Online Journals (COJ)
DatabaseTitleList
DeliveryMethod fulltext_linktorsrc
Discipline Applied Sciences
DocumentTitle_FL Infrared and visible image fusion based on edge-preserving and attention generative adversarial network
EndPage 708
ExternalDocumentID hwyhmb202105017
GroupedDBID 2B.
4A8
5VS
5XA
5XJ
92H
92I
93N
ABJNI
ACGFS
AENEX
ALMA_UNASSIGNED_HOLDINGS
CW9
DU5
IPNFZ
KQ8
OK1
PSX
RIG
RNS
TCJ
TGT
U1G
U5S
ID FETCH-LOGICAL-s1027-660730ac4eca8a4cd43bd125618921e1815b92e5a296e15ed13ce22323bbf2153
ISSN 1001-9014
IngestDate Thu May 29 04:20:08 EDT 2025
IsPeerReviewed true
IsScholarly true
Issue 5
Keywords 图像融合;生成对抗网络;边缘损失;注意力机制
Language Chinese
LinkModel OpenURL
MergedId FETCHMERGED-LOGICAL-s1027-660730ac4eca8a4cd43bd125618921e1815b92e5a296e15ed13ce22323bbf2153
PageCount 13
ParticipantIDs wanfang_journals_hwyhmb202105017
PublicationCentury 2000
PublicationDate 2021-10-01
PublicationDateYYYYMMDD 2021-10-01
PublicationDate_xml – month: 10
  year: 2021
  text: 2021-10-01
  day: 01
PublicationDecade 2020
PublicationTitle 红外与毫米波学报
PublicationTitle_FL Journal of Infrared and Millimeter Waves
PublicationYear 2021
Publisher 中国科学院红外探测与成像技术重点实验室,上海200083%中国科学院上海技术物理研究所,上海200083
中国科学院上海技术物理研究所,上海200083
中国科学院红外探测与成像技术重点实验室,上海200083
中国科学院大学,北京100049
Publisher_xml – name: 中国科学院大学,北京100049
– name: 中国科学院上海技术物理研究所,上海200083
– name: 中国科学院红外探测与成像技术重点实验室,上海200083%中国科学院上海技术物理研究所,上海200083
– name: 中国科学院红外探测与成像技术重点实验室,上海200083
SSID ssib038074669
ssj0039469
ssib051375082
ssib007291925
ssib002806809
ssib023167203
ssib008143719
ssib000862495
Score 2.3840647
Snippet TP391.41; 由于红外与可见光图像特征差异大,并且不存在理想的融合图像监督网络学习源图像与融合图像之间的映射关系,深度学习在图像融合领域的应用受到了限制.针对此问题,...
SourceID wanfang
SourceType Aggregation Database
StartPage 696
Title 基于边缘保持和注意力生成对抗网络的红外与可见光图像融合
URI https://d.wanfangdata.com.cn/periodical/hwyhmb202105017
Volume 40
hasFullText 1
inHoldings 1
isFullTextHit
isPrint
journalDatabaseRights – providerCode: PRVAFT
  databaseName: Open Access Digital Library
  issn: 1001-9014
  databaseCode: KQ8
  dateStart: 20090101
  customDbUrl:
  isFulltext: true
  dateEnd: 99991231
  titleUrlDefault: http://grweb.coalliance.org/oadl/oadl.html
  omitProxy: true
  ssIdentifier: ssj0039469
  providerName: Colorado Alliance of Research Libraries
link http://utb.summon.serialssolutions.com/2.0.0/link/0/eLvHCXMwnR1NaxNBdKkVxIvf4jc5OMfU3dmdr-NssqEoCoUWeivZZGMvVrAtYm_FCrXUtoqoWLUggt4KerH16890k_4M35udbNZaqxXCsLw3874z814yO-M4l1nDb8oEqpOAs7gcCMbKEDesXOcCEny3xVoJ_jRw_QYfHAmujrLRvv6PhV1L01PxQGNm1_dK_serAAO_4luy-_BsThQA8Az-hRY8DO0_-ZhEjKgaCTWJAmxlRCJJwoiEikSChBWipEHViKqSiBNZgczRjKL4DJDQJ1oaFCSVNURJTVSIw1WAxBEliXIRpWuGMjd9hGFRJcozDyFRFTNKIymEaKKpGQV0uBFDGgkZMgJSIKoWVh4JH2UEC1F-hPhGHmAdEVk1KJdkd_N1k-k9uXBkoY0ioYdqWmWzzlWiuVVEs27QIQCUgO6RQkFQRoWWU7TYBfDADKiAWWVGF4XodWFoee0aa3ggfw8D1BSaE8dUic0B7G8u1Mt372XfEquMrnbtUkWK2hDt6WBIola_24KjIRAC3MCg4S_WyZ1qDW1sIV1rg0x1KYzpoaXG8UA5Qn8ASmsTQAYC7GilS1xbdqGgJvMmlO1TkZ10dpNNYLhoE-UYFtwQdDFk8UGRMFNf4ag_y1ZYkXHPH_7XX1yysxO-7NTECusvV7yQyglzZMguWYIS1KQJyGEg5zCArs7O8RW99CjftDp-9974rRj7uAx6HHAOUsE53ppybahY0nB7nXtv50LxiDwoZj1VWEMlFCyid6QixZMpCjsj8D6IgPMczzwfcnyZH5Hnq8Bc25krccghXRWv7KWgeUlxolWfuFnIp4ePOUdsIVzS2ax23OmbGT_hHLVFccmmHJMnnaF0bXNrc2n7-0bn64utH6_bi7Ppk8X2pw_tueV0YbXzdK09v5Kub7QXnne-Pe58edV5OdfZfJu-e7b1eSldXt9-P5s-eJiufk_vL2-_eZSuzJ9yRmrRcGWwbO-BKU9C-SPKnGMeUm8ESaMu60GjGfhxEwoz7klFvQRqFBYrmrA6VTzxWNL0_EYCZQ_147gFJY1_2umfuD2RnHFKLTeGeqpJVUs1AyYS2eJxQ7hQE7aaPPbpWadkrTJm5_nJsR1-P_f3Luedw71Z44LTP3VnOrkItctUfMkEy0_ghuwo
linkProvider Colorado Alliance of Research Libraries
openUrl ctx_ver=Z39.88-2004&ctx_enc=info%3Aofi%2Fenc%3AUTF-8&rfr_id=info%3Asid%2Fsummon.serialssolutions.com&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Ajournal&rft.genre=article&rft.atitle=%E5%9F%BA%E4%BA%8E%E8%BE%B9%E7%BC%98%E4%BF%9D%E6%8C%81%E5%92%8C%E6%B3%A8%E6%84%8F%E5%8A%9B%E7%94%9F%E6%88%90%E5%AF%B9%E6%8A%97%E7%BD%91%E7%BB%9C%E7%9A%84%E7%BA%A2%E5%A4%96%E4%B8%8E%E5%8F%AF%E8%A7%81%E5%85%89%E5%9B%BE%E5%83%8F%E8%9E%8D%E5%90%88&rft.jtitle=%E7%BA%A2%E5%A4%96%E4%B8%8E%E6%AF%AB%E7%B1%B3%E6%B3%A2%E5%AD%A6%E6%8A%A5&rft.au=%E6%9C%B1%E9%9B%AF%E9%9D%92&rft.au=%E6%B1%A4%E5%BF%83%E6%BA%A2&rft.au=%E5%BC%A0%E7%91%9E&rft.au=%E9%99%88%E6%BD%87&rft.date=2021-10-01&rft.pub=%E4%B8%AD%E5%9B%BD%E7%A7%91%E5%AD%A6%E9%99%A2%E7%BA%A2%E5%A4%96%E6%8E%A2%E6%B5%8B%E4%B8%8E%E6%88%90%E5%83%8F%E6%8A%80%E6%9C%AF%E9%87%8D%E7%82%B9%E5%AE%9E%E9%AA%8C%E5%AE%A4%2C%E4%B8%8A%E6%B5%B7200083%25%E4%B8%AD%E5%9B%BD%E7%A7%91%E5%AD%A6%E9%99%A2%E4%B8%8A%E6%B5%B7%E6%8A%80%E6%9C%AF%E7%89%A9%E7%90%86%E7%A0%94%E7%A9%B6%E6%89%80%2C%E4%B8%8A%E6%B5%B7200083&rft.issn=1001-9014&rft.volume=40&rft.issue=5&rft.spage=696&rft.epage=708&rft_id=info:doi/10.11972%2Fj.issn.1001-9014.2021.05.017&rft.externalDocID=hwyhmb202105017
thumbnail_s http://utb.summon.serialssolutions.com/2.0.0/image/custom?url=http%3A%2F%2Fwww.wanfangdata.com.cn%2Fimages%2FPeriodicalImages%2Fhwyhmb%2Fhwyhmb.jpg