基于特征相似性和特征规范化的注意力模块
TP391.4; 近年来,注意力机制在图像分类、目标检测和语义分割等领域取得了巨大成功,但现有的注意力机制大多只能在通道或空间维度上实现特征融合,这极大限制了其在通道和空间维度上变化的灵活性,导致无法充分利用特征信息.为此,文中提出一种基于特征相似性和特征规范化的、可同时利用特征图各维度信息的卷积神经网络注意力模块FSNAM.该模块由特征相似性模块(FSM)和特征规范化模块(FNM)两部分组成,FSM利用输入特征图的通道特征信息和局部空间特征信息生成一个二维的特征相似性权重图;FNM利用输入特征图的全局空间特征信息生成一个三维的特征规范化权重图;两个模块生成的权重图融合在一起,生成一个三维的注...
Saved in:
| Published in | 华南理工大学学报（自然科学版） Vol. 52; no. 7; pp. 62 - 71 |
|---|---|
| Main Authors | , , |
| Format | Journal Article |
| Language | Chinese |
| Published |
华南理工大学 珠海现代产业创新研究院,广东 珠海 519170
01.07.2024
华南理工大学 广东省发展改革委工程中心,广东 广州 510031 华南理工大学 自动化科学与工程学院,广东 广州 510640 华南理工大学 中新国际联合研究院,广东 广州 510555 华南理工大学 自主系统与网络控制教育部重点实验室,广东 广州 510640%华南理工大学 自动化科学与工程学院,广东 广州 510640%华南理工大学 自动化科学与工程学院,广东 广州 510640 |
| Subjects | |
| Online Access | Get full text |
| ISSN | 1000-565X |
| DOI | 10.12141/j.issn.1000-565X.230313 |
Cover
| Abstract | TP391.4; 近年来,注意力机制在图像分类、目标检测和语义分割等领域取得了巨大成功,但现有的注意力机制大多只能在通道或空间维度上实现特征融合,这极大限制了其在通道和空间维度上变化的灵活性,导致无法充分利用特征信息.为此,文中提出一种基于特征相似性和特征规范化的、可同时利用特征图各维度信息的卷积神经网络注意力模块FSNAM.该模块由特征相似性模块(FSM)和特征规范化模块(FNM)两部分组成,FSM利用输入特征图的通道特征信息和局部空间特征信息生成一个二维的特征相似性权重图;FNM利用输入特征图的全局空间特征信息生成一个三维的特征规范化权重图;两个模块生成的权重图融合在一起,生成一个三维的注意力权重图,以此实现通道特征信息和空间特征信息的融合.为证明FSNAM的可行性和有效性,进行了消融实验,结果表明:在图像分类任务方面,FSNAM模块对分类网络在CIFAR数据集上的性能提升明显优于其他主流注意力模块;在目标检测任务方面,使用FSNAM模块的目标检测网络对VOC数据集中的小目标和中等大小目标的检测准确率分别提高了3.9和1.2个百分点;在语义分割任务方面,使用FSNAM模块可以提高HRNet模型的性能,在SBD数据集上模型的平均像素准确率提高了0.58个百分点. |
|---|---|
| AbstractList | TP391.4; 近年来,注意力机制在图像分类、目标检测和语义分割等领域取得了巨大成功,但现有的注意力机制大多只能在通道或空间维度上实现特征融合,这极大限制了其在通道和空间维度上变化的灵活性,导致无法充分利用特征信息.为此,文中提出一种基于特征相似性和特征规范化的、可同时利用特征图各维度信息的卷积神经网络注意力模块FSNAM.该模块由特征相似性模块(FSM)和特征规范化模块(FNM)两部分组成,FSM利用输入特征图的通道特征信息和局部空间特征信息生成一个二维的特征相似性权重图;FNM利用输入特征图的全局空间特征信息生成一个三维的特征规范化权重图;两个模块生成的权重图融合在一起,生成一个三维的注意力权重图,以此实现通道特征信息和空间特征信息的融合.为证明FSNAM的可行性和有效性,进行了消融实验,结果表明:在图像分类任务方面,FSNAM模块对分类网络在CIFAR数据集上的性能提升明显优于其他主流注意力模块;在目标检测任务方面,使用FSNAM模块的目标检测网络对VOC数据集中的小目标和中等大小目标的检测准确率分别提高了3.9和1.2个百分点;在语义分割任务方面,使用FSNAM模块可以提高HRNet模型的性能,在SBD数据集上模型的平均像素准确率提高了0.58个百分点. |
| Abstract_FL | In recent years,attention mechanisms have achieved great success in the fields of image classification,object detection and semantic segmentation.However,most existing attention mechanisms can only achieve feature fusion in channel or spatial dimensions,which greatly limits the flexibility of attention mechanisms to change in channel and spa-tial dimensions and cannot fully utilize feature information.To address this issue,this paper proposes a convolutional neural network attention module based on feature similarity and feature normalization(FSNAM),which can utilize the characteristic information of both channel domain and spatial domain.FSNAM consists of a feature similarity module(FSM)and a feature normalization module(FNM).FSM generates a two-dimension feature similarity weight map using the channel feature information and local spatial feature information of the input feature map,while FNM generates a three-dimension feature normalization weight map using the global spatial feature information of the input feature map.The weight maps generated by FSM and FNM are fused to generate a three-dimension attention weight map to achieve the fusion of channel feature information and spatial feature information.Moreover,to demonstrate the feasibility and effectiveness of FSNAM,ablation experiments are conducted.The results show that,for image classification tasks,FSNAM significantly outperforms other mainstream attention modules in improving the performance of the classification network on CIFAR dataset;for object detection tasks,the object detection network using FSNAM improves the detection accuracy of small and medium-sized objects in VOC dataset by 3.9 and 1.2 points of percentage,respectively;and,for semantic segmentation tasks,FSNAM can significantly improve the performance of HRNet model,and helps to achieve an average pixel accuracy increase of the model on SBD dataset of 0.58 points of percentage. |
| Author | 汪益民 田联房 杜启亮 |
| AuthorAffiliation | 华南理工大学 自动化科学与工程学院,广东 广州 510640;华南理工大学 中新国际联合研究院,广东 广州 510555;华南理工大学 自主系统与网络控制教育部重点实验室,广东 广州 510640%华南理工大学 自动化科学与工程学院,广东 广州 510640%华南理工大学 自动化科学与工程学院,广东 广州 510640;华南理工大学 珠海现代产业创新研究院,广东 珠海 519170;华南理工大学 广东省发展改革委工程中心,广东 广州 510031 |
| AuthorAffiliation_xml | – name: 华南理工大学 自动化科学与工程学院,广东 广州 510640;华南理工大学 中新国际联合研究院,广东 广州 510555;华南理工大学 自主系统与网络控制教育部重点实验室,广东 广州 510640%华南理工大学 自动化科学与工程学院,广东 广州 510640%华南理工大学 自动化科学与工程学院,广东 广州 510640;华南理工大学 珠海现代产业创新研究院,广东 珠海 519170;华南理工大学 广东省发展改革委工程中心,广东 广州 510031 |
| Author_FL | TIAN Lianfang WANG Yimin DU Qiliang |
| Author_FL_xml | – sequence: 1 fullname: DU Qiliang – sequence: 2 fullname: WANG Yimin – sequence: 3 fullname: TIAN Lianfang |
| Author_xml | – sequence: 1 fullname: 杜启亮 – sequence: 2 fullname: 汪益民 – sequence: 3 fullname: 田联房 |
| BookMark | eNo9jbtKA0EUQKeIYIz5B1uLXe88dh6lBF8QsFGwCzO7OzEhTMBBTKm4jRIMWCgYRKyS3kZD8Guyu_kMhYjVgVOcs4Eqru9ShLYwhJhghne6Ycd7F2IACCIenYWEAsW0gqr_ah3Vve8YAMmFkiCqSOVvs8Xsobz7yr9vyvHnYj4vrif543BllpNsObzNh0_lS1Z8TItslN-Pi-l7_vq8idas7vm0_scaOt3fO2kcBs3jg6PGbjPwGJgIMFMRJ2CtpkYridOEc8ONTkxMOdEy5jQ1qYRYGaUVY8IoYJBIq4UVUgOtoe1V90o7q1271e1fXrjfY-vc9drJYGAIEAYCQNAfBaNhwQ |
| ClassificationCodes | TP391.4 |
| ContentType | Journal Article |
| Copyright | Copyright © Wanfang Data Co. Ltd. All Rights Reserved. |
| Copyright_xml | – notice: Copyright © Wanfang Data Co. Ltd. All Rights Reserved. |
| DBID | 2B. 4A8 92I 93N PSX TCJ |
| DOI | 10.12141/j.issn.1000-565X.230313 |
| DatabaseName | Wanfang Data Journals - Hong Kong WANFANG Data Centre Wanfang Data Journals 万方数据期刊 - 香港版 China Online Journals (COJ) China Online Journals (COJ) |
| DatabaseTitleList | |
| DeliveryMethod | fulltext_linktorsrc |
| Discipline | Sciences (General) |
| DocumentTitle_FL | Attention Module Based on Feature Similarity and Feature Normalization |
| EndPage | 71 |
| ExternalDocumentID | hnlgdxxb202407007 |
| GroupedDBID | -03 2B. 4A8 92I 93N ALMA_UNASSIGNED_HOLDINGS CCEZO CEKLB PSX TCJ |
| ID | FETCH-LOGICAL-s1047-1495620ffa3ba981ed66b6badbc362a8c63ebe80c9b9a9447b9040d8fa7f78a03 |
| ISSN | 1000-565X |
| IngestDate | Thu May 29 04:15:26 EDT 2025 |
| IsPeerReviewed | false |
| IsScholarly | true |
| Issue | 7 |
| Keywords | 特征规范化 feature similarity 卷积神经网络 计算机视觉 convolutional neural network computer vision 特征相似性 注意力模块 feature normalization atten-tion module |
| Language | Chinese |
| LinkModel | OpenURL |
| MergedId | FETCHMERGED-LOGICAL-s1047-1495620ffa3ba981ed66b6badbc362a8c63ebe80c9b9a9447b9040d8fa7f78a03 |
| PageCount | 10 |
| ParticipantIDs | wanfang_journals_hnlgdxxb202407007 |
| PublicationCentury | 2000 |
| PublicationDate | 2024-07-01 |
| PublicationDateYYYYMMDD | 2024-07-01 |
| PublicationDate_xml | – month: 07 year: 2024 text: 2024-07-01 day: 01 |
| PublicationDecade | 2020 |
| PublicationTitle | 华南理工大学学报（自然科学版） |
| PublicationTitle_FL | Journal of South China University of Technology(Natural Science Edition) |
| PublicationYear | 2024 |
| Publisher | 华南理工大学 珠海现代产业创新研究院,广东 珠海 519170 华南理工大学 广东省发展改革委工程中心,广东 广州 510031 华南理工大学 自动化科学与工程学院,广东 广州 510640 华南理工大学 中新国际联合研究院,广东 广州 510555 华南理工大学 自主系统与网络控制教育部重点实验室,广东 广州 510640%华南理工大学 自动化科学与工程学院,广东 广州 510640%华南理工大学 自动化科学与工程学院,广东 广州 510640 |
| Publisher_xml | – name: 华南理工大学 自主系统与网络控制教育部重点实验室,广东 广州 510640%华南理工大学 自动化科学与工程学院,广东 广州 510640%华南理工大学 自动化科学与工程学院,广东 广州 510640 – name: 华南理工大学 广东省发展改革委工程中心,广东 广州 510031 – name: 华南理工大学 自动化科学与工程学院,广东 广州 510640 – name: 华南理工大学 珠海现代产业创新研究院,广东 珠海 519170 – name: 华南理工大学 中新国际联合研究院,广东 广州 510555 |
| SSID | ssib008679807 ssib036435713 ssib001129195 ssib051370482 ssib023167209 ssib006703757 ssib001166550 ssib000969305 ssj0000561675 ssib002039873 ssib008143609 ssib002263912 ssib020475101 |
| Score | 2.4231734 |
| Snippet | TP391.4; 近年来,注意力机制在图像分类、目标检测和语义分割等领域取得了巨大成功,但现有的注意力机制大多只能在通道或空间维度上实现特征融合,这极大限制了其在通道和空间... |
| SourceID | wanfang |
| SourceType | Aggregation Database |
| StartPage | 62 |
| Title | 基于特征相似性和特征规范化的注意力模块 |
| URI | https://d.wanfangdata.com.cn/periodical/hnlgdxxb202407007 |
| Volume | 52 |
| hasFullText | 1 |
| inHoldings | 1 |
| isFullTextHit | |
| isPrint | |
| journalDatabaseRights | – providerCode: PRVEBS databaseName: Inspec with Full Text issn: 1000-565X databaseCode: ADMLS dateStart: 20190601 customDbUrl: isFulltext: true dateEnd: 99991231 titleUrlDefault: https://www.ebsco.com/products/research-databases/inspec-full-text omitProxy: false ssIdentifier: ssib001166550 providerName: EBSCOhost |
| link | http://utb.summon.serialssolutions.com/2.0.0/link/0/eLvHCXMwnR1Na9VAMNT24kWsH_hNEReU8mqSTfbjuHkvoYj1Ygu9leQlaQ_yBF8LpSfFXpSi4EHBIuKpvXvRUvw1fa_9DZ6cmeS9t9gKtfAIk8ns7MxsNjO7b3fWce6FWagyNywaMg9zGKCkqpH5nDcEh77ULouyTadEzD0RswvBo8Vwcezcb2vV0tpqNtPeOHFfyVlaFXDQrrhL9j9adsgUEABD-8IVWhiup2pjFodMJywyLA7wqmIWS6Y0izQ-imKIExGjIxYpomniLxa4vsFIKu4z1TyplEICFSAABIrjIwC0IIaGHgkWcWYUMYSYNCEag9UBBvDGoyparFocOwiCiaxF0hKgJfF0mRIkgGQmRMAEtZCmxYywAIG1IE2C6ihFQkIpQ4qAmiQklNWeVYp0ROKq1HAGBPmhjE0SFgyT1OY0sU0SeXUFoB5UjxiXaW9EAk8CxKEwHsIop2JRYs-s-MFwFW7VF85mjGlSJ2HGJUGIDjExCQBiRMzwgRqSAIWthnWouoE0aYCGcklaADSZTjOtmfGh95EEgEwGHJonVDwd4mjctdwb5hGAEH7R9n-hb_VzaTmz2k1WYVF1UM4xh-t7QeVxkf_MkD_uL-DVJuO_0pmvdJ4t5-vrGRoc3A0mgpjwwSO7486Eac09fmoPrrXtjXBk4Gn7XojQ-k_ed7lW0g5OIfq2gnch8bznUbCtYKggrOR1mHpSjSZDfDeQ6LCG95gzwh_Rc4jlQzkKhkOPS3eQKao6WUBAiZCWW9RmqZcSotEe_sNktHmwU6adZSvOnb_oXKgHqFOm-tpMOmMbK5ecyToE6E7dr_PUP7js6N7XvYO9d4dvfvZ-vTrc_nGwv99_udP7sFVhjnY2j7Ze97Y-Hn7e7H_f7W--773d7u9-6335dMVZSOL55myjPoml0aVULjSN4rtlmfIs1corciEykaV51oYAOFVtwcEZKLetM53qIJCZhuAgV2UqS6lSl191xjvPO8U1Z0qUOsy0X8CgXgbCy9MCfEWgAsW5X8q0uO7crfVfqr-03aVj78yN0xDddM6PevUtZ3z1xVpxG0YQq9md-lX7Ay1ny84 |
| linkProvider | EBSCOhost |
| openUrl | ctx_ver=Z39.88-2004&ctx_enc=info%3Aofi%2Fenc%3AUTF-8&rfr_id=info%3Asid%2Fsummon.serialssolutions.com&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Ajournal&rft.genre=article&rft.atitle=%E5%9F%BA%E4%BA%8E%E7%89%B9%E5%BE%81%E7%9B%B8%E4%BC%BC%E6%80%A7%E5%92%8C%E7%89%B9%E5%BE%81%E8%A7%84%E8%8C%83%E5%8C%96%E7%9A%84%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%A8%A1%E5%9D%97&rft.jtitle=%E5%8D%8E%E5%8D%97%E7%90%86%E5%B7%A5%E5%A4%A7%E5%AD%A6%E5%AD%A6%E6%8A%A5%EF%BC%88%E8%87%AA%E7%84%B6%E7%A7%91%E5%AD%A6%E7%89%88%EF%BC%89&rft.au=%E6%9D%9C%E5%90%AF%E4%BA%AE&rft.au=%E6%B1%AA%E7%9B%8A%E6%B0%91&rft.au=%E7%94%B0%E8%81%94%E6%88%BF&rft.date=2024-07-01&rft.pub=%E5%8D%8E%E5%8D%97%E7%90%86%E5%B7%A5%E5%A4%A7%E5%AD%A6+%E7%8F%A0%E6%B5%B7%E7%8E%B0%E4%BB%A3%E4%BA%A7%E4%B8%9A%E5%88%9B%E6%96%B0%E7%A0%94%E7%A9%B6%E9%99%A2%2C%E5%B9%BF%E4%B8%9C+%E7%8F%A0%E6%B5%B7+519170&rft.issn=1000-565X&rft.volume=52&rft.issue=7&rft.spage=62&rft.epage=71&rft_id=info:doi/10.12141%2Fj.issn.1000-565X.230313&rft.externalDocID=hnlgdxxb202407007 |
| thumbnail_s | http://utb.summon.serialssolutions.com/2.0.0/image/custom?url=http%3A%2F%2Fwww.wanfangdata.com.cn%2Fimages%2FPeriodicalImages%2Fhnlgdxxb%2Fhnlgdxxb.jpg |