面向图像复原和增强的轻量级交叉门控Transformer

TP391.4; 现有的图像复原和图像增强方法难以同时兼顾在多个子任务上的鲁棒性和维持较小的参数量与计算代价.针对这一问题,提出轻量级交叉门控转换算法(CGT).一方面,总结了传统全局自注意力机制捕获全局依赖关系的局限性,将全局自注意力机制改进为跨层次交叉门控自注意力机制.同时提出轻量化的前馈神经网络,从而以极小的计算代价学习到跨层次局部依赖关系,在局部邻域内重构清晰特征.另一方面,针对传统方法对编码器和解码器平等地进行加法或拼接的操作易导致信息干扰这一缺陷,提出长距离重置更新模块,分别对无用信息与清晰特征加以抑制和更新.在图像去噪、图像去雨和低亮度图像增强3个不同任务的9个公开数据集上,与最...

Full description

Saved in:
Bibliographic Details
Published in计算机科学与探索 Vol. 18; no. 3; pp. 718 - 730
Main Authors 薛金强, 吴秦
Format Journal Article
LanguageChinese
Published 江苏省模式识别与计算智能工程实验室,江苏 无锡 214122 01.03.2024
江南大学 人工智能与计算机学院,江苏 无锡 214122%江南大学 人工智能与计算机学院,江苏 无锡 214122
Subjects
deep learning
Transformer
特征融合
image enhancement
feature fusion
image restoration
图像复原
深度学习
图像增强
轻量化
lightweight
Online AccessGet full text
ISSN1673-9418
DOI10.3778/j.issn.1673-9418.2301050

Cover

More Information
Summary:TP391.4; 现有的图像复原和图像增强方法难以同时兼顾在多个子任务上的鲁棒性和维持较小的参数量与计算代价.针对这一问题,提出轻量级交叉门控转换算法(CGT).一方面,总结了传统全局自注意力机制捕获全局依赖关系的局限性,将全局自注意力机制改进为跨层次交叉门控自注意力机制.同时提出轻量化的前馈神经网络,从而以极小的计算代价学习到跨层次局部依赖关系,在局部邻域内重构清晰特征.另一方面,针对传统方法对编码器和解码器平等地进行加法或拼接的操作易导致信息干扰这一缺陷,提出长距离重置更新模块,分别对无用信息与清晰特征加以抑制和更新.在图像去噪、图像去雨和低亮度图像增强3个不同任务的9个公开数据集上,与最新的25个方法进行的对比实验结果表明,所提出的轻量级交叉门控转换模型以较少的参数量和计算代价,在图像复原和图像增强领域中均取得较高的峰值信噪比和结构相似度,重构出接近真实世界场景的清晰图像,达到了先进的图像复原性能.
ISSN:1673-9418
DOI:10.3778/j.issn.1673-9418.2301050