基于多尺度视觉Transformer的图像篡改定位

TP391; 随着数字图像处理技术的不断发展,图像篡改不再局限于图像拼接等单一手段,而是通过图像编辑软件后处理隐藏恶意篡改痕迹,导致现有传统算法和基于深度学习的定位方法效果不佳.针对现有图像篡改算法定位精度不高的问题,文中提出了一种端到端基于多尺度视觉Transformer的图像篡改定位网络,该网络通过融合Transformer和卷积编码器来提取篡改区域与非篡改区域的特征差异,而多尺度视觉Transformer对不同尺寸图像块序列的空间信息进行建模,使得网络能适应各种形状大小的篡改区域.实验结果表明:所提出的算法在CASIA和NIST2016测试集上的F1分数分别为0.431和0.877,AU...

Full description

Saved in:
Bibliographic Details
Published in华南理工大学学报（自然科学版） Vol. 50; no. 6; pp. 10 - 18
Main Authors 陆璐, 钟文煜, 吴小坤
Format Journal Article
LanguageChinese
Published 华南理工大学 计算机科学与工程学院, 广东 广州510640 01.06.2022
Subjects
纵横注意力
视觉Transformer
图像篡改
深度学习
Online AccessGet full text
ISSN1000-565X
DOI10.12141/j.issn.1000-565X.210603

Cover

More Information
Summary:TP391; 随着数字图像处理技术的不断发展,图像篡改不再局限于图像拼接等单一手段,而是通过图像编辑软件后处理隐藏恶意篡改痕迹,导致现有传统算法和基于深度学习的定位方法效果不佳.针对现有图像篡改算法定位精度不高的问题,文中提出了一种端到端基于多尺度视觉Transformer的图像篡改定位网络,该网络通过融合Transformer和卷积编码器来提取篡改区域与非篡改区域的特征差异,而多尺度视觉Transformer对不同尺寸图像块序列的空间信息进行建模,使得网络能适应各种形状大小的篡改区域.实验结果表明:所提出的算法在CASIA和NIST2016测试集上的F1分数分别为0.431和0.877,AUC值分别为0.728和0.971,相比当前的主流算法具有较为明显的性能提升;所提算法对JPEG压缩攻击具有较强的鲁棒性.
ISSN:1000-565X
DOI:10.12141/j.issn.1000-565X.210603