融合Transformer与原型自监督的苹果叶部病害识别

• Published in: 农业工程学报 Vol. 40; no. 23; pp. 208 - 216
• Main Authors: 李大湘, 张雯凯, 刘颖
• Format: Journal Article
• Language: Chinese
• Published: 西安市公共安全图像处理技术及应用重点实验室西安 710121%西安邮电大学通信与信息工程学院,西安 710121 01.12.2024; 西安邮电大学通信与信息工程学院,西安 710121
• Subjects: 病害; 自监督学习; apple; 苹果; 计算机视觉; computer vision; Transformer编码器; diseases; self-supervised learning; transformer encoder
• ISSN: 1002-6819
• DOI: 10.11975/j.issn.1002-6819.202405187

TP391.4%S431.9; 为了缓解苹果叶部病害(apple leaf diseases,ALD)识别存在"类内差异大、类间差异小"的问题,该研究设计了一种融合 Transformer 与原型自监督(fusion transformer and prototype self-supervised,FTPSS)的模型,以进一步提高ALD识别精度.首先,利用Resnet50作为骨干网络,以提取ALD图像的多级特征图谱;然后,构造了一个简化自注意力(simplified self-attention,SSA)机制,且将其与空间注意力引导可变形卷积(spatial attention guided deformable convolution,SAG-DC)相结合,设计了一种简化自注意力可变卷积 Transformer(simplified self-attention and deformable convolution transformer,SSADC-TF)编码器,用于对主干网络提取的多级特征图谱进行交互融合,以增强模型对ALD图像中不规则病变区域的感知能力;最后,构造了一个原型自监督(prototype self-supervised,PSS)学习模块,即通过构造"正交"与"聚集"二个自监督损失函数用于约束模型的训练,以缓解ALD图像识别中存在的语义鸿沟问题.基于标准图像集与真实图像集的对比试验结果表明,ALD图像经SSADC-TF逐层特征融合与PSS学习之后,FTPSS模型识别精度分别达到98.61％与98.73％,较基线模型分别提高5.15与4.49个百分点,能够满足智慧农业ALD识别的应用需求.