基于生成对抗网络和视觉-语义对齐的零样本害虫识别方法

• Published in: 智慧农业（中英文） Vol. 6; no. 2; pp. 72 - 84
• Main Authors: 李天俊, 杨信廷, 陈晓, 胡焕, 周子洁, 李文勇
• Format: Journal Article
• Language: Chinese
• Published: 中国农业科学院农业信息研究所 30.03.2024; 北京市农林科学院信息技术研究中心,北京 100097,中国%北京市农林科学院信息技术研究中心,北京 100097,中国%北京市农林科学院信息技术研究中心,北京 100097,中国; 吉林农业大学 信息技术学院,吉林长春 130118,中国; 上海海洋大学 信息学院,上海 201306,中国
• Subjects: 图像特征; 生成对抗网络; 广义零样本学习; 对比学习; 害虫识别; 语义知识; semantic knowledge; generative adversarial networks; contrastive learning; visual features; generalized zero-shot learning; pest recognition
• ISSN: 2096-8094
• DOI: 10.12133/j.smartag.SA202312014

[目的/意义]害虫的精准识别对农作物虫害有效防治具有重大意义。然而，当前的害虫图像识别模型都是针对闭集数据构建的模型，难以对训练集中没有出现过的害虫种类（不可见害虫）进行推理，导致在实际应用过程中遇见不可见类别昆虫时误判现象尤为严重。[方法]针对这一问题，提出了一种适用零样本学习（ZeroShot Learning, ZSL）和广义零样本学习（Generalized Zero-Shot Learning, GZSL）范式的害虫图像识别方法 VSAWGAN，可以实现对可见（训练集中包含的类别）与不可见害虫种类的辨识。该方法基于生成对抗网络（Generative Adversarial Network, GAN）生成伪视觉特征，将零样本害虫识别问题转化为传统监督学习任务，且通过引入对比学习来优化生成器的生成质量，添加视觉-语义对齐模块进一步约束生成器，使其能生成更具判别性的特征。[结果与讨论]在自建的一个适用于零样本学习研究的害虫数据集和几个公开数据集对提出方法进行了评估。其中，在多个公开数据上取得了目前最优结果，相比之前方法最大提升达到2.8%；在自建20类害虫数据集上取得了零样本设置下77.4%的识别精度和广义零样本设置下78.3%的调和精度，相比之前方法分别提升了2.1%和1.2%。[结论]所提方法能有效地将害虫的视觉特征泛化到不可见类，实现害虫的零样本识别，有助于提升害虫识别模型的泛化能力，为农作物新虫害的发现与防治提供帮助。