采用双模态联合表征学习方法识别作物病害

• Published in: 农业工程学报 Vol. 37; no. 11; pp. 180 - 188
• Main Authors: 王春山, 赵春江, 吴华瑞, 周冀, 李久熙, 朱华吉
• Format: Journal Article
• Language: Chinese
• Published: 河北省农业大数据重点实验室,保定 071001%河北农业大学信息科学与技术学院,保定 071001 2021; 国家农业信息化工程技术研究中心,北京 100097; 北京农业信息技术研究中心,北京 100097; 国家农业信息化工程技术研究中心,北京 100097%北京农业信息技术研究中心,北京 100097; 河北省农业大数据重点实验室,保定 071001%河北农业大学机电工程学院,保定 071001; 河北农业大学信息科学与技术学院,保定 071001
• Subjects: 病害; 少样本; 病害识别; 联合表征学习; 模型; 双模态; 开放环境
• ISSN: 1002-6819
• DOI: 10.11975/j.issn.1002-6819.2021.11.020

S511; 基于深度卷积神经网络的视觉识别方法在病害诊断中表现出色,逐渐成为了研究热点.但是,基于深度卷积神经网络建立的视觉识别模型通常只利用了图像模态的数据,导致模型的识别准确率和鲁棒性,都依赖训练数据集的规模和标注的质量.构建开放环境下大规模的病害数据集并完成高质量的标注,通常需要付出巨大的经济和技术代价,限制了基于深度卷积神经网络的视觉识别方法在实际应用中的推广.该研究提出了一种基于图像与文本双模态联合表征学习的开放环境下作物病害识别模型(bimodalNet).该模型在病害图像模态的基础上,进行了病害文本模态信息的嵌入,利用两种模态病害信息间的相关性和互补性,实现了病害特征的联合表征学习.最终bimodalNet在较小的数据集上取得了优于单纯的图像模态模型和文本模态模型的效果,最优模型组合在测试集的准确率、精确率、灵敏度、特异性和F1值分别为99.47％、98.51％、98.61％、99.68％和98.51％.该研究证明了利用病害图像和病害文本的双模态表征学习是解决开放环境下作物病害识别的有效方法.