基于持续学习的中医舌色苔色协同分类方法

• Published in: 北京工业大学学报 Vol. 50; no. 9; pp. 1077 - 1088
• Main Authors: 卓力, 李艳萍, 孙亮亮, 张辉, 李晓光, 张菁, 杨洋, 魏玮
• Format: Journal Article
• Language: Chinese
• Published: 北京工业大学信息学部,北京 100124 01.09.2024; 北京工业大学计算智能与智能系统北京市重点实验室,北京 100124%中国中医科学院望京医院功能性胃肠病中医诊治北京市重点实验室,北京 100102
• Subjects: deep learning; classification of tongue color and coating color in traditional Chinese medicine(TCM); 中医舌色苔色分类; 机器视觉; continual learning; collaborative classification; 协同分类; 深度学习; global local hybrid attention mechanism; 全局-局部混合注意力机制; 持续学习; machine vision
• ISSN: 0254-0037
• DOI: 10.11936/bjutxb2022090027

TN911.73%TP391; 中医(traditional Chinese medicine,TCM)舌诊客观化研究中需要分析的舌象特征很多,不同的舌象特征往往采用单独的方法进行分析,导致分析系统的整体实现复杂度大幅增加.为此,基于持续学习的思想,提出一种中医舌色苔色协同分类方法,该方法将舌色分类作为旧任务,将苔色分类作为新任务,充分利用2 个任务的相似性和相关性,仅通过一个网络结构就同时实现舌色和苔色的准确分类.首先,设计一种基于全局-局部混合注意力机制(global local hybrid attention,GLHA)的双分支网络结构,将网络高层语义特征与低层特征相融合,提升特征的表达能力;然后,提出基于正则化和回放相结合的持续学习策略,使得该网络在学习新任务知识的同时有效防止对旧任务知识的遗忘.在2 个自建的中医舌象特征分析数据集上的实验结果表明,提出的协同分类方法可以获得与单个任务相当的分类性能,同时可以将2 个分类任务的整体复杂度降低一半左右.其中,舌色分类准确率分别达到93.92%和92.97%,精确率分别达到93.69%和92.87%,召回率分别达到 93.96%和 93.16%;苔色分类准确率分别达到90.17%和90.26%,精确率分别达到90.05%和90.17%,召回率分别达到90.24%和90.29%.