基于图学习的缺失脑网络生成及多模态融合诊断方法

• Published in: 数据采集与处理 Vol. 39; no. 4; pp. 843 - 862
• Main Authors: 龚荣芳, 黄麟雅, 朱旗, 李胜荣
• Format: Journal Article
• Language: Chinese
• Published: 南京航空航天大学数学学院,南京 211106 01.07.2024; 飞行器数学建模与高性能计算工信部重点实验室,南京 211106%南京航空航天大学数学学院,南京 211106%南京航空航天大学人工智能学院,南京 211106; 脑机智能技术教育部重点实验室,南京 211106%南京航空航天大学人工智能学院,南京 211106
• Subjects: generative adversarial networks; 模态缺失; 生成对抗网络; 癫痫诊断; 模态补全; modality completion; epilepsy diagnosis; 脑网络; 图学习; graph learning; brain network; missing modality
• ISSN: 1004-9037
• DOI: 10.16337/j.1004-9037.2024.04.006

TP391; 融合大脑结构和功能网络的多模态脑网络能够挖掘不同模态间的互补信息,有效提高癫痫等神经系统疾病的诊断准确率,在神经疾病诊断上具有优势.然而,由于多模态数据采集时间长、成本高,在实际应用中常面临模态缺失问题,导致可用数据量减少,模型的诊断精度和泛化能力下降.针对某一模态数据完全缺失问题,提出了基于图学习与循环一致生成对抗网络(Cycle-consistent generative adversarial networks,CycleGAN)的图CycleGAN方法.该方法通过引入图卷积神经网络与图注意力机制等图学习方法捕捉脑网络不同脑区间的特征信息,强化生成框架对图形式脑网络的特征提取能力,实现脑结构网络与功能网络的相互生成.此外,针对目前较少利用诊断结果评估生成数据质量的情况,提出了一种融合真实脑网络与生成脑网络的多模态融合分类模型,以进一步评估生成脑网络的有效性.在癫痫数据集上的实验结果表明,图CycleGAN方法能够有效利用已有的模态信息,实现缺失脑网络的生成.