基于多模态交叉互动的情感识别算法

• Published in: 电子科技 Vol. 37; no. 10; pp. 81 - 87
• Main Authors: 张慧, 李菲菲
• Format: Journal Article
• Language: Chinese
• Published: 上海理工大学 光电信息与计算机工程学院,上海200093 2024
• Subjects: 多模态; 注意力机制; 交互映射; bidirectional encoder representation from transformers; 特征融合; 情感识别; 变压器的双向编码器表示; attention mechanism; transformer; interactive mapping; multimodal; emotion recognition; 情感分析; 变压器; feature fusion; emotion analysis
• ISSN: 1007-7820
• DOI: 10.16180/j.cnki.issn1007-7820.2024.10.011

TP391.41; 由于单模态情感识别的局限性,研究者已将其研究重点转移到多模态情感识别领域.多模态情感识别围绕最优提取每个模态的特征以及有效融合所提取出的特征这两方面问题进行研究.文中提出了一种基于多模态交叉互动的情感识别方法,以捕获模态表达的多样性.各种模态的编辑器分别提取具有情感信息的特征,模态间注意力机制堆叠的交互模块建模视觉-文本-音频之间的潜在关系.在基于文本、语音和图像的CMU-MOSI和CMU-MOSEI情感识别数据集上进行实验,结果显示在Acc2(Accuracy2)、Acc7(Accuracy7)、F1、MAE(Mean Absolute Error)和Corr(Correla-tion)这5个指标上文中方法分别取得了86.5％、47.7％、86.4％、0.718、0.776和83.4％、51.5％、83.4％、0.566、0.737的成绩,证明该方法性能具有显著提升,同时也验证了模态间交叉映射互相表示机制比各单模态表示方法具有更好的性能.