多模态特征增强的双层融合知识推理方法

TP391; 现有的多模态知识推理方法大多采用拼接或注意力的方式,将预训练模型提取到的多模态特征直接进行融合,往往忽略了不同模态之间的异构性和交互的复杂性.为此,提出了一种多模态特征增强的双层融合知识推理方法.结构信息嵌入模块采用自适应图注意力机制筛选并聚合关键的邻居信息,用来增强实体和关系嵌入的语义表达;多模态嵌入信息模块使用不同的注意力机制关注不同模态数据的独有特征,以及多模态数据间的共性特征,利用共性特征的互补信息进行模态交互,以减少模态间异构性差异;多模态特征融合模块采用将低秩多模态特征融合和决策融合相结合的双层融合策略,实现了多模态数据在模态间和模态内的动态复杂交互,并综合考虑每种模...

Full description

Saved in:
Bibliographic Details
Published in计算机科学与探索 Vol. 19; no. 2; pp. 406 - 416
Main Authors 荆博祥, 王海荣, 王彤, 杨振业
Format Journal Article
LanguageChinese
Published 北方民族大学 图像图形智能处理国家民委重点实验室,银川 750021 01.02.2025
北方民族大学 计算机科学与工程学院,银川 750021%北方民族大学 计算机科学与工程学院,银川 750021
Subjects
多模态特征融合
multi-modal feature fusion
知识推理
link prediction
multi-modal knowledge graph
knowledge reasoning
多模态知识图谱
链接预测
Online AccessGet full text
ISSN1673-9418
DOI10.3778/j.issn.1673-9418.2312065

Cover

More Information
Summary:TP391; 现有的多模态知识推理方法大多采用拼接或注意力的方式,将预训练模型提取到的多模态特征直接进行融合,往往忽略了不同模态之间的异构性和交互的复杂性.为此,提出了一种多模态特征增强的双层融合知识推理方法.结构信息嵌入模块采用自适应图注意力机制筛选并聚合关键的邻居信息,用来增强实体和关系嵌入的语义表达;多模态嵌入信息模块使用不同的注意力机制关注不同模态数据的独有特征,以及多模态数据间的共性特征,利用共性特征的互补信息进行模态交互,以减少模态间异构性差异;多模态特征融合模块采用将低秩多模态特征融合和决策融合相结合的双层融合策略,实现了多模态数据在模态间和模态内的动态复杂交互,并综合考虑每种模态在推理中的贡献度,得到更全面的预测结果.为了验证方法的有效性,分别在FB15K-237、DB15K和YAGO15K数据集上进行了实验.结果表明:该方法相比多模态推理方法,在FB15K-237数据集上MRR和Hits@1分别平均提升3.6%和2.2%;相比单模态推理方法,MRR和Hits@1分别平均提升13.7%和14.6%.
ISSN:1673-9418
DOI:10.3778/j.issn.1673-9418.2312065