多尺度视觉语义增强的多模态命名实体识别方法

为解决多模态命名实体识别(Multimodal named entity recognition,MNER)方法研究中存在的图像特征语义缺失和多模态表示语义约束较弱等问题,提出多尺度视觉语义增强的多模态命名实体识别方法(Multi-scale visual semant-ic enhancement for multimodal named entity recognition method,MSVSE).该方法提取多种视觉特征用于补全图像语义,挖掘文本特征与多种视觉特征间的语义交互关系,生成多尺度视觉语义特征并进行融合,得到多尺度视觉语义增强的多模态文本表示;使用视觉实体分类器对多尺度视觉语...

Full description

Saved in:
Bibliographic Details
Published in自动化学报 Vol. 50; no. 6; pp. 1234 - 1245
Main Authors 王海荣, 徐玺, 王彤, 陈芳萍
Format Journal Article
LanguageChinese
Published 北方民族大学计算机科学与工程学院 银川 750021 01.06.2024
北方民族大学图像图形智能处理国家民委重点实验室 银川 750021%北方民族大学计算机科学与工程学院 银川 750021
Subjects
多模态命名实体识别
multi-task learning
multimodal fusion
Transformer
Multimodal named entity recognition(MNER)
多模态融合
多任务学习
Online AccessGet full text
ISSN0254-4156
DOI10.16383/j.aas.c230573

Cover

More Information
Summary:为解决多模态命名实体识别(Multimodal named entity recognition,MNER)方法研究中存在的图像特征语义缺失和多模态表示语义约束较弱等问题,提出多尺度视觉语义增强的多模态命名实体识别方法(Multi-scale visual semant-ic enhancement for multimodal named entity recognition method,MSVSE).该方法提取多种视觉特征用于补全图像语义,挖掘文本特征与多种视觉特征间的语义交互关系,生成多尺度视觉语义特征并进行融合,得到多尺度视觉语义增强的多模态文本表示;使用视觉实体分类器对多尺度视觉语义特征解码,实现视觉特征的语义一致性约束;调用多任务标签解码器挖掘多模态文本表示和文本特征的细粒度语义,通过联合解码解决语义偏差问题,从而进一步提高命名实体识别准确度.为验证该方法的有效性,在Twitter-2015和Twitter-2017数据集上进行实验,并与其他10种方法进行对比,该方法的平均F1值得到提升.
ISSN:0254-4156
DOI:10.16383/j.aas.c230573