多尺寸注意力的命名实体识别方法

TP18; 命名实体识别(NER)任务的准确性将促进自然语言领域中诸多下游任务的研究.由于文本中存在大量嵌套语义,导致命名实体识别困难,成为自然语言处理中的难点.以往研究提取特征尺度单一,边界信息利用不够充分,忽略了不同尺度下的许多细节信息,从而造成实体识别错误或遗漏的情况.针对上述问题,提出一种多尺度注意力的命名实体识别方法(MSA-NER).首先,利用BERT模型得到包含上下文信息的表示向量,并通过BiLSTM网络加强文本的上下文表示.其次,将表示向量进行枚举拼接形成跨度信息矩阵,并融合方向信息获得更丰富的交互信息.然后,利用多头注意力构建多个子空间,通过二维卷积在每个子空间下可选地聚合不...

Full description

Saved in:
Bibliographic Details
Published in计算机科学与探索 Vol. 18; no. 2; pp. 506 - 515
Main Authors 唐瑞雪, 秦永彬, 陈艳平
Format Journal Article
LanguageChinese
Published 贵州财经大学 信息学院,贵阳 550025 01.02.2024
贵州大学 计算机科学与技术学院,贵阳 550025
公共大数据国家重点实验室,贵阳 550025%贵州大学 计算机科学与技术学院,贵阳 550025
公共大数据国家重点实验室,贵阳 550025
Subjects
多尺度注意力
subspace
卷积神经网络
convolutional neural network
named entity recognition(NER)
nested semantics
multi-scale attention
子空间
命名实体识别(NER)
嵌套语义
Online AccessGet full text
ISSN1673-9418
DOI10.3778/j.issn.1673-9418.2210078

Cover

More Information
Summary:TP18; 命名实体识别(NER)任务的准确性将促进自然语言领域中诸多下游任务的研究.由于文本中存在大量嵌套语义,导致命名实体识别困难,成为自然语言处理中的难点.以往研究提取特征尺度单一,边界信息利用不够充分,忽略了不同尺度下的许多细节信息,从而造成实体识别错误或遗漏的情况.针对上述问题,提出一种多尺度注意力的命名实体识别方法(MSA-NER).首先,利用BERT模型得到包含上下文信息的表示向量,并通过BiLSTM网络加强文本的上下文表示.其次,将表示向量进行枚举拼接形成跨度信息矩阵,并融合方向信息获得更丰富的交互信息.然后,利用多头注意力构建多个子空间,通过二维卷积在每个子空间下可选地聚合不同尺度的文本信息,在每个注意力层同时进行多尺度的特征融合.最后,将融合的矩阵进行跨度分类以识别命名实体.实验表明,该方法在GENIA和ACE2005英文数据集上F1分别达到81.7%和86.8%,与现有主流模型相比有更好的识别效果.
ISSN:1673-9418
DOI:10.3778/j.issn.1673-9418.2210078