基于BERT的双特征融合注意力的方面情感分析模型

TP391; 方面情感分析旨在预测句子或文档中一个特定方面的情感极性,现阶段大部分的研究都是使用注意力机制对上下文进行建模.然而,目前情感分类模型在使用BERT模型计算表征之间的依赖关系抽取特征时,大多未根据不同的语境背景考虑上下文信息,导致建模后的特征缺乏上下文的语境信息.同时,方面词的重要性未能得到充分的重视而影响模型整体分类的性能.针对上述问题,提出双特征融合注意力方面情感分析模型(DFLGA-BERT),分别设计了局部与全局的特征抽取模块,充分捕捉方面词和上下文的语义关联.并将一种改进的"准"注意力添加到DFLGA-BERT的全局特征抽取器中,使模型学习在注意力的融...

Full description

Saved in:
Bibliographic Details
Published in计算机科学与探索 Vol. 18; no. 1; pp. 205 - 216
Main Authors 李锦, 夏鸿斌, 刘渊
Format Journal Article
LanguageChinese
Published 江苏省媒体设计与软件技术重点实验室,江苏 无锡 214122 2024
江南大学 人工智能与计算机学院,江苏 无锡 214122%江南大学 人工智能与计算机学院,江苏 无锡 214122
Subjects
情感分析
natural language understanding
准注意力机制
自然语言理解
sentiment analysis
上下文注意
contextual attention
quasi-attention mechanism
Online AccessGet full text
ISSN1673-9418
DOI10.3778/j.issn.1673-9418.2210012

Cover

More Information
Summary:TP391; 方面情感分析旨在预测句子或文档中一个特定方面的情感极性,现阶段大部分的研究都是使用注意力机制对上下文进行建模.然而,目前情感分类模型在使用BERT模型计算表征之间的依赖关系抽取特征时,大多未根据不同的语境背景考虑上下文信息,导致建模后的特征缺乏上下文的语境信息.同时,方面词的重要性未能得到充分的重视而影响模型整体分类的性能.针对上述问题,提出双特征融合注意力方面情感分析模型(DFLGA-BERT),分别设计了局部与全局的特征抽取模块,充分捕捉方面词和上下文的语义关联.并将一种改进的"准"注意力添加到DFLGA-BERT的全局特征抽取器中,使模型学习在注意力的融合中使用减性注意力以削弱噪声产生的负面影响.基于条件层规泛化(CLN)设计了局部特征和全局特征的特征融合结构来更好地融合局部和全局特征.在SentiHood和SemEval 2014 Task 4数据集上进行了实验,实验结果表明,与基线模型相比该模型在融入了上下文语境特征后取得了较明显的性能提升.
ISSN:1673-9418
DOI:10.3778/j.issn.1673-9418.2210012