基于CNN和LSTM的多通道注意力机制文本分类模型

TP391; 针对传统的卷积神经网络(Convolutional Neural Network,CNN)和长短时记忆网络(Long Short-TermMemory,LSTM)在提取特征时无法体现每个词语在文本中重要程度的问题,提出一种基于CNN和LSTM的多通道注意力机制文本分类模型.使用CNN和LSTM提取文本局部信息和上下文特征;用多通道注意力机制(Attention)提取CNN和LSTM输出信息的注意力分值;将多通道注意力机制的输出信息进行融合,实现了有效提取文本特征的基础上将注意力集中在重要的词语上.在三个公开数据集上的实验结果表明,提出的模型相较于CNN、LSTM及其改进模型效果更...

Full description

Saved in:
Bibliographic Details
Published in计算机工程与应用 Vol. 57; no. 23; pp. 154 - 162
Main Authors 滕金保, 孔韦韦, 田乔鑫, 王照乾, 李龙
Format Journal Article
LanguageChinese
Published 西安邮电大学,西安 710121 01.12.2024
陕西省网络数据分析与智能处理重点实验室,西安 710121%桂林电子科技大学,广西 桂林 541004
广西可信软件重点实验室,广西 桂林 541004
Subjects
文本分类;卷积神经网络(CNN);长短时记忆网络(LSTM);多通道注意力;特征融合
Online AccessGet full text
ISSN1002-8331
DOI10.3778/j.issn.1002-8331.2104-0212

Cover

More Information
Summary:TP391; 针对传统的卷积神经网络(Convolutional Neural Network,CNN)和长短时记忆网络(Long Short-TermMemory,LSTM)在提取特征时无法体现每个词语在文本中重要程度的问题,提出一种基于CNN和LSTM的多通道注意力机制文本分类模型.使用CNN和LSTM提取文本局部信息和上下文特征;用多通道注意力机制(Attention)提取CNN和LSTM输出信息的注意力分值;将多通道注意力机制的输出信息进行融合,实现了有效提取文本特征的基础上将注意力集中在重要的词语上.在三个公开数据集上的实验结果表明,提出的模型相较于CNN、LSTM及其改进模型效果更好,可以有效提高文本分类的效果.
ISSN:1002-8331
DOI:10.3778/j.issn.1002-8331.2104-0212