基于编码器共享和门控网络的生成式文本摘要方法

结合基于自注意力机制的Transformer模型,提出一种基于编码器共享和门控网络的文本摘要方法.该方法将编码器作为解码器的一部分,使解码器的部分模块共享编码器的参数,同时使用门控网络筛选输入序列中的关键信息.相对已有方法,所提方法提升了文本摘要任务的训练和推理速度,同时提升了生成摘要的准确性和流畅性.在英文数据集Gigaword和DUC2004上的实验表明,所提方法在时间效率和生成摘要质量上,明显优于已有模型....

Full description

Saved in:
Bibliographic Details
Published in北京大学学报（自然科学版） Vol. 56; no. 1; pp. 61 - 67
Main Authors 田珂珂, 周瑞莹, 董浩业, 印鉴
Format Journal Article
LanguageChinese
Published 广东省大数据分析与处理重点实验室,广州510006 20.01.2020
中山大学数据科学与计算机学院,广州510006
Subjects
门控网络
文本摘要
自注意力机制
生成式
编码器共享
Online AccessGet full text
ISSN0479-8023
DOI10.13209/j.0479-8023.2019.100

Cover

More Information
Summary:结合基于自注意力机制的Transformer模型,提出一种基于编码器共享和门控网络的文本摘要方法.该方法将编码器作为解码器的一部分,使解码器的部分模块共享编码器的参数,同时使用门控网络筛选输入序列中的关键信息.相对已有方法,所提方法提升了文本摘要任务的训练和推理速度,同时提升了生成摘要的准确性和流畅性.在英文数据集Gigaword和DUC2004上的实验表明,所提方法在时间效率和生成摘要质量上,明显优于已有模型.
ISSN:0479-8023
DOI:10.13209/j.0479-8023.2019.100