首页|融合序列语法知识的卷积-自注意力生成式摘要方法

融合序列语法知识的卷积-自注意力生成式摘要方法

扫码查看
原文链接
  • NETL
  • NSTL
  • 万方数据
  • 维普
针对基于编码-解码的生成式摘要模型不能充分提取语法知识导致摘要出现不符合语法规则的问题,循环神经网络易遗忘历史信息且训练时无法并行计算导致处理长文本时生成的摘要主旨不显著以及编码速度慢的问题,提出了一种融合序列语法知识的卷积-自注意力生成式摘要方法.该方法对文本构建短语结构树,将语法知识序列化并嵌入到编码器中,使编码时能充分利用语法信息;使用卷积-自注意力模型替换循环神经网络进行编码,更好学习文本的全局和局部信息.在CNN/Daily Mail语料上进行实验,结果表明提出的方法优于当前先进方法,生成的摘要更符合语法规则、主旨更显著且模型的编码速度更快.
A Convolution-Self Attention Abstractive Summarization Method Fusing Sequential Grammar Knowledge

罗森林、王睿怡、吴倩、潘丽敏、吴舟婷

展开 >

北京理工大学信息与电子学院,北京100081

国家计算机网络应急技术处理协调中心,北京100094

生成式摘要 编码-解码模型 语法分析 卷积-自注意力模型 注意力机制

国家"十二五"科技支撑计划项目北京理工大学基础研究基金国家"二四二"信息安全计划项目

2012BAI10B01201605420132017A149

2021

10.15918/j.tbit 1001-0645.2019.188

北京理工大学学报
北京理工大学

北京理工大学学报

CSTPCDCSCD北大核心
影响因子：0.609
ISSN：1001-0645
年,卷(期)：2021.41(1)
  • 1
  • 2