首页|结合BERT词嵌入与注意力机制的宋词自动生成

结合BERT词嵌入与注意力机制的宋词自动生成

扫码查看
原文链接
  • 国家科技期刊平台
  • NETL
  • NSTL
  • 万方数据
  • 维普
宋词以其独特多变的句式结构和意境高深的用句风格成为文本自动生成研究热点.为解决Word2vec词嵌入在宋词自动生成过程中的主题发散和相邻句子间弱相关性问题,提出一种结合BERT词嵌入与Attention机制+BiLSTM的Sequence-to-Sequence宋词自动生成模型构建方法.该方法使用BERT预训练语言模型实现词嵌入,用以增强宋词词句间语义表示,并在词的生成模型中引入主题约束和Attention机制,实现对生成宋词主题一致性约束.实验结果表明:较之Word2vec词嵌入的词生成模型,BERT词嵌入模型生成宋词的BLEU测评结果提高了9％,BERT-Score和余弦相关度提高了2％.
Automatic Generation of Song Ci Combining BERT Word Embedding and Attention Mechanism

胡智喻、杨婉霞、杨泰康、王巧珍、徐明杰

展开 >

甘肃农业大学机电工程学院,甘肃兰州730070

BERT词嵌入 Attention机制 宋词 自动生成

国家自然科学基金

61862002

2021

10.11907/rjdk.211060

软件导刊
湖北省信息学会

软件导刊

影响因子：0.524
ISSN：1672-7800
年,卷(期)：2021.20(11)
  • 1
  • 4