基于叠层循环神经网络的语义关系分类模型

扫码查看

原文链接

中国科学院科技论文预发布平台

中文摘要：基于循环神经网络结合句法结构的方法被广泛运用于关系分类，利用神经网络对输入的编码信息自动获取特征并实现关系分类；然而，目前已有的方法主要是基于单一特定句法结构的模型，而特定句法结构的模型不能够迁移到其他句法结构类型上。针对该问题，提出一种融合多句法结构的叠层循环神经网络模型。该叠层循环神经网络分为两层进行网络构建，首先在序列层进行实体预训练，通过Bi-LSTM-CRF融合Attention机制，提高模型对文本序列上实体信息的关注度，从而获取更加准确的实体特征信息，促进关系层阶段更好地分类；其次在关系层，将Bi-Tree-LSTM嵌套在序列层之上，并将序列层的隐状态与实体特征信息传入关系层，利用共享参数对三种不同的句法结构进行加权学习，通过端到端的模型训练并实现语义关系分类。实验结果表明，该模型在SemEval-2010?Task8语料库上的marco-F1值达到了85.9%，并进一步地提升了模型的鲁棒性。

作者：

蔡瑞初、陈培辉、郝志峰、温雯、王丽娟

展开 >

学科分类：

自动化技术、计算机技术(计算技术、计算机技术)

关键词：

叠层循环神经网络多句法结构 Bi-Tree-LSTM 注意力机制关系分类

DOI：

10.12074/201811.00149V1

首发时间：2018-11-29