首页|基于伪标注样本融合的领域分词方法

基于伪标注样本融合的领域分词方法

扫码查看
原文链接
  • NETL
  • NSTL
  • 万方数据
  • 维普
目前常用的神经网络分词模型,均需要大量的标注语料才可得到较好的泛化效果,但在面对领域标注语料稀缺的场景时,不能很好的适应.为解决这一问题,该文提出了一种基于伪标注样本融合的领域分词方法.该方法从领域专业辞典、电商及百科网站等数据源收集相关词汇组成领域词典,并从中随机抽取词汇生成伪标注样本.将伪标注样本与通用语料融合为训练样本,即将领域词典信息融合至模型训练当中.网络模型方面,该方法选用双向门限循环神经网络(Bidirectional Gate Recurrent Unit,BiGRU)作为主网络层,联合一维卷积(One-dimensional convolutional neural network,ConvlD)获取更多局部上下文信息,最终由条件随机场(Conditional random field,CRF)解码输出.通过实验证明,该文的方法可以有效提高模型的领域分词性能,与未使用伪样本的模型相比可提升F1值约6.67％.
Domain Word Segmentation Method Based on Pseudo-labeled Sample Fusion

胡潇涛、吴浩、杨亮、顾小平、宋弘

展开 >

四川轻化工大学自动化与信息工程学院,四川宜宾644000

人工智能四川省重点实验室,四川宜宾644000

领域词典 伪标注 样本融合 领域分词

人工智能四川省重点实验室项目四川理工学院四川省院士(专家)工作站项目四川理工学院人才引进项目企业信息化与物联网测控技术四川省高校重点实验室项目

2019RYY012018YSGZZ042017RCL532019WZY02

2021

10.11863/j.suse.2021.01.08

四川轻化工大学学报(自然科学版)

四川轻化工大学学报(自然科学版)

ISSN：
年,卷(期)：2021.34(1)
  • 19