基于新词发现和并行计算的中文分词改进算法

王振 ¹杨国锋 ¹陈天池¹

扫码查看

作者信息

1. 中国电信安徽分公司数据运营与业务管理中心
折叠

摘要

新词发现是自然语言处理中的一项重要研究工作,本文先对corpus进行最小粒度分词,采用N-gram思想将最小粒度分词结果重组,最后给出基于边界自由度和内部凝固度结合停用词库的新词发现方法,并在大规模语料库上进行实验,验证本文新词发现算法的可行性,同时结合并行计算方法,大大缩短实验时间,提高了整个系统的效率和性能.

关键词

中文分词/新词发现/并行计算/N-gram

引用本文复制引用

出版年

2019

中国新通信

电子工业出版社

中国新通信

影响因子：0.283

ISSN：1673-4866

参考文献量4

段落导航