首页|一种新的基于最大概率路径的中文分词

一种新的基于最大概率路径的中文分词

扫码查看
原文链接
  • 国家科技期刊平台
  • NETL
  • NSTL
  • 万方数据
  • 维普
中文分词在自然语言处理中占据了十分重要的地位.为了提高中文分词的速度,论文提出了一种新的求解最大概率路径的方法.该方法主要分为两步:1)将词频总和的数值减小来解决下溢问题;2)避免使用复杂的计算方法,使用简单的除法操作来降低运行时间提高分词速度.最后,使用搜狗新闻数据集进行实验验证,新方法的中文分词速度相较于JIEBA的中文分词的速度显著提高,并且为了验证分词的性能,对准确率,召回率以及F1进行了计算,三个指标的值均可达到95％以上.
A New Chinese Word Segmentation Based on Maximum Probability Path

刘洋、余甜、丁艺

展开 >

西安邮电大学计算机学院 西安 710121

中文分词 最大概率路径 自然语言处理

2022

10.3969/j.issn.1672-9722.2022.03.026

计算机与数字工程
中国船舶重工集团公司第七0九研究所

计算机与数字工程

CSTPCD
影响因子：0.355
ISSN：1672-9722
年,卷(期)：2022.50(3)
  • 5
  • 6