摘要
汉语分词技术和文本聚类是自然语言处理的重要环节,在文本信息的组织、摘要和导航中应用广泛.文本聚类作为一种无监督学习算法,其依据是聚类假设:同类的文档相似程度大,不同类的文档相似程度小.文中主要研究汉语文本聚类算法在新闻标题类文本中的应用.首先对采集到的若干条新闻标题进行分词和特征提取,将分词后的文本转化为词条矩阵;然后使用TF-IDF技术处理词条矩阵,得到基于分词权重的新的词条矩阵,对新的词条矩阵进行奇异值分解,得到主成分得分矩阵,提取主成分分析文本特征并根据主成分得分矩阵进行K-均值和分层聚类分析;最后将聚类结果用词云图的形式展示出来并评价聚类效果的好坏.实证显示,对词条矩阵的奇异值分解能降低向量空间的维数,提高聚类的精度和运算速度.
基金项目
上海市大学生创新训练项目(201810273116)
国家科技期刊平台
NSTL
维普
万方数据