基于BERT的术语使用规范度自动检测研究

扫码查看

原文链接

NETL
NSTL
万方数据

中文摘要：术语使用规范度人工检测方法存在领域知识障碍,其效率和准确率低.利用BERT(bidirectional encoder representation from transformers)模型捕捉文本语义和结构特征,将自然语言表述的文字组合映射到高维向量空间,可使用向量间的相似性衡量文字组合间的相似性.通过与原始术语向量在一定阈值下的相似性比对,实现了实时变化的文本流中术语使用规范度的自动检测.在包含 5万个术语的数据集上进行测试,准确率为0.912 4,F1 值为0.913 5.所提出的方法达到了工程化应用的程度,且与领域知识无关.

作者：

张庆国、薛德军

展开 >

作者单位：

同方知网数字出版技术股份有限公司北京 100192

关键词：

BERT 术语使用规范度相似性计算双指针滑动窗口池化策略

出版年：

2024

DOI：

10.3969/j.issn.1672-9528.2024.06.007

信息技术与信息化

山东电子学会

信息技术与信息化

影响因子：0.29

ISSN：1672-9528

年,卷(期)：2024.(6)