中文信息学报2024,Vol.38Issue(7) :51-62.

多策略黏菌算法优化BiLSTM的命名实体识别研究

BiLSTM Optimization via Multi-strategy Slime Mould Algorithm for Named Entity Recognition

梁宏涛 刘雨婷 李帅 高大唤 朱洁
中文信息学报2024,Vol.38Issue(7) :51-62.

多策略黏菌算法优化BiLSTM的命名实体识别研究

BiLSTM Optimization via Multi-strategy Slime Mould Algorithm for Named Entity Recognition

梁宏涛 1刘雨婷 1李帅 1高大唤 1朱洁1
扫码查看

作者信息

  • 1. 青岛科技大学信息科学技术学院,山东青岛 266061
  • 折叠

摘要

随着深度学习的深入研究,命名实体识别任务日益朝着智能化方向发展,但是命名实体识别模型还存在泛化能力弱、鲁棒性差等缺点,寻求更加高效的下游模型愈发成为研究重点.该文利用多策略黏菌算法(SLSMA)对双向长短时记忆网络模型(BiLSTM)的超参数进行优化,改进的黏菌算法在初始化阶段采用Sobol序列均匀种群密度,迭代后期引入莱维飞行策略动态调整步长,使算法跳出局部最优,并采用改进的黏菌算法优化BiLSTM网络的关键超参数进行命名实体识别,使用LSTM-CRF模型、BiLSTM-CRF模型、SMA-BiLSTM-CRF模型与SLSMA-BiLSTM-CRF模型进行命名 实体识别 的对比实验.实验结果表明,SLSMA-BiLSTM-CRF在《人民日报》和CoNLL2003数据集上的F1值分别达到98.48%和97.35%,有效提升了命名实体识别的精准性和鲁棒性.

Abstract

To further improve existing named entity recognition models which are defected in weak generalization a-bility and poor robustness,this paper proposed to optimize the hyperparameters of the bi-directional long and short-term memory network(BiLSTM)using the multi-strategy slime mould algorithm(SLSMA).The improved slime mould algorithm adopts the Sobol sequence uniform population density in the initialization stage,and introduces the Levy flight strategy to dynamically adjust the step size in the late iteration stage to enable the algorithm jump out of the local optimum.The improved slime mould algorithm is also applied to optimize the key hyper parameters for named entity recognition.Experiments of named entity recognition using LSTM-CRF model,BiLSTM-CRF model,SMA-BiLSTM-CRF model and SLSMA-BiLSTM-CRF model show that the values of SLSMA-BiLSTM-CRF reach 98.48%and 97.35%on the People's Daily and CoNLL2003 datasets,respectively.

关键词

命名实体识别/SLSMA/双向长短时记忆网络/Sobol序列

Key words

named entity recognition/SLSMA/Bidirectional long short-term memory network/Sobol sequence

引用本文复制引用

基金项目

国家自然科学基金(61973180)

国家自然科学基金(62172249)

山东省产教融合研究生联合培养示范基地项目(2020-19)

出版年

2024
中文信息学报
中国中文信息学会,中国科学院软件研究所

中文信息学报

CSTPCDCSCDCHSSCD北大核心
影响因子:0.8
ISSN:1003-0077
参考文献量34
段落导航相关论文