摘要
医学命名实体识别是自然语言处理任务中举足轻重的信息抽取任务之一，旨在通过基于规则、深度学习等方法从生物医学文本中识别具体特定的医学实体，在多数深度学习的方法中，由于模型其本身存在计算量大、识别效果等问题。本文针对上述问题，主要工作如下： 一是针对模型计算问题，本文在BioBERT的基准实验的研究基础之上，通过在数学逻辑层面的分析，在训练阶段基于BioBERT模型以数学角度分析采用逆方根线性单元（ISRLUs）计算，将导数由指数构成的GELUs优化为导数由多项式构成的ISRLUs，减少计算消耗，优化反向传播速度。 二是针对BioBERT获取上下文信息不足的缺陷，本文分别研究了BioBERT结合双向长短期记忆网络与条件随机场概率模型和使用ISRLUs的混合模型，并使用4个医学公开数据集验证了本方法的实体识别效果和计算时间的减少。 三是在不完全替换BioBERT激活函数GELUs的情况下，探究GELUs的局部改进方法，用两种复化积分计算替代原有tanh拟合近似计算GELU(x)，避免近似计算缺陷问题，为神经网络中特殊函数拟合提供参考。
NETL