首页|深度记忆网络研究进展

深度记忆网络研究进展

Research and Development on Deep Memory Network

扫码查看
原文链接
  • NETL
  • NSTL
  • 维普
  • 万方数据
近年来,随着深度神经网络的快速发展,它在越来越多的领域中有了广泛的应用.深度神经网络模型在处理有序列依赖关系的预测问题时,需要利用之前学习到的信息进行记忆.在一般的神经网络模型中,数据经过多个神经元节点传输会损失很多关键的信息,因此需要具有记忆能力的神经网络模型,我们把它们统称为记忆网络.本文首先介绍了记忆网络的基础模型,包括循环神经网络(RNN)、长短期记忆神经网络(LSTM)、神经图灵机(NTM)、记忆神经网络(MN)和变送器(Transformer).其中,RNN和LSTM是通过隐单元对前一时刻信息的处理来记忆信息,NTM和NM是通过使用外部存储器来进行记忆,而变送器使用注意力机制来选择性记忆.本文对这些模型进了对比,并分析了各个记忆方法的问题和不足.然后根据基础模型的不同,本文对常见的记忆网络模型进行了系统的阐述、分类和总结,包括其模型结构和算法.接着介绍了记忆网络在不同领域和场景下的应用,最后对记忆网络的未来研究方向进行了展望.

刘建伟、王园方、罗雄麟

展开 >

中国石油大学(北京)自动化系 北京 102249

循环神经网络 长短期记忆网络 记忆网络 神经图灵机 自然语言处理

2462018QZDX02

2021

10.11897/SP.J.1016.2021.01549

计算机学报
中国计算机学会 中国科学院计算技术研究所

计算机学报

CSTPCDCSCD北大核心
影响因子：3.18
ISSN：0254-4164
年,卷(期)：2021.44(8)
  • 18
  • 2