首页|DNN模型训练之学习率调整策略探究

DNN模型训练之学习率调整策略探究

扫码查看
原文链接
  • 万方数据
  • 维普
学习率调整策略是深度学习课程中重要的知识点。现有的学习率调整策略存在调整方式不灵活、逃离鞍点的能力不足、精确度不高、泛化能力不强等问题。为了解决上述问题，对学习率的调整策略进行研究和实验，提出了有效训练状态的概念和有效学习率区间的查找方法，设计了一种新的学习率调整策略——带预热的可变周期学习速率(Variable Cyclic with Warm-up Learning Rate-schedule，VCWLR)。采用VGG16、Resnet18等BaseLine模型在Cifar10基准测试平台上对深度神经网络(Deep Neural Network，DNN)进行训练，实验结果证明了 VCWLR比现有的学习率调整策略更灵活高效。使用VCWLR不仅弥补了深度学习课程中知识点的不足，更有助于学生全面深入理解网络模型训练过程，提高学生训练DNN的能力和水平。

胡秀建、赵慧、丁远远

展开 >

亳州学院(安徽亳州236800)

深度神经网络 优化器 学习率 VCWLR

2024

10.13877/j.cnki.cn22-1284.2024.06.014

通化师范学院学报
通化师范学院

通化师范学院学报

影响因子：0.266
ISSN：1008-7974
年,卷(期)：2024.45(6)