佳木斯大学学报(自然科学版)2024,Vol.42Issue(11) :10-12.

一种迁移学习中学习率衰减因子调整算法

A New Comprehensive Parameter Adjustment Method for Learning Rate Attenuation Factor in Transfer Learning Scenario

彭馨平 胡海东 张西广
佳木斯大学学报(自然科学版)2024,Vol.42Issue(11) :10-12.

一种迁移学习中学习率衰减因子调整算法

A New Comprehensive Parameter Adjustment Method for Learning Rate Attenuation Factor in Transfer Learning Scenario

彭馨平 1胡海东 1张西广1
扫码查看

作者信息

  • 1. 中原工学院,河南郑州 450007
  • 折叠

摘要

当前学习率调度器中使用的学习率衰减因子调参方法大都需要进行多次连续模型训练、迭代和评估,无法满足资源受限场景下的迁移学习需求.提出一种新型学习率衰减因子调整方法,其融合控制变量法和二分法同时对参数进行综合动态调整,为参数优化提供参考依据.实验表明,该方法可快速准确提高模型的拟合速度和准确率,从而提高模型在目标任务上的性能.

Abstract

This paper investigates a parameter tuning method for the learning rate decay factor of the learning rate schedulers applied in deep learning.Learning rate scheduler is a technique used to adap-tively adjust the model's learning rate,which can help the model converge and generalize better.This paper proposes a method to adjust the learning rate decay factor for the learning rate schedulers in trans-fer learning,which can quickly and accurately improve the model's fitting speed and accuracy,thereby enhancing the model's performance on the target task.

关键词

迁移学习/学习率衰减因子/深度学习

Key words

transfer learning/learning rate decay factor/deep learning

引用本文复制引用

出版年

2024
佳木斯大学学报(自然科学版)
佳木斯大学

佳木斯大学学报(自然科学版)

影响因子:0.159
ISSN:1008-1402
段落导航相关论文