首页|基于正则化约束元学习优化器的深度学习模型

基于正则化约束元学习优化器的深度学习模型

DEEP LEARNING MODEL BASED ON REGULARIZATION CONSTRAINED META LEARNING OPTIMIZERS

扫码查看
原文链接
  • 国家科技期刊平台
  • NETL
  • NSTL
  • 维普
  • 万方数据
针对深度学习模型存在的过拟合和易受干扰等问题,在采用元学习优化器的基础上,研究并提出加入四种全新的正则化约束,用于训练元学习优化器.泛化能力和鲁棒性实验分别在两层和四层CNN的Mnist和Ci-far10分类上进行,并与使用其他优化器的结果进行了比较,表明了加入正则化约束的元学习优化器,泛化能力得到提升,在FGSM和PGD攻击下的鲁棒性也得到了提升.在四种正则化约束中,Hessian矩阵的特征谱密度和迹作为正则化约束,泛化能力最好.

周靖洋、曾新华

展开 >

中国科学院合肥物质科学研究院合肥创新工程院智能感知中心 安徽 合肥 230031

中国科学技术大学 安徽 合肥 230026

复旦大学工程与应用技术研究院 上海200433

元学习 优化器 过拟合 正则化约束 泛化能力 鲁棒性

国家重点研发计划

2018YFC0831102

2022

10.3969/j.issn.1000-386x.2022.10.040

计算机应用与软件
上海市计算技术研究所 上海计算机软件技术开发中心

计算机应用与软件

CSTPCD北大核心
影响因子：0.615
ISSN：1000-386X
年,卷(期)：2022.39(10)
  • 1
  • 18