通常给定超参数的若干取值选取性能最大的为最优组合(称为直接选优法),但是此方法的稳健性差.为此,提出了一种基于稳健设计的超参数调优方法(称为稳健调优法).具体地,以S GN S算法中的超参数调优为例,在词语推断任务上实验并得出:经方差分析得到S GN S算法中的七个超参数中的五个对算法预测性能有显著影响,确定为主控因子,其余两个确定为噪声因子,且主控因子中有三个对性能估计的方差有显著影响,因此,调优中仅从期望最大来直接选优是不合理的;稳健调优法与直接选优法两者在预测性能上没有显著差异,但稳健调优法对噪声因子具有较好的稳健性.稳健调优法对一般的深度神经网络的调参有实际的借鉴意义.
Tuning method of hyper-parameters for SGNS algorithm based on robust design
国家科技期刊平台
NSTL
万方数据
维普
