信息技术2024,Issue(5) :73-80.DOI:10.13274/j.cnki.hdzj.2024.05.011

基于神经正切核的小数据集回归任务

Neural Tangent Kernel based regression task for small data sets

翟玥璟 刘海忠
信息技术2024,Issue(5) :73-80.DOI:10.13274/j.cnki.hdzj.2024.05.011

基于神经正切核的小数据集回归任务

Neural Tangent Kernel based regression task for small data sets

翟玥璟 1刘海忠1
扫码查看

作者信息

  • 1. 兰州交通大学,兰州 730070
  • 折叠

摘要

回归是常见的一类任务,两类特殊的回归模型:支持向量回归(SVR)与核岭回归(KRR)通过核函数解决数据在原始空间线性不可分的问题.一种新型核函数(NTK)被提出用于拟合无限宽神经网络的训练过程,相关研究显示NTK利于处理小数据集.选取多领域数据集在两种模型中比较NTK与常用核的性能,并对NTK进行了鲁棒性研究.结果表明NTK-SVR模型在部分数据集上取得了 2.5%~20%的提升.

Abstract

Regression is a common class of tasks,and two special types of regression models,which means Support Vector Regression(SVR)and Kernel Ridge Regression(KRR)solve the linearly inseparable problem of data in the original space by means of kernel functions.A new Neural Tangent Kernel(NTK)has been proposed to fit the training process of infinitely wide neural networks,and the related studies have shown that NTK is beneficial for handling small datasets.A multi-domain data set is selected to compare the performance of NTK with commonly used kernels in two models,and the robustness of NTK is investigated.The results show that the NTK-SVR model achieves a 2.5%~20%improvement on some data sets.

关键词

神经正切核/核岭回归/核函数/支持向量回归/小数据

Key words

Neural Tangent Kernel/Kernel Ridge Regression/Kernel function/support vector regression/mini-data

引用本文复制引用

基金项目

甘肃省教育厅优秀研究生创新之星项目(2022CXZX-590)

出版年

2024
信息技术
黑龙江省信息技术学会 中国电子信息产业发展研究院 中国信息产业部电子信息中心

信息技术

CSTPCD
影响因子:0.413
ISSN:1009-2552
段落导航相关论文