基于稳定性分析的非凸损失函数在线点对学习的遗憾界
Regret Bounds for Online Pairwise Learning with Non-Convex Loss Functions Using Stability Analysis
郎璇聪 1李春生 2刘勇 3王梅2
作者信息
- 1. 东北石油大学计算机与信息技术学院 黑龙江大庆 163318
- 2. 东北石油大学计算机与信息技术学院 黑龙江大庆 163318;黑龙江省石油大数据与智能分析重点实验室(东北石油大学) 黑龙江大庆 163318
- 3. 中国人民大学高瓴人工智能学院 北京 100872;大数据管理与分析方法研究北京市重点实验室(中国人民大学) 北京 100071
- 折叠
摘要
点对学习(pairwise learning)是指损失函数依赖于 2个实例的学习任务.遗憾界对点对学习的泛化分析尤为重要.现有的在线点对学习分析只提供了凸损失函数下的遗憾界.为了弥补非凸损失函数下在线点对学习理论研究的空白,提出了基于稳定性分析的非凸损失函数在线点对学习的遗憾界.首先提出了一个广义的在线点对学习框架,并给出了具有非凸损失函数的在线点对学习的稳定性分析;然后,根据稳定性和遗憾界之间的关系,对非凸损失函数下的遗憾界进行研究;最后证明了当学习者能够获得离线神谕(oracle)时,具有非凸损失函数的广义在线点对学习框架实现了最佳的遗憾界O(T-1/2).
关键词
在线点对学习/非凸/稳定性/遗憾界/离线优化神谕Key words
online pairwise learning/non-convex/stability/regret bounds/offline optimization oracle引用本文复制引用
基金项目
国家自然科学基金(51774090)
国家自然科学基金(62076234)
黑龙江省博士后科研启动金项目(LBH-Q20080)
黑龙江省自然科学基金(LH2020F003)
黑龙江省高校基本科研业务费项目(KYCXTD201903)
黑龙江省高校基本科研业务费项目(YYYZX202105)
出版年
2023
NETL
NSTL
维普
万方数据