首页|结合加权KNN和自适应牛顿法的稳健Boosting方法

结合加权KNN和自适应牛顿法的稳健Boosting方法

扫码查看
原文链接
  • NETL
  • NSTL
  • 万方数据
  • 维普
Boosting是机器学习领域中重要的集成学习方法,以AdaBoost为代表的Boosting算法通过在组合弱学习器时不断加强对错分类样本的关注以构建性能优异的强学习器,而该训练机制对噪声点的无差别对待易引发学习器对噪声过拟合,从而削弱算法的稳健性.针对该问题,提出结合加权KNN和自适应牛顿法的稳健Boosting方法.该方法首先通过加权KNN估计样本的噪声先验概率,然后使用噪声先验概率修正Logit损失构建一种新的损失函数,最后采用自适应牛顿法进行损失函数的优化求解.提出方法引导分类器在给予错分类样本更高权重的同时,对噪声先验概率大的样本给予相应的惩罚,使噪声样本的权重得到有效的缩减.结果表明,与其他稳健Boos-ting方法对比,在不同噪声水平下以及真实的医疗数据集的不同评价指标下,该方法表现出更好的稳健性,具有明显的应用价值.
Robust Boosting Method Combining Weighted KNN and Adaptive Newton Method

罗森林、赵惟肖、潘丽敏

展开 >

北京理工大学信息与电子学院,北京100081

AdaBoost算法 噪声先验概率 加权KNN 损失函数 自适应牛顿法

国家"十三五"科技支撑计划项目

SQ2018YFC200004

2021

10.15918/j.tbit 1001-0645.2019.174

北京理工大学学报
北京理工大学

北京理工大学学报

CSTPCDCSCD北大核心
影响因子：0.609
ISSN：1001-0645
年,卷(期)：2021.41(1)
  • 3
  • 2