基于注意力机制和知识蒸馏的小样本增量学习
Few-Shot Incremental Learning Based on Attention Mechanism and Knowledge Distillation
崔颖 1徐晓峰 2包象琳 2刘传才1
作者信息
- 1. 南京理工大学计算机科学与工程学院 南京 210094
- 2. 安徽工程大学计算机与信息学院 芜湖 241000
- 折叠
摘要
目前小样本学习模型主要关注在小样本类别上的性能,却忽视了在辅助集上的性能.针对此问题,提出一种基于注意力机制和知识蒸馏的小样本增量学习模型,通过注意力机制来学习对小样本类别的泛化能力,同时通过知识蒸馏来保留对辅助集的鉴别能力,从而保证模型在辅助集和小样本数据上都有很好的分类性能.实验表明,提出的模型不仅仅在小样本数据上取得了良好的性能,并且在辅助集上的性能也没有受到太大的损失.
Abstract
Current few-shot learning mainly focuses on the performance on the few-shot categories data,while ignores the per-formance on the auxiliary set.To address this problem,a few-shot incremental learning model is proposed based on attention mecha-nism and knowledge distillation.The attention mechanism is adopted to learn the generalization ability on the few-shot data,the knowledge distillation is utilized to retain the discriminating ability on the auxiliary set.Therefore,the proposed model has an ac-cepted classification performance on both few-shot data and auxiliary set.Experiments show that the proposed model not only achieves excellent performance on few-shot data,but also does not suffer much performance loss on the auxiliary set.
关键词
小样本学习/增量学习/注意力机制/知识蒸馏Key words
few-shot learning/incremental learning/attention mechanism/knowledge distillation引用本文复制引用
基金项目
国家自然科学基金项目(61373063)
国家自然科学基金项目(61872188)
国家自然科学基金项目(62172225)
安徽省自然科学基金项目(2108085QF264)
安徽省自然科学基金项目(2108085QF268)
出版年
2024
国家科技期刊平台
NSTL
万方数据