计算机研究与发展2023,Vol.60Issue(8) :1834-1845.DOI:10.7544/issn1000-1239.202330262

多层次知识自蒸馏联合多步骤训练的细粒度图像识别

Multi-Stage Training with Multi-Level Knowledge Self-Distillation for Fine-Grained Image Recognition

余鹰 危伟 汤洪 钱进
计算机研究与发展2023,Vol.60Issue(8) :1834-1845.DOI:10.7544/issn1000-1239.202330262

多层次知识自蒸馏联合多步骤训练的细粒度图像识别

Multi-Stage Training with Multi-Level Knowledge Self-Distillation for Fine-Grained Image Recognition

余鹰 1危伟 1汤洪 1钱进1
扫码查看

作者信息

  • 1. 华东交通大学软件学院 南昌 330013
  • 折叠

摘要

细粒度图像识别具有类内差异大、类间差异小的特点,在智能零售、生物多样性检测和智慧交通等领域中有着广阔的应用场景.提取到判别性强的多粒度特征是提升细粒度图像识别精度的关键,而已有工作大多只在单一层次进行知识获取,忽略了多层次信息交互对于提取鲁棒性特征的有效性.另外一些工作通过引入注意力机制来找到局部判别区域,但这不可避免地增加了网络复杂度.为了解决这些问题,提出了多层次知识自蒸馏联合多步骤训练的细粒度图像识别(multi-level knowledge self-distillation with multi-step training for fine-grained image recognition,MKSMT)模型.该模型首先在网络浅层进行特征学习,然后在深层网络再次进行特征学习,并利用知识自蒸馏将深层网络知识迁移至浅层网络中,优化后的浅层网络又能帮助深层网络提取到更鲁棒的特征,进而提高整个模型的性能.实验结果表明,MKSMT在CUB-200-2011、NA-Birds和Stanford Dogs这 3个公开细粒度图像数据集上分别达到了 92.8%、92.6%和91.1%的分类准确度,性能优于当前大部分细粒度识别算法.

关键词

细粒度图像识别/知识自蒸馏/Swin/Transformer/特征学习/鲁棒特征

Key words

fine-grained image recognition/knowledge self-distillation/Swin Transformer/feature learning/robust characteristics

引用本文复制引用

基金项目

国家自然科学基金(62163016)

国家自然科学基金(62066014)

江西省自然科学基金(62163016)

江西省自然科学基金(62066014)

江西省自然科学基金(20212ACB202001)

江西省自然科学基金(20202BABL202018)

出版年

2023
计算机研究与发展
中国科学院计算技术研究所 中国计算机学会

计算机研究与发展

CSTPCDCSCD北大核心
影响因子:2.649
ISSN:1000-1239
参考文献量1
段落导航相关论文