首页|基于剪枝和蒸馏的轻量化口罩佩戴检测算法研究

基于剪枝和蒸馏的轻量化口罩佩戴检测算法研究

丁伟健

基于剪枝和蒸馏的轻量化口罩佩戴检测算法研究

丁伟健1
扫码查看

作者信息

  • 1. 江西理工大学
  • 折叠

摘要

在疫情防控中,科学的佩戴口罩能够有效阻断传染性疾病的传播。除此之外,正确的佩戴口罩在工业生产车间、施工现场和实验室环境等很多场合也发挥着重要的安全保障作用。基于深度学习的目标检测技术能够完成普通场景下的口罩佩戴自动化检测任务,但在复杂场景下的检测精度和速度尚有不足。同时,为了追求更高的检测性能,目标检测模型的规模不断扩大,但随之而来的是存储和计算成本的提高,这直接导致了模型在资源受限的嵌入式设备上很难部署。本文以“设计一个轻量化、高精度且基于深度学习的口罩佩戴检测模型”为目标展开研究,具体内容如下: (1)针对复杂场景下口罩佩戴检测算法存在小目标检测精度低的问题,提出了一种基于改进YOLOv5s模型的口罩佩戴检测方法。首先,设计倒置自适应注意力模块IAAM,缓解连续下采样导致的信息丢失问题,同时增强网络的特征融合能力;其次,设计通道特征分组模块 CFGM ,用来提高小目标检测精度;最后,结合实际场景中的数据特征,使用EIoU Loss 损失函数并取消数据增强中的色彩空间变换。实验结果表明,模型检测精度达到了 95.3%,较初始模型提高了 1.9%。模型检测速度达到了 55FPS,可以满足实时检测的要求。 (2)为了降低所提口罩佩戴检测模型的规模,使其更容易在移动端部署,提出了一种将低秩张量分解与结构化剪枝相结合的统一框架:基于层敏感性分组的混合模型压缩方法(HMC)。该框架将已有工作中的加性混合压缩方法(AHC)与所提非加性混合压缩方法(NaHC)统一为一个模型。NaHC根据卷积层对不同压缩方法的敏感性差异对网络进行分组,相比 AHC 能够更好的整合模型的低秩性和稀疏性。试验结果表明, HMC 在50%压缩率时将模型参数量降低到仅有3.6M,精度损失仅为0.4%。此外,在对ResNet系列模型进行压缩时,HMC 在测试精度和压缩率之间取得了更好的权衡,比最近使用单一策略或加性混合压缩策略的其他压缩方法更好。 (3)HMC 在减小模型规模的同时也降低了模型的检测精度,为了减小模型的性能损失,提出了一种基于转移注意力和特征图的知识蒸馏方法(AFT-KD)。该方法使用转换结构将中间特征图转化为同时包含推理过程信息和推理结果信息的注意力和特征块(AFB),然后损失函数会迫使学生网络学习AFB中的知识。此外,为了降低训练过程的计算量,使用分块操作对齐师生网络。最后,为了平衡AFT损失和CE损失之间的衰减效率,设计了基于平均损失优化率的自适应损失函数。AFT-KD 为知识蒸馏的研究提供了新的视角。实验结果表明,AFT-KD将压缩后的口罩佩戴检测模型的精度提升到了95.31%,这几乎与压缩之前的模型精度相同。除此之外,AFT-KD 还在多个基准测试中实现了最好的性能。

关键词

口罩佩戴检测/改进YOLOv5s算法/模型压缩/低秩分解/网络剪枝/知识蒸馏

引用本文复制引用

授予学位

硕士

学科专业

工学电子信息

导师

杨国亮

学位年度

2024

学位授予单位

江西理工大学

语种

中文

中图分类号

TP
段落导航相关论文