摘要
行人检测作为计算机视觉中的关键技术，是道路交通安全，城市监督管理的基础。单纯的可见光行人检测早已满足不了相关的需要，人们更加期待在可见光行人检测的基础上拓宽检测的对象以及检测的方法，从而提高行人检测的效率和准确性。红外图像是通过红外摄像机得到的一种黑白图像，可以有效解决光照不足，遮挡严重的问题，对道路交通和城市的监管发挥着至关重要的作用。 近年来，由于深度学习在检测中表现优异，逐渐被应用到红外行人检测领域中。YOLO系列因其超高的检测速度和不俗的检测精度，在红外行人检测的网络中占有一席之地。本文在此基础上展开工作，主要分为三个部分：研究了基于YOLOv5s改进的红外行人检测网络，即基于多尺度注意力和加权特征融合的YOLO-EB网络；研究了基于YOLOv7的红外行人检测网络，即对YOLOv7轻量化的网络YOLOv7-Lw；基于语义融合对KAIST红外行人数据集的红外和可见光图像进行融合。 首先，面对越来越复杂的红外场景，行人检测的精度要求越来越高。针对YOLOv5s 对红外图像行人特征提取困难问题，为最大限度地提取有利于检测的红外行人特征，引入多尺度注意力模块。该模块在浅层特征提取阶段，通过ECA注意力机制，扩展特征提取模块C3厚度，实现对浅层的多特征提取，充分利用图像在浅层的高分辨率特征。同时为解决红外图像随着网络层的深入而导致的浅层网络特征逐渐消失问题，引入加权特征融合的方法，给每个提取到的特征赋予不同权重进行特征融合，提高特征融合效果。 其次，在错综复杂的道路交通中，可能会出现行人被遮挡之后从视野盲区突然出现等情况。针对上述问题，在确保精度的条件下，更快的检测速度就显得相当重要。针对被遮挡的行人问题，本文采用YOLOv7网络进行检测，面对YOLOv7检测速度下降的问题，对网络进行轻量化处理。本文通过采用轻量化的ACMix模块替换预测网络ELAN-W结构中Conv的方式，改进预测网络的算法，避免传统卷积投影造成的损耗，通过减少网络参数提高检测速度。而且为增强网络对于语义信息的提取能力，对上采样算子进行替换，采用Carafe上采样算子，提高特征提取的效果。并对损失函数进行优化，采用??IOU 损失函数，提高收敛速度和回归精度。 最后，由于红外图像和可见光图像之间的存在差异性和良好的互补性，为更好的提高红外图像检测效果，对KAIST数据集采用SeAFuion网络进行融合，该网络利用语义信息提高融合图像的效果。实验结果表明：本文所提出的 YOLO-EB 网络在KAIST 数据集中有不错的检测精度，并且对远距离行人和误检问题有较好的检测效果。YOLOv7-Lw网络参数明显降低，在检测精度没有太大变化的情况下，检测速度小幅度提升，并且在KAIST数据集中对被遮挡的行人有较好的检测效果。经融合后的KAIST数据集对红外行人检测有较为不错的表现，解决了红外图像像素低等缺点。
NETL