摘要
近年来，随着购物方式的改变，以无人销售模式为主的商店、超市及商场逐渐兴起，成为生活中不可或缺的一部分。目前，以传统方法为主的无人货架商品销售模式仍存在以下局限性：一是对商品重量和包装材料有特殊要求；二是购物结算时间长，效率低。因此，为简化购物结算过程和提高结算效率，开展无人货架商品销售状态识别方法研究，具有重要的工程意义和应用价值。 本文基于上述局限性，开展基于深度学习的无人货架商品销售状态识别方法研究，主要研究基于YOLOv51模型的动态商品检测、基于DeepSORT算法的顾客轨迹检测和购物行为识别，用于简化购物结算过程和提高结算效率。具体地，本文主要研究工作如下： （1）针对货架场景商品数据集缺乏问题，本文采用图像分割、合成和数据增强方法，基于RPC零售商品数据集构建货架场景商品数据集。文中对RPC零售商品数据集的主要处理流程为：一是针对不同角度的单一商品图像进行分割，得到前景商品图像；二是将前景图像随机合成到货架背景图像中；三是为模拟真实货架场景图像中存在的噪声，在合成图像中随机添加矩形遮挡、运动模糊噪声和随机亮度，以提高模型对真实货架场景中动态商品的检测效果。 （2）针对无人货架场景中小目标商品检测精度低问题，本文提出一种基于感受野改进的YOLOv51-SRF模型，该模型在原YOLOv51网络结构中增添一个小感受野的检测头分支，能提高小目标商品的检测精度。文中不仅给出了YOLOv51-SRF模型架构，还进行了建模分析，同时将YOLOv51-SRF模型与原YOLOv51模型检测效果进行比较，实验结果表明YOLOv51-SRF模型能显著提升无人货架场景中小目标商品的检测精度，与原YOLOv51模型相比，本文所提方法对于小目标商品类的检测精度AP@[.5:.95]提升最高为3.8%，对于所有商品类的检测精度mAP@[.5:.95]从89.2%提升至90.6%。 （3）针对无人货架复杂场景中商品检测易出现误检、漏检等问题，本文提出一种融合了YOLOv51-SRF与注意力机制的网络模型，能提高模型对复杂场景下的商品目标的自适应关注能力。文中建模分析了在YOLOv51-SRF模型中分别融合SE、CBAM、CA注意力机制对检测结果的影响，实验结果表明YOLOv51-SRF+SE模型相比原YOLOv51模型的检测精度mAP@[.5:.95]提升2.3%，能减少无人货架复杂场景下的商品误检、漏检等情况。 （4）针对无人货架场景中顾客购物行为识别难问题，本文提出一种改进DeepSORT算法，该算法优化了DeepSORT算法中的表观特征提取网络，能减少跟踪过程轨迹ID跳变，文中通过设计顾客取放商品判定方法，并基于商品检测框在图像中的移动过程和顾客轨迹检测框的位置关系，准确识别顾客购物行为。 （5）针对无人货架场景中商品销售状态识别问题，本文提出一种基于深度学习的无人货架商品销售状态识别方法，并采用模拟购物过程的视频流对该方法进行验证。实验结果表明无人货架商品销售状态识别方法能准确检测无人货架场景中的动态商品，能稳定跟踪顾客购物轨迹，能识别商品销售状态，且自动结算准确率达到95.4%，验证了该方法的可行性和有效性。
NETL