摘要
车牌识别技术（Vehicle License Plate Recognition,VLPR）是指能够检测到受监控道路的车辆并自动提取出车牌信息的技术。该技术极大地方便了道路交通管理工作，是实现智能交通系统的核心技术之一。该技术应用场景十分广泛，例如停车场管理、高速公路收费站监控以及城市交通监管等。然而，车牌识别技术的稳定性往往很容易受到恶劣极端天气（雾霾、暴雨、沙尘暴等）的干扰，导致识别精度大幅度降低。本文针对雾霾环境下的车牌识别问题，开展了基于联合优化与级联架构方案的研究工作。 本文首先调研了图像去雾领域及深度学习的相关知识，为级联架构中各部分的模型设计奠定了理论基础。其次，分析了该技术工业落地所面临的困难与挑战，为实际应用中的优化方案提供了指导方向。最后，依据上述理论知识与问题分析结论，提出了一个基于联合优化与级联架构的雾霾环境车牌识别技术框架。 为了获得雾霾环境下分辨率更高的道路图像，本文首先将图像去雾算法放置在级联架构的首部，提出了一种基于雾浓度细化的预处理去雾算法，该算法使用局部大气光值代替全局大气光值，生成更精细的透射图。此外，考虑到图像去雾预处理方法中参数估测带来的误差累积以及为了综合优化车牌的识别效果，本文还采用了深度去雾和车牌目标检测联合优化的思想，在级联架构的目标检测模块中嵌入了图像细化和去雾过程，并提出了基于卷积神经网络的深度去雾和车牌区域提取的联合优化模型（A Joint Further-dehazing and Region-extracting Model,JFRM），该模型可以显著减少累积误差导致的图像复原失真现象，可以协同提高最终的车牌检测效果。然后，对于检测得到的车牌区域进行超分辨率重建，以避免运动模糊对后续字符识别的影响，最终通过字符识别技术得到车牌字符。通过实验可证明级联架构中各部分模型的可行性，以及最终对雾霾环境下车牌识别准确率的正向作用。 从工业落地角度出发，上述级联架构中图像去雾模块稳定性仍较差，可能出现自然雾霾环境的去雾表现低于实验结果的情况。针对实用性方面的挑战，本文提出了基于Cycle-GAN风格迁移的去雾网络DehazeCycleNet。该网络使用不成对的真实自然图像（包括自然雾霾图像和自然无雾图像）替代实验所使用的成对图像（包括合成雾霾图像和自然无雾图像）进行无监督训练，提高去雾网络在真实环境下的泛化能力，极大地提升了模型的实用性和环境适应能力。 最后，基于以上研究成果，本文还实现了一个雾霾环境车牌识别的原型系统。该系统依托C/S架构开发以及Vue框架，实现了雾霾环境车牌识别输出功能以及独立的图像去雾功能。结果表明，原型系统在提供可视化交互界面的同时，对应用户的数据信息也得到有效的管理，方便用户后期的查询以及导出工作。 本文利用联合优化与级联架构的方案来实现雾霾环境下的车牌识别技术，大大提高了雾霾环境下的车牌识别准确率。但从网络复杂度以及前向推理时间角度来看，级联架构的方案会面临工业实时性要求的挑战。因此未来工作中需要加入模型压缩方面的考虑，以便实现实时应用程序的落地。
NETL