摘要
图像曝光评估任务是图像美学评估任务中的重要一环，其侧重于对图像各处的亮暗表现是否恰当进行分析并对图像整体的光线搭配效果进行评估，实质是量化人类对于图像亮暗刺激产生的审美情绪反应。曝光评估算法的研究具有重要意义，一是促进计算机视觉领域的下游算法性能的提升，二是帮助提升商用摄影设备的计算摄影技术，三是可以为大数据时代下的推荐系统提供新的推荐参考标准。但是如何定义并量化图像的曝光仍是一大难点，因为曝光问题在图像中的分布复杂，并且人对曝光问题的主观感受会受到许多因素的影响。 传统的图像曝光评估算法，通常以少数专家先验知识定义图像中与亮暗相关的特征，通过全图的特征统计进行图像整体曝光程度的定性分析，无法考虑图像语义内容对曝光的影响，同时缺乏对图像不同区域不同曝光问题的感知，存在可评估细致性不高，评估结果不准确和难以定量分析的问题。因而，基于此类算法所开发的图像曝光评估系统，难以支撑实际的应用需求。为了解决上述问题，本文受经典摄影理论——分区曝光理论启发，对该理论所包含的依照图像中不同物体的反射能力来为其划分相对应的曝光分区的思想进行建模，将人评估图像曝光的过程分解为三个关键步骤，首先是对图像各个区域的亮暗进行感知，其次是对图像中各个物体的在图像中的重要程度进行判断，最后对图像整体的曝光效果进行赏析。具体来说，本文贡献如下: 1）本文提出了一种基于深度学习的曝光评估模型。针对现有的方法对于图像曝光的差异性分布无法很好的做出评价的问题，我们通过采用了编码器-解码器结构的阶段一模型对图像每个像素的曝光水平进行预测。同时，为了充分利用神经网络对图像的感知能力，我们在一阶段的模型中设计了双解码器的结构以对图像各区域的重要性程度进行感知。在模型的第二阶段我们探讨了不同的特征融合方案，以融合像素级的曝光问题信息和图像各区域的重要程度信息来对图像整体的曝光效果进行更精准的评价。 2）本文构建了一个面向图像曝光评估的数据集。现有的数据集无法满足像素级别的精细化曝光问题评估，同时数据规模小，标注质量差，不足以驱动曝光评估算法的训练开发。本文构建了一个专门用于图像曝光评估的数据集IEA-40k,在数据收集上，IEA-40k采集了来自多种设备和多样化场景的不同图片。在标注过程中，我们借助超像素分割算法实现了低人力成本的像素级曝光问题标注工作，同时我们在数据标注上采用了基于锚点的质量控制方法，保证了数据集的标注质量。该数据集的提出为图像曝光领域的研究提供了有力的支撑，为该领域的进一步发展做出了贡献。 3）本文提出了一个图像曝光评估系统。基于上述研究的图像曝光评估模型，本文开发了一个图像曝光评估系统，系统功能主要包括对图像的像素级曝光水平评估，对图像的整体曝光效果评估和个性化的相册图像排序功能。本系统基于Apache Kafka框架搭建了一套分布式实时推理系统，通过负载均衡策略，微批处理策略、边缘计算分流、动态batch设计、半精度FP16推理策略、TensorRT推理加速和模型量化压缩处理多种优化手段对系统的实时性响应能力进行优化。
NETL