摘要
近年来，随着深度学习技术取得巨大突破，人工智能的热潮被掀起并取得了蓬勃发展，诸如目标检测、语义分割等研究任务已经取得了显著性的成果。然而，当前针对深度学习方法的图像美学评价研究尚不充分，而美学作为人类情感生活中必不可少的组成部分，尤其在大数据时代，通过计算机模拟人类的审美，并对图像美学做出相应的评价具有重要的现实意义和广阔的应用前景。 现有图像美学评价研究未能充分考虑人脑在感知和评价美学过程中的显著性和注意力机制，因而很难达到较高的性能。因此，本文针对图像美学评价的研究从人类的视觉显著性和人脑对图像美学关注度两个方面出发，在充分考虑人脑的视觉评价机制基础上，提出了一种基于融合视觉显著性和构图边缘信息的图像美学评价算法与一种基于弱监督学习美感分类注意力的图像美学评价算法，论文的主要工作和创新点如下： (1)提出了一种基于融合视觉显著性和构图边缘信息的图像美学评价算法。受人类视觉系统显著性机制启发，将图像的显著性区域用于美学评价研究中。然而，与常见识别任务不同的是，在评价图像美学时，人脑关注点除了显著性区域外，图像背景以及构图等因素也会影响人脑的评判，因此本文提出一种结合显著性目标和背景、构图等因素的美学评价方法。其中，背景区域和构图等规则使用图像的边缘特征进行描述。最终，通过融合视觉显著性和边缘特征的方式构建美学评价模型。在两个常用的图像美学评价数据库上进行的大量性能测试实验结果表明，本文所提出的算法性能优于目前主流的美学评价算法。 (2)提出了一种基于弱监督学习美感分类注意力的图像美学评价算法。受注意力机制的启发，将人类的注意力机制加入到神经网络中可以明显提升网络性能。针对目前已有的注意力算法在图像美学评价任务中适用性不强的问题，需要设计一种专门用于图像美学评价的注意力机制。由于现有美学数据库中没有精确的美学注意力标注，而且美学注意力的标注需要耗费大量人力和物力。为解决该问题，本文借助弱监督学习的思想通过训练美感分类模型来获取美学注意力，并将美学注意力作为先验知识辅助主干网络预测图像美学。该方法无需额外标注就能获取人类的美学注意力，从而达到了节约标注成本同时又提升网络表征图像美学能力的目的。大量实验验证了所提算法性能的优越性以及美学注意力的有效性。
NETL