首页|基于元学习的无参考图像质量评价方法研究

基于元学习的无参考图像质量评价方法研究

陈富伟

基于元学习的无参考图像质量评价方法研究

陈富伟1
扫码查看

作者信息

  • 1. 西安理工大学
  • 折叠

摘要

过去几年,随着智能手机和移动互联网的普及,社会生活对图像产生了巨大需求。对图像服务提供者来讲,用户接收的图像信息是否有用是他们面临的关键问题之一。而在问题解决过程中,如何准确评估图像视觉质量是一个重要问题。客观图像质量评价(ImageQualityAssessment,IQA)方法目的在于通过算法模型自动预测图像质量分数的大小。 在图像质量评价任务中,由于自然图像来源广泛、内容丰富,使得自然图像通常存在未知类型的复杂失真;另外人类视觉对图像的感知过程中,失真信息和内容信息都发挥了重要作用。因此解决IQA任务的关键主要在:(1)充分利用图像中的失真和内容信息,获取有效的质量感知规则,以度量图像的复杂失真程度;(2)以合适的方法模拟人眼视觉系统中失真和内容信息的交互,得到与人眼感知相一致的评价结果。针对以上两点问题,本文提出以下两种无参考型图像质量评价方法。 (1)针对自然图像的复杂失真,从失真和内容的信息获取和信息交互的角度出发,提出了一种基于MAML(Model-AgnosticMeta-Learning,模型无关元学习)的无参考图像质量评价方法。首先,考虑到合成失真数据集规则的失真等级和失真类型,从中产生多种单一失真数据集,并从中提取有效的失真质量信息以度量图像质量退化程度;其次,考虑到人眼视觉系统自上而下的感知方式,利用图像语义特征指导浅层特征,并从中提取有效的内容质量信息以模拟质量感知方式;然后,利用模型驱动的元学习方法探索失真、内容信息交互与全局视觉特征之间的潜在关系,通过学习到的潜在关系获取对图像整体质量的评价分数。最后在四个公开标准IQA数据集上进行大量实验验证,结果表明本文方法的性能优于目前较优秀的一些IQA方法,与主观评价有较高的一致性。 (2)目前大多数无参考IQA方法均以卷积神经网络(ConvolutionalNeuralNetwork,CNN)结构提取特征,针对由于深度CNN特征空间位置信息匮乏导致的局部失真表征困难的问题,提出了一种基于SwinTransformer的无参考IQA方法。将深度CNN特征作为Transformer模块的token输入,并使用SwinTransformer的相对位置编码表征特征空间位置关系,最后利用有效地映射方式得到质量预测。在标准IQA数据集上的对比实验和消融实验结果证明了此种方法的性能优越性。

关键词

图像质量评价/元学习/深度神经网络/特征空间

引用本文复制引用

授予学位

硕士

学科专业

轻工技术与工程

导师

孙帮勇

学位年度

2022

学位授予单位

西安理工大学

语种

中文

中图分类号

TP
段落导航相关论文