摘要
深度伪造技术(Deepfake，简称深伪)是一项能够复刻、复现个人生物特征的技术，其利用深度学习算法对大量样本进行“博弈式”对抗训练，能将图片或视频替换到原始视听资料上，或将个人的声音、面部表情及身体动作进行拼接、替换，甚至通过修正背景色调、模糊边界等方法，达到“以假乱真”的效果。常见的伪造方式有两大类，分别是身份替换和身份保留。目前，深伪图像检测技术的相关研究在法庭科学鉴定领域还未建立完整的体系，检测特征虽然已经从人工篡改特征向生物信号及图像属性特征转变，特征的类型也从图像卷积特征向统计性特征发展，但目前主流检测技术仍以图像卷积特征为主，缺乏量化特征的应用，模型的可解释性也较低，另外,图像存储空间大、卷积神经网络层次深，也会导致空间占用大，运行耗时长。因此，本文提出利用深度学习融合多维量化特征检测深度伪造图像，从数理统计与成像规律检测方法入手，对图像颜色空间分量上的灰度共生矩阵特征与颜色矩特征进行筛选、多元统计及分析，并建立深度伪造图像检测模型。研究结果证明，量化特征比图像卷积特征有更强的解释性，深度学习融合多维识别特征检测深度伪造图像可行且具有科学性。 论文内容包括三部分： 第一部分，图像量化特征筛选。实验基于ForgeryNet深度伪造图像数据集，将图像分为4组进行探究：①真实图像和深伪图像；②身份替换深伪图像和身份保留深伪图像；③真实图像和身份替换深伪图像；④真实图像和身份保留深伪图像。本文提出了两种特征选择方法：基于数理统计法和基于深伪技术成像规律法。两种特征选择方法筛选出的特征数量不一，其中，用数理统计法筛选所得特征数量较多，而深伪技术成像规律法筛选所得特征数量较少，数量低于累计贡献率为95%的PCA特征数量。这为深伪图像检验鉴定的指标筛选提供了新思路。 第二部分，基于筛选图像量化特征开展的深度伪造图像检测。实验研究中，一是，利用筛选所得量化特征，通过XGBoost、逻辑回归分类器、线性支持向量机、多层感知机和TabNet对深伪图像进行检测实验和比对研究；二是，利用ResNet50V2、XceptionNet、EfficientNetV2S、EfficientNetB4、DenseNet121、MobileNetV2六个主流卷积神经网络进行深伪图像检测，并与前者精度进行对比。实验结果表明，基于量化数据的检测精度高于卷积神经网络检测的精度；基于量化数据的模型训练检测时间低于卷积神经网络的模型训练检测时间。因此，本文所提方法筛选出的图像特征在深伪图像检验中有重要价值。 第三部分，针对伪造图像特点搭建新型深度学习检测网络。新型网络融合了TabNet与MobileNetV2，使筛选特征与卷积神经网络结果概率相结合，同时对新型模型进行优化与参数分析，然后利用ROC、AUC、Acc进行评价。在网络训练与测试中，输出各特征的重要性得分及部分样本特征的交互程度图，提高了模型的可解释性、反映出模型的整体性能。实验结果表明，通过融合多维特征，提升了模型的自适应度和精度、优化了模型性能。 综上，针对深伪图像本文提出数理统计与深伪技术成像规律两种检测方法，对图像颜色空间分量上的灰度共生矩阵特征与颜色矩特征进行多元统计和分析，筛选出与深伪图像具有高相关性、高稳定性的特征进行算法检测。同时，融合MobileNetV2与TabNet对深伪图像进行检测，结合卷积神经网络结果概率特征与筛选的量化特征，大大提升了网络的检测精度与模型性能。研究证明基于数理统计与深伪技术成像规律检测深伪图像具有可行性，提升了检测模型的可解释性，为深伪图像鉴定指标选取提供了新思路并打下基础，弥补了基于量化特征在深伪图像检验中的空白。
NETL