摘要
深度伪造人脸视频是指基于深度学习算法生成的“换脸”、“换表情”类虚假视频。当前，深度伪造人脸视频被不法分子滥用于色情视频、虚假新闻、政治谣言等并在网络上广泛传播，给个人隐私、社会稳定和国家安全带来诸多风险。因此，研究对此类深度伪造人脸视频的检测技术具有重要意义。经过多年的发展，基于深度学习使伪造人脸视频检测已经取得了很大进展，但是如何提高检测准确率和检测模型的泛化性一直是国内外团队持续努力的方向。本文也主要针对以上两点开展研究，研究工作主要包括: (1)针对高质量伪造人脸视频检测效果欠佳的问题，提出一种基于纹理和注意力机制的伪造人脸视频检测方法。基于真伪视频间细微和局部的差异，将深度伪造人脸视频检测建模为具有两个类别的特殊细粒度分类问题。首先通过增强浅层特征的纹理捕获图像中难以发掘的伪影信息;然后，结合上下文感知注意力来学习调整人脸中不同区域特征的重要性，以获取局部区分特征;最后,使用可学习的池化方法整合人脸中相似的特征信息进行分类，进一步提升伪造人脸视频检测效果。在FaceForensics++数据集上的实验结果表明，该方法的检测准确率达到97.92％,相比于已有方法，具有更好的检测效果。 (2)针对未知类型的伪造人脸视频检测存在泛化能力弱的问题，提出一种基于多尺度Transformer融合多域特征的伪造人脸视频检测方法。首先基于多域特征融合的思路，同时从视频帧的频域与RGB域进行特征提取，以补充在视频帧的RGB域中不可感知的伪影信息;其次，联合EfficientNet和多尺度Transformer,设计多层级的特征提取网络以充分提取不同粒度的面部特征;最后，将融合后的特征传入分类层进行伪造人脸视频的判别。在FaceForensics++数据集上的实验结果表明，相比于已有方法，该方法具有较好的检测效果;同时在Celeb-DF数据集上的AUC达到83.28％,比现有方法提高了 6.4％,表明该方法具有更好的泛化性能。 (3)基于上述研究成果，面向实际应用需求，设计并实现了一个深度伪造人脸检测系统。该系统基于浏览器-服务器(B/S)架构实现，对本文提出的两种深度伪造人脸视频检测方法进行了集成，为深度伪造视频提供图片级和视频级的检测接口，并提供数据存储、历史检测记录查询等功能。基于该系统能够实现对深度伪造人脸视频的检测及检测结果查询，为用户提供高效便捷的检测服务。
NETL