首页|多关键帧特征交互的人脸篡改视频检测

多关键帧特征交互的人脸篡改视频检测

扫码查看
原文链接
  • NETL
  • NSTL
  • 万方数据
  • 维普
目的 深度伪造是新兴的一种使用深度学习手段对图像和视频进行篡改的技术,其中针对人脸视频进行的篡改对社会和个人有着巨大的威胁.目前,利用时序或多帧信息的检测方法仍处于初级研究阶段,同时现有工作往往忽视了从视频中提取帧的方式对检测的意义和效率的问题.针对人脸交换篡改视频提出了一个在多个关键帧中进行帧上特征提取与帧间交互的高效检测框架.方法 从视频流直接提取一定数量的关键帧,避免了帧间解码的过程;使用卷积神经网络将样本中单帧人脸图像映射到统一的特征空间;利用多层基于自注意力机制的编码单元与线性和非线性的变换,使得每帧特征能够聚合其他帧的信息进行学习与更新,并提取篡改帧图像在特征空间中的异常信息;使用额外的指示器聚合全局信息,作出最终的检测判决.结果 所提框架在FaceForensics++的3个人脸交换数据集上的检测准确率均达到96.79％以上;在Celeb-DF数据集的识别准确率达到了99.61％.在检测耗时上的对比实验也证实了使用关键帧作为样本对检测效率的提升以及本文所提检测框架的高效性.结论 本文所提出的针对人脸交换篡改视频的检测框架通过提取关键帧减少视频级检测中的计算成本和时间消耗,使用卷积神经网络将每帧的人脸图像映射到特征空间,并利用基于自注意力的帧间交互学习机制,使得每帧特征之间可以相互关注,学习到有判别性的信息,使得检测结果更加准确,整体检测过程更高效.
Deepfake video detection with feature interaction amongst key frames

祝恺蔓、徐文博、卢伟、赵险峰

展开 >

中山大学计算机学院, 广州 510006

中国科学院信息工程研究所信息安全国家重点实验室, 北京 100195

中国科学院大学网络空间安全学院, 北京 100195

Deepfake检测 人脸交换篡改视频 关键帧 层级结构 多帧交互 自注意力机制

国家自然科学基金国家自然科学基金

U200120262072480

2022

10.11834/jig.210408

中国图象图形学报
中国科学院遥感应用研究所,中国图象图形学学会 ,北京应用物理与计算数学研究所

中国图象图形学报

CSTPCDCSCD北大核心
影响因子：1.111
ISSN：1006-8961
年,卷(期)：2022.27(1)
  • 6
  • 4