计算机研究与发展2023,Vol.60Issue(6) :1396-1416.DOI:10.7544/issn1000-1239.202111119

多模态深度伪造及检测技术综述

A Survey on Multimodal Deepfake and Detection Techniques

李泽宇 张旭鸿 蒲誉文 伍一鸣 纪守领
计算机研究与发展2023,Vol.60Issue(6) :1396-1416.DOI:10.7544/issn1000-1239.202111119

多模态深度伪造及检测技术综述

A Survey on Multimodal Deepfake and Detection Techniques

李泽宇 1张旭鸿 2蒲誉文 1伍一鸣 1纪守领1
扫码查看

作者信息

  • 1. 浙江大学计算机科学与技术学院 杭州 310007
  • 2. 浙江大学控制科学与工程学院 杭州 310007
  • 折叠

摘要

随着各种深度学习生成模型在各领域的应用,生成的多媒体文件的真伪越来越难以辨别,深度伪造技术也因此得以诞生和发展.深度伪造技术通过深度学习相关技术能够篡改视频或者图片中的人脸身份信息、表情和肢体动作,以及生成特定人物的虚假语音.自2018年Deepfakes技术在社交网络上掀起换脸热潮开始,大量的深度伪造方法被提出,并展现了其在教育、娱乐等领域的潜在应用.但同时深度伪造技术在社会舆论、司法刑侦等方面产生的负面影响也不容忽视.因此有越来越多的对抗手段被提出用于防止深度伪造被不法分子所应用,如深度伪造的检测和水印.首先,针对不同模态类型的深度伪造技术以及相应的检测技术进行了回顾和总结,并根据研究目的和研究方法对现有的研究进行了分析和归类;其次,总结了近年研究中广泛使用的视频和音频数据集;最后,探讨了该领域未来发展面临的机遇和挑战.

关键词

深度伪造/深度伪造检测/深度学习/人脸替换/生成对抗网络

引用本文复制引用

出版年

2023
计算机研究与发展
中国科学院计算技术研究所 中国计算机学会

计算机研究与发展

CSTPCDCSCD北大核心
影响因子:2.649
ISSN:1000-1239
被引量1
参考文献量181
段落导航相关论文