一种基于自注意力机制的自动人脸替换方法
AN AUTOMATIC FACE REPLACEMENT METHOD BASED ON SELF-ATTENTION MECHANISM
魏玮 1何飞鹏 1陈海永 1朱叶1
作者信息
- 1. 河北工业大学人工智能与数据科学学院 天津 300401
- 折叠
摘要
针对DeepFakes人脸替换方法生成人脸图像分辨率低、质量差等问题,提出一种基于自注意力机制的生成对抗网络的自动人脸替换方法,生成对抗网络主体采用类似U型自编码对称结构减少特征信息的损失,引进自注意力机制能够更好地学习图像的纹理特征,提高生成图像的重建质量,应用卡尔曼滤波器平滑处理每一帧上的边界框位置,降低人脸抖动.在FaceForensics++数据集上与DeepFakes替换方法进行对比实验,定性和定量的实验结果证明了该方法能够较好地提升生成图像质量,减少脸部抖动.
Abstract
Aimed at the low resolution and poor quality of face images generated by the DeepFakes face replacement method,a face replacement method based on self-attention generation confrontation network is proposed.The main body of the generation confrontation network adopted a U-shaped self-encoding symmetric structure to reduce the loss of feature information.We introduced the self-attention mechanism to better learn the texture characteristics of the image,improved the reconstruction quality of the generated image,and applied the Kalman filter to smooth the position of the bounding box on each frame thus reducing the face jitter.A comparative experiment was carried out on the FaceForensics++dataset with the DeepFakes replacement method.The qualitative and quantitative experimental results prove that the method can better improve the quality of the generated image and reduce facial jitter.
关键词
人脸替换/生成对抗网络/自注意力机制/结构性相似Key words
Face replacement/Generative confrontation network/Self-attention mechanism/Structural similarity引用本文复制引用
基金项目
中央引导地方科技发展资金项目(206Z1701G)
国家自然科学基金项目(61806071)
中国科学院自动化研究所模式识别国家重点实验室开放课题(201900043)
河北省高等学校科学技术研究项目(QN2019207)
天津科技发展战略研究计划项目(18ZLZXZF00660)
河北省自然科学基金面上项目(F2019202381)
河北省自然科学基金面上项目(F2019202464)
天津市企业科技特派员项目(19JCTPJC55800)
天津市企业科技特派员项目(19JCTPJC57000)
科技部重点专项计划项目(2018YFC0809700)
出版年
2024
国家科技期刊平台
NSTL
维普
万方数据