首页|一种基于自注意力机制的自动人脸替换方法

一种基于自注意力机制的自动人脸替换方法

扫码查看
原文链接
  • 国家科技期刊平台
  • NETL
  • NSTL
  • 万方数据
  • 维普
针对DeepFakes人脸替换方法生成人脸图像分辨率低、质量差等问题，提出一种基于自注意力机制的生成对抗网络的自动人脸替换方法，生成对抗网络主体采用类似U型自编码对称结构减少特征信息的损失，引进自注意力机制能够更好地学习图像的纹理特征，提高生成图像的重建质量，应用卡尔曼滤波器平滑处理每一帧上的边界框位置，降低人脸抖动。在FaceForensics++数据集上与DeepFakes替换方法进行对比实验，定性和定量的实验结果证明了该方法能够较好地提升生成图像质量，减少脸部抖动。
AN AUTOMATIC FACE REPLACEMENT METHOD BASED ON SELF-ATTENTION MECHANISM
Aimed at the low resolution and poor quality of face images generated by the DeepFakes face replacement method,a face replacement method based on self-attention generation confrontation network is proposed.The main body of the generation confrontation network adopted a U-shaped self-encoding symmetric structure to reduce the loss of feature information.We introduced the self-attention mechanism to better learn the texture characteristics of the image,improved the reconstruction quality of the generated image,and applied the Kalman filter to smooth the position of the bounding box on each frame thus reducing the face jitter.A comparative experiment was carried out on the FaceForensics++dataset with the DeepFakes replacement method.The qualitative and quantitative experimental results prove that the method can better improve the quality of the generated image and reduce facial jitter.

Face replacementGenerative confrontation networkSelf-attention mechanismStructural similarity

魏玮、何飞鹏、陈海永、朱叶

展开 >

河北工业大学人工智能与数据科学学院 天津 300401

人脸替换 生成对抗网络 自注意力机制 结构性相似

中央引导地方科技发展资金项目国家自然科学基金项目中国科学院自动化研究所模式识别国家重点实验室开放课题河北省高等学校科学技术研究项目天津科技发展战略研究计划项目河北省自然科学基金面上项目河北省自然科学基金面上项目天津市企业科技特派员项目天津市企业科技特派员项目科技部重点专项计划项目

206Z1701G61806071201900043QN201920718ZLZXZF00660F2019202381F201920246419JCTPJC5580019JCTPJC570002018YFC0809700

2024

10.3969/j.issn.1000-386x.2024.01.029

计算机应用与软件
上海市计算技术研究所 上海计算机软件技术开发中心

计算机应用与软件

CSTPCD北大核心
影响因子：0.615
ISSN：1000-386X
年,卷(期)：2024.41(1)
  • 19