纺织学报2023,Vol.44Issue(7) :192-198.DOI:10.13475/j.fzxb.20220508401

基于注意力机制和视觉转换器的三维虚拟试衣网络

Three-dimensional virtual try-on network based on attention mechanism and vision transformer

袁甜甜 王鑫 罗炜豪 梅琛楠 韦京艳 钟跃崎
纺织学报2023,Vol.44Issue(7) :192-198.DOI:10.13475/j.fzxb.20220508401

基于注意力机制和视觉转换器的三维虚拟试衣网络

Three-dimensional virtual try-on network based on attention mechanism and vision transformer

袁甜甜 1王鑫 1罗炜豪 1梅琛楠 1韦京艳 1钟跃崎2
扫码查看

作者信息

  • 1. 东华大学 纺织学院,上海 201620
  • 2. 东华大学 纺织学院,上海 201620;东华大学 纺织面料与技术教育部重点实验室,上海 201620
  • 折叠

摘要

针对三维虚拟试衣网络中易出现的三维人体模型边缘模糊,服装变形严重且存在伪影等问题,设计了三阶段深度神经网络,在第 1 阶段引入卷积注意力机制,第 2 阶段采用Resnet和视觉转换器结构结合的编码器-解码器结构,第 3 阶段通过融合服装变形信息和深度估计信息实现三维虚拟试衣.定量实验结果表明:图像质量评价指标结构相似度提升了 0.015 7,峰值信噪比提升了 0.113 2;人体模型的深度估计值的绝对相对误差降低了0.037,平方相对误差降低了 0.014.定性实验结果表明:卷积注意力机制能够引导网络关注图像细节,保留复杂纹理,约束服装的过度形变,并且有效处理三维人体模型黏连问题.定量和定性分析结果均可表明,该方法能够更加精准地实现预测三维虚拟试衣结果.

关键词

虚拟试衣/视觉转换器/注意力机制/深度估计/三维重建

Key words

virtual try-on/vision transformer/attention mechanism/depth estimation/three-dimensional reconstruction

引用本文复制引用

基金项目

上海市自然科学基金(21ZR1403000)

出版年

2023
纺织学报
中国纺织工程学会

纺织学报

CSTPCDCSCD北大核心
影响因子:0.699
ISSN:0253-9721
参考文献量19
段落导航相关论文