首页|深度多模态融合服装风格检索

深度多模态融合服装风格检索

Fashion style retrieval based on deep multimodal fusion

扫码查看
原文链接
  • NETL
  • NSTL
  • 维普
  • 万方数据
目的 服装检索方法是计算机视觉与自然语言处理领域的研究热点,其包含基于内容与基于文本的两种查询模态.然而传统检索方法通常存在检索效率低的问题,且很少研究关注服装在风格上的相似性.为解决这些问题,本文提出深度多模态融合的服装风格检索方法.方法 提出分层深度哈希检索模型,基于预训练的残差网络ResNet(residual network)进行迁移学习,并把分类层改造成哈希编码层,利用哈希特征进行粗检索,再用图像深层特征进行细检索.设计文本分类语义检索模型,基于LSTM(long short-term memory)设计文本分类网络以提前分类缩小检索范围,再以基于doc2vec提取的文本嵌入语义特征进行检索.同时提出相似风格上下文检索模型,其参考单词相似性来衡量服装风格相似性.最后采用概率驱动的方法量化风格相似性,并以最大化该相似性的结果融合方法作为本文检索方法的最终反馈.结果 在Polyvore数据集上,与原始ResNet模型相比,分层深度哈希检索模型的top5平均检索精度提高11.6％,检索速度提高2.57s/次.与传统文本分类嵌入模型相比,本文分类语义检索模型的top5查准率提高29.96％,检索速度提高16.53s/次.结论 提出的深度多模态融合的服装风格检索方法获得检索精度与检索速度的提升,同时进行了相似风格服装的检索使结果更具有多样性.

苏卓、柯司博、王若梅、周凡

展开 >

中山大学计算机学院,广州510006

中山大学国家数字家庭工程技术研究中心,广州510006

多模态服装检索 哈希特征 文本嵌入 风格相似性 深度哈希

国家自然科学基金国家自然科学基金广州市科技计划项目

6187239461672547201902010056

2021

中国图象图形学报
中国科学院遥感应用研究所,中国图象图形学学会 ,北京应用物理与计算数学研究所

中国图象图形学报

CSTPCDCSCD北大核心
影响因子：1.111
ISSN：1006-8961
年,卷(期)：2021.26(4)
  • 2
  • 5