首页|基于部件检测与分割的服装图像检索研究与应用

基于部件检测与分割的服装图像检索研究与应用

韩晓朋

基于部件检测与分割的服装图像检索研究与应用

韩晓朋1
扫码查看

作者信息

  • 1. 东华大学
  • 折叠

摘要

随着互联网的不断普及和服装电子商务的兴起,越来越多的用户通过电商平台购物服装,网上购买服装已经逐渐成了人们的重要消费方式之一,如何在海量的服装商品中高效准确地检索出用户心仪的服装成为了热门的研究方向。目前“以图搜图”技术主要依赖于整张图像特征提取的结果,不能关注到服装的部件,并且服装图像拍摄时背景一般比较复杂,导致服装图像检索准确率低,因此,本文提出一种基于部件检测与分割的服装图像检索方法。 本文调研了目前比较流行的服装图像检索方法,并对其优劣点进行了深入研究,主要完成了以下工作: 首先,本文通过对服装实例分割数据集iMaterialistFashion进行转换,并进一步将衣袖分为短袖、中袖、长袖等类别,在较大样本服装图像标注数据集的基础上,训练MaskR-CNN以建立服装图像检测与分割的深度学习模型,从而实现服装图像的检测与分割。利用自训练的MaskR-CNN模型提取服装主体图像、衣领图像、衣袖类别、口袋位置,同时对衣袖类别、口袋位置进行编码以便于相似性比较。 其次,在服装图像检索中,本文首先利用MaskR-CNN对图像进行检测与分割得到服装主体、衣领部件、衣袖类别和口袋位置等信息;然后采用VGG16对服装主体与衣领部件提取512维的特征;基于这些信息,将待检索服装与数据库中的服装逐一计算相似度。相似度的计算方式为服装主体及衣领的512维特征的余弦相似度以及衣袖、口袋相似度的加权和,其中衣袖是比较其类别的相似性,口袋是比较其位置的相似性。根据相似度的降序排列,向用户呈现检索结果。实验结果表明,该方法可以关注服装整体以及各个部件,从而能够实现服装款式或风格的检索。并且允许用户调整相似度的权值,可以返回最符合用户个性化需求的检索结果。 最后,针对目前服装图像检索中忽略服装部件相似性的问题,本文设计并实现了基于部件检测与分割的服装检索方法的商城系统,通过使用本文提出的检索方法来实现服装商品检索。整个系统使用前后端分离的技术实现,客户端采用小程序框架,服务端采用SpringBoot框架,充分的考虑到了系统的跨平台性和横向扩展性。系统的功能主要包括登录注册模块、商品浏览与检索模块、购物车及支付模块、个人中心管理模块等。

关键词

服装图像检索/MaskR-CNN/相似度/特征提取/字符分割

引用本文复制引用

授予学位

硕士

学科专业

计算机技术

导师

黄秋波/朱珍伟

学位年度

2021

学位授予单位

东华大学

语种

中文

中图分类号

TP
段落导航相关论文