首页|基于多任务学习的传统服饰图像双层标注

基于多任务学习的传统服饰图像双层标注

扫码查看
原文链接
  • NETL
  • NSTL
  • 万方数据
  • 维普
针对当前图像多标签标注方法只能标注图像内容信息(本体),而不能同时标注图像寓意信息(隐义)的问题,提出了一种基于多任务学习的双层多标签标注模型(MTL-DMAM).首先将图像的本体标注和隐义标注视为两个关联任务,以ResNeXt-50作为共享特征的主干网络,然后利用注意力机制分别为每个任务构建一个分支结构,实现了图像双层标注,同时为消除图像内各物体大小差异对标注结果的影响,在模型中加入ELASTIC结构,进一步提高了模型性能.在对比实验中,本文模型在单任务MS-COCO数据集和多任务传统服饰数据集上优于其他同类模型.最后,利用Grad-cam方法可视化模型MTL-DMAM在标注时重点关注的图像区域,实验结果表明本文模型能有效学习标签对应的图像显著特征.
Double-layer annotation of traditional costume images based on multi-task learning

赵海英、周伟、侯小刚、张小利

展开 >

北京邮电大学计算机学院,北京100876

北京邮电大学数字媒体与设计艺术学院,北京100876

吉林大学计算机科学与技术学院,长春130012

人工智能 传统服饰 多任务学习 多标签标注 注意力机制

中央文化产业发展专项资金申报项目

GSSKS-2015-035

2021

10.13229/j.cnki.jdxbgxb20190970

吉林大学学报(工学版)
吉林大学

吉林大学学报(工学版)

CSTPCDCSCD北大核心
影响因子：0.792
ISSN：1671-5497
年,卷(期)：2021.51(1)
  • 6
  • 8