基于深度学习的跨模态检索综述

Survey on deep learning based cross-modal retrieval

扫码查看

原文链接

NETL
NSTL
维普
万方数据

中文摘要：由于多模态数据的快速增长,跨模态检索受到了研究者的广泛关注,其将一种模态的数据作为查询条件检索其他模态的数据,如用户可以用文本检索图像或/和视频.由于查询及其检索结果模态表征的差异,如何度量不同模态之间的相似性是跨模态检索的主要挑战.随着深度学习技术的推广及其在计算机视觉、自然语言处理等领域的显著成果,研究者提出了一系列以深度学习为基础的跨模态检索方法,极大缓解了不同模态间相似性度量的挑战,本文称之为深度跨模态检索.本文从以下角度综述有代表性的深度跨模态检索论文,基于所提供的跨模态信息将这些方法分为3类:基于跨模态数据间一一对应的、基于跨模态数据间相似度的以及基于跨模态数据语义标注的深度跨模态检索.一般来说,上述3类方法提供的跨模态信息呈现递增趋势,且提供学习的信息越多,跨模态检索性能越优.在上述不同类别下,涵盖了7类主流技术,即典型相关分析、一一对应关系保持、度量学习、似然分析、学习排序、语义预测以及对抗学习.不同类别下包含部分关键技术,本文将具体阐述其中有代表性的方法.同时对比提供不同跨模态数据信息下不同技术的区别,以阐述在提供了不同层次的跨模态数据信息下相关技术的关注点与使用异同.为评估不同的跨模态检索方法,总结了部分代表性的跨模态检索数据库.最后讨论了当前深度跨模态检索待解决的问题以及未来的研究方向.

作者：

尹奇跃、黄岩、张俊格、吴书、王亮

展开 >

作者单位：

中国科学院自动化研究所,北京100190

关键词：

跨模态检索跨模态哈希深度学习共同表示学习对抗学习似然分析学习排序

出版年：

2021

中国图象图形学报

中国科学院遥感应用研究所,中国图象图形学学会 ,北京应用物理与计算数学研究所

中国图象图形学报

CSTPCDCSCD北大核心

影响因子：1.111

ISSN：1006-8961

年,卷(期)：2021.26(6)

被引量14
参考文献量111