浙江大学学报(工学版)2024,Vol.58Issue(1) :61-70.DOI:10.3785/j.issn.1008-973X.2024.01.007

基于多模态融合的开放域三维模型检索算法

Open-set 3D model retrieval algorithm based on multi-modal fusion

毛福新 杨旭 程嘉强 彭涛
浙江大学学报(工学版)2024,Vol.58Issue(1) :61-70.DOI:10.3785/j.issn.1008-973X.2024.01.007

基于多模态融合的开放域三维模型检索算法

Open-set 3D model retrieval algorithm based on multi-modal fusion

毛福新 1杨旭 1程嘉强 2彭涛3
扫码查看

作者信息

  • 1. 天津职业技术师范大学工程实训中心,天津 300222
  • 2. 天津华大科技有限公司,天津 300131
  • 3. 天津职业技术师范大学汽车与交通学院,天津 300222
  • 折叠

摘要

为了满足开放域下海量新增模型数据的管理和检索需求,提出开放域三维模型检索算法,可以有效地利用多模态信息的语义一致性.借助无监督算法探寻未知样本间的类别信息,利用该类别信息实现网络模型的参数优化,使得网络模型在开放域条件下具有更好的模型表征性能及检索结果.提出基于Transformer结构的层级化多模态信息融合模型,有效地剔除了多模态间的冗余信息,得到鲁棒性更强的模型表征向量.在数据集Model-Net40上进行实验,通过与其他典型算法的对比实验可知,所提方法在mAP指标上优于所有的对比方法,验证了该方法在检索性能提升上的有效性.

关键词

机器视觉/多模态融合/开放域检索/三维模型

Key words

machine vision/multi-modal fusion/open set retrieval/3D model

引用本文复制引用

基金项目

天津市多元投入基金重点项目(21JCZDJC00700)

出版年

2024
浙江大学学报(工学版)
浙江大学

浙江大学学报(工学版)

CSTPCD北大核心
影响因子:0.625
ISSN:1008-973X
参考文献量38
段落导航相关论文