计算机技术与发展2022，Vol.32Issue(11) ：43-49.DOI:10.3969/j.issn.1673-629X.2022.11.007

基于运动跟踪与特征融合的视频实例分割方法

Video Instance Segmentation Method Based on Motion Tracker and Feature Aggregation

周震 李莹 柳德云 吉根林
计算机技术与发展2022，Vol.32Issue(11) ：43-49.DOI:10.3969/j.issn.1673-629X.2022.11.007
✕
  • 维普
  • 万方数据

基于运动跟踪与特征融合的视频实例分割方法

Video Instance Segmentation Method Based on Motion Tracker and Feature Aggregation

周震 1李莹 1柳德云 1吉根林1
扫码查看

作者信息

  • 1. 南京师范大学 计算机与电子信息学院/人工智能学院,江苏 南京 210023
  • 折叠

摘要

视频实例分割(VIS)提供了对视频更深层次的理解,是智能监控、自动驾驶、机器人等领域高级任务的前置任务之一.目前对于图像实例分割已经有很多研究,但是对于视频实例分割的研究却相对较少,而将图像分割方法直接应用到视频领域也存在很多问题,其中实例被遮挡、实例成像差以及高速运动引起实例模糊等异常情况导致的追踪和分割效果差是主要问题.针对该问题,提出一种基于运动跟踪与注意力特征融合的视频实例分割方法(MTFA).该方法利用运动跟踪头依据运动和特征信息在整个视频中跟踪实例并分配实例标签,然后按照实例标签对每一帧中实例去其他帧提取同一实例的特征信息,通过注意力机制融合这些特征信息用以增强当前帧的特征并生成分割掩码.该方法在Youtube-VIS数据集测试中最佳AP为38.3％(ResNet-50)和41.2％(ResNet-101).

关键词

视频实例分割/图像实例分割/运动跟踪/特征融合/注意力机制

引用本文复制引用

基金项目

国家自然科学基金(41971343)

国家自然科学基金(62102186)

出版年

2022
计算机技术与发展
陕西省计算机学会

计算机技术与发展

CSTPCD
影响因子：0.621
ISSN：1673-629X
参考文献量1
段落导航相关论文