首页|基于运动跟踪与特征融合的视频实例分割方法

基于运动跟踪与特征融合的视频实例分割方法

扫码查看
原文链接
  • 万方数据
  • 维普
视频实例分割(VIS)提供了对视频更深层次的理解,是智能监控、自动驾驶、机器人等领域高级任务的前置任务之一.目前对于图像实例分割已经有很多研究,但是对于视频实例分割的研究却相对较少,而将图像分割方法直接应用到视频领域也存在很多问题,其中实例被遮挡、实例成像差以及高速运动引起实例模糊等异常情况导致的追踪和分割效果差是主要问题.针对该问题,提出一种基于运动跟踪与注意力特征融合的视频实例分割方法(MTFA).该方法利用运动跟踪头依据运动和特征信息在整个视频中跟踪实例并分配实例标签,然后按照实例标签对每一帧中实例去其他帧提取同一实例的特征信息,通过注意力机制融合这些特征信息用以增强当前帧的特征并生成分割掩码.该方法在Youtube-VIS数据集测试中最佳AP为38.3％(ResNet-50)和41.2％(ResNet-101).
Video Instance Segmentation Method Based on Motion Tracker and Feature Aggregation

周震、李莹、柳德云、吉根林

展开 >

南京师范大学 计算机与电子信息学院/人工智能学院,江苏 南京 210023

视频实例分割 图像实例分割 运动跟踪 特征融合 注意力机制

国家自然科学基金国家自然科学基金

4197134362102186

2022

10.3969/j.issn.1673-629X.2022.11.007

计算机技术与发展
陕西省计算机学会

计算机技术与发展

CSTPCD
影响因子：0.621
ISSN：1673-629X
年,卷(期)：2022.32(11)
  • 1