摘要
图像协同显著物体检测任务是显著物体检测中的一个重要分支，是计算机视觉领域的研究热点。该任务旨在从一组或多组相关图像中检测出共同且吸引人的物体。解决这个问题的关键是如何提取图像组中协同显著物体的共识线索并且有效避免图像中其它无关显著物体的干扰。早期的传统方法通常利用手工制作的低级特征对图像的相似区域进行打分，以便分割出共同区域。然而，传统方法大多依赖于人们的先验，难以应用于现实场景。最近，深度学习的迅速发展促进了深度学习下的协同显著物体检测技术，并展现了令人瞩目的潜力。然而，现存的基于深度学习的图像协同显著物体检测方法往往存在以下缺点：（1）图像组中的共同物体的组语义特征未充分挖掘；（2）共同物体的上下文信息未得到有效探索；（3）协同显著物体的局部特征和全局依赖之间关系未充分探索；（4）解码过程中未有效保持组内共识的一致性和紧凑性。因此，本文设计了两个图像协同显著物体检测方法，来解决上述问题。具体来说，本文的贡献在于： 针对问题（1）和（2），本文提出了一种组语义引导的邻居交互网络来进行协同显著物体检测。总的来说，设计的网络包括三个模块：组语义模块、邻居交互模块和特征增强模块。首先，组语义模块通过反向引导策略和通道分组策略从一组相关图像中学习语义共识，该模块能够从前向和反向特征中挖掘潜在的高级语义并通过全局注意力来挖掘共同线索，以获得组语义共识。在组语义共识的指导下，邻居交互模块对相邻层特征进行交互，探索上下文特征以增强协同特征表示。最后，特征增强模块通过注意机制对关键线索进行细化，来提高了协同特征的一致性和紧凑性。设计的网络在三个协同显著物体检测数据集上取得了有竞争力的表现，消融实验也可以证明所提出的模块有效性。 本文针对问题（3）和（4），本文提出了一种基于Transformer和卷积神经网络（ConvolutionalNeuralNetwork,CNN）并行交互的协同显著物体检测网络。该网络能够有效地挖掘协同显著目标的局部特征和全局依赖。该网络包括三个关键组件：相互共识模块、共识互补模块和组一致渐进解码器。这些组件可以相互协作，提高网络的性能。相互共识模块旨在从CNN分支和Transformer分支的高级特征中捕获全局共识，并将其作为后续在每个级别整合两分支共识线索的指南。共识互补模块旨在有效地融合来自两个分支不同级别的局部信息和全局上下文信息。组一致性渐进解码器负责保持群体特征的一致性并预测准确的协同显著性结果。通过大量实验验证了所提出的方法以及设计的组件的有效性，证明了这种基于Transformer和CNN的并行交互的协同显著物体检测网络在协同显著性检测任务上的优越性。
NETL