摘要
注意瞬脱是指当辨别快速呈现的视觉刺激中的两个目标刺激（T1与T2）时，若T1呈现后很快（200–500 ms）就呈现T2，被试对T2辨别准确率大幅下降的现象。当在注意瞬脱期间增加一个与T2同步呈现的声音可以有效提升对T2的辨别能力，即声音改善视觉注意瞬脱，一种多感觉整合增强基于时间的注意力的经典现象。近期研究发现，当声音与T2语义不一致时对T2辨别准确率的提升量要小于当该声音与T2语义一致时。但由于以往研究均未设置语义中性条件，因此目前尚不清楚这种视听语义一致性效应是源于语义不一致声音携带的语义冲突限制了该声音对T2加工的促进，还是语义一致声音携带的语义一致信息进一步提升了T2的辨别能力，又或是两者兼有。另一方面，在以往发现携带语义信息的声音通过视听跨通道整合改善视觉注意的研究中，听觉刺激的呈现方式均较为突显，易于引起有机体的警觉状态，这种声音引起的警觉可能在改善视觉注意瞬脱中发挥了作用。因此，当前亟须探明在视听整合改善视觉注意的过程中，高突显性声音所额外引发的警觉是否为必要前提。 为了在行为和神经水平上区分声音改善视觉注意瞬脱中语义一致引起的增益和语义不一致引起的代价，实验1结合了行为测量和事件相关电位（ERP）技术，在以往T2可能伴随语义一致或不一致声音的视觉注意瞬脱范式的基础上，设置了T2伴随语义中性声音的基线条件。行为结果显示，视听双通道条件下T2的辨别准确率均显著高于纯视觉的单通道条件。此外，与中性声音相比，语义一致声音对T2辨别准确率的提升量更大，而语义不一致声音引起的提升量更小。ERP结果显示，早期的枕区跨通道N195成分（T2呈现后192–228ms）的波幅在语义一致声音条件下比语义中性和语义不一致声音条件下都显著更大，而晚期的顶区跨通道N440成分（400–500ms）仅在语义不一致声音条件下被诱发。这些发现提供了强有力的证据，即视听语义一致性对视觉注意瞬脱的调节作用，不仅包含语义不一致在晚期引起的代价，还包含语义一致在早期引发的额外增益，从而首次明确证明了声音携带的与T2语义一致的信息在减轻基于时间的视觉注意力限制的过程中存在贡献。 实验2在实验1的基础上将声音调整为觉察阈限下水平，以进一步探索无法引起警觉的声音是否仍能改善反映着时间维度注意局限的视觉注意瞬脱。行为结果显示，相比T2不伴随声音的单通道条件，伴随T2呈现的语义一致和不一致的阈下声音均可以改善注意瞬脱期间T2的辨别能力，但二者在改善程度上并没有显著差异。ERP结果显示，早期的枕区跨通道N195成分的波幅在语义一致声音条件下比语义不一致声音条件下更大，同时N195波幅能够预测阈下声音（无论语义如何）呈现时辨别T2的准确性；然而，晚期的顶区跨通道N440成分在任何声音条件下均未被诱发。以上结果表明：一方面，即使声音无法引起警觉状态，其依旧可以通过早期视听跨通道整合来增强基于时间的视觉注意，因此声音引发的警觉并不是这一增强过程的必要前提；另一方面，虽然视听语义一致性对这种增强效应在行为层面的调节作用需要以视听刺激间的语义关系被意识到为前提，但语义一致信息似乎比语义不一致信息更容易被大脑所检测到。
NETL