摘要
对于情绪信息的视听整合，已有的研究结果发现，在视听刺激情绪不一致时，诱发的N1成分更小，这反映了在视听整合过程中注意资源的转移和调用。而对于P2成分，有的研究发现它反映了对视听情绪不一致时的加工，有研究认为它反映的是听觉情绪的加工过程，并没有一致性的结论。同时，以往的研究已经提示视听刺激出现的先后顺序会影响视听整合过程，但对于视听刺激出现的顺序是如何影响视听整合过程这一问题还没有系统性的研究。 基于上述问题，本研究使用行为和ERP测量通过两个实验考察了动态视听刺激呈现时间的一致性和情绪内容的一致性对视听整合过程的影响。在实验一中，采用被试内设计，通过操纵视听刺激呈现时间是否同步（同步呈现/相差约600ms先后呈现）和视听刺激的情绪内容是否一致（情绪内容一致/不一致）来研究视听整合过程的差异。行为结果发现，在视听刺激情绪不一致条件下，被试的反应时更慢;与视听刺激先后呈现相比，刺激同步呈现时，被试的反应时更慢。脑电结果上，N1、P2成分在视听刺激情绪不一致时，诱发的幅值更小，这表明了在视听整合的过程中对注意资源的需求增加。同时在视听刺激呈现时间上，视听刺激同步出现诱发了更大的N1、P2成分，这种结果支持了提前出现的视觉刺激会影响视听整合加工过程的假说，视听刺激同步呈现能够更好的诱发视听整合过程，并且视觉刺激能够通过影响注意自下而上的自动加工增加视听整合加工的注意资源消耗。 实验二在实验一的基础上，采用视听刺激同步呈现的方法，使用两因素被试内实验设计，探究视觉刺激情绪效价（积极、消极、中性）和听觉刺激刺激情绪效价（积极、消极、中性）对视听整合过程的影响。行为结果表明，不同情绪效价对于反应时的影响是不同的，消极的听觉刺激加快了反应速度，而积极的听觉刺激减慢了反应速度;当听觉刺激与视觉刺激的情绪不同时，反应时增加。脑电结果表明，消极情绪的加入会降低N1成分的大小，这表明负性效价的视听情绪刺激都会影响视听整合过程。同时，积极效价的视觉干扰刺激能够通过扩张注意的方式对加工听觉刺激起促进作用，这在P2成分的大小上得到了体现。 总之，视听整合的过程受到视觉刺激和听觉刺激情绪效价以及视听刺激呈现时间顺序的影响，同时出现的视听刺激和积极的情绪效价有助于对视听刺激更好的整合。本研究的结果对进一步了解人们加工视听情绪刺激时的影响因素，对理解人们日常生活中的情绪表达和认知的过程是十分有帮助的。
NETL