1. 引言
感觉是个体存在的必要条件(Bexton, Heron, & Scott, 1954)，但大量感觉信息若不能被高效加工，大脑将不堪重负。为提高效率，大脑将各种感觉信息进行整合。多感觉整合是指个体能够更有效地将来自不同感觉通道(如视觉、嗅觉、听觉、触觉等)的信息整合成统一高效的感知信号(Mcgurk & Macdonald, 1976; 顾吉有，2016)。其中，视觉和听觉信息的整合被称为视听整合。例如双簧演出时，表演者引导个体将不同声音与外表整合以产生较好舞台效果。而注意对视听整合相当重要，研究表明注意资源的改变对视听整合效应有较大影响(Talsma, Senkowski, Soto-Faraco, & Woldorff, 2010)。近年来，听觉作为影响注意的重要通道得到大量的研究和关注(Stoep, Janssen, Stigchel, & Nijboer, 2013)。
前人通常通过双任务范式(Dual tasks)研究听觉负荷对视听整合的影响(Fischler, 1976; Norman & Bobrow, 1975)。具体来看，Alsius研究中视觉刺激为女性读单词的视频片段，听觉刺激为单词音频，视听刺激为二者同时呈现；视觉负荷为叠加在视频上的无关图形，听觉负荷为叠加在听觉刺激上的无关音频。实验共分为有、无视听觉负荷两种情况，要求被试在无负荷条件下复述听到或看到的单词，负荷条件下除完成复述任务外还需探测重复出现的图片或音频(Alsius, Navarra, & Soto-Faraco, 2007; Talsma et al., 2007; Tiippana, Andersen, & Sams, 2004)。结果表明负荷条件下，注意负荷减弱视听觉整合。顾吉有(2016)研究中视觉刺激为圆形和正方形图片，听觉刺激为“圆”和“方”音频，视听刺激为对应图片和音频同时呈现；听觉负荷为1200 Hz高音以及400 Hz低音。实验共分为有无负荷两种条件，其中无负荷条件下要求被试对圆形图片、音频及其同时呈现时按F键反应而对方形图片、音频及其同时呈现时按J键反应，负荷条件下除以上任务外还需对高音和低音分别按D、K键反应，以探究负荷条件下视听整合效应的变化(顾吉有，2016)。结果表明视听整合较少受到听觉负荷的影响。
不论双任务范式下以何种方式设置干扰，其本质都是对注意资源中反应选择与执行阶段进行干预(吴彦文，游旭群，李海霞，2014)。在这种方式下，对注意资源的控制通常需要改变任务内容，但任务内容的改变导致其对加工水平差异解释缺乏效力。快速系列视觉呈现范式(rapid serial visual presentation, RSVP)最早被Broadbent等人运用在注意瞬脱研究中(Broadbent & Broadbent, 1987)，近年来又多被用于注意负荷研究(Talsma et al., 2007)，即通过快速呈现干扰刺激以操纵注意资源。相对于双任务范式，该范式下通常无需改变任务内容，同时研究设计更为简洁。
在RSVP范式中，研究者们常通过改变负荷刺激数量以及利用刺激间相似程度操纵注意负荷。具体来看，Fairnie等人(2016)将刺激同时呈现在以被试为圆心的一个假想半圆中距离相等的五个点。其中目标刺激为狮子与狗的叫声，干扰刺激为鸭子、鸡、牛、乌鸦和公鸡叫声，并将实验分为仅目标刺激、目标刺激与一种非目标刺激、目标刺激与三种非目标刺激和目标刺激与五种非目标刺激同时呈现四个条件(Fairnie, Moore, & Remington, 2016)。Dalton等人研究中听觉刺激以快速信息流的形式呈现，靶刺激为女性朗读的字母P、T音频，非靶刺激为男性朗读的字母音频。同时低负荷下听觉干扰刺激由x组成，高负荷下由A、C、H、G、J、K组成。不同负荷下均要求被试对靶刺激反应。结果表明听觉负荷对目标刺激加工无显著影响(Murphy, Fraenkel, & Dalton, 2013)。以上研究通过改变刺激数量或刺激间相似性为依据设置负荷，虽保持任务内容一致，但其不同负荷间刺激内容不一致同样影响其研究效度。Dalton等人(2017)研究表明提高同时呈现刺激数量或强度将会降低对目标刺激的注意水平(Brungart, 2001; Dalton et al., 2017; Kidd, Mason, Richards, Gallun, & Urlach, 2007)，这为注意资源控制提供一种全新的思路，即通过改变刺激呈现水平对注意资源加以操控而无需改变任务内容或刺激内容。据此，本研究假设若通过特定听觉刺激作为掩蔽刺激与目标刺激同时呈现，将会影响对目标刺激的注意水平。
综上所述，本研究采用RSVP范式通过控制目标和干扰刺激出现比例操纵听觉负荷(低听觉负荷、中听觉负荷、高听觉负荷)，考察其对单独视觉、单独听觉以及视听整合的影响。基于前人研究结果，本研究预期听觉负荷对视听整合影响显著，中、高负荷下视听整合比例下降、峰值降低。
2. 方法
2.1. 被试
共二十九名被试(男性9名，女性20名)参与实验，年龄范围在18~36岁，平均年龄21.7 ± 2.7岁。所有参与者均为贵州中医药大学本科生或研究生，听力和视力均正常，均为右利手，未患精神疾病，无脑部损伤史。以往没有参加过类似实验，结束后获得合理酬劳。
2.2. 实验材料
实验程序的编写和数据采集均采用E-prime 2.0 (标准心理学实验软件)，刺激呈现在Samsung S19E200型号的液晶显示器上，可视尺寸19英寸，分辨率为1280 × 1024，刷新率为75 Hz。视觉刺激被随机呈现在距离被试60 cm且背景为白色的显示器四个角(位于中心左侧或右侧12˚，中心点上方或下方5˚)；听觉刺激通过电脑两侧扬声器呈现。
如图1所示，视听辨别任务中刺激共有6种呈现形式，其中视觉靶刺激(VT)为白色方格内有两个黑点的黑白棋盘图像(52 × 52 mm，视角为5˚)，听觉靶刺激(AT)为60 dB字母B，视听靶刺激(VAT)为二者的结合；视觉非靶刺激(VS)为黑白棋盘图像，听觉非靶刺激(AS)为60 dB字母A，C，D，E，K，P，T和白噪音。其中白噪音在低负荷不出现，中负荷出现次数为总试次的30%的，高负荷出现次数为总试次的70%。视听非靶刺激(VAS)为二者的结合。
2.3. 实验程序
实验采用3 (低听觉负荷、中听觉负荷、高听觉负荷) × 3 (视觉通道、听觉通道、视听整合通道)的被试内实验设计。实验在被试完成20个试次的练习后正式开始。首先呈现一个黑色的固视点后(持续1000 ms)，呈现视、听刺激(持续100 ms)，随后呈现一个固视点(持续700~1000 ms)。低负荷条件下，对VT按左键进行反应，对AT按右键进行反应，VAT出现时左右键一起按。对VS、AS、VAS不做任何反应。中、高负荷下任务与低负荷一致，但白噪音与字母音频同时出现。实验要求被试在每个试次中，将视线集中于注视点，并对刺激做出既快又准的反应。实验共计244个试次，其中靶刺激与非靶刺激比例为4:1。整个实验持续时间约40分钟。
Figure 1. The paradigm of the experiment
图1. 实验流程示意图
2.4. 数据分析
实验共29名被试，其中9人因一项或几项任务击中率低于或等于0.75而被删去。击中率是目标刺激正确次数与目标刺激总个数的百分比(Xu, Yang, Zhou, & Ren, 2020)。在低、中、高三个负荷条件下分别计算被试击中率与RT。随后对击中率与RT进行3 (低听觉负荷、中听觉负荷、高听觉负荷) × 3 (视觉通道、听觉通道、视听整合通道)的重复测量方差分析，以检验负荷的有效性。
此外，为明确视听整合效应，使用累计分布函数(CDFs)分析RT数据并与竞争模型(Race model)比较。竞争模型是基于对单独视觉和听觉刺激的视觉和听觉反应的概率之和的统计预测模型(Kahneman, 1973; Miller, 1986)。通过对该模型中视听整合模型概率与基于视觉、听觉预测概率的综合模型进行比较，若视听整合模型显著快于预测概率模型，则发生视听整合。最后，对竞争模型中视听整合模型与预测概率模型以10 ms为单位进行配对样本T检验，以明确各负荷下视听整合发生的时间。
3. 结果
3.1. 击中率
3 (低听觉负荷、中听觉负荷、高听觉负荷) × 3 (视觉通道、听觉通道、视听整合通道)的重复测量方差分析表明负荷间主效应不显著F(2, 38) = 2.427，p > 0.05，
(见表1)。感觉通道间主效应显著F(2, 38) = 29.492，p < 0.001，
，进一步分析表明，视听结合击中率显著高于单独听觉和单独视觉(p < 0.05)。负荷与刺激通道间交互作用不显著F(4, 76) = 0.511，p > 0.05，
。
3.2. 反应时
3 (低听觉负荷、中听觉负荷、高视觉负荷) × 3 (视觉通道、听觉通道、视听整合通道)的重复测量方差分析表明负荷间主效应不显著F(2, 38) = 2.015，p > 0.05，
(见表1)。感觉通道间主效应显著F(2, 38) = 16.997，p < 0.001，
，进一步分析表明，视听结合反应时快于单独视觉和单独听觉(p < 0.05)。负荷与刺激通道间交互作用显著F(4, 76) = 5.207，p < 0.05，
。视觉通道下，低负荷反应时显著低于高负荷(p < 0.05)。低负荷下，视听整合反应时显著低于单独视觉反应时(p < 0.05)，单独视觉反应时又显著低于单独听觉反应时(p < 0.05)；中、高负荷下，视听整合反应时显著低于单独视觉、听觉反应时(p < 0.05)。
Table 1. Response time (RT/ms), hit rate (%) and its standard deviation (SD) under different load conditions in audio-visual discrimination task
表1. 视听辨别任务中不同负荷条件下反应时(RT/ms)，击中率(Hit rate/%)及其标准差(SD)
Figure 2. Competitive model and difference curve under different loads
图2. 不同负荷下的竞争模型与差异曲线
3.3. 竞争模型(Race Model)分析
本研究利用不同通道间反应速度的差异采用CDFs对RT数据进行分析，并将视听结合CDFs与预测概率CDFs进行配对样本T检验。Race model分析结果表明(见图2)，低负荷下视听整合效应显著的时间窗口为100 ms (530~630 ms)，p < 0.05；中负荷下视听整合效应显著的时间窗口为10 ms (510 ms)，p < 0.05；高负荷下未发生视听整合效应。同时，低负荷下视听整合效应峰值在550 ms出现，为5.563%。
4. 讨论
本研究旨在明确简单视听辨别任务中听觉负荷对视听整合的影响，结果表明低、中负荷下发生视听整合。高负荷下未发生视听整合。同时中负荷下视听整合较低负荷时程缩短(10 ms)，同时峰值降低(5.563%)、窗口提前。
研究表明视听整合效应随听觉负荷增大而降低直至消失，这与前人研究结果一致(Alsius, Navarra, Campbell, & Soto-Faraco, 2005)。在Alsius研究中视觉刺激为女性读单词的视频片段，听觉刺激为单词音频，视听刺激为二者同时呈现。同时要求被试对叠加在视频上的无关图形与叠加在听觉刺激上的无关音频做出反应。结果表明注意负荷减弱视听整合。可以预见，若将Alsius研究中视听觉负荷持续增大，视听整合效应水平将持续下降直至消失。这是因为大脑的协同作用(Laberge, 1997)。具体来看，视、听觉刺激本应在枕颞叶区得到加工(Stein & Meredith, 1990; Teder-Slejrvi, Mcdonald, Russo, & Hillyard, 2002; 崔俭俭，2020；张迎，2006)，然而研究表明当注意指向一定活动时，可以改变相应的大脑功能区域或神经功能单元的激活水平，从而对当前认知活动产生影响。本研究中，由于听觉负荷水平的增加，导致大脑将注意资源更多用于负荷刺激加工而相对减少对目标刺激的注意，致使中、高负荷下视听整合效应显著降低直至消失。
与本研究假设一致的是中负荷下视听整合时程缩短、峰值降低，Alsius等人研究同样表明听觉负荷下视听整合效应时程缩短、峰值降低。这是因为注意资源的限制(Kahneman, 1973)，即中负荷下视听整合较低负荷所得到的注意资源更少，而为了保持对视听整合刺激的加工就不得不缩短对视听整合加工的时程并降低其峰值水平。
有趣的是，研究表明中负荷下视听整合窗口期提前，而以往研究并未对此要点进行深入探讨。具体来看，本研究低负荷较中负荷占用注意资源更少，对靶刺激加工能力更强，而加工窗口期却晚于中负荷。这是由于不同负荷下的注意机制的改变(Lavie & Tsal, 1994)，Lavie研究表明靶刺激的加工负荷决定干扰刺激被加工的程度：加工负荷高，靶刺激用尽了注意资源，干扰刺激不被注意，则出现早选择，反之出现晚选择。本研究中，中负荷下对注意资源的占用水平较低负荷更高，此时干扰刺激不被加工，发生早期选择。同时将更多注意资源集中于靶刺激，加快其反应，从而导致视听整合窗口期提前。
本实验完善了前人对于听觉负荷下视听整合的研究，发现听觉负荷对视听整合效应仍有较强影响；同时，该研究中听觉负荷的设置可能难度过大，未来可以进一步优化。
5. 结论
在以RSVP范式操控注意资源研究中，听觉负荷对注意资源有较大影响。视听整合效应随听觉负荷增大而减小直至消失。