集中和分散注意对多感觉整合中听觉主导效应的影响_于薇_王爱君_张明

心理学报 2017, Vol. 49, No.2, 164 173

Acta Psychologica Sinica DOI: 10.3724/SP.J.1041.2017.00164

收稿日期: 2016-04-08

* 国家自然科学基金(31371025)资助。 王爱君和于薇同为第一作者

通讯作者: 张明, Email ：psyzm@https://www.wendangku.net/doc/b416848057.html,

164

集中和分散注意对多感觉整合中听觉主导效应的影响*

于 薇1,3 王爱君2 张 明2

(1东北师范大学心理学院, 长春 130024) (2苏州大学心理学系, 苏州 215123)

(3长春中医药大学招生与就业处, 长春 130117)

摘 要 听觉主导效应是指多感觉通道信息整合过程中, 听觉通道中的信息得到优先加工, 从而主导其他感觉通道的信息。研究采用经典的声音诱发闪光错觉的范式, 通过两个实验操纵了注意资源的分配方式以及实验任务难度, 考察了主动注意听觉通道的声音刺激对声音诱发闪光错觉产生的影响, 以及任务难度对声音诱发闪光错觉的影响。结果发现: (1)裂变错觉会受到注意资源分配程度的影响, 但是融合错觉则不然; (2)任务难度既不会影响裂变错觉, 也不会影响融合错觉。说明了分散注意能够影响听觉主导效应中的裂变错觉, 并且这种主导效应与任务难度无关。

关键词 多感觉整合; 听觉主导效应; 裂变和融合错觉; 集中和分散注意; 任务难度 分类号 B842

1 引言

我们对自然环境中某种事物的感知通常来自于多个感觉通道, 多个感觉通道的信息会导致感觉通道之间交互作用, 并且这种多感觉通道之间的交互作用既可以表现为通道间的信息整合, 也可以表现为通道间的信息竞争(Chen & Zhou, 2013; Driver & Noesselt, 2008; Koelewijn, Bronkhorst, & Theeuwes, 2010; Spence, 2011; Talsma, Senkowski, Soto-Faraco, & Woldorff, 2010)。在知觉多感觉通道信息过程中, 人脑并不是给予每个感觉通道信息相等的权重, 这就导致在某些情况下, 一个感觉通道中的信息得到优先加工而产生主导性的地位(Zhou, Jiang, He, & Chen, 2010)。

声音诱发闪光错觉(sound induced flash illusion)是一种听觉占主导性的多感觉整合现象。当一个视觉闪光伴随两个听觉声音时, 单个视觉闪光会被错误知觉为两个视觉闪光, 也被称为裂变错觉。而当两个闪光伴随一个听觉声音时, 两个视觉闪光会被 错误知觉为一个视觉闪光, 也被称为融合错觉。研究表明, 相对于裂变错觉而言, 融合错觉的效应较弱(Shams, Kamitani, & Shimojo, 2000, 2002; Wozny, Beierholm, & Shams, 2008)。采用声音诱发闪光错觉中的研究中, 研究者们最为关注的一个问题就是当被试面对着相同的物理刺激做出反应时(如, 两个听觉声音刺激伴随一个视觉闪光刺激), 为何会存在不同的反应(可能知觉到一个闪光刺激, 也可能知觉到两个闪光刺激)?

有研究表明, 这种错觉现象的产生是由于被试对外界视觉刺激输入的不确定性导致其在主观判断上发生的变化(Bolognini, Rossetti, Casati, Mancini, & Vallar, 2011; Shams et al., 2000, 2002)。也有研究表明, 声音诱发闪光错觉与知觉敏感性的变化有关, 说明了这种错觉现象所体现的是在知觉水平上的跨通道间的交互作用(Rosenthal, Shimojo, & Shams, 2009; Wozny et al., 2008)。此外, 将刺激的一些属性进行变化后, 声音诱发闪光错觉仍然非常稳定的存在, 比如形状、对比度、大小、纹理、刺激的呈现时间、频率、声音的呈现时间以及声音与闪光的相对位置等(Shams et al., 2000; Shams, Ma, & Beierholm,

第2期于薇等: 集中和分散注意对多感觉整合中听觉主导效应的影响165

2005)。也有研究发现, 在实验中即使给予被试正确与否的反馈, 也不能减小或者消除这种错觉现象(Rosenthal et al., 2009)。

在神经层面上, Mishra, Martinez, Sejnowski和Hillyard (2007)采用事件相关电位技术(ERPs)对声音诱发闪光错觉进行研究, 结果表明, 错觉性视觉双闪光在第二个听觉声音呈现30~60 ms后产生了对视觉皮层活动幅度的早期调节作用(Mishra, Martinez, & Hillyard, 2010; Mishra et al., 2007)。Watkins, Shams, Tanaka, Haynes和Rees (2006), Watkins, Shams, Josephs和Rees (2007)采用高场强功能性磁共振成像(fMRI)技术, 通过视网膜皮层映射图(retinotopic mapping)的方法, 考察了声音诱发闪光错觉是否可以发生在早期的视觉皮层区域。结果发现, 裂变错觉的错觉性视觉闪光在V1皮层有着更高的激活水平(Watkins et al., 2006)。相反, 融合错觉的错觉性视觉闪光在V1皮层有着更低的激活水平(Watkins et al., 2007)。研究表明了, 声音诱发闪光错觉这种听觉主导现象可以发生在初级视觉皮层。近期一项研究通过脑电(EEG)记录被试在完成声音诱发闪光错觉任务时的数据, 发现了个体α频率(individual alpha frequency, IAF)与产生错觉的时间窗存在正相关。随后通过对枕叶皮层施以经颅交流电刺激(tACS)来调节个体的α频率或者非峰值的α频率。结果发现, 闪光错觉的整合时间窗是α频带的枕叶震荡所决定的, 同时也发现闪光错觉与α震荡的功率(power)有关。研究表明, 闪光错觉是在视觉刺激加工的关键时间窗内由连续的声音所诱发视觉皮层兴奋性导致的突然变化所引起(Cecere, Rees, & Romei, 2015)。

随着多感觉整合研究的深入, 越来越多的研究者不但从多感觉整合现象本身进行研究, 而且开始关注注意在多感觉整合中起的作用。有研究认为多感觉整合是自动化的过程, 不受来自注意的自上而下的控制所影响(Vroomen, Bertelson, & de Gelder, 2001); 也有研究认为, 与不被注意的条件相比, 只有当双通道刺激被注意时才会产生多感觉整合(Talsma & Woldorff, 2005)。因此认为, 注意在多感觉整合中起着重要作用。然而, 认为多感觉整合不受自上而下控制影响的早期研究大多数关注的是空间注意(Vroomen et al., 2001); 他们认为注意能够影响多感觉整合的研究仅关注注意与非注意条件影响多感觉整合的差异, 而忽略了对注意内部的区分。如, 近期研究表明, 注意除能指向某一空间位置外, 还能指向某一感觉通道(Talsma, 2015)。此外, Wilschut, Theeuwes和Olivers (2011)也认为, 在认知加工水平上, 注意系统包括定向(空间转移)和选择(通道选择是其中一种)等成分。在行为表现上, 对空间位置的注意可以增强被试对此位置上信息的知觉; 而对于通道的注意则会减弱被试对不被注意的通道内的信息加工, 在被注意的通道内的信息加工则得到增强(Spence, 2001)。因此, 我们假设, 多感觉整合不受空间注意影响的结论并不适用于基于通道的注意。根据偏向竞争模型(biased competition model)假说, 选择性注意能增强对所选择信息的感觉神经反应, 并抑制无关反应(Mishra & Gazzaley, 2012)。因此, 当注意集中于一个感觉通道时, 对此通道内信息的神经反应被增强, 而被忽视通道内信息的神经反应则被抑制, 因此可能不会产生跨通道刺激的整合。

以往声音诱发闪光错觉的研究要求被试只需要关注视觉通道的刺激来判断视觉闪光的个数, 而来自听觉通道的声音刺激仅仅是被动地呈现给被试, 甚至是明确告知被试不需要关注声音刺激。本研究在以往同类研究的基础上, 通过将注意指向不同的感觉通道, 考察基于不同通道注意而造成的集中和分散注意对多感觉整合中听觉主导现象的影响。研究采用经典的声音诱发闪光错觉范式(Shams et al., 2002), 一方面将注意视觉单通道作为基线任务, 另一方面既要求被试注意视觉通道来判断视觉闪光的个数, 也要求被试关注听觉通道来判断声音刺激的个数。如, 实验1中分散注意条件下, 被试需要先报告视觉闪光的个数, 然后报告听觉声音的个数。实验2中的分散注意条件则在实验1的基础上增加任务难度, 被试需要先报告视觉闪光的个数, 然后报告听觉声音的个数与视觉闪光的个数是否一致。这样设计的目的在于不但考察了在注意资源一定的条件下, 主动注意听觉通道的声音刺激分散被试的注意资源是否对声音诱发闪光错觉产生影响致使其效应增强或减弱, 并且在此基础上进一步探究不同的任务难度对声音诱发闪光错觉这种听觉主导效应的影响。

2 实验1低任务难度条件下基于通

道的注意对听觉主导效应的影响

2.1 方法

2.1.1被试

被试为27名大学本科生(男生12人, 女生15人), 年龄介于18~24岁, 所有被试视力正常或者矫正视力正常, 之前均未参加过类似实验, 实验后被

166 心理学报第49卷

试获得一定的报酬。

2.1.2实验仪器和实验材料

所有刺激呈现在iiyama MA203DT Vision Master Pro 513型号的显示器上, 屏幕分辨率为1024×768像素, 刷新率为100 Hz。实验中所有视觉刺激呈现在黑色的背景上由Presentation软件编程(Neurobehavioral Systems Inc), 其中视觉闪光刺激为呈现在中央注视点下方5°视角处的白色圆盘(视角为2°), 呈现的时间为17 ms。之所以将视觉闪光刺激呈现在中央注视点下方5°视角处是因为, 在听觉声音刺激伴随下, 视觉闪光刺激位于外周视野时的错觉效应最大(Shams et al., 2002)。实验中的听觉声音刺激通过放置在显示器后方两侧的一对音箱呈现, 听觉声音刺激的响度为75 dB, 频率为3.5 kHz, 呈现时间为7 ms。

2.1.3实验设计和实验流程

实验设置“注意视觉单通道”和“注意视听双通道”两种条件, 两种条件以block交替的方式呈现。在注意视觉单通道内, 被试仅需要判断视觉闪光刺激的个数; 在注意视听双通道内, 被试不但要判断视觉闪光刺激的个数, 而且要判断听觉声音刺激的个数。因此, 注意视觉通道可以视为集中注意条件, 注意视听通道可以视为分散注意条件。在实验的每个试次中, 给被试呈现单个视觉闪光刺激或者连续的两个视觉闪光刺激, 在呈现视觉闪光刺激时既可以单独呈现一个视觉闪光刺激, 也可以伴随着一个听觉声音刺激或者连续的两个听觉声音刺激。此外, 既可以单独呈现连续两个视觉闪光刺激, 也可以伴随一个听觉声音刺激或者连续两个听觉声音刺激。因此, 实验设计为2 (注意条件: 集中vs.分散) × 2 (闪光个数: 1 vs. 2) × 3 (声音个数: 0 vs. 1 vs. 2)的被试内设计, 即构成了12种实验条件(注意视觉单通道下的F1, F1B1, F1B2, F2, F2B1和F2B2; 注意视听双通道下的F1, F1B1, F1B2, F2, F2B1和F2B2)。集中注意是指注意视觉单通道, 分散注意是指注意视听双通道。为了便于论述, 这些试次类型采用了上述统一的表述方式。如, F2B1是指有两个视觉闪光刺激伴随一个听觉声音刺激的试次, 而F2则是指仅有两个视觉闪光刺激而无听觉声音刺激的试次。

实验流程如图1所示, 听觉声音刺激与视觉闪光刺激同时呈现, 听觉声音刺激呈现7 ms, 视觉闪光刺激呈现17 ms。两个视觉闪光刺激的时间间隔为66 ms, 两个听觉声音刺激的时间间隔为76 ms。实验条件中可以产生错觉的条件是F1B2和F2B1, 即被试针对同样的物理刺激既可以产生错觉, 也可以不产生错觉。因此, 可以根据被试的反应情况进行事后分类, 将上述两种条件分成F1B2_W (有错觉)vs. F1B2_R (无错觉)以及F2B1_W (有错觉)vs. F2B1_R (无错觉)。在注意视觉单通道的条件下, 被试在整个实验过程中都要求盯住中央注视点, 判断他们知觉到一个视觉闪光刺激还是两个视觉闪光刺激; 在注意视听双通道的条件下, 被试在整个实验过程中都要求盯住中央注视点, 首先判断视觉闪光刺激的个数, 然后再判断听觉声音刺激的个数。实验的目的是要考察在对视觉闪光个数做判断时, 主动注意听觉声音刺激与被动注意听觉声音刺激两种条件下对声音诱发闪光错觉的影响。每个被试需要完成768个试次, 其中每种实验条件下64个试次, 试次间的时间间隔以250 ms为步长从1500 ms 到2500 ms随机。

2.2结果与分析

2.2.1 正确率

从图2可以看出无论基于视觉单通道的注意还是基于视听双通道的注意, F1、F2、F1B1和F2B2

图1 实验刺激示例图

注：实验中显示器屏幕背景为黑色, 显示器边框为灰色; 实验过程中两个音箱位于显示器的后面两侧且进行适当遮盖, 令被试看不到音箱。

第2期于薇等: 集中和分散注意对多感觉整合中听觉主导效应的影响167

图2 实验1中各实验条件下的平均正确率

条件被试的正确率都较高, 也就是说当视觉刺激单独呈现或者视觉刺激与伴随的听觉刺激个数一致时, 被试能够较为准确地做出判断。

此外, 根据被试的反应情况进行事后分类, 将两种可产生错觉的条件分成F1B2_W (有错觉, 也称之为裂变错觉) vs. F1B2_R (无错觉, 即正确按键)以及F2B1_W (有错觉, 也称之为融合错觉) vs. F2B1_R (无错觉, 即正确按键)。通过图2可以看出, 基于视觉单通道注意的条件下, F1B2条件的正确率为35%, 显著小于F1、F1B1、F2和F2B2条件下的正确率(p s < 0.001), F2B1条件的正确率为64%, 显著小于F1、F1B1、F2和F2B2条件下的正确率(p s < 0.001)。基于视听双通道注意的条件下, F1B2条件的正确率为41%, 显著小于F1、F1B1、F2和F2B2条件下的正确率(p s < 0.001), F2B1条件的正确率为61%, 显著小于F1、F1B1、F2和F2B2条件下的正确率(p s < 0.001)。说明了, 对于视觉闪光刺激与听觉声音刺激不匹配的条件(F1B2条件和F2B1条件), 从正确率的角度来看, 出现了听觉主导效应, 即听觉声音刺激的个数会影响对视觉闪光刺激个数的判断。

将基于视觉单通道注意条件和基于视听双通道注意下视觉闪光刺激与听觉声音刺激个数不匹配的试次(F1B2条件和F2B1条件)分别进行2 (注意条件：集中vs.分散) ×2 (条件：F1B2_R vs. F2B1_R)的重复测量方差分析, 考察被动地注意听觉声音刺激和主动地注意听觉声音刺激是否会对闪光错觉产生不同的影响, 也就是考察集中注意(基于视觉单通道)和分散注意(基于视听双通道)对多感觉整合中听觉主导效应的影响。结果发现, 注意条件的主效应不显著, F (1, 26) = 1.42, p > 0.05; 条件的主效应显著, F (1, 26) = 13.32, p = 0.001, η2= 0.34; 注意条件和条件的交互作用显著, F (1, 26) = 4.67, p < 0.05, η2= 0.15。进一步分析发现, F1B2条件下, 基于视觉单通道注意条件和基于视听双通道注意间存在显著差异, t (26) = 2.4, p < 0.05, d = 0.94; F2B1条件下, 基于视觉单通道注意条件和基于视听双通道注意不存在显著差异, t < 1。此外, 按照Andersen, Tiippana和Sams (2004)的算法计算了裂变错觉和融合错觉的量, 也能够更加清晰地比较出不同条件下错觉效应的大小(表1)。从表1中可以看出, 无论是在视觉单通道条件下还是在视听双通道条件下, 相对于融合错觉而言, 裂变错觉的效应更大。此外, 也能够反映出F1B2条件下, 基于视觉单通道注意条件和基于视听双通道注意条件间存在显著差异; F2B1条件下, 基于视觉单通道注意条件和基于视听双通道注意条件间不存在显著差异。

2.2.2反应时

从图3可以看出, 基于视听双通道注意条件下的反应时长于基于视觉单通道注意条件下的反应时, 说明了基于视听双通道注意条件下存在注意资源的分配, 即主动要求被试注意听觉通道相对于被动注意听觉通道会分散被试的注意资源, 导致整体的反应时增长。由于本研究主要关注多感觉整合中的听觉主导效应, 所以主要考察的实验条件为可以产生错觉性的两个实验条件, 即F1B2和F2B1。将F1B2和F2B1条件下基于视觉单通道注意条件和基于视听双通道注意条件的反应时进行2 (注意条件：集中vs.分散) × 4 (条件：F1B2_R vs. F1B2_W vs. F2B1_R vs. F2B1_W)的重复测量方差分析。结果发现, 注意条件的主效应显著, F (1, 23) = 84.89, p < 0.001, η2= 0.79; 条件的主效应显著, F (3, 69) = 5.88, p = 0.001, η2= 0.21; 注意条件与条件的交互

表1 实验1中裂变错觉和融合错觉的比值比

视觉单通道视听双通道

刺激类型

裂变错觉无裂变总数融合错觉无融合总数裂变错觉无裂变总数融合错觉无融合总数

视听刺激1123 605 1728 622 1106 1728 1020 708 1728 640 1088 1728

视觉刺激121 1607 1728 173 **** **** 156 **** **** 190 1538 1728

比值比率24.76 5.05 14.54 4.73

168 心理学报第49卷

作用不显著, F < 1。进一步分析发现, 无论是正确试次(非错觉条件)还是错误试次(错觉条件)基于视听双通道注意条件下的反应时都显著长于基于视觉单通道注意条件下的反应时, t (50) = 3.11, p < 0.005, d = 0.88 (F1B2_R), t (52) = 3.38, p = 0.001, d = 0.94 (F1B2_W), t (52) = 4.32, p < 0.001, d = 1.19 (F2B1_R), t (51) = 3.21, p < 0.005, d = 0.90 (F1B2_W)。

图3 实验1中各实验条件下的平均反应时

以往的研究对声音诱发闪光错觉这种听觉主导现象在行为水平上仅做了正确率的分析。本研究试图从反应时这一因变量的分析上也能揭示出多感觉整合中的听觉主导现象。我们进一步分析发现, 在基于视觉单通道注意条件下, F1B2_R条件下的反应时(967 ms)显著长于F1B2_W条件下的反应时(810 ms), t (51) = 2.31, p < 0.05, d = 0.65。在基于视听双通道注意条件下, F1B2_R条件下的反应时(1269 ms)显著长于F1B2_W条件下的反应时(1029 ms), t (51) = 2.55, p = 0.01, d = 0.71。但是, 在基于视觉单通道注意条件下, F2B1_R条件下的反应时(782 ms)和F2B1_W条件下的反应时(833 ms)之间并不存在显著差异, t < 1。在基于视听双通道注意条件下, F2B1_R条件下的反应时(1078 ms)和F2B1_W条件下的反应时(1055 ms)之间也并不存在显著差异, t < 1。上述分析的结果表明, 在F1B2条件中(裂变错觉), 相对于有错觉条件(F1B2_W), 无错觉条件下(F1B2_R)的反应时都明显增长, 即被试需要付出更多注意资源才能正确辨别视觉闪光刺激的个数, 这种现象无论在基于视觉单通道注意条件(157 ms)还是在基于视听双通道注意条件下(240 ms)都存在, 且两者之间并不存在显著差异, t < 1。说明了不管被试被动注意听觉声音刺激还是主动注意听觉声音刺激, 裂变错觉这种听觉主导效应的现象均稳定存在。然而, 在F2B1条件中(融合错觉), 有错觉条件(F2B1_W)与无错觉条件下(F1B2_R)的反应时之间并无显著差异, 这种现象无论在基于视觉单通道注意条件(51 ms)还是在基于视听双通道注意条件下(23 ms)都同样, 说明了不管被试被动注意听觉声音刺激还是主动注意听觉声音刺激, 融合错觉这种听觉主导效应的现象在反应时水平上并未得到体现。以上反应时层面的结果也说明了, 无论在基于视觉单通道注意条件还是在基于视听双通道注意条件下, 相对于融合错觉(F2B1), 被试更容易产生裂变错觉(F1B2), 即在裂变错觉条件下, 被试需要额外付出更多的注意资源才能正确判断出闪光刺激的个数。

本实验的结果一方面证实了在声音诱发闪光错觉范式中存在多感觉整合的听觉主导现象, 裂变错觉的效应要大于且稳定于融合错觉的效应; 另一方面也发现了在注意资源一定的情况下, 主动注意听觉通道的声音刺激分散了被试的注意资源, 在行为正确率上会对裂变错觉产生影响致而使错觉效应减小, 但是并不会影响融合错觉而使其效应增大或者减小。此外, 本研究从行为反应时的水平上也可以发现, 不管被试被动注意听觉声音刺激还是主动注意听觉声音刺激, 裂变错觉这种听觉主导效应的现象均稳定存在。但是, 融合错觉这种听觉主导效应的现象在反应时水平上并未得到体现。因此, 也可以说明无论是在基于视觉单通道注意条件还是在基于视听双通道注意条件下, 相对于融合错觉, 被试更容易产生裂变错觉。

为了排除实验1中基于视听双通道条件的任务简单导致认知资源的剩余而对实验结果产生影响, 本研究进行了实验2, 实验2在实验1的基础上加大任务难度来进一步对声音诱发闪光错觉这种听觉主导效应的影响, 以确定实验的任务难度是否是声音诱发闪光错觉范式下多感觉整合中听觉主导效应的影响因素。

3 实验2高任务难度条件下基于通

道的注意对听觉主导效应的影响

3.1方法

3.1.1被试

被试为27名大学本科生(男生12人, 女生15人), 年龄介于18~24岁, 所有被试视力正常或者矫正视力正常, 之前均未参加过类似实验, 实验后被

第2期于薇等: 集中和分散注意对多感觉整合中听觉主导效应的影响169

试获得一定的报酬。

3.1.2实验仪器和实验材料

实验仪器和实验材料与实验1相同。

3.1.3实验设计和实验流程

实验设计和实验流程与实验1相同。不同的是在实验中要求被试在注意视听双通道的条件(分散注意)下, 先判断视觉闪光刺激的个数, 然后再判断听觉声音刺激的个数与视觉闪光刺激的个数是否相同。实验目的是要验证声音诱发闪光错觉这种听觉主导效应是否在主动注意听觉通道时增强或减弱错觉, 以及考察操控实验任务难度造成的认知资源减少是否也会影响这种听觉主导效应。同样地, 每个被试需要完成768个试次, 每种实验条件下64个试次, 试次间的时间间隔以250 ms为步长从1500 ms到2500 ms随机。

3.2结果与分析

3.2.1正确率

从图4同样可以看出无论基于视觉单通道的注意还是基于视听双通道的注意, F1、F2、F1B1和F2B2条件被试的正确率都较高, 也就是说当视觉闪光刺激单独呈现或者视觉闪光刺激与伴随的听觉声音刺激个数一致时, 被试能够较为准确地做出判断。

图4 实验2中各实验条件下的平均正确率

同样, 根据被试的反应情况进行事后分类, 将两种可产生错觉的条件分成F1B2_W (有错觉, 也称之为裂变错觉) vs. F1B2_R (无错觉, 即正确按键) 以及F2B1_W (有错觉, 也称之为融合错觉) vs. F2B1_R (无错觉, 即正确按键)。通过图4可以看出, 基于视觉单通道注意的条件下, F1B2条件的正确率为35%, 显著小于F1、F1B1、F2和F2B2条件下的正确率(p s < 0.001), F2B1条件的正确率为65%, 显著小于F1、F1B1、F2和F2B2条件下的正确率(p s < 0.001)。基于视听双通道注意的条件下, F1B2条件的正确率为42%, 显著小于F1、F1B1、F2和F2B2条件下的正确率(p s < 0.001), F2B1条件的正确率为63%, 显著小于F1、F1B1、F2和F2B2条件下的正确率(p s < 0.001)。说明了, 对于视觉闪光刺激与听觉声音刺激不匹配的条件(F1B2条件和F2B1条件), 从正确率的角度来看, 出现了听觉主导效应, 即听觉刺激的个数会影响对视觉刺激个数的判断。

将基于视觉单通道注意条件和基于视听双通道注意下视觉闪光刺激与听觉声音刺激个数不匹配的试次(F1B2条件和F2B1条件)分别进行2 (注意条件：集中vs.分散) × 2 (条件：F1B2_R vs. F2B1_R)的重复测量方差分析, 考察被动地注意听觉声音刺激和主动地注意听觉声音刺激是否会对闪光错觉产生不同的影响, 即考察集中注意(基于视觉单通道)和分散注意(基于视听双通道)对多感觉整合中听觉主导效应的影响。结果发现, 注意条件的主效应不显著, F (1, 26) = 1.08, p > 0.05; 条件的主效应显著, F (1, 26) = 18.21, p < 0.001, η2= 0.41; 注意条件和条件的交互作用接近显著, F (1, 26) = 3.12, p = 0.06, η2= 0.11。进一步分析发现, F1B2条件下, 基于视觉单通道注意条件和基于视听双通道注意存在显著差异, t (26) = 2.2, p < 0.05, d = 0.86; F2B1条件下, 基于视觉单通道注意条件和基于视听双通道注意不存在显著差异, t < 1。此外, 按照Andersen 等人(2004)的算法计算了裂变错觉和融合错觉的量, 也能够更加清晰地比较出不同条件下错觉效应的大小(表2)。从表2中可以看出, 无论是在视觉单通道条件下还是在视听双通道条件下, 相对于融合错觉而言, 裂变错觉的效应更大。此外, 也能够反映

表2实验2中裂变错觉和融合错觉的比值比

视觉单通道视听双通道

刺激类型

裂变错觉无裂变总数融合错觉无融合总数裂变错觉无裂变总数融合错觉无融合总数

视听刺激1123 605 1728 605 1123 1728 1020 726 1728 640 1088 1728

视觉刺激104 1624 1728 121 1607 1728 138 **** **** 156 **** ****

比值比率29.01 7.17 15.87 5.93

170 心理学报第49卷

出F1B2条件下, 基于视觉单通道注意条件和基于视听双通道注意间存在显著差异; F2B1条件下, 基于视觉单通道注意条件和基于视听双通道注意不存在显著差异。

3.2.2反应时

从图5可以看出, 基于视听双通道注意条件下的反应时要长于基于视觉单通道注意条件下的反应时, 说明了基于视听双通道注意条件下存在注意资源的分配, 即主动要求被试注意听觉通道相对于被动注意听觉通道会分散被试的注意资源, 导致整体的反应时增长。

图5 实验2中各实验条件下的平均反应时

由于本研究主要关注多感觉整合中的听觉主导效应, 所以主要考察的实验条件为可以产生错觉性的两个实验条件, 即F1B2和F2B1。将F1B2和F2B1条件下基于视觉单通道注意条件和基于视听双通道注意条件的反应时进行2 (注意条件：集中vs.分散) × 4 (条件：F1B2_R vs. F1B2_W vs. F2B1_R vs. F2B1_W)的重复测量方差分析。结果发现, 注意条件的主效应显著, F (1, 22) = 167.03, p < 0.001, η2= 0.88; 条件的主效应显著, F (3, 66) = 14.38, p < 0.001, η2= 0.40; 注意条件与条件的交互作用显著, F (3, 66) = 4.23, p < 0.01, η2= 0.16。进一步分析发现, 无论是正确试次(非错觉条件)还是错误试次(错觉条件), 基于视听通道注意条件下的反应时都显著长于基于视觉单通道注意条件下的反应时, t (50) = 6.37, p < 0.001, d = 1.79 (F1B2条件非错觉条件), t (52) = 5.05, p < 0.001, d = 1.38 (F1B2条件错觉条件), t (52) = 8.38, p < 0.001, d = 2.31 (F2B1条件非错觉条件), t (50) = 4.78, p < 0.001, d = 1.35(F1B2条件错觉条件)。

同实验1, 进一步发现, 在基于视觉单通道注意条件下, F1B2_R条件下的反应时(1018 ms)显著长于F1B2_W条件下的反应时(836 ms), t (51) =2.81, p < 0.01, d = 0.79。在基于视听双通道注意条件下, F1B2_R条件下的反应时(1481 ms)显著长于F1B2_W条件下的反应时(1198 ms), t (51) = 3.58, p = 0.001, d = 1.01。但是, 在基于视觉单通道注意条件下, F2B1_R条件下的反应时(770 ms)和F2B1_W条件下的反应时(845 ms)之间并不存在显著差异, t (50) = 1.42, p > 0.05。在基于视听双通道注意条件下, F2B1_R条件下的反应时(1270 ms)和F2B1_W 条件下的反应时(1150 ms)之间并不存在显著差异, t (52) = 1.74, p > 0.05。上述分析的结果表明, F1B2条件下(裂变错觉), 相对于有错觉条件(F1B2_W), 无错觉条件下(F1B2_R)的反应时都明显增长, 即被试需要付出更多认知资源才能正确辨别视觉闪光刺激的个数, 这种现象无论在基于视觉单通道注意条件(182 ms)还是在基于视听双通道注意条件下(282 ms)都存在, 且两者之间并不存在显著差异, t (50) = 1.0, p > 0.05。说明了不管被试被动注意听觉声音刺激还是主动注意听觉声音刺激, 裂变错觉这种听觉主导效应的现象均稳定存在。F2B1条件下(融合错觉), 有错觉条件(F2B1_W)与无错觉条件下(F1B2_R)的反应时之间并无显著差异, 这种现象无论在基于视觉单通道注意条件(75 ms)还是在基于视听双通道注意条件下(120 ms)都同样, 说明了不管被试被动注意听觉声音刺激还是主动注意听觉声音刺激, 融合错觉这种听觉主导效应的现象在反应时水平上并未得到体现。以上反应时层面的结果也说明了无论是在基于视觉单通道注意条件还是在基于视听双通道注意条件下, 相对于融合错觉(F2B1), 被试更容易产生裂变错觉(F1B2), 即在裂变错觉条件下, 被试需要额外付出更多的认知资源才能正确判断出闪光刺激的个数。

进一步将实验1和实验2中基于视听双通道条件下视听刺激个数不匹配条件(可产生错觉的实验条件)下的反应时(图3和图5中黑框部分的数据)进行2 (实验：实验1 vs.实验2) ×4 (条件：F1B2_R vs. F1B2_W vs. F2B1_R vs. F2B1_W)的重复测量方差分析。结果发现, 实验的主效应显著, F (1, 9) = 6.95, p < 0.05, η2= 0.44; 条件的主效应显著, F (3, 27) = 8.92, p < 0.001, η2= 0.50; 实验与条件的交互作用也显著, F (3, 27) = 8.92, p < 0.001, η2= 0.50。对于基于视听双通道注意条件而言, 实验2的反应时(1236 ms)整体长于实验1的反应时(1063 ms)。经过进一步分析发现, 实验1和实验2中F1B2_R条件存在显著差异, t (50) = 2.1, p < 0.05, d = 0.59; 实验

第2期于薇等: 集中和分散注意对多感觉整合中听觉主导效应的影响171

1和实验2中F1B2_W条件存在显著差异, t (52) = 2.4, p < 0.05, d = 0.66; 实验1和实验2中F2B1_R 条件也存在显著差异, t (52) = 2.5, p < 0.05, d = 0.69; 但是, 实验1和实验2中F2B1_W条件不存在显著差异, t (52) = 1.3, p > 0.05。而对于基于视觉单通道注意条件下所有的条件而言, 实验1和实验2间均不存在显著差异, t s< 1。因此可以说明, 相对于实验1中基于视听双通道注意条件而言, 实验2中基于视听双通道注意条件的任务难度较大, 因而导致了被试整体上的反应时增长。

4 讨论

本研究采用经典的声音诱发闪光错觉范式(Shams et al., 2000, 2002), 操纵了注意的分配方式(集中注意vs.分散注意), 不但考察了在注意资源一定的条件下, 主动注意听觉通道的声音刺激分散了被试的注意资源是否对声音诱发闪光错觉产生影响, 而且进一步探究了任务难度对声音诱发闪光错觉这种听觉主导效应的影响。研究结果发现, 声音诱发闪光错觉现象中存在多感觉整合的听觉主导现象, 且裂变错觉的效应要大于融合错觉的效应, 并且发现在注意资源一定的情况下, 主动注意听觉通道的声音刺激条件下, 在正确率上会表现出对裂变错觉产生影响致而使错觉效应减小, 但是并不会影响融合错觉使其效应增强或者减弱。此外, 从反应时上也可以发现, 不管被试被动注意听觉声音刺激还是主动注意听觉声音刺激, 裂变错觉这种听觉主导效应的现象均稳定存在。但是, 融合错觉这种听觉主导效应的现象在反应时水平上并未得到体现。综上, 结合正确率和反应时两个指标, 研究结果说明了无论是在基于视觉单通道注意条件还是在基于视听双通道注意条件下, 相对于融合错觉, 被试更容易产生裂变错觉, 且裂变错觉更容易受到注意资源分配程度的影响。此外, 任务难度并不会对声音诱发闪光错觉这种听觉主导效应产生影响, 说明了任务难度不是声音诱发闪光错觉现象下的多感觉整合中听觉主导效应的影响因素。

实验1和实验2中基于单通道注意条件的实验设计与经典研究类似, 结果也与同类的研究一致(Shams et al., 2000, 2002, 2005; Watkins et al., 2006, 2007; Wozny et al., 2008)。以往的研究发现, 当单一的视觉闪光刺激伴随两个听觉声音刺激时, 被试通常会错觉性的将单一的视觉闪光刺激的个数知觉为两个, 即出现裂变错觉(Shams et al., 2000, 2002); 同样地, 当两个视觉闪光刺激伴随一个听觉声音刺激时, 被试也通常会错觉性的将两个闪光刺激的个数知觉为一个, 即融合错觉(Shams et al., 2005; Watkins et al., 2006, 2007)。但是, 这种融合错觉效应不如裂变错觉强(Shams et al., 2000; Wozny et al., 2008)。从我们实验结果的行为正确率上也可以看出, 声音诱发闪光错觉中裂变错觉的效应要大于融合错觉的效应。现有的研究已证实, 声音诱发闪光错觉这种听觉主导效应与知觉敏感性(d’)的改变有关, 因此反映的是跨通道在知觉层面的交互作用(Rosenthal et al., 2009; Watkins et al., 2006, 2007; Wozny et al., 2008)。此外, 这种错觉效应尽管改变一些刺激参数的条件下仍然稳定存在, 比如, 形状、对比度、大小、视觉刺激呈现的时间、频率和强度、听觉刺激的呈现时间, 以及视觉刺激和听觉刺激在时间上和空间上的相对位置(Shams et al., 2000, 2002, 2005; Watkins et al., 2006, 2007)。

近期的研究表明, 注意除能指向某一空间位置外, 还能指向某一感觉通道(Talsma, 2015)。表现为, 对于通道的注意则会减弱被试对不被注意的通道内的信息加工, 在被注意的通道内的信息加工则得到增强(Spence, 2001)。因此, 这也符合偏向竞争模型假说的观点, 即选择性注意能增强对所选择信息的感觉神经反应, 并抑制无关反应(Mishra & Gazzaley, 2012)。因此, 当注意集中于一个感觉通道时, 对此通道内信息的神经反应被增强, 而被忽视通道内信息的神经反应则被抑制。然而, 在本研究中, 融合错觉之所以不易受到注意资源影响的原因可能在于融合错觉的不稳定性。而且, 从行为反应时上可以看出, 当被试面对着可产生融合错觉的条件(F2B1)时, 在发生错觉与不发生错觉之间, 被试的反应时之间并无显著差异, 即被试并不需要过多的付出注意资源去判断视觉闪光刺激的个数。但是, 当被试面对可产生裂变错觉的条件(F1B2)时, 在发生错觉与不发生错觉之间, 被试正确判断的反应时之间显著长于错误判断的反应时, 说明了被试需要付出更多的注意资源才能正确识别出视觉闪光刺激的个数。因此可以推测, 声音诱发闪光错觉现象是否受到注意资源分配方式的影响关键在于被试在某种刺激条件下是否需要付出更多的注意资源去正确识别视觉闪光刺激的个数。

知觉负载理论(Lavie, 1995, 2005)认为, 当前任务知觉负载的高低决定了选择性注意过程中的资源分配。如果当前任务的知觉负载较低, 其加工过

172 心理学报第49卷

程只耗用一部分注意资源; 如果当前任务的知觉负载较高, 有限的注意资源被消耗尽。实验2基于双通道任务的条件下, 被试不仅要判断听觉声音刺激个数(实验1视听双通道条件下的任务)还要将其与视觉闪光刺激的个数进行比较后才能做出相应的行为反应。因此, 实验2视听双通道条件相对于实验1视听双通道任务来说更难, 则需要耗用更多的注意资源。具体来说, 从实验1和实验2中基于视听双通道注意条件下反应时的分析来看, 实验2各条件下的反应时显著长于实验1各条件下的反应时, 即在实验2中基于视听双通道注意条件下被试需要耗费更多的注意资源以便完成视觉闪光刺激个数的判断。但是, 从实验1和实验2中可产生裂变错觉和融合错觉条件下的反应时来看, 任务难度并不能够影响声音诱发闪光错觉范式下的听觉主导现象, 即实验1和实验2的正确率结果之间并不存在显著差异。我们推测裂变错觉与融合错觉现象是一种稳定的听觉主导效应, 任务难度同以往研究中操纵的其他刺激参数一样并不能影响声音诱发闪光错觉范式下的听觉主导现象。

5 结论

(1)存在听觉主导效应, 相对于融合错觉而言, 裂变错觉的效应更大;

(2)裂变错觉会受到注意资源分配程度的影响, 但是融合错觉则不然;

(3)任务难度不是影响声音诱发闪光错觉范式下听觉主导现象的因素。

参考文献

Andersen, T. S., Tiippana, K., & Sams, M. (2004). Factors influencing audiovisual fission and fusion illusions.

Cognitive Brain Research, 21, 301–308.

Bolognini, N., Rossetti, A., Casati, C., Mancini, F., & Vallar, G.

(2011). Neuromodulation of multisensory perception: A tDCS study of the sound-induced flash illusion. Neuropsychologia, 49, 231–237.

Cecere, R., Rees, G., & Romei, V. (2015). Individual differences in alpha frequency drive crossmodal illusory perception. Current Biology, 25(1), 231–235.

Chen, Q., & Zhou, X. L. (2013). Vision dominates at the preresponse level and audition dominates at the response level in cross-modal interaction: Behavioral and neural evidence. Journal of Neuroscience, 33(17), 7109–7121. Driver, J., & Noesselt, T. (2008). Multisensory interplay reveals crossmodal influences on 'sensory-specific' brain regions, neural responses, and judgments. Neuron, 57(1), 11–23. Koelewijn, T., Bronkhorst, A., & Theeuwes, J. (2010). Attention and the multiple stages of multisensory integration: A review of audiovisual studies. Acta Psychologica, 134(3), 372–384. Lavie, N. (1995). Perceptual load as a necessary condition for selective attention. Journal of Experimental Psychology: Human Perception and Performance, 21(3), 451–468. Lavie, N. (2005). Distracted and confused?: Selective attention under load. Trends in Cognitive Sciences, 9, 75–82. Mishra, J., & Gazzaley, A. (2012). Attention distributed across sensory modalities enhances perceptual performance. The Journal of Neuroscience, 32(35), 12294–12302.

Mishra, J., Martinez, A., & Hillyard, S. A. (2010). Effect of attention on early cortical processes associated with the sound-induced extra flash illusion. Journal of Cognitive Neuroscience, 22(8), 1714–1729.

Mishra, J., Martinez, A., Sejnowski, T. J., & Hillyard, S. A.

(2007). Early cross-modal interactions in auditory and visual cortex underlie a sound-induced visual illusion.

Journal of Neuroscience, 27(15), 4120–4131. Rosenthal, O., Shimojo, S., & Shams, L. (2009). Sound- induced flash illusion is resistant to feedback training. Brain Topography, 21, 185–192.

Shams, L., Kamitani, Y., & Shimojo, S. (2000). Illusions: What you see is what you hear. Nature, 408, 788. Shams, L., Kamitani, Y., & Shimojo, S. (2002). Visual illusion induced by sound. Cognitive Brain Research, 14, 147–152. Shams, L., Ma, W. J., & Beierholm, U. (2005). Sound-induced flash illusion as an optimal percept. Neuroreport, 16, 1923–1927.

Spence, C. (2011). Crossmodal correspondences: A tutorial review. Attention, Perception & Psychophysics, 73(4), 971–995. Talsma, D. (2015). Predictive coding and multisensory integration: An attentional account of the multisensory mind. Frontiers in Integrative Neuroscience, 9, 19.

Talsma, D., Senkowski, D., Soto-Faraco, S., & Woldorff, M. G.

(2010). The multifaceted interplay between attention and multisensory integration. Trends in Cognitive Sciences, 14(9), 400–410.

Talsma, D., & Woldorff, M. G. (2005). Selective attention and multisensory integration: Multiple phases of effects on the evoked brain activity. Journal of Cognitive Neuroscience, 17(7), 1098–1114.

Vroomen, J., Bertelson, P., & de Gelder, B. (2001). The ventriloquist effect does not depend on the direction of automatic visual attention. Perception & Psychophysics, 63(4), 651–659.

Watkins, S., Shams, L., Josephs, O., & Rees, G. (2007). Activity in human V1 follows multisensory perception. NeuroImage, 37, 572–578.

Watkins, S., Shams, L., Tanaka, S., Haynes, J. D., & Rees, G.

(2006). Sound alters activity in human V1 in association with illusory visual perception. NeuroImage, 31, 1247–1256. Wilschut, A. M., Theeuwes, J., & Olivers, C. N. L. (2011). The time course of attention: Selection is transient. PLoS One, 6(11), e27661.

Wozny, D. R., Beierholm, U. R., & Shams, L. (2008). Human trimodal perception follows optimal statistical inference.

Journal of Vision, 8(3), 24.1–24.11.

Zhou, W., Jiang, Y., He, S., & Chen, D. (2010). Olfaction modulates visual perception in binocular rivalry. Current Biology, 20(15), 1356–1358.

第2期于薇等: 集中和分散注意对多感觉整合中听觉主导效应的影响173 Effect of selective and divided attentions on auditory dominance

in multisensory integration

YU Wei1,3; WANG Aijun2; ZHANG Ming2

(1 School of Psychology, Northeast Normal University, Changchun 130024, China)

(2 Department of Psychology, Soochow University, Suzhou 215123, China)

(3 Admission and Employment Office, Changchun University of Chinese Medicine, Changchun 130117, China)

Abstract

Auditory dominance refers to that auditory information competes for preferential access to consciousness in multisensory integration. Sound-induced flash illusion is an auditory dominance phenomenon in multisensory integration, which is the perception of brief visual stimuli could be qualitatively altered by concurrent brief sounds. It has been well documented that sound-induced flash illusion reflects cross-modal interactions at a perceptual level, and the illusion is too robust to change in many stimulus parameters. It remains unknown how modal-based attention influences the multisensory integration. Prior studies mostly asked participants to focus on the visual modal and ignore the auditory modal, however, in present study, we not only manipulated the modal-based attention (selective attention vs. divided attention) to ask the participants to focus their attention either on the visual modal or the auditory modal, but also manipulated task difficulty (high vs. low) to investigate how the cognitive control influences the sound-induced flash illusion.

The present study was a 2 (modal-based attention: selective attention vs. divided attention) × 2 (flash number: 1 vs. 2) × 3 (sound number: 0 vs. 1 vs. 2) factorial design in the two experiments, the factor of modal-based attention was manipulated by block. In experiment 1, asking the participants to judge the number of flashes first, then judge the number of sounds. In experiment 2, we increased the task difficulty, asking the participants to judge the numbers of flashes first, then judge whether the number of flash and sound were consistent. In present study, we mainly focused on the fission illusion (when a single brief visual flash is accompanied by two auditory bleeps and perceived incorrectly as two flashes) and the fusion illusion (where a double flash is accompanied by a single bleep and perceived incorrectly as a single flash).

From the results of accuracy (ACC), showing that fission illusion was larger than fusion illusion, and when the participants were initiative to pay attention to the auditory modal, resulting to enlarge the fission illusion, while it did not influence the fusion illusion. From the results of reaction times (RTs), regardless of the participants were focused attention on auditory stimuli passively or paid attention to auditory stimuli initiatively, fission illusion was stable, and was not affected by the attentional resources. However, the fusion illusion was not reflected in the reaction times. Together with the experiment 1and 2, we also suggested that the task difficulty could not influence the sound-induced flash illusion.

The results indicated that regardless of the single modal-based attention or the cross modal-based attention, compared with the fusion illusion, the fission illusion was larger, and was more affected by the distribution of attentional resources. In addition, we also indicated that task difficulty could influence the sound-induced flash illusion.

Key words multisensory integration; auditory dominance; fission and fusion illusion; selective and divided attention; task difficulty