1. 引言
对语言认知的研究一直是认知神经科学、医学等相关学科领域对脑功能研究的重要课题。N400是事件相关电位(ERPs)中经常提到的一种内源性成分,因其产生与言语刺激有关,故也被称为“语言相关电位”。N400反映了语境对字词加工的作用,主要反映言语加工中语义加工及其对字词的词汇加工过程中大脑的电位变化,是研究语言理解的神经机制的客观、可靠的指标。可以从N400的波幅、潜伏期及头皮分布等多个维度来对这一加工过程进行描述。其中波幅显示了语言认知加工的难易程度,加工越困难,波幅越偏负;潜伏期反映了语言认知加工的时间进程;头皮分布在某种程度上可以表明语言认知加工的脑内源。通过这三个指标,我们可以对脑内语言加工过程进行精细的描述。
无阈限串级加工认为,词汇识别是指在IA中低层次的加工由于轻微的激活都可“倾泻”即全部传播到较高层次上去,并以同样方式返回,从而造成各层次相当于同一阶段,不可分离。根据因素相加法则,在IA模型中体现的是两加工在统计学上具有交互作用,因此我们也可以将这种串级加工理解并称为交互加工。
2. 事件相关电位N400的研究现状
2.1. N400的发现
Kutas和Hillyard (1980)首次发现,当句子结尾单词与句意不一致(即语义违反)时,就会在被试的中顶部皮层出现一个较大的负成分,并在400 ms达到峰值,因此被命名为N400。Kutas和Hillyard (1982)又发现,当结尾词与整个句子的句意一致(无语义违反),但不符合预期时,也会产生较大的N400波幅 (例如,He was soothed by the gentle wind),而结尾词与预期越符合,N400则越小。他们还发现,同样是不符合预期的尾词,只要和标准预期词(标准填词)相关,引起的N400就小,表明N400和语义启动成反比。语词加工中N400的发现扩大了ERP的研究范围,开创了以ERP方法研究语言文字加工的新时期。
2.2. N400的主要研究方法
虽然N400的产生不需要特定的刺激和任务去诱发,但在实验室研究中,人们却经常采用几种比较典型的实验范式来探究N400效应。包括启动范式和语义违反范式。启动范式通常包括两个项目(例如,两个单词),其中第一个为启动词,第二个为靶词,通过操控靶词与启动词的关系,来研究靶词诱发的N400。启动范式又可分为重复启动和非重复启动。在重复启动中,启动词和靶词相同,因此启动词会给识别靶词提供一种记忆,从而易化对靶词的反应,产生N400启动效应。而在非重复启动情况下,启动词和靶词可以在发音上相近(cough-rough)、在语义上有关联(cat-dog)、视觉上的相似性(rough-dough)等,这些关联也会易化对靶词的反应。Luo, Hu, Weng, & Wei (1999)是国内较早采用启动范式研究汉字N400的。
语义违反范式是研究N400的另一种方法,该范式产生的N400与启动范式下的N400没有大的不同(Kutas, 1993)。具体就是运用镶嵌在句子中的靶刺激诱发N400,靶刺激一般位于句尾,可以是单词,也可以是图片,可能与整个句意一致,也可能与句意不一致(语义违反)。由于句子上下文信息对识别语义违反的靶刺激不起作用,因此,与上下文语义匹配的靶刺激相比,违反语义的靶刺激会诱发一个较大的N400。语义违反和歧义(尾词Bank含“银行”、“河岸”两种语义)并不是引起N400的必要条件,因此有研究者运用这一范式对被试的期望大小进行控制,发现与难以预期的句子结尾相比,违反预期的句子结尾会诱发更大的N400。Chen (2010)采用汉语成语材料的研究表明,末尾字与整个成语匹配(一致)条件下,N400波幅要小于不匹配条件,并且末尾字与预期结尾字的发音、外形、字义等方面是否相似,也会影响N400的潜伏期与波幅。甚至有研究者发现,在口头句子理解中,不一致性重读也会诱发N400效应(Li, Hagoort, & Yang, 2008)。事实上,现在比较一致的观点是,所有具有潜在意义的项目都会产生N400。
2.3. 有关N400认知机制的理论发展
N400反映了语言认知加工过程,这一点得到了研究者的一致认可,但其反映词汇提取过程,还是有意识的词汇语境整合控制过程,迄今没有一致的结论,争论源于反应时启动效应的自动扩散激活过程和控制加工过程之间的争论。
2.3.1. 词汇加工理论
Deacon, Dynowska, Ritter, & Grose-Fifer (2004)发现非衍生假词(例如,LANBIR)也能引起重复启动效应,表明N400和语义无关,更不用说语义整合,因而否定了词汇后加工(语义整合)理论。基于前词汇加工理论的缺陷,Deacon等干脆把N400和语词刺激的分析加工联系起来,用语词刺激的自动分析加工代替自动扩散激活。Deacon等的词汇加工理论强调上下文(语境)的作用只是通过信息的反馈减轻分析加工的难度而降低N400的波幅。词汇加工理论和Morton的模型无潜在牵连,也不强调启动效应只是增加词汇表征的激活水平,避免了前词汇加工理论自动扩散激活的缺陷,但是,对于非衍生假词是否真的不能激活语义,受到了一些研究者的怀疑。有研究(Guerrera, 2004)显示,“启动词”的字母被打乱并被掩蔽时仍会出现词汇判断反应时的重复启动效应,表明这些启动词仍能或多或少的激活语义。
2.3.2. N400语义抑制理论
Debruille (2007)由此提出了N400语义抑制假设,强调语义表征的相互抑制。该假设认为,N400是由于刺激激活的各种语义表征间的相互抑制引起的,靶刺激会激活多种与其相关的项目,但随后与上下文无关的项目会得到抑制,只有符合上下文的项目的激活才会增强,要抑制的项目越多或激活越强,抑制越困难,相应的N400波幅就越大。Debruille认为该理论可以解释不同的N400效应,包括语义、人间知识、预期等产生的N400效应,它也可以解释高频词比低频词的N400波幅小的现象。
最近,有研究者从一个新的途径对N400的认知过程进行了研究。孙海静,王权红(2011)采用语义启动范式,运用汉字延迟匹配任务,发现字频与N400语义启动间存在交互作用,作者从词汇核证方面做出了解释,认为N400的产生可能与词内核证次数有关,核证失败次数越多,N400波幅越大。在某些方面,Debruille的抑制理论和词汇核证假说是一致的,核证选择的过程也可以看作是对先前激活项目逐一抑制的过程,只不过核证假说更强调词汇表征方面的信息,而抑制理论更强调语义信息。这些假设的真实性还有待于进一步检验。与这两种理论有分歧的是交互激活模型,该模型认为所有激活项目同时进行竞争,相互抑制,与上下文最吻合的项目得到最强的激活,最终得到识别。
2.3.3. 交互加工理论
无阈限串级加工认为,词汇识别是指在IA中低层次的加工由于轻微的激活都可“倾泻”即全部传播到较高层次上去,并以同样方式返回,从而造成各层次相当于同一阶段,不可分离。根据因素相加法则,在IA模型中体现的是两加工在统计学上具有交互作用,因此我们也可以将这种串级加工理解并称为交互加工。IA模型主要包括由低到高的三个层次的字形加工。低层次的字形加工和下一阶段的语义加工层次发生交互。Meyer,Schvaneveldt和Ruddy (1975)和Balota et al. (2013)的研究就显示,模糊度与语境有统计上的交互作用,说明低层次的字形加工与高层次的语义加工发生了交互。另一方面,Becker (1979)证实,同属高层的语境和词频有交互作用,支持IA模型。Wang和Yuan (2008)发现高度、不可识别的模糊真假字仍然可以产生真假字N400效应,他们采用词汇知觉分析的观点,认为在识别达成之前词汇加工就可以马不停蹄的串联到语义加工,从而产生N400效应,Laszlo & Federmeier (2012)也提出语义识别和刺激识别是同时发生的。
N400理论争论的原因,可能有如下几方面:一是实验材料的选取多种多样,并且倾向于选取能证明自己预期结果的材料,致使材料的选取有失客观,研究结果自然得不到一致的结论;二是实验任务方面,实验任务是影响N400波幅及分布的一个重要因素,有研究者采用较简单的词汇判断任务,而另一些研究者则采用较高级的命名、语义分类任务,由于被试对材料的加工深度不同,实验结果自然也会不同,如果N400既参与词汇加工过程,又参与语义整合过程,那么采用不同实验任务的研究者自然会得到不同的结论,但实际上这些结论都是不全面的。此外,对实验结果的归因也是导致不同研究者得到不同结论的一个重要原因,由于实验控制不够严格,出现某一结果也可能是控制变量之外的变量导致的,但研究者大部分都把结果归因于自己设置的变量,这也是很多研究结论受到质疑的原因;最后,P300也会影响N400。要解决这一问题,就需要我们更加客观的选取材料和实验任务,严格控制实验变量,数据分析过程要严密,慎重得出实验结论。
2.3.4. 以汉字为材料的N400研究新进展
现有的研究多以英文为材料,而对汉语的研究相对较少,并且大多数是关于语句的研究。实际上,汉语与英语在很多方面的加工机制是不同的,因此采用汉语单字、成对词甚至句子对N400进行研究,很可能会给已有的研究成果增添一些新的东西,进一步完善已有的理论。
近年来,国内以汉字为材料的关于汉字事件相关电位N400的研究,大致来说主要从以下几个方面展开:整字性质(包括汉字的频率、字体、正字法、模糊度,规则性等),亚词汇(部件、声旁家族)等。目前还没有证据表明拼音文字字形的变化可以改变N400波幅,其原因主要是因为拼英文字的字形结构并不直接影响语义提取,而是通过语音中介通达。汉字是表意文字,可以说,对于相当一部分汉字特别是高频汉字来说,书面语词可以直接提取语义,并不需要经过语音加工(Zhou & Marslen-Wilson, 2009)。这似乎意味着汉字不像英文单词,汉字的A和B (字法和语义层)之间不存在着一个AB层(语音层),也就是说,因为没有中间夹层而且刺激加工和语义加工是串联的,刺激和语义加工因此也就基本处于同步状态,而非分离。陈纯,王权红,陆其林(2013)在Wang等的重复启动研究基础上,同样将靶刺激模糊处理,让被试判断随后呈现的探测字和该模糊靶字是否是同一字,不同的是将启动字(与靶字)重复条件改为语义相关的条件,以考察在靶字高度模糊(即自动加工)的条件下能否记录到N400语义启动效应,结果显示与轻度、可识别模糊汉字一样,高度、不可识别模糊汉字仍然可以诱发N400。Lv & Wang (2012)发现无论是真字还是假字,行楷体均比宋体产生了更大的N400波幅,这种N400字体效应体现了汉字字形的语义串级加工。张顺梅,赵桂一(2016)为进一步证明N400字体效应,以及中文的形—义加工说,以汉语双字词为实验材料,同时操控汉字字体类型和频率,其结果显示:行楷体比宋体引发更负的N400波幅,且在低频真词上更显著,另外在真词条件下,频率和字体在N400上存在交互作用。认为字形在语义通达中起到重要作用,支持中文形-义加工说和交互激活模型。毛媛,王权红(2017)发现作为纯粹的正字法大家族字的笔画大家族字比笔画小家族字,引发更大的N400波幅,表明非语音家族大小及非语音加工也可以引发N400效应。支持基于交互激活模型的汉字二阶段解释。这些结论似乎都支持了词汇加工理论,但由于汉字加工没有夹层,词汇和语义加工基本处于同步、不分离的状态,导致词汇加工还没有完成时,语义加工已经开始了,且二者间发生交互,这之间的串联是马不停蹄的。因此,事实上这一结论也可以用IA模型中的串联加工来进行解释。王彤彤,周美玲(2018)发现汉字模糊度与频率在反应时和N400上均存在交互作用,表明汉字字形加工与语义加工发生交互。
3. 结论与展望
本文主要回顾了研究者对N400的研究成果及理论解释,以及以汉字为材料的最新进展。将N400引入语言理解的研究中,不仅让我们更清晰的了解语言认知加工的过程,而且对我们之前有关语言理解的研究有了一定的补充和完善。当然现在的研究中还存在一些不足。
首先,早期的研究认为N400是语言理解的一项较反应时更为可靠的指标,因此被称为语言相关电位。但现在的研究发现单词、句子、图片、声音、视频、面孔、音调等这些言语或非言语信息都可以产生N400效应,诱发N400的关键因素是刺激是否有意义,因此更确切地说,N400是刺激意义性的一项指标。
其次,刺激的类型、呈现方式、呈现时间、被试的任务等都会影响到N400的波幅和头皮分布。这可能是造成不同研究者得出不同结果,进而导致N400理论争议的一个重要原因。不同类型的刺激都可以诱发N400,但它们的加工时程有何不同?又有哪些因素会影响N400的加工时程?对这些问题的解决,将会进一步完善我们对N400神经机制的了解。再次,不少N400理论都是以词汇再认理论为基础的,如前词汇加工理论、词汇后加工理论、语义抑制理论、交互激活模型以及词汇核证理论等,因此,解决好各种词汇提取理论的争论,将对解决N400认知机制问题有很大的促进。
最后,ERPs与FMRI技术的结合,澄清了很多神经机制方面的问题,至少我们可以确信,在语义启动任务中,颞中回和额下回是产生N400的两个重要脑区,而这两个脑区分别于词汇通达及语义提取和选择有关,据此推测,N400可能更多反映了词汇加工过程,支持词汇加工理论。对于句子歧义范式中FMRI的研究尚无一致意见,可能与句子加工涉及更多的脑区,且无关变量太多有关。我们认为,在今后的研究中,通过分析各种研究水平或不同任务的内在加工过程以及神经机制,相信可以得到一种比较普遍的理论假设。