摘要: 随着互联网技术的发展以及多媒体技术在教学实践中的应用，多媒体学习已经作为一种全新的学习方式，被广泛应用于教学和各类培训项目中。近年来，多媒体辅助语言教学得到了越来越多人的认同，语言学者和教师皆期待能够充分运用多媒体技术于语言教学研究的各个方面，他们的最大关注点之一就是如何充分利用多媒体学习词汇。词汇学习是学习语言的核心之一，而相关材料的呈现方式和呈现顺序对词汇学习会产生影响，只有在有效呈现目标词汇与相关多媒体材料的情况下，学习者才能加深对词汇的理解和记忆，提高词汇学习效果，而错误的呈现方式和呈现顺序则可能导致词汇学习效率低下。因此寻找科学有效的多媒体呈现方式和呈现顺序，不仅可以优化词汇教学效果，还可以提升学习者的词汇学习效率，对教师、学生乃至教育行业的发展均具有重要的现实意义。
Abstract:
With the development of Internet technology and the application of multimedia technology in teaching practice, multimedia learning has been widely used in teaching and various training projects as a new learning method. In recent years, multimedia assisted language teaching has been recognized by more and more people, and linguists and teachers are looking forward to making full use of multimedia technology in all aspects of language teaching and research, and one of their biggest concerns is how to make full use of multimedia to learn vocabulary. Vocabulary learning is one of the core of learning language, and the presentation mode and presentation order of related materials will have an impact on vocabulary learning, only in the case of effective presentation of target vocabulary and related multimedia materials, learners can deepen their understanding and memory of vocabulary, improve vocabulary learning effect, and wrong presentation mode and presentation order may lead to inefficient vocabulary learning. Therefore, finding scientific and effective multimedia presentation methods and presentation sequences can not only optimize the vocabulary teaching effect, but also improve the vocabulary learning efficiency of learners, which is of great practical significance to the development of teachers, students and even the education industry.
1. 引言
1.1. 多媒体教学
Mayer把多媒体定义为同时使用文字和图片的材料表现，目的是促进学习。其所说的文字，是指材料以文字的形式呈现，比如使用印刷文本或口语文本。所谓图片材料(也可以称为图形)是以阶乘形式呈现的，包括使用静态图形，如插图、图形、照片和地图，或动画和视频等动态图形。人们从文字和图片中学到的东西比单纯从文字中学到的要多，这种直截了当的陈述可以称为多媒体原则。简而言之，我们可以通过在语言材料中加入有效的图片，音频或视频来提高人们的学习能力。
通常情况下，大家可能认为多媒体教学是数字时代的产物，但多媒体教学的历史可以追溯到1657年，当时约翰·夸美纽斯(John comenius)制作了世界上第一本儿童图画书——Orbis pictus (意思是“图画中的世界”或“世界画报”)。每一页都用黑白线条描绘了世界的各个方面，从房子的各个部分，到理发店的各个元素，到水鸟的种类，再到植物的各个部分。每个元素都进行了编号，相应的图例用拉丁语和儿童的母语给出了其名称和描述。正如其英文版前言所指出的，这本书成为欧洲一个世纪以来最受欢迎的教科书。不难发现，世界上第一本有插图的教科书是基于多媒体原理的——“文字和事物的教学必须结合在一起。” [1] 虽然几百年前没有研究基础来指导，但在这本书中可以看到，前人们正在尝试将多种媒体(文字和图片)结合以取得更好的教学效果。随着计算机技术的兴起，大量语言研究者与计算机行业的从业者也一致认为多媒体在语言学习中具有巨大的潜力 [2] [3] ，这种信念导致了所谓的计算机辅助语言学习(Computer-Assisted Language Learning)，通过计算机技术来充分使用多媒体，并认可它作为语言教育的一个重要组成部分。词汇多媒体学习的原则、特点等也受到研究者们的广泛关注，各领域的学者们都努力在探讨并建立基于实证研究的原则，来指导任何有兴趣在21世纪设计词汇多媒体教学的人。
1.2. 词汇多媒体学习
多媒体学习是一个对多媒体信息筛选、验证、加工和组合的过程，在《多媒体学习》一书中，Mayer从认知心理学的视角将“多媒体”界定为用词语(Word)与画(Picture)来共同呈现材料 [4] 。Mayer及其研究团队通过多年的实验从认知心理学的角度探索对多媒体学习认知加工过程机制和多媒体的教学设计原理，并且通过大量的实验归纳出12条行之有效的多媒体学习的规则。词汇法理论指出，学习和应用语言的过程中词汇处于第一位，相比于语法，词汇在语言中更加不可或缺 [5] ，它是人们理解和表达语言的主要载体，语法的作用就是辅助词汇，语法化的词汇组成了语言。词汇学习就是掌握一个词汇的过程，即学习在源语言词汇与目标语言词汇之间进行复杂性转化的过程，它是学习英语的基础，在整个语言学习过程中贯穿始终 [6] 。Wallace提出掌握一个单词要能够正确的书写、发音及在合适语境下应用；能够正确使用其搭配形式和语法知识 [7] 。Nation认为学习者对于词汇的掌握需包括词汇的形式、意义及运动三个方面，具体为词汇的发音、固定搭配及书写，词汇的形式、词义、概念及联想意义，词汇的使用条件、语法功能和应用搭配 [8] 。
随着新时代的到来，电子信息设备的进步让多媒体技术不断应用于教学领域，词汇的学习经常在多媒体学习环境中进行，尤其在智能手机普及的背景下，各种词汇学习的APP如雨后春笋般出现在移动端中，并深受词汇学习者的喜爱。这种词汇学习APP的优势之一就是可以同时使用多种媒体(例如，结合文本和图像信息，结合文本和音频信息等)来记忆词汇。已有的研究表明，运用多媒体技术进行词汇教学，让学习者在学习过程当中可以进行多通道的编码，获得更深层的加工，从而达到给更好的词汇学习效果。但也有研究发现，在多媒体学习环境中学习词汇，也可能潜在某些负面影响。但无论如何，多媒体技术在词汇学习领域的运用已经是大势所趋，我们有必要对词汇多媒体学习的理论和研究现状进行梳理，以便更加科学有效地发挥多媒体技术在词汇学习中的促进作用。
2. 词汇多媒体学习的理论基础
2.1. 双通道效应
通道是指学习者处理信息时使用的信息处理通道，例如听觉和视觉 [9] ，Penney在一篇关于短期记忆中的通道效应(Modality Effects)的综述中，报告了一系列记忆实验，其中以两种通道(视觉和听觉)呈现的单词与仅以一种通道呈现的单词相比，能产生更强的记忆力 [10] 。为什么两个通道比一个好？这里有定量理论和定性理论两种解释。数量上的基本原理是，两个通道可以呈现比一个通道更多的材料，就像更多的信息可以通过两个车道而不是一个车道进入大脑一样。例如，在解释汽车的刹车系统是如何工作的情况下，这个过程中的步骤可以用文字来表示，用音频的讲述，也可以用插图来描述。无论是图文结合的方式，还是视听结合的方式，都以多通道的形式把材料呈现两次，让学习者同时以两种感官接触到两倍的信息 [11] 。虽然定量理论的基本原理就其本身而言是有意义的，但它不完整。因为存在语言和视觉通道是等效的这一假设，也就是说，无论是文字与音频，还是文字与图片，都只是表达同一材料的两种等效方式，无法进行信息量的叠加。
相比之下，定性的基本原理是，文字和图片虽然在性质上不同，但可以相互补充，当学习者能够在心理上整合相应的图形和语言表征时，人类的理解就发生了。正如你所看到的，定性的基本原理假设这两个渠道是不等价的：文字对于表达某些类型的材料是有用的(表达更加正式，但需要学习者付出更多的努力去解读文字含义)，而图片对于表达其他类型的材料更有效果(一种更直观，更自然的表达)。简而言之，一张图片不一定能表达出千千万万个的含义，但它可以帮助我们去理解单词，这是纯粹的文字所不能做到的 [12] 。定性基本原理最有趣的方面是，当学习者能够在图形和语言表征之间建立有意义的联系时，理解就发生了，例如在汽车制动系统的动画中，能够同时看到“活塞在汽缸中向前运动”这句话与汽缸中活塞向前运动的模拟动态。学习者在试图建立文字和图片(动画)之间的联系的过程中，学习者能够创造一个比单纯的文字或图片更深刻的理解，这个观点是多媒体学习的认知理论的核心。
2.2. 多媒体学习认知理论
多媒体学习认知理论是由 Richard Mayer [13] 提出的，他认为当学习内容以图像和文字形式呈现时，学习者能更好地理解与记忆。Mayer认为当学习内容控制得当(内在认知负荷)，表现形式设计得当(外在认知负荷)，就有可能产生有效的学习(相关认知负荷)。多媒体学习认知理论能维持大脑对信息的感知、理解、包容并将新信息合并到现有系统中，Anke Königschulte认为此过程详细阐明了学习和解决问题的记忆过程 [14] 。多媒体学习认知理论证明，不同的记忆阶段在不同的、独立的但相互合作的渠道中处理音频/语言和视觉/图像信息。有意义的学习只发生于工作记忆的主动加工过程中，即选择、组织和整合信息，以构建连贯的心理表征。这些过程在一定程度上受到储存在长期记忆中的先验知识的指导。Rattana Yawiloeng则进一步将多媒体学习认知理论总结为是通过多媒体研究第二语言词汇学习的理论框架 [15] 。
2.3. 精细加工与情感动机理论
也有研究者从加工深度和情感动机的角度来支持将图片或音频添加到词汇的学习当中。以往研究发现的多媒体技术的积极影响，大多集中在学习的编码阶段。精细加工理论认为，与单纯的文本相比，图片和音频提供了更多独特的视觉特征和听觉特征，这使学习材料在物理上和概念上比单纯的文本更明显 [16] ，可以通过刺激编码过程中的精细加工来增强记忆。根据精加工理论，词汇学习中的图片和音频有利于学习者在检索词汇的同时，对多种媒体呈现出来的信息进行更深层的加工，这是多媒体技术有益于词汇学习的一种可能解释 [17] 。情感动机理论则强调，图片、视频和音频等媒体有利于激发学习者对学习内容的好奇心，从而投入更多的注意力来进行学习 [18] 。注意力对传递信息至关重要。如果没有足够的注意力，学生们就无法成功地编码信息并将其永久地转化为长期记忆。从这角度来看，学习练习中的多媒体材料可能会给学习者营造一个更生动有趣的景，通过提高学习者的学习兴趣，引导其投入更多的认知资源来促进词汇学习的效果。无论是双通道效应还是多媒体学习认知理论，都强调从人类认知加工系统的有效使用和互相联系支持了多媒体技术在词汇学习中的使用。而精细加工和情感动机理论则更加强调引导学习者积极地对学习材料进行编码加工，把图片和词汇信息组织成连贯的心理表征，并将信息与先前的知识经验相结合(例如，整合口语和图片表征，并触发自我解释 [19] 。通过这种方式，提取练习中的图片可以帮助学习者建立起更完整和准确的心理模型 [20] ，促进词汇学习。
3. 多媒体呈现方式对词汇学习的影响
3.1. 多媒体呈现方式有利于词汇编码
Chun和Plass [21] 指出，相对于单媒体呈现，利用多种类型的媒体呈现目标词汇可以对词汇信息进行多重编码，利于将书面文字系统和视觉表象系统相联系，合理组织和处理词汇信息，建立工作记忆与长时记忆中已有知识经验的关联，加强记忆深度，提供更多回忆线索。从“音频 + 文本”呈现方式到“无视频 + 文本”呈现方式，再到有“视频 + 文本”呈现方式，学生对词汇信息的编码方式逐渐递增，使得在“视频 + 文本”呈现方式下被试的词汇学习效果最好。
3.2. 视听结合可以促进词汇学习效果
严容提出结合视觉或听觉的方式呈现目标词汇项目，可极大提高词汇教学效果。利用多种媒体呈现方式进行的增添，信息更全面，学习效果更好 [22] 。当呈现词汇信息文本时，增添相关的视觉图像资料或听觉音像资料，可加强对学习过程的引导，拓宽信息获取的渠道，有效触发信息增添活动，加深词汇印象，提高词汇记忆效果。相比于“无视频 + 文本”呈现方式和“音频 + 文本”呈现方式，在有“视频 + 文本”呈现方式下，教师的动作指点和板书作为增添信息，易于丰富新信息表征，联系已有信息，使被试对多媒体材料的学习印象更加深刻，学习效果更好 [23] 。
3.3. 多媒体视频的肢体语言影响词汇学习效果
多媒体呈现视频与单纯文本的词汇学习的最大区别就在于学生能否看到教学代理的出现，换句话说也就是视频中人物的身体语言是否会影响学生的学习。所谓身体语言，俗称体语，主要指身体信号而非言语信号，包含面部表情与目光、身体姿势与运动、空间距离等 [24] 。在实际教学中，教师的手势、身体姿势、面部表情和目光都可能会在不经意间对学生产生影响，尤其是教师的面部表情 [25] 。在视听结合的呈现方式下，被试还有可能会分心思考这是哪位老师的声音，因为毕竟是同一学校的老师，即使不是自己的直属老师也会偶尔见到过她，听到过她的声音，所以感觉会很熟悉而忍不住搜索，这种思考也会占用一部分认知资源，导致被试记忆效果的下降。因此，相比于视听结合的呈现方式，以视频方式呈现的多媒体材料则减少了这方面的影响。并且，当以视频方式呈现时，学习者不仅能够视听结合地学习词汇，还能直观地看见教师或其他人物形象，这些人物的肢体语言有利于增强学生地临场感，获得更加沉浸式的学习体验。
4. 多媒体呈现顺序对词汇学习的影响
4.1. 多媒体材料呈现于词汇之后有益词汇学习
如果首先出现的项目是词汇本身(包括形式、音标、汉语词义和词性)，这种静态的、简洁的和直接的呈现可以诱发目标标识，让学习者快速激活对词汇本身的加工。由于时间有限，学习者可能会花费更多时间记住目标单词，而不是想象其他材料，这是一个肤浅但简单的过程焦点处理。此外，基于重点信息，学习者关于目标单词的记忆可以在接下来的阶段得到加强。在词汇之后呈现图片或音频，学习者可以尝试寻找一些额外的信息理解这幅图片的背景 [26] 。因此，先前对词汇的记忆和理解更容易被再次激活和加强。在这个阶段中，学习者常识将前面的单词部分与当前的多媒体材料匹配在一起，此时的目标单词将是作为上下文材料的连接，学习者大部分时间都在挑选，匹配并连接相关单词和多媒体材料，这是一个深度处理，对词汇的学习是有益的。
研究者发现，目标词先于图片与视频的出现方式有助于学生迅速抓住重点，基于此，随后增添的图片和视频更能促进其有意义的学习，从而加深对目标词的理解与记忆。词汇教学以文–图–像的呈现方式更加符合学生的记忆认知规律 [27] ，更加有利于词汇的长时记忆。在学习完单词后，老师播放相关的视频，学习者的视觉和听觉通道会被同时激活。视频情节是连续的，目标词汇通过嵌入特定的字幕句子在视频中再次呈现。对于这个目标词汇，学习者可以尝试组织和分析这个视频上下文，以便理解目标词汇在真实语境中的用法。此外，他们可能还记得他们刚才所记得的，包括前面出现过的单词和图片，因此，视频也可以被视为一种重要的强化媒体，帮助学习者形成词汇记忆和掌握语境意义。这个过程主要涉及组织、分析和回忆，这也是一个更深层次加工的过程。
总之，对于词汇多媒体学习而言，可以遵循从形式到意义，从静态到动态的多媒体呈现顺序，这样层层递进、循序渐进的呈现顺序能够进一步促进学生对新词的理解、内化、记忆和运用。在“先呈现词汇，后呈现多媒体材料”的模式中，可以使学生获得目标单词的焦点，将多媒体材料将作为巩固它的附加材料，目标词通过不同的多媒体来进行典型的深加工，加深对目标词汇的加工深度，从而对词汇的记忆和学习起到促进作用。
4.2. 多媒体材料呈现于词汇之前潜在负面影响
如果将图片和动态视频呈现于词汇之前，又会对词汇的学习产生什么影响呢？图片和视频中包含的大量信息，比如字幕、移动图片、情节、声音、背景音乐等等。虽然它们能唤起学习者的兴趣，但由于其丰富的语境和意义，学习者必须阅读它文本字幕，观看其动态场景，同时聆听其声音。在这个过程中，一个沉重的外部认知负荷会通过多感官，这可能会分散学习者的注意力 [28] 。此外，学习者的注意力可能会被一些无关的信息分散，比如沉迷于猜测下面的情节或回忆其他不相关的事物和情况。一旦先于词汇呈现的多媒体信息导致学习者发生了注意力分散，会对后续处理目标词汇造成干扰，这对下一个演示部分(目标词汇)的记忆是不利的。
根据焦点注意理论(focal attention theory)，注意力对传递信息至关重要。如果没有足够的有效注意力，学生们就无法成功地编码信息并将其永久地转化为长期记忆 [29] 。因此，多媒体先于目标词的出现虽然能够激发学生的学习兴趣，但是丰富的视频或图片画面也容易造成学生的注意力分散，从而无法对随后呈现的目标词汇进行有效的注意，形成记忆干扰，不利于学生对目标词的长时记忆。
综合上述的研究与理论，多媒体材料在词汇学习的呈现顺序会产生不同的影响，具体而言，把多媒体材料呈现于目标词汇之后，可以作为一种强化的附加材料，加深学习者对词汇的记忆与理解，促进学习；而把多媒体材料呈现于目标词汇之前，则可能成为分散学习者的注意力，对记忆形成干扰，这对词汇学习潜在负面影响。在具体实践中，运用多种媒体的方式来呈现学习材料时，也应该注意把握多媒体材料与目标任务材料的呈现顺序，这样才能有效发挥多媒体技术的优势。
5. 研究不足与展望
5.1. 研究不足
首先，在研究多媒体技术对词汇学习效果的影响时，研究者所采用的文字材料大多是“外语词汇 + 中文意思”，没有重要的词块或搭配。但是在以往研究中，词块可以培养学习者的词汇应用能力，从长远来看，这对学习者的词汇应用非常重要；其次，掌握一个单词至少要结合三个方面：形式、意义和用法。但在实际研究中，很难同时测试形式、意义和用法，比如在测试过程中，给出中文意思有助于学习者回忆并为他们提供线索完成其他任务。并且，因为不同的词性会影响词汇的学习效果，如形容词、名词、动词。因此，能够写下一个单词的正确中文意思并不能代表掌握它的用法 [30] ；第三，图片或视频中的一些不可避免的因素可能会影响信息编码过程。如果研究中能够选择更简洁、更合适的多媒体材料的话，就能更好地在未来的先进技术的帮助下，通过匹配参与者的理解水平和感知风格来制作多媒体材料。
5.2. 研究展望
第一，在未来的研究当中，词汇呈现可能涉及更重要、更简洁的语块或搭配信息，这些信息在真实语境中被频繁使用，对学习者的词汇应用能力有重要影响。
第二，在词汇测试的设计中除了即时测试和延迟测试外，还要有更全面的方面，包括接受性知识和生产性知识的测试，比如词的形式、意义和用法，因为这些方面完全掌握一个新单词的基本要素。因此，未来的研究可以采用一些更权威的方法以及科学的词汇测试，以确保研究结果的可靠性和有效性 [31] 。
第三，可以在现有研究和理论的帮助下过滤更合适的多媒体，基于个人理解水平和感知风格的先进技术提供更合适、真实、实用的多媒体语料库资源。未来研究人员可以在动态视频演示的应用上投入更多的精力模式。此外，对多媒体同时呈现的模式进行研究也是必要的，这将在词汇领域带来更多的发现和见解。