1. 引言
人工智能技术的飞速发展正在重塑人类的思维方式。随着深度学习算法在文本、语音和视觉识别等领域的不断突破,教育领域已成为人工智能重要的应用场景。在大数据、云计算等新一代智能技术的支持下,学习者的学习环境和学习方式均发生了前所未有的变化。随着“互联网+”时代的到来,移动学习已经成为一种普遍学习模式 [1]。移动学习中的“智能学习”已经成为当前教育理论与实践的重要主题。在智能学习中双重编码理论和认知负荷理论是学习与教学领域最有影响力的理论框架。
双重编码理论是信息加工理论的核心。其重要的原则就是:可以通过同时用视觉和语言的形式呈现信息来增强信息的回忆和识别。在语言教学领域中双重编码理论的研究也被广泛的应用着 [2],大量的结果说明多媒体结合的方式能够使学习者学习词汇的效率更高,十分有利于提高学生英语整体学习水平。因此当前的很多外语学习App中均采用了基于双重编码理论的多媒体图文结合的英语词汇记忆模式。
认知负荷理论则从资源分配的角度考察学习和问题解决。认知负荷是学习者在完成特定学习任务时所需的认知资源总量。每个个体的工作记忆能够同时加工的信息容量是有限的,若同时加工几种信息,则存在资源分配的问题,而分配遵循“此多彼少,总量不变”的原则。若在问题解决或学习过程中所需要的资源总量超过了个体所能提供的资源总量,则会造成认知负荷超载,影响学习或问题解决的效率。
当前流行的英语学习APP中大多采用视频、动画等诸多媒体呈现形式以增加学习过程中趣味性,以期获得更好的学习效果。但是由于增加了学习内容的呈现方式,图文结合的多媒体英语词汇记忆模式是否会额外增加学习者认知加工的负荷,以及这种认知负荷的增加对学习结果的影响,目前尚无明确的研究结论。
本论文结合以往的实证研究,在双重编码理论和认知负荷理论的基础上,建构不同学习认知负荷的被试在三种呈现方式的实验,并探讨了三种图文呈现方式对视觉注意模式和学习效果的影响,详细分析了不同认知负荷的行为数据和眼动指标,以期为媒体学习策略在外语学习实践中更好的应用提供借鉴。
2. 认知负荷及其测量
1988年澳大利亚心理学家Sweller [3] 提出“认知负荷”这一概念,将认知负荷分为内在认知负荷、外在认知负荷和生成认知负荷。内在认知负荷是知识本身所带来的认知负荷,由学习材料中包含的概念或元素的数量、概念或元素之间的相互关系以及学习者的经验水平(图式数量)决定。外在认知负荷指因外在的信息呈现和教学处理而导致学习者耗费在与教学目标无关的操作(如信息搜索)上的认知负荷,这种认知负荷对学习起着干扰作用。生成认知负荷也称之为关联认知负荷,用于图式获得和规则自动化,对学习起着促进作用。认知负荷的这三种成分之间是累加关系,所加之和不能超过工作记忆资源总量。认知负荷的基本观点是只有将认知负荷控制在工作记忆所能承载的范围之内,有效学习才能发生,否则将造成认知负荷超载,学习失败 [4]。
面向双重编码理论的多媒体词汇学习就是试图通过言语表征和图像表征互补,减少学习者的外在认知负荷,使学习者尽快从浅层语义表征与视觉影像达到命题表征与心理模型,增加生成认知负荷,促进深层理解。
多媒体词汇学习包括选择、组织和整合三个过程,词汇记忆活动以文本和图片的形式呈现。学习过程中叙述和声音信息通过听觉通道进入工作记忆,产生言语表征;文本和图片通过视觉通道进入工作记忆,产生图像表征。信息加工系统需要在这两种编码之间建立参考联结,将同一概念的不同表征联系起来,并与长时记忆系统中的已有知识相联系。这一过程中工作记忆加工总量是有限的,听觉和视觉信息的整合将受到记忆负荷的限制。如果多媒体词汇学习过程中,听觉或视觉通道呈现太多需要加工的信息,就会引起认知负荷超载而影响学习效果。
认知负荷测量可以采用主观方法和客观方法。常用的主观方法是PASS [5] 提出的9级心理努力评定,这种方法反映的是和任务绩效相关的实际认知负荷,比较好的反应了总体的认知负担。客观方法是采用眼动试验,眼动相关数据可以反映被试者的注意力以及注意力间的转换。
眼动追踪技术在追踪被试的注视轨迹中,记录视觉注意的具体过程,可以有效反映注视过程中个体的基本认知加工活动 [6]。许多研究都表明眼球运动信息在研究人类阅读或其他信息处理任务时具有很大的参考价值,国内外相继出现了基于眼动的教学理念。这种理念通过测量眼动相关数据,揭示学生基本认知过程、问题解决机制和视觉加工方式等,利用范例效应有效地促进学生图式的获得和规则自动化,从而减轻学生工作记忆中的学习负荷,高效地提高学生的学习成绩 [7]。学者们广泛地认为人类对复杂的信息加工过程中,如阅读行为,眼球运动信息和注意力之间的关系十分紧密。有研究表明认知负荷越高,瞳孔尺寸越大 [8],相对于简单的句子而言,理解结构复杂的句子时的瞳孔尺寸要大一些。因此眼动指标可以用来揭示认知负荷对学习效果的影响 [9]。
综上所述眼动信息能够揭示语言学习中的潜在视觉注意模式,为教育研究者将图文学习效果和记忆认知相关联提供了一个途径,为改进教学程式提供可行的建议。
常用的眼动追踪测量指标有:注视时间、眼跳频率、眼跳幅度等。注视(Fixations)是一种速度非常低的眼动,这种眼动可以确保被试者凝视于一个特殊点,注视的位置反映了注意力。眼跳(Saccade)是一种快速的眼动,这种眼动发生在被试者试图把视线从一个注视点移动到另一个点注视时,通常持续200 ms~300 ms。眼动轨迹(Gaze Path)主要在直观分析中出现,眼动轨迹是注视点和眼跳的时间排序,或是被试者在观察刺激文件时眼跳的一般动作模式。
本研究将以某热门英文单词记忆类软件为素材来设计实验,旨在根据图文单词记忆中不同英文水平被试的行为数据、眼动数据和再测试结果,探究图文呈现方式、学习负荷与视觉注意模式之间的相关性。
3. 方法
3.1. 被试
在兼顾男女的条件下,选取了中央民族大学大三的20名学生,男11人,女9人。20名被试的年龄在20~23岁之间,被试按照大学生英语六级成绩被分为两组各10人,分别是认知负荷适当的高分组(六级成绩 > 425分)和认知负荷较高的低分组(六级成绩 < 425分或没有六级成绩),下面的论述里以高分组表示认知负荷适当,以低分组表示认知负荷较高。所有被试均身心健康,均为右利手,视力正常或矫正视力达到正常水平,母语均为汉语,实验后可以获取一定的报酬。在实验中因2名被试(性别均为男性)出现身体移动,未能保证实验仪器有效地校准注视点而给予剔除。
3.2. 实验材料
从某热门单词记忆类手机APP的托福雅思水平的单词组中随机挑选60个不同的单词,这些单词被分为3组每组20个单词,3组单词分别用图像呈现方式、图形呈现方式和纯单词呈现方式。这三种呈现中涉及的图片、象形词图、词语解释和例句均来自于某热门单词记忆类手机APP,实验材料的呈现格式见图1。
![](//html.hanspub.org/file/28-1161649x10_hanspub.png?20210715080345316)
Figure 1. (a) Image presentation; (b) Graphic presentation; (c) Pure word presentation
图1. (a) 图像呈现方式;(b) 图形呈现方式;(c) 纯单词呈现方式
3.3. 实验设计
实验程序利用E-Prime2.0软件编写和呈现所用的刺激,采用2 (被试间变量:高分组/低分组) × 3 (被试内变量:单词记忆呈现方式:图像方式呈现/图形方式呈现/纯单词方式呈现)设计。
对每个被试都进行三种单词记忆呈现方式的测试,每一种单词记忆呈现方式测试对应两个部分:第一部分是记忆阶段,向被试者呈现由图像方式(或图形方式或纯单词方式)呈现的20个词,为收集到足够的眼动信息,每个单词呈现10秒后由程序控制自动跳转下一个单词,要求被试按照自己往常的习惯记忆单词但不做任何反应,每完成一种呈现方式中的20个单词,休息3分钟进入再认阶段;
在第二部分再认阶段,向被试随机呈现在记忆阶段记忆过的单词,要求被试者在三个中文解释中(分别标号为1、2、3)判断英文单词的正确意思,并按键反应。每种单词记忆呈现方式的两个部分都进行结束之后,让被试休息5分钟进入下一种单词记忆呈现方式的测试。
实验使用SMI公司生产的Hi-Speed型高精度眼动仪系统,系统包括iView PC测试计算机、Stimulus PC图像显示计算机和测试托架。iView PC测试计算机与Stimulus PC图像显示计算机进行同步通讯。实验时受试者将下颚放在安装了红外光源和摄像头的托架上,注视前方Stimulus PC计算机屏幕上的图形。实验前进行校准,确定为注视结果在1度视角内X轴和Y轴的误差小于1.00,否则重新校准。实验过程中通过iView PC测试计算机中的iViewX软件采集受试者眼动数据,左单眼采集采样率为500 HZ。采用iView PC测试计算机中的BeGaze软件对眼动数据进行分析,iViewX软件采集被试的各类眼动指标被试的按键反应时由E-Prime2.0进行采集。
4. 行为数据分析
4.1. 正确率
对于正确率根据分析结果显示,各组别之间主效应显著(F = 6.26, p < 0.05),说明高分组和低分组测试者在测试阶段时,对单词意思判断的正确率存在着明显不同,表1中高分组和低分组对以同一呈现方式记忆的单词进行判断时,正确率均值的显著差异也印证了这一结果。实验后经多重比较发现,组别的主效应表现在高分组判断的正确率(M高 = 0.82)都明显高于低分组的正确率(M低 = 0.74)。
单词记忆呈现方式的主效应同样显著(F = 9.45, p < 0.01)。在以图像单词记忆下正确率相对最高,判断以图形呈现方式记忆的单词时正确率次之,判断以纯单词呈现方式记忆的单词时其正确率相对最低。同时,判断以图像记忆方式和图形记忆方式的单词的正确率并无显著差异(p > 0.05),但这两种记忆方式的正确率分别与判断以纯单词方式记忆的单词的正确率有显著差异(p < 0.05) (M图像 = 0.84,M图形 = 0.81,M纯单词 = 0.69)。
此外,根据统计结果组别和记忆呈现方式的交互作用并不显著(p > 0.05),高分组在三类单词记忆呈现方式的正确率均高于低分组,但仅在总的正确率上差异显著(p < 0.05)。
![](Images/Table_Tmp.jpg)
Table 1. A comparison of the accuracy of different English proficiency groups in three ways of word memory presentation
表1. 不同英语水平分组在三种单词记忆呈现方式上的正确率比较
4.2. 反应时间
判断反应时间根据分析结果显示,各组别之间主效应显著(F = 43.80, p < 0.01),这说明高分组和低分组测试者在测试阶段时,对单词意思判断的反应时间存在着明显不同,表2中高分组和低分组对以同一呈现方式记忆的单词进行判断时,反应时间均值的差异(M高分组 = 3071.65,M低分组 = 3945.95)也印证了这一结果。
单词记忆呈现方式的主效应不显著(F = 0.18, p > 0.05)这说明测试者对于以不同呈现方式记忆的单词进行判断时反应时间是无显著差异的。同时,根据统计结果,组别和记忆呈现方式的交互作用并不显著(p > 0.05)。
4.3. 结论
1) 在测试中学习认知负荷适度(高分组)正确率较高,反应时间更短。通过对不同呈现方式下高分组
![](Images/Table_Tmp.jpg)
Table 2. A comparative study on the response time of different English proficiency groups in three ways of word memory presentation
表2. 不同英语水平分组在三种单词记忆呈现方式上的反应时间比较
和低分组的测试正确率和反应时间进行对比发现:高分组在同样的条件下记忆单词时,不仅在正确率上显著高于低分组,同时判断的反应时间也短了近1秒的时间。
2) 全体被试在图像记忆方式和图形记忆方式的测试正确率都显著的高于纯单词记忆方式的正确率。图像记忆方式的正确率虽然略高于图形呈现方式的正确率,但这种差异并未在统计学意义上达到显著。研究结果印证双重编码理论在教育中的效果。
5. 眼动数据分析
本实验的眼动基本数据主要包括注视数据和眼跳数据,注视主要包括注视点个数、注视时间、注视频率,眼跳指标主要包括眼跳数目、眼跳频率、眼跳时间和眼跳幅度。采用重复测量的方差分析对眼动指标进行分析,其中组别(两个水平:认知负荷适当(高分组),认知负荷较高(低分组)为组间变量、单词记忆呈现类别(三个水平:图像呈现方式,图形呈现方式和纯单词呈现方式)和眼动指标为组内变量。所有数据均由SPSS 18.0计算完成,采用Greenhouse-Geisser法矫正P值。
5.1. 眼动特征分析
本研究提取实验结果中的各眼动指标,结合不同组英文水平的差异和记忆方式的差别,从平均值、标准差等方面对实验数据进行多因素方差分析等统计分析。
在一般情况下,不同的水平的学习者学习过程具有一定的差异,使用不同的记忆方式也对学习结果有所影响。本研究通过多因素方差分析,来探究三种单词记忆方式对不同英文学习水平被试的视觉注意模式的影响。眼动指标的被试类型和记忆方式多因素方差分析结果见表3。
表3显示了在不同组别存在显著性差异的6个眼动指标,其中有2个眼动指标(即眼跳时间、眼跳幅
![](Images/Table_Tmp.jpg)
Table 3. The results of multivariate analysis of variance of eye movement index groups and word memory presentation
表3. 眼动指标的组别和单词记忆呈现方式的多因素方差分析结果
注:p值的检验水准 < 0.05。
度)在单词记忆呈现方式上存在显著性差异,有3个眼动指标(注视频率、眼跳频率、眼跳幅度)在组别 ×呈现方式上存在显著性差异。
由此可见,被试的组别和单词记忆方式都会对眼动指标数据产生影响,且组别对眼动指标的影响大于记忆方式对眼动指标的影响。也就是说,不同英文学习水平的被试所产生的视觉注意模式存在显著性差异,这可能是因为两组被试的学习习惯和学习模式存在不同,记忆方式对被试的眼动指标影响也有所不同。
1) 组别的影响
组别显著影响着注视频率、注视时间、眼跳数目、眼跳频率、眼跳时间和平均眼跳幅度。从统计结果中单一比较组别的差异发现,高分组和低分组除注视数目的并无显著差别外,在同样的条件下记忆单词时,高分组的注视频率(M高分 = 3.06,M低分 = 2.72),注视时间(M高分 = 7997.04,M低分 = 7126.69)和眼跳时间(M高分 = 45.06,M低分 = 41.07)显著大于低分组。与此同时高分组的眼跳数目(M高分 = 27.35,M低分 = 41.46),眼跳频率(M高分 = 2.70,M低分 = 3.86)和平均眼跳幅度(M高分 = 4.45,M低分 = 10.33)显著低于低分组。
2) 单词记忆呈现方式的影响
单一比较单词记忆呈现方式的差异发现,其影响只在眼跳时间和平均眼跳幅度部分达到了显著。通过比较结果发现被试在图形记忆方式下的平均眼跳时间最大,其次是图像呈现方式,最短的是纯单词呈现方式下的平均眼跳时间(M图形 = 45.05,M图像 = 42.93,M纯单词 = 41.21)。在平均眼跳幅度方面,被试在图像呈现方式下的平均眼跳幅度显著高于纯单词呈现方式的平均眼跳幅度(M图像 = 8.99,M纯单词 = 6.62),图形呈现方式与图像呈现方式和纯单词呈现方式的差异不显著。
3) 组别与单词记忆呈现方式的交互影响
在交互影响方面,组别和呈现方式共同显著作用于注视频率、平均眼跳频率和眼跳幅度。
结果显示,低分组在图形记忆方式的注视频率相对最高(M图形 = 2.82),在图像记忆方式下次之(M图像 = 2.74),在纯单词记忆方式下相对最少(M纯单词 = 2.59);但是高分组在纯单词记忆方式下的注视频率相对最高(M纯单词 = 3.17),在图形记忆方式下次之(M图形 = 3.04),在图像记忆方式下相对最少(M图像 = 2.96)。
在平均眼跳频率方面,低分组的被试在图像记忆方式下的平均眼跳频率相对最高,在纯单词记忆方式下次之,在图形记忆方式下相对最低(M图像 = 4.25,M纯单词 = 3.76,M图形 = 3.56);但高分组在纯单词记忆方式下的平均眼跳频率最高,在图形记忆方式下的次之,在图像记忆方式下相对最低(M纯单词 = 2.84,M图形 = 2.70,M图像 = 2.58)。
在眼跳幅度方面,低分组在图像记忆方式下的平均眼跳幅度大于在纯单词组的平均眼跳幅度(M图像 = 13.80,M纯单词 = 8.73),但是高分组在图像记忆方式下的平均眼跳幅度小于在纯单词组的平均眼跳幅度(M图像 = 4.18,M纯单词 = 4.52)。
5.2. 结论
1) 在同样的条件下记忆单词时,高分组的注视频率、注视时间和眼跳时间显著高于低分组。与此同时,高分组的眼跳数目、眼跳频率和平均眼跳幅度显著少于低分组的眼跳数目。
Cowen [10] 在其研究中表示,注视频率和注视时间越多则说明了学习者对相应部分的理解程度越高,反映了被试的注意力以及对有效信息的搜集能力高低。所以可以推测,高分组可以取得比低分组更高的正确率结果,是因为高分组与低分组相比在进行单词记忆时,高分组的注意力水平更高,搜集有效信息的能力更高,也就对需要记忆的内容更加的深刻。
2) 对于不同单词记忆呈现方式来说,被试在图像呈现方式下的平均眼跳幅度和眼跳时间显著高于纯单词呈现方式的。
眼跳幅度是指两个连续的注视点之间的平均距离,研究指出它反映了被试者的知觉广度,眼跳的幅度越大则表明一次注视所收集的信息越多 [11]。这说明在图像记忆方式下提供给被试者的信息较多,所以被试者都产生了较大的眼跳幅度用于获取更多的视觉信息。
6. 直观分析
为了直观地展示不同英语水平者在不同单词记忆呈现模式下的加工模式,本文中随机选取了高分组和低分组的被试各一名以及他们在不同单词记忆呈现模式下的单词图各一张,进行兴趣点序列图表(见图2)和扫描路径的分析(见图3),扫描路径圆圈内的数字代表了当前注视点的次序 [12]。
兴趣点序列图和扫描路径的结果显示,高分组和低分在不同单词记忆呈现方式上都存在单词区和意思区两个重点的兴趣区。高分组在图像呈现方式和图形呈现方式,这两种拥有图形区的呈现方式中,首先注视的是单词区,然后花费较短的时间了解一下图形区的内容,之后的视线主要在意思区和单词区中来回重复,有极少的被试关注例句区 [13]。而在纯单词呈现方式中,高分组被试同样先关注单词区的内容然后依次是意思区,有的被试也会关注例句区的内容,但是视线还是主要在单词区和意思区之间来回重复。
低分组在图像呈现方式和图形呈现方式,这两种有图形区的呈现方式中,同样首先注视的是单词区并且有少部分先看到的是图像区,但是与高分组不同的是,低分组之后的视线会主要在图形区和意思区中来回重复。而在纯单词呈现方式中,大多数低分组被试完全不会关注例句区,视线主要在单词和意思区中重复。
![](//html.hanspub.org/file/28-1161649x11_hanspub.png?20210715080345316)
Figure 2. Region of interest (AOI) sequence chart of high group and low group in different presentation modes
图2. 高分组和低分组在不同呈现方式下的兴趣区(AOI)序列图表
![](//html.hanspub.org/file/28-1161649x12_hanspub.png?20210715080345316)
Figure 3. Scanning paths of high packet and low packet in different presentation modes
图3. 高分组和低分组在不同呈现方式下的扫描路径
在之前分析兴趣区注视时间的组别和区域的交互效应显著时,发现在图像呈现方式下低分组在单词区的注视时间显著小于高分组的注视时间(p < 0.01) (M低分组 = 2331.66,M高分组 = 2977.73),但在意思区的注视时间显著高于高分组的注视时间(p < 0.01) (M低分组 = 1968.01,M高分组 = 1780.90),与通过兴趣区序列图表直观分析的结果相似。
此外,如图所示中有很多例句区的数据显示为0,在之前的数据统计中,我们同样发现在四种图像呈现方式下被试都很少关注例句区,在分析例句区的注视时间时,不论在何种呈现方式下“0”占的比例都超过了50%。这可能是因为被试在有限的时间内记忆单词时,由于例句区的内容相对复杂,所以在限定时间内被试更倾向于选择注视意思区和单词区来获取相对高效的记忆信息 [14]。
结合直观分析的结果,大多数被试首先关注单词区,被试在记忆过程中都存在单词区和意思区两个重点的兴趣区,且较少关注例句区。
7. 总结
眼动追踪技术可以对视觉注意力、认知过程和学习结果之间的关系进行量化分析。本论文对眼动行为实验数据进行多因素方差分析和直观分析,研究结论如下。
1) 不同的图文单词呈现方式和被试的英文水平都会对被试视觉注意模式造成影响 [15]。根据认知负荷的来源可知,在充分熟悉本实验操作之后,在相同的词汇学习过程中,所有被试的内在认知负荷和外部认知负荷基本一致。但是高分组的被试在以往的学习中积累了更多的图式,因此在新词汇学习过程中可以利用长时记忆中的图式对新信息进行加工整合,从而降低工作记忆的负荷总量,使得高分组被试可以分配更多的资源在新词汇学习上,这种资源分配也体现在新词汇学习过程中的视觉注意模式上。
2) 在测试中,高分组的被试正确率较高,反应时间更短。在词汇教学过程中,被试的工作记忆的处理能力总量是有限的 [16]。相比于低分组而言,高分组被试可以将工作记忆能量投入到更深层的图式构建,并对其进行存储,其认知负荷总和小于低分组被试,使得高分组的视觉注意模式更为集中指向新词记忆,并集中于新词记忆,因此测试阶段时高分组的正确率高,反应时短。
3) 被试在图像记忆方式和图形记忆方式的测试正确率都显著的高于纯单词记忆方式的正确率 [17]。本实验中没有增加适时调整新词学习难度的环节,所以实验中的三种图文呈现方式带来的认知负荷均未超出被试的工作记忆加工总量。由双重编码理论/多媒体学习认知理论可知,图像记忆/图形记忆的词汇学习模式将可以利用听觉通道和视觉通道将同一词汇的不同表征联系起来,并与长时记忆系统中的已有知识相联系,提高学习效率。
4) 在不同记忆方式中,被试在图像呈现方式下的平均眼跳幅度显著高于纯单词呈现方式的平均眼跳幅度 [18]。在词汇记忆过程中,高分组的被试注视时间更长眼跳较少,注意力更为集中。视觉是词汇学习的重要途径,当面临任务明确、时间有限的学习任务时,高分组被试的注意力水平更高,对于词汇学习所倾注的关注强度更大更集中,因此眼跳幅度大,眼跳数量少。
5) 较多被试记忆时首先关注单词区,被试在记忆过程中都存在单词区和意思区两个重点的兴趣区,且较少关注例句区 [19]。本实验的指导语告知被试所要进行的活动和要求,即在短时间内有效记忆新词汇,从而形成了基于事件的前瞻记忆(prospective memory, PM)。重要的前瞻记忆需要占用更多的认知资源才能够顺利完成任务,因此被试会把有限的注意力集中到单词区和意思区来提高自己的任务成绩。
上述研究结果将对在线/移动学习中的多媒体呈现方式研究提供一定的参考,也为语言教育工作者和语言学习者提供学习方式的参考。
参考文献
NOTES
*通讯作者。