1. 引言
随着多媒体技术的不断进步,外语教材的形式已不再局限于单纯的文字表述,而是涌现出融合了多种模态资源的新型教材。并且,《义务教育英语课程标准(2022年版)》也强调多模态语篇教学,强调对学生“看”技能的培养,“看”即学生能够利用多模态语篇中的图形、动画、视频等理解意义的技能[1]。在新媒体时代,用于人际交往的工具日益丰富,将“看”作为英语语言技能的重要组成部分,有利于提升学生在新时代的交际能力,在不同的语境中,能够挖掘语境中的更多意义,成为新时代人才。在多模态研究领域中,图片与文字之间的相互关系始终是一个备受瞩目的焦点议题,且二者间多样化的关联对教学产生了各不相同的启示作用。当图片和文字表示相同意义时,直观的图片可以帮助学生更好地理解文本的意义,而当图片和文字表示不同意义时,能够帮助学生更好地进入语境中,或者提升其在多模态资源中挖掘信息的能力[2]。据此可见,针对教材中图像与文字关系的特征探究,对促进学生的核心素养培育有重要的研究价值。
2. 多模态的研究概述和理论基础
顾曰国提出模态是人类的多种感官与外部环境之间建立互动的方式,我们感知世界的方式是多模态的[3]。模态是一套可对比的符号系统,而多模态是指在交流中使用包括语言系统在内的多种符号系统。多模态语篇即由文本、图像、视频、音频等多种符号系统组成,教材属于多模态语篇的一种形式[4]。随着多模态语篇理论的诞生,更多的学者开始深入研究模态间的相互关系和它们所带来的协同效应,而不仅仅是对图像的研究。本研究基于Martinec和Salway的图文关系理论,在多模态话语分析的框架下,对人教版初中英语七年级上册教材中的图文关系进行了深入探讨。
Martinec和Salway提出多模态语篇有图文平等和图文不平等两种关系[5]。并且将这两种关系进一步进行了细分,如图1所示。
Figure 1. Martinec and Salway’s theory
图1. Martinec和Salway的理论
3. 研究方法和研究对象
2024年新版教材刚刚投入使用,教师对其中图文关系特征的理解尚需深化。在这项研究中,采纳了一种综合的研究方法,即所谓的混合研究方法,此方法融合了定性与定量的分析手段。在研究对象的选择上,旧人教版中鉴于部分图片与文本间的关联性不如其与音频或其他多模态素材结合得紧密,本研究对于旧教材中的图文关系研究专注于探讨表格内图片与文字间的相互关系,研究对象如表1所示。在新人教版的教材中,以七年级上册的Starter Unit 1至Unit 7作为主要的分析内容,但“Reading Plus”这一部分并未包含在此次的讨论内容中,研究对象如表2所示。目标是深入探讨每个单元的中文模态与图像模态之间的深层联系。
Table 1. Research objects of the image-text relationship in the old textbook
表1. 旧教材中图文关系研究对象
单元 |
教材板块 |
|
图文关系 |
Unit 1 |
Section A |
1a |
图文互补关系 |
2a |
图文独立关系 |
2d |
图文独立关系 |
3c |
图文互补关系 |
Section B |
1f |
图文互补关系 |
2a |
图片从属于文本 |
3a |
图片从属于文本 |
Unit 2 |
Section A |
1a |
图文互补关系 |
2b |
文字从属于图片 |
2d |
图文独立关系 |
3b |
文字从属于图片 |
3c |
图文独立关系 |
Section B |
1d |
图文独立关系 |
2b |
图文独立关系 |
Unit 3 |
Section A |
1a |
图文互补关系 |
2a |
图文独立关系 |
2b |
图文互补关系 |
2d |
图文独立关系 |
3a |
图文互补关系 |
Section B |
1a |
图文独立关系 |
1d |
图片从属于文字 |
2b |
图片从属于文字 |
Unit 4 |
Section A |
1a |
图文互补关系 |
2a |
图文独立关系 |
2d |
图文互补关系 |
3a |
图片从属于文字 |
3c |
文字从属于图片 |
Section B |
1a |
图文独立关系 |
2b |
图片从属于文字 |
Unit 5 |
Section A |
1a |
图文互补关系 |
2d |
图文互补关系 |
Section B |
1a |
图文互补关系 |
2b |
图片从属于文字 |
Unit 6 |
Section A |
1a |
图文互补关系 |
2d |
图文互补关系 |
Section B |
1a |
图文独立关系 |
2b |
图片从属于文字 |
Unit 7 |
Section A |
1a |
图文互补关系 |
2b |
图文独立关系 |
2e |
图文互补关系 |
Section B |
1d |
图文独立关系 |
2b |
文字从属于图片 |
Unit 8 |
Section A |
1a |
图文互补关系 |
2e |
图片从属于文字 |
Section B |
1a |
图文独立关系 |
2b |
图片从属于文字 |
Unit 9 |
Section A |
1a |
图文互补关系 |
2d |
图文互补关系 |
3a |
图文互补关系 |
Section B |
1c |
文字从属于图片 |
2b |
图片从属于文字 |
Table 2. Research objects of the image-text relationship in the new textbook
表2. 新教材中图文关系研究对象
单元 |
教材板块 |
|
图文关系 |
Starter Unit 1 |
Section A |
1a |
图文互补关系 |
|
|
2c |
图文互补关系 |
|
Grammar |
3 |
图文独立关系 |
|
Section B |
1b |
图片附属于文字 |
|
Project |
1 |
图文独立关系 |
Starter Unit 2 |
Section A |
1a |
图文互补关系 |
|
|
2b |
图文互补关系 |
|
Pronunciation |
4 |
文字附属于图片 |
|
Section B |
1a |
文字附属于图片 |
|
|
1b |
图文互补关系 |
Starter Unit3 |
Section A |
1a |
文字附属于图片 |
|
Pronunciation |
4 |
文字附属于图片 |
|
Section B |
1a |
文字附属于图片 |
|
Project |
2 |
图片附属于文字 |
Unit 1 |
Section A |
1b |
图文互补关系 |
|
Pronunciation |
2a |
图文互补关系 |
|
Section B |
1a |
图文独立关系 |
|
|
1b |
图片附属于文字 |
|
Project |
3b |
图片附属于文字 |
Unit2 |
Section A |
1b |
图文互补关系 |
|
Pronunciation |
2a |
图文互补关系 |
|
|
2d |
文字附属于图片 |
|
Section B |
1b |
文字附属于图片 |
|
Project |
3b |
图片附属于文字 |
Unit3 |
Section A |
1a |
文字附属于图片 |
|
|
2a |
图文互补关系 |
|
Grammar focus |
3c |
文字附属于图片 |
|
Section B |
1b |
图片附属于文字 |
|
Project |
3b |
图片附属于文字 |
Unit4 |
Section A |
1a |
图文独立关系 |
|
Pronunciation |
2a |
图文互补关系 |
|
Section B |
1b |
图片附属于文字 |
Unit5 |
Section A |
1a |
图文独立关系 |
|
|
2a |
图文互补关系 |
|
Section B |
1b |
图片附属于文字 |
|
Project |
3b |
图片附属于文字 |
Unit6 |
Section A |
1a |
图文独立关系 |
|
Pronunciation |
2a |
图文互补关系 |
|
Section B |
1b |
图片附属于文字 |
Unit7 |
Pronunciation |
2a |
图文互补关系 |
|
Section B |
1b |
图片附属于文字 |
4. 研究结论
基于Martinec与Salway在多模态话语分析框架下提出的图文关系理论,本文首先进行定性分析。经过分析,表3展示了旧教材中的图文关系统计数据,而表4则与新教材中的图文关系统计数据相对应。
Table 3. The statistical results concerning the relationship between images and text in the old textbook
表3. 旧教材图文关系统计表
图文关系 |
图文独立关系 |
图文互补关系 |
图片附属于文字 |
文字附属于图片 |
数量 |
16 |
21 |
11 |
3 |
比例 |
31.40% |
41.20% |
21.60% |
5.90% |
Table 4. The statistical results concerning the relationship between images and text in the new textbook
表4. 新教材图文关系统计表
图文关系 |
图文独立关系 |
图文互补关系 |
图片附属于文字 |
文字附属于图片 |
数量 |
6 |
14 |
12 |
9 |
比例 |
14.60% |
34.10% |
29.30% |
22.00% |
5. 新旧人教版初中英语教材中图文关系特征的对比
根据表3和表4的量化数据,旧教材中图文之间的互补关系所占的比例最高,达到41.2%,而文字与图片之间的图文关系相对较少,仅为5.9%;在新教材中,图文互补关系的占比也是最高的,为34.1%,文字附属于图片的图文关系提升至22.0%, 图片附属于文字的图文关系上升至29.3%, 而图文独立关系有所下降,从31.4%的比例下降至14.6%。
整体而言,在具有多模态的文章结构里,文字所展现的从属关系与图片相比显得较为稀少,这意味着文字在其中仍然占有更加突出的位置。这与英语教材的根本编纂宗旨相联系,鉴于其核心价值在于提供语言学习的范例,以辅助学生进行语言习得,故而文字在多模态语篇中始终占据主导地位。除此之外,新教材中图文独立关系比例减少,但这并不表明图片模态的重要性有所降低,这意味着图片与文字的关系更为密切,图片对文字的作用愈加明显。
据此分析,教师应当更加聚焦于图片模态的重要性,充分认识到教材中图片对文字表述的补充与美化功能,以便更有效地运用教材资源,精准把握教材精髓。
6. 新旧人教版初中英语教材中四种图文关系的教育价值
6.1. 图文地位平等的关系分析
6.1.1. 图文独立关系
图文之间的独立性意味着图片和文字都是平行的,它们彼此之间并不互相影响,而是各自独立地存在,学生通过图片就能够理解全部的意义。根据统计结果,旧教材中图文独立关系有16组,占比为31.4%,新教材中图文独立关系有6组,占比为14.6%。
更明确地说,图2展示的是旧教材中的图片,涵盖了父母、外祖父母、兄弟姐妹等重要信息。通过观察黄发小男孩的行为,学生可以仅通过这些图片了解到,小男孩正在向他的朋友们展示他的家庭成员。左边的文字部分要求学生用所学句型去介绍家人,学生并不需要图片就可以自己组合单词成句,在这里,图片和文字的关系就是独立的;此外,新教材内包含诸多“匹配单词与图片”的练习题型,举例而言,图3展示了新教材中文本与图像相互独立的一个实例,其中所展示的地标、物品等元素,无需文字阐述,学生即可自行辨识。这一设计正是基于图文独立性的考量,使得学生仅凭图像即可领悟其含义,进而与相应单词实现精准匹配。
总结来说,当图文内容是独立存在的,学生只需要通过图像或文字这一单一的信息载体就能理解其整体含义,但这并不代表图像和文字之间完全没有联系。在实际的教学过程中,教师不应忽略任何一个模态资源,而是应该根据教学目标进行灵活的调整。从某一角度看,图像是一种重要而又独特的教学资源,它具有丰富且生动的内涵和外延。文字可以助力学生对图像内容有更深层次的领悟;从另一个角度看,图像也可以帮助学生更深入地理解文字的核心思想。例如,在面对文本里不熟悉的词汇时,教师可以利用图像来激发学生对词义的猜测;当学生在图像内容上感到迷惑时,教师可以指导他们关注到文字描述方式,以使他们对图像有更深入的理解。
Figure 2. An example of the independent relationship between image and text in the old textbook
图2. 旧教材中图文独立关系的例子
Figure 3. An example of the independent relationship between image and text in the new textbook
图3. 新教材中图文独立关系的例子
6.1.2. 图文互补关系
图文的互补性意味着图片和文字是相互补充的,学生可以通过图片更深入地理解文本,并在两者之间建立合作的意义。基于统计数据,旧版教材中的图文互补性为21组,占总数的41.2%;而新版教材中的图文互补性为14组,占总数的34.1%。
更具体地说,图4中描述了黑人孩子对食物的喜好和反感。与此同时,学生可以通过观察黑人孩子的嘴角和手部动作,更深入地感受到他们对食物的喜欢和不喜欢。将图片和文字结合起来,它们之间的互动进一步增强了文字的情感深度;图5是新教材中的图片,展现了小女孩挠头的动作,或许她在因为某件事情而烦恼,图片模态只是展示了画面,学生并不能仅通过图片去得知图片上的人为什么会有这些情绪和动作,而通过文本和图片的合作,学生可以清晰地获取信息,还能够感受女孩丢失东西的迷惘与焦急情绪。
综上所述,在图文互补的情况下,图片或者文字都对对方有着修饰作用,两者的结合让读者能够理解更加全面的意义。在教学活动中,教师可以深入探究图像与文字之间的密切关联,以便更有效地运用它们的协同效应,并激励学生主动去探究它们之间的相互作用,进一步加深他们对多模态文本的认识和理解。
Figure 4. An example of the complementary relationship between text and image in the old textbook
图4. 旧教材中图文互补关系的例子
Figure 5. An example of the complementary relationship between text and image in the new textbook
图5. 新教材中图文互补关系的例子
6.2. 图文地位不平等的关系分析
6.2.1. 图片附属于文字
图片附属于文字即图片属于文字的一部分,文字模态比图像模态呈现的内容更加具体,图片模态仅能展现文字模态的部分意义,根据统计结果,旧教材中图片从属于文字的有11组,占比为21.6%;新教材中图片从属于文字的有12组,占比为29.3%。
具体而言,旧教材中,如图6所示,图中的文字是三篇失物招领启事和一篇寻物启事,文字模态包含物品名称、联系方式、地方等因素,图片模态仅跟文字模态中的物品有关,图文地位就是不平等的;新教材中,如图7所示,文字模态是Pauline Lee和Peter Brown的帖子,图片模态是他们各自的形象,读者通过图片模态只能了解帖主的性别、外貌等,无法捕捉文字模态中呈现的其他信息,这时候文字模态和图片模态的地位也是不平等的。
综合考虑,在教学过程中,教师可以利用图文相结合的优势,更加有效地创建真实的学习场景,引导学生在阅读文本的同时,自然地将注意力集中在图片上,从而激发他们的思维拓展,在脑海中构建一个更全面的文字描述场景。通过这种方式,我们能够有效地培养学生的思维能力,并使他们对特定的环境有更深入的认识和理解。
Figure 6. An example of an image accompanying text in the old textbook
图6. 旧教材中图片附属于文字的例子
Figure 7. An example of an image accompanying text in the new textbook
图7. 新教材中图片附属于文字的例子
6.2.2. 文字附属于图片
相较于文字模态,图片模态所蕴含的信息量更为庞大,这些信息出现在学生需要进行练习的各种场合,例如观看图片进行写作,是重要的参考。因此,教师可以将图片作为一种有效的教学资源加以利用。学生在学习图片时,通常要从其中抽取文本内容,并利用他们所掌握的知识来描绘图片里的各种场景。根据统计数据,旧教材中有3组是文字与图片相关联的,占比为5.9%。新教材中文字附属于图片有9组,占比为22%。
具体而言,旧教材中的图片模态(图8)包含书包,花盆,墙壁,书柜等多种元素,文字模态要求学生编对话,找出十九页的图和这幅图的不同之处,这道题的语言目的在于让学生学会用相关句型进行对话,还在于学生用学过的单词进行造句,学生的知识储备量不足以描述图片上的所有信息,文字模态所包含的信息是少于图片模态的,两者的图文地位是不平等的;新教材中,如图9所示,图中的例子要求学生根据图片描述方位,而表格中的文字模态并没有包含图片中的所有内容,因此图文关系也是不平等的。
总的来说,将文字与图片相结合的图文关系经常被应用于习题的编写中,这为教师提供了一个为学生创造最近发展区的机会。即教师要引导学生深入解读图片,用所学过的句型和词组去描述图片,并能够在使用提示的句型基础之上,去拓写关于图片的理解,去捕捉关于图片的更多信息,真正发展学生“看”和“写”的能力。
Figure 8. An example of text being subsidiary to an image in the old textbook
图8. 旧教材中文字附属于图片的例子
Figure 9. An example of text being subsidiary to an image in the new textbook
图9. 新教材中文字附属于图片的例子
7. 结果与讨论
本项研究基于图文关系的理论架构,对教材中的图文关系进行了深度的分析和讨论,并在此基础上提出了一系列的教学建议。身为教育工作者,有责任熟练地整合各种模态资源,对教学环境进行详尽地分析,并深入研究图像与文本间的相互作用。这样可以帮助学生掌握利用多种语言技巧来解读多模态文本的技巧,确保他们的核心能力在教学过程中得到真正的培养和应用。