基于视觉语法的多模态话语分析
A Multimodal Discourse Analysis from the Perspective of Visual Grammar
DOI: 10.12677/JC.2023.113064, PDF, HTML, XML, 下载: 426  浏览: 1,285 
作者: 杨雪纯, 周忠新:燕山大学外国语学院,河北 秦皇岛
关键词: 多模态话语分析视觉语法《完美星球》 Multimodal Discourse Analysis Visual Grammar A Perfect Planet
摘要: 本文基于视觉语法,以《完美星球》第五集为例,根据图像的再现意义、互动意义及构图意义对其影像进行定性和定量的多模态话语分析,旨在分析出影像在视觉语法视角下构建的意义、构建的意义所占比例以及纪录片制作者的意图。希望该生态纪录片的多模态话语分析能给人们敲响警钟,让人们认识到生态系统的现状并采取相应措施去保护环境,关爱动物,及时止损。
Abstract: Based on visual grammar, the essay makes a qualitative and quantitative multimodal discourse analysis of the 5th episode of A Perfect Planet for its representational meaning, interactive meaning and compositional meaning. It aims to make it clear about the constructed meaning of visual mode, the proportion of each meaning and the real intention of the producer of the documentary from the perspective of visual grammar. After the detailed multimodal discourse analysis of the ecological documentary, the authors hope that can ring the alarm bell for people to realize the current situation of the ecosystem and take corresponding measures to protect the environment, care for animals and stop the damage in time.
文章引用:杨雪纯, 周忠新. 基于视觉语法的多模态话语分析[J]. 新闻传播科学, 2023, 11(3): 416-423. https://doi.org/10.12677/JC.2023.113064

1. 引言

模态是信息交流的渠道和媒介,包括语言技术、图像颜色、音乐等符号系统,多模态语篇是一种融合了多种交流模态来传递信息的语篇。我国的多模态话语分析理论较西方国家发展较晚。早期我国相关研究包括话语与语境以及话语与体裁的关系等内容 [1] 。随着信息技术的不断发展和普及,单模态的话语分析已经不能满足人们的要求,于是李战子 [2] 、朱永生 [3] 、胡壮麟 [4] 等人基于不同理论基础总结出多模态话语分析理论框架。目前,我国多模态话语分析涉及文学领域、影视创作领域以及教育领域。当前,对纪录片的多模态话语分析是新兴的研究趋势。

《完美星球》于2021年广泛传播于各类平台媒体,是一类多模态的生态纪录片,主要展现了生态系统的现状,有重要的教育意义。本文以视觉语法中的再现意义、互动意义和构图意义为理论基础,对《完美星球》第五集中的图像与颜色、光线等多模态是如何相互协作并构建意义进行研究。希望通过分析,可以进一步深化基于视觉语法的多模态话语分析在纪录片领域的应用,能为相关领域的多模态话语分析提供参考,同时也为我国的纪录片创作提供灵感和借鉴。

2. 视觉语法

视觉语法是Kress和van Leeuven基于系统功能语法以及社会符号学在著作Reading Images: The Grammar of Visual Design中提出,依据语言的三大基本功能(概念功能、人际功能和语篇功能 [5] ),创建了图像分析的多模态系统,找到了图像中与其相对应的三大基本意义:再现意义、互动意义和构图意义 [6] ,这使人们对动态影像的理解上升了一个层次,并不断发展为多模态话语分析的新理论基础。视觉语法中,再现意义描述了一个过程,旨在对客观世界或者是真实过程的描述,根据图像中是否有矢量分为叙事再现和概念再现。互动意义由图像中展现元素和观看者构成,主要包括两个要素:一个是再现参与者,另一个是互动参与者,并根据日常非语言交际特征分为接触、社会距离、角度和情态。构图意义与图像中元素的排列有关,主要通过信息值、取景和凸显使再现意义和互动意义相互联系。经过不断完善,Reading Images: The Grammar of Visual Design已经修改到第三个版本,并为多模态话语分析奠定了重要理论基础。

3. 视觉语法视角下《完美星球》第五集的多模态话语分析

该部分选取的分析图像如下表1所示。

Table 1. Examples

表1. 例子

注:所有图片均选自【纪录片《完美星球》【全5集】【英语版 中英双字幕】1080P+】https://www.bilibili.com/video/BV1iB4y197Rd/?vd_source=65d344cde1489d95aac339504f0ff67d。

3.1. 再现意义分析

再现意义是对客观世界的描述,能反映出各个参与者之间的关系,并根据图像中是否有矢量分为叙事再现和概念再现。其分布情况如下表2所示。

Table 2. The statistical data of representational process

表2. 再现过程统计数据

表2显示,叙事再现所占比例大,因此该纪录片侧重展现真实的活动过程,注重再现客观世界各个参与者之间的联系。

1) 叙事再现

图像中有矢量为叙事再现,根据矢量的类型可以分为动作过程、反应过程、言语和行为过程。由于言语和行为过程多应用于漫画类文本中 [6] ,本文的叙事再现主要分析纪录片中的动作过程和反应过程。

动作过程

动作过程的矢量是动作发生的方向,其要素包括参与者、矢量、目标。并根据目标是否呈现在图像中分为及物动作过程和非及物动作过程。

例1是动作过程,描述了一只熊奔向大海的过程,其中熊是参与者,熊的奔跑方向是矢量,大海是目标,因此属于及物动作过程。图像制作者希望通过展现熊奔跑的速度和进入大海所溅起的水花来展现出自然界中生物的力量。例2描述的是一群受到自然灾害的大象慌忙的在森林里奔走,由于没有具体目标,所以属于非及物动作过程。参与者是大象,矢量是它们的行进方向。制作者希望通过展现这样的图像来表达大象们的慌乱和惊恐,并以此来警示人们保护环境,关爱动物。

反应过程

反应过程的矢量是视线或者目光,其主要构成要素包括反应者(视线发出对象)、矢量和现象(视线的接收对象),并根据现象是否出现分为及物反应过程和非及物反应过程。

例3选自志愿者们安抚失去父母的小象,并与它嬉闹的片段。其中,反应者是志愿者们,矢量是他们的视线,现象是大象。因此,属于及物反应过程。通过矢量,观看者们能感受到人与动物之间爱的互动,制作者通过该过程告诉人们要善待并尽全力爱护动物。例4描述了一只奄奄一息的海龟,矢量是它无助的眼神,图像中没有视线接收对象,因此属于非及物反应过程。观看者们能通过矢量感受到这只海龟的痛苦,并心生怜悯,引发反思。制作者通过展现海龟的绝望警醒人们保护环境,积极行动以救助被伤害的动物。

2) 概念再现

图像中没有矢量作为概念再现,描述了物质的性质或者是各个参与者之间的关系,包括分类结构、分析结构和象征结构 [6] 。

分类结构

分类结构讲述了参与者之间的主次关系,并将其分为上级和下级。如果上下级范畴明显,就是明显分类,反之则是隐藏分类。

例5无矢量,描述了森林系统(部分区域)的组成,是一个明显分类。在该分类结构中,上级是森林系统,下级是丰富多样的不同物种。观看者们可以通过该图像粗略了解森林系统的组成。例6也无矢量,展现了热带雨林的全景,有上下级范畴。虽然上级范畴没有出现,但是观看者们可以结合语境推测出上级是全部森林,因此例6属于隐藏分类。制作者通过该分类结构为观看者提供直观的视觉感受。

分析结构

分析结构表达部分和整体的关系,如果部分和整体同时出现,该结构就称为组合分析结构,反之称为非组合分析结构。

例7无矢量,属于分析结构,展现了巴西马瑙斯市的整体景观,反映的整体特点是:住房密集,森林稀少。整体是玛瑙斯市,部分是城市的局部特征,因此属于组合分析结构。制作者通过该概念再现警醒人们要采取措施保护森林,遏制森林不断减少的趋势。例8中也无矢量,展现了部分亚马逊的景象:土地贫瘠、干旱,属于非组合分析结构。制作者通过展示部分土地的真实现状,表现水资源短缺对森林和土地造成的破坏,警示人们要及时改变,弥补水资源短缺对生态的破坏。

象征结构

象征结构表达了内涵意义,主要包括两要素:载体和属性。如果载体和属性同时出现,该结构就为象征属性,如果只有载体,则为象征暗示。

例9包括两个参与者:大象的足底和干旱的土地,属于象征属性。水资源的短缺对环境和动物都造成了一定的影响,这也使大象的脚底皮肤像干旱的土地一样干裂,因此图像中大象的足底是载体,干旱的土地是属性。制作者通过该象征属性警醒人们要保护水资源,减少对动物和环境的伤害。例10只有一个参与者:人们丢弃的衣物,属于象征暗示。由于通常人们在迁移的过程中会丢弃一些非必需和不贵重的物品(比如衣物),制作者就利用丢弃的衣服来喻指人们的迁移,通过衣物的数量也可以展现出迁移人数之多。

3.2. 互动意义分析

互动意义是制作者和观看者之间的互动,主要分为四个维度:接触,社会距离,视角以及情态。各个维度的分布比例如下表3所示。

Table 3. The statistical data of interactive meaning

表3. 互动意义的统计数据

表3表明互动意义和再现意义不同,互动意义的四个维度指该分析可以从四个维度分析,因此该部分总的比例相加大于百分之百。根据表中数据可以得出“接触”在该纪录片中出现比例最低,其他三种出现的比例相当。

1) 接触

接触通过目光的联系反映出制作者和观看者的关系,Kress和van Leeuven将其分为索取和提供 [6] 。“索取”表现为参与者与观看者有直接的眼神接触,表达参与者需要观看者采取一定行动的意图;“提供”表现为参与者与观看者的眼神交流,参与者只向观看者们提供新信息。

例11是索取,图像的参与者是大象,它刚遭受过伤害并渴望人们对它的拯救。它注视着观看者,希望得到关爱。例1例3都属于“提供”,例1中熊的眼神直视着前方的海洋,在告知观看者们它的目标在前方,例3中参与者是志愿者和大象,它们在互相看着对方,想告诉观看者们志愿者们爱抚着大象,而大象依赖着人们。

2) 社会距离

社会距离通过镜头与参与者的距离反映人际关系的远近。视觉语法依据近镜头、中镜头和长镜头将其分为私人距离、社会距离和公众距离。

近镜头只展现了局部特征,如果参与者是人,就只显示肩膀和头部 [6] ,体现了参与者和观看者之间的亲密关系 [6] 。因此,例1、例3、例4、例8、例9、例11都属于近镜头,该组例子要表达的意义就是人和动物、人和自然之间息息相关,联系密切。

中镜头展现的部分比近镜头要多,通常在参与者周围没有太多的留白,表达了参与者和观看者之间的社会距离 [6] 。因此,例12属于中镜头,参与者是正在吃东西的小猴子。拍摄时观看者和它保持了一定距离且只展现了其膝盖以上的部分,通过中镜头,制作者表达了人与动物之间的社会距离,即人类活动进行时要给动物生活留有一定的空间。

长镜头展现参与者整体形象,在参与者周围有很多留白,甚至有时参与者只占整个布局的二分之一,表达了参与者与观看者的公众距离 [6] 。在上述例子中,例2、例5、例6、例7、例10都属于长镜头,这些图像都是观看者离参与者有一段距离才拍摄完成的,其共同特征是:参与者的细节呈现不充分,只展现宏观特征,展现了公众距离。如例2旨在让观看者们感受到大象的仓惶和急迫,并未呈现大象的细节特征;例5展现了森林的宏观内容,旨在让观看者们对森林景观有大致的视觉感受;例6展现了森林的远景,例7展现了城市的森林分布特征,表现城市建筑和森林分布的不均匀;例10想通过展现堆积衣物的数目来喻指迁移人数之多。

3) 视角

视角指的是拍摄者取景的角度,分为水平视角和垂直视角。

水平视角可以分为平行角度和侧面角度,与参与度相关。例9属于平行角度,说明水资源短缺人们有着不可推卸的责任,人们需要积极采取应对措施。面对水资源短缺时,人和动物以及自然都能深受影响,在这一点上,人和动物处于平等关系,人需要参与其中。例1属于倾斜角度,说明观看者们不想过度干扰动物们的日常活动,不想参与其中。

垂直视角通常与权力等级相关,可以分为仰视、平视和俯视。例7属于俯拍,即俯视视角,说明观看者们与城市相比有较高权力,在城市规划方面能决定城市的面貌。例12属于平视,说明观看者想拉进和动物的距离,因此蹲下完成拍摄,体现了他们的平等关系。例5属于仰拍,说明大自然较观看者拥有更大的力量,在面对自然时,人是渺小的一员,因为大自然有无尽的力量和无穷的奥秘。

4) 情态

情态指图像的真实性,可以根据语境化、颜色饱和度和细节刻画程度将其分为低情态、中情态和高情态。

例3颜色饱和度高,语境化明显(背景和参与者清晰),细节详尽,详细地向观看者们展现了志愿者们脸上的表情、动作以及大象的神态,因此属于高情态。与例3相比,例7和例10细节刻画相对粗略,因此属于中情态。低情态在该纪录片中出现的比例很低,如例13。在该图像中色彩饱和度低,颜色不丰富,细节刻画不详尽,但是侧重点在于表现自然灾害的宏观表现,因此属于低情态。

3.3. 构图意义分析

构图意义是再现意义和互动意义结合的一种方式,指的是图像中元素的排列组合,表现为信息值、取景和凸显。

Table 4. The statistical data of compositional meaning

表4. 构图意义统计数据

根据表4中数据,构图意义中“凸显”的比例最高,其次是信息值,最后是取景。制作者使用凸显强调主要参与者,用信息值构成对比,用取景体现参与者的独特性和整体性。

1) 信息值

Kress发现,不同的组图结构表达不同的信息值。组图结构包括左右结构、上下结构以及中心边缘结构。三种组图结构所传递的信息值分别是已知和未知、理想和现实以及参与者的重要程度。

例14可以分割为左右两部分,属于左右结构。左边元素是太阳,表示已知信息——太阳带给人们光明,右边是绿叶表示新信息,表明人们的植树造林取得了新的成就,为人们的生活带来了生机与活力。制作者通过该结构表达阳光和绿色都能为人们的生活带来希望,呼吁人们积极保护植物,通过植树造林来改变生活现状。

例6、例7、例8、例13属于上下结构,以例8为例,该图片上方结构包括蓝天和群山,象征着理想状态:蓝天清晰群山茂密,下方结构包括稀松的森林和贫瘠的土地,象征着残酷的现实。制作者通过该结构表达理想和现实的差距,呼吁人们采取行动改变现实,早日创造出理想的生存环境。

例1、例2、例4、例11、例12为中心边缘结构,以例12为例,该中心边缘结构凸显的是猴子的生活状态,猴子放在中心位置,属于核心要素,猴子周围的环境被模糊化,因此属于次要元素。制作者通过该结构凸显动物在自然中的重要性,告知观看者们,唯有创造一个相对安宁的环境,动物们才能有好的生活状态。

2) 取景

取景指图像中参与者们的内在联系,分为弱取景和强取景。弱取景的分割线模糊,强调整体性,强取景分割线清晰,能凸显个体的个性和特点。

例15是弱取景,该图像的分界线是地平线,将图像分为上下两个部分,上部是燃烧的大火,下部是烧焦的土地和动物。旨在说明当自然灾害降临,自然界中的生命无一幸免,制作者通过弱取景表达自然界中的生命是一个整体,要积极保护自然,这也是保护人类。已分析过的例8属于上下结构,呈现了理想自然和现实状况的对比,该图像中的分界线是干枯土地的边界,旨在突出理想和现实的差异,因此属于强取景。

3) 凸显

凸显使图像中的某个参与者更能吸引观看者注意的方式,有多种实现方式,主要通过相对位置、大小、颜色、形状以及光线亮度的对比实现,据分析该纪录片中的凸显方式主要为:位置、亮度、颜色和大小的对比。如例1、例12的凸显是由位置对比实现的,制作者通过将参与者前景化,将背景虚化凸显图像中的重要参与者。例1中参与者有熊和周围的环境,将环境虚化而将熊前景化能凸显熊是重要元素。例9、例11的凸显由参与者的大小对比实现,例9将大象足底特征不断放大,侧重表现干旱对动物造成的伤害,例11表达大象的痛苦与不安,制作者将其细节不断放大,采用近镜头全面地展现细节突出要素。

4. 结论

本文基于Kress和van Leeuven的视觉语法,借助ELAN 6.4对BBC纪录片《完美星球》的第五集做了定性和定量的多模态话语分析,主要计算了纪录片中图像的再现意义、互动意义和构图意义中各个维度出现的比例,选取例子分析各个意义构建的方式,阐明制作者的真实意图。该研究得到以下结论:第一、再现意义注重叙事再现,即事情发展的动态过程;互动意义注重情态,即事物的真实性;构图意义注重凸显要素,即参与者的重要程度。第二、这三个意义相互结合、互相合作、共同构建纪录片的意义,而不是相互独立。本文初步研究了《完美星球》的多模态话语,希望能为多模态话语分析在纪录片领域的应用提供启示和参考。

参考文献

[1] 陈风华, 弗朗西斯科∙维勒索. 多模态话语研究的知识图谱演化分析——基于国内外核心期刊的研究[J]. 华侨大学学报(哲学社会科学版), 2017(6): 154-166.
https://doi.org/10.16067/j.cnki.35-1049/c.2017.06.015
[2] 李战子. 多模式话语的社会符号学分析[J]. 外语研究, 2003(5): 1-8+80.
[3] 朱永生. 多模态话语分析的理论基础与研究方法[J]. 外语学刊, 2007(5): 82-86.
https://doi.org/10.16263/j.cnki.23-1071/h.2007.05.034
[4] 胡壮麟. 社会符号学研究中的多模态化[J]. 语言教学与研究, 2007(1): 1-10.
[5] Halliday, M.A.K. (1994) An Introduction to Functional Grammar. Edward Arnold, London.
[6] Kress, G. and van Leeuwen, T. (2020) Reading Images: The Grammar of Visual Design. 3rd Edition, Routledge, London.
https://doi.org/10.4324/9781003099857