摘要: 《中国手作》自2018年播出时起便从众多讲述中国传统文化的纪录片中脱颖而出。片中不同的镜头、背景音乐等非文字模态协同字幕讲述了以木为材的手工匠人们，用自己对工艺的孜孜追求唤醒传统工艺的复兴，讲述了木头本身对中国人思维方式的影响、塑造。本文以央视大型传统文化纪录片《中国手作》为研究对象，采用Pastra提出的The Cross-Media Interaction Relations (COSMOROE)框架，对片中图片模态和文字模态的关系进行了深入探讨。同时，从认知心理学的视角入手，通过分析人在感知过程中的感知觉、注意力和情绪等方面，对纪录片中声音模态与图片模态的关系以及纪录片声音的作用进行了研究。分析表明，COSMORE框架下的图文关系表现为等价性、互补性和独立性；而声音和画面两种模态的良好互动可对观众的知觉、注意和情绪产生正面影响。三种模态的协同合作促进了中国传统文化的对外传播，对提升中华文化的影响力起到了促进作用。
Abstract:
“Crafting China” has stood out from many documentaries narrating Chinese traditional culture since its broadcast in 2018. The film, through various shots, background music, and other non-verbal modes in harmony with subtitles, tells the story of craftsmen working with wood, who awaken the revival of traditional crafts with their persistent pursuit of artisanship. It discusses the influence of wood on the Chinese way of thinking and shaping. This paper takes the CCTV major traditional culture documentary “Crafting China” as the research subject and applies The Cross-Media Interaction Relations (COSMOROE) framework proposed by Pastra to conduct an in-depth discussion on the relationship between the pictorial and textual modes in the film. Moreover, from the perspective of cognitive psychology, by analyzing aspects such as perception, attention, and emotion in the human perception process, the paper conducts a detailed study on the relationship between the sound mode and the pictorial mode in the documentary, as well as the role of documentary sound. The analysis shows that under the COSMOROE framework, the relationship between graphics and text manifests as equivalence, complementarity, and independence; while the good interaction between sound and visuals can have a positive effect on the audience’s perception, attention, and emotion. The collaborative cooperation of the three modes promotes the external dissemination of Chinese traditional culture and plays a role in enhancing the influence of Chinese culture.
1. 引言
文化作为社会生产方式和生活方式的写照，是一个民族历史的载体，是一个民族凝聚力和创造力的重要源泉，更是该民族人民的思想归宿和价值依托。在科技飞速发展的今天，社会生产力以前所未有的态势迅猛发展。伴随着经济的发展和社会的进步，文化作为国家“软实力”的体现，已经成为衡量一个国家综合国力和国际竞争力的关键因素，对于提高国家的国际地位和影响力具有重要意义。
邱敏和谢柯在传播学视域下，从大众传播的核心要素出发，对中国文化纪录片对外传播的现状和问题进行了分析，并提出了相应的传播对策 [1] 。王丽芬基于“水立方杯”与新媒体的有机结合之成效，从传播主体、传播客体和传播环境三个方面入手探讨了新媒体技术对文化传播的推动作用 [2] 。徐敬宏、刘蓓以李子柒的短视频为分析对象，从传播内容、传播方式和传播特点入手，深刻剖析了李子柒短视频在海内外受到广泛关注的原因，并以此为借鉴，分析了中华传统文化对外传播的有效途径 [3] 。通过查阅国内外资料，可以清晰地发现，学界对其的关注热点集中于内容分析和效果分析上，而对文化传播过程中所涉及的多模态语料的研究相对薄弱，只有少量研究基于Halliday的系统功能语法、Kress和vanLeeuwen的视觉语法和张德禄的多模态话语分析框架对多模态中的图片模态和文字模态进行探讨 [4] 。
纪录片是电影电视艺术的一种表达形式，着力于以更贴近真实生活的方式对内容进行创意性表达，尊崇原汁原味的生活状态 [5] 。通过此类影视作品来传播中华传统文化，不仅可以让传统文化以更多维和生动的形式得以保留和弘扬，同时也为其赋予新时代的活力。本文以中央电视台推出的《中国手作·木作》大型纪录片为分析对象，采用Pastra提出的The Cross-Media Interaction Relations (COSMOROE)框架，分析图片模态和文字模态之间的关系。从认知心理学的角度出发，通过分析人在认知过程中的感知、注意力和情绪等方面，探讨纪录片中声音模态与图片模态的关系以及声音在纪录片中的作用。通过对多模态关系的深入分析，认为图片、文字、声音三种模态缺一不可，三种模态协同合作，让观众通过一个个细节看到源远流长的中国木作文化，感受到木作的脉搏，进而为讲好中国故事、传播好中华文化提供启示。
2. 传统文化对外传播的重要性
党的二十大报告指出：“中华优秀传统文化源远流长、博大精深，是中华文明的智慧结晶，其中蕴含的天下为公、民为邦本、为政以德、革故鼎新、任人唯贤、天人合一、自强不息、厚德载物、讲信修睦、亲仁善邻等，是中国人民在长期生产生活中积累的宇宙观、天下观、社会观、道德观的重要体现，同科学社会主义价值观主张具有高度契合性”。传统文化是一个国家和民族的精神命脉。推动中华优良传统文化焕发蓬勃生机，是促进经济社会发展的需要，更是稳固中华民族根和魂的需要。优秀传统文化对于满足人民日益增长的物质文化需求，增强全国人民的民族凝聚力和自豪感，形成良好的社会风尚，具有不可替代的作用。推动中华优秀传统文化创造性地转化、创新性发展，为中华文化注入新的活力，对于我们坚守发展社会主义先进文化、增强社会主义核心价值观的引领力，并在全球文化激荡的挑战中巩固立足具有至关重要的指导意义。
3. 《中国手作》的多模态话语分析框架
Pastra于2008年提出的The Cross-Media interaction Relations (COSMOROE)框架如图1所示，他将图像、语言和肢体动作表达的信息在意义形成中相联系，以研究多模态间的相互关系。本文采用该框架分析《中国手作》纪录片中图片模态和文字模态之间的关系。
COSMOROE框架描述了多媒体中多模态之间的关系，特别对图像、语言和身体运动之间的交互关系进行了详细分析。在分析中，每个模态对多媒体消息的贡献被忽略，取而代之的是从形成连贯信息的不同信息之间的媒介选择的角度来看待跨媒体的关系。因此，这些关系试图掩盖信息形成过程本身的语义方面，从而在揭示(或表达)信息形成意图的任务中促进推理机制。
Pastra提出了三种多模态关系，分别是等价性、互补性和独立性 [6] 。等价性指不同模态所表达的信息在语义层面有相同意义。它们指向同一实体上，从而丰富信息的表达或加深对某一主题的理解。在等价性中，同一平行表示视觉模态和语言模态均指向相同的事物，实现精准匹配；而同类平行是指一个模态与一个实体可以实现精准匹配，而另一个模态对其组成部分进行解释；隐喻平行指图片模态和文字模态的指称物属于不同的领域，但它们之间具有相似性，之间发生了质的转变。转喻平行指图片模态和文字模态的指称物属于同一领域，两者之间具有联想关系且不会发生质的改变。互补性涉及一个模态无法单独传达全部信息时，另一个模态的补充作用。这种补充可以采取多种形式，如，一个模态可能会阐释另一个模态的含义(外指)，或者解释另一个模态表达的行为、事件或状态的参与者(施物/客体关系)。例如，“他们有……”，并用一个要钱的手势来完成发言。还有一种模态向另一种模态提供额外的信息(同位关系)，通过补充状语对另一种模态表达的信息进行解释(附加关系)。限于篇幅，不再对后两种进行赘述。最后一种关系是独立性，独立性包括语义矛盾、语义共生和元语言。语义矛盾是指当一种模态与另一种模态的所指完全相反或且语义不相容。这在多模态语篇的艺术体裁(如电影、报纸漫画等)中非常常见。共生关系则表现为一种模态独立传达一种信息，而另一模态提供与主题相关但并非直接补充或引用的内容，保持主题相关性而不相互依赖。上述Pastra的COSMOROE框架可用于分析《中国手作》纪录片中图文关系的分析。元语言在纪录片中也未体现，此部分就不再赘述。
声画关系的研究目前集中于传媒传播领域，将其运用到多模态语篇分析中的研究较少。但考虑到《中国手作》纪录片的实际情况，对声音和动态画面之间的关系进行深入分析十分有必要。因此，此部分借跨学科关于声画关系的相关理论，试分析《中国手作》中声音和画面的具体关系。
影视音乐并不是一只独秀，它对画面和内容具有烘托和升华主题的作用。因此，确定声画关系显得尤为重要 [7] 。
纪录片音乐在影片制作中扮演着重要角色，具有情感升华、主题深化、风格铸造等多种功能 [8] 。《中国手作》纪录片通过配备合适的背景音乐，把影像和音乐完美地结合起来，影片的表现力和感染力进一步增强，向观众多层次的展现了中国传统工艺之美。那为什么纪录片会具备这些功能呢？研究表明，观众观看电影的体验在根本上涉及了信息接收、处理和反馈的过程。本文从认知心理学的角度分析了《中国手作》纪录片中包含的画面、解说词、背景音乐和声效元素声音的作用和声画关系。
4. 《中国手作》的多模态话语分析
4.1. 语料选择
本研究采用的语料为央视播出的非遗题材系列纪录片《中国手作》第一季《中国木作》，2018年9月10日至14日在央视记录频道播出，向全世界展示了中国传统工艺的独特魅力，引起了国内外的热烈反响。木材由树而来，在阳光的滋润下茁壮成长，在成百上千年的时光流逝中，木头将源远流长的华夏文明搭建了起来，也见证了华夏文明的演变。《中国手作》纪录片展现了中国人与木头的深厚情感，通过对手工匠人的讲述，彰显了中华人民的智慧之光和对传统文化的坚守和革新。因此，《中国手作》是对中华文化对外传播进行多模态分析的合适语料。
4.2. COSMOROE框架下《中国手作》纪录片的图文关系
Pastra认为，多模态关系有三种，即等价性、互补性和独立性 [6] 。等价性又分为同一平行、同类平行、隐喻平行和转喻平行。
(a) (b)
(c) (d)
Figure 2. “Crafting China” documentary
图2. 《中国手作》纪录片
同一平行指视觉模态和语言模态可以精准匹配。图2(a)中向人们展现的是中国雄奇壮丽的自然景观。钟灵毓秀、富有灵韵的中国正立体地呈现在每位观众面前。其中，图片特写和字幕描述都指向了同一实体——大地山川。中国人对大自然有敬畏之情，同时大自然也塑造了中国人勤劳、浑厚的性格和如今的“匠人精神”，观众可以从视觉模态更好地从自然角度感受到中华文化生生不息的密码。再如图2(b)中，图片和字幕都是在写“一根藤”的门窗格子，门窗格子由很多木条通过榫卯拼接在一起，然后穿插盘曲成首尾相接的图案，一根藤榫卯技艺是中国传统工艺的精髓，始于匠心，忠于艺术，体现了力学和美学的完美结合。片中除了视觉模态和语言模态完美匹配的片段，也有图片只是字幕描述中一部分的片段，即同类平行，如图2(c)中所示，字幕为“从一而终的使用木头”，图片所对应的是场景是龙舟比赛，而龙舟比赛中划船所使用的船桨正是用木头制成，它是众多木头制品的一个实例。赛龙舟比赛体现了华夏儿女的集体主义和爱国主义精神，凝结着最坚毅的中华优秀文化传统。观众可以由此感受到木作文化与中华民族性格之间的密切关系。
纪录片中的隐喻平行指图片和字幕表达的概念是对不同类的指称，但在语义上是相似的。如图2(d)所示，图片中的人物是赵州桥的建造者李春，然而字幕却显示“华佗”，将李春比作“华佗”的原因在于，尽管二者所属领域不同，但都在各自的领域做出了巨大的贡献。《中国手作》中的工匠王震华以李春为榜样，用7032个零件做燕尾榫连接，60个零件做直榫连接，12个零件做螺纹圆柱销连接，历经五年，经过了十万道程序制作出来了北京天坛祈年殿模型。古代工匠正是用这样的方法搭出了他们的文化自信和文化自觉，搭出了中华文明的传承。
第二种关系是互补性，片中主要涉及了外指和施物/客体关系。在外指的情况下，一个模态被用来阐明另一个模态所传达的内容，为原有信息提供额外的解释。片中字幕“它的长度仅为1毫米”对应的图片为工匠师傅在画榫卯图纸中的一条线段。字幕没有明确说明“它”指代什么，而图片及时提供了信息。施物/客体是一种模态用以解释另一种模态所表达的行为/事件/状态的主语或宾语。片中讲述了沙窝木碗的制作技艺传承至今已有500多年的历史，所配字幕为“已有五百多年的历史”但并没有提及主语是“谁”，而图片则暗示了这一信息。沙窝木碗体现了匠人们对文化信仰的坚守和中华传统文化的源远流长。
4.3. 认知心理学视域下《中国手作》纪录片的声画关系
人类大脑的感知能力分为三种基本类型：对时间的感知、对空间的感知以及对运动的感知。对于时间的感知能够帮助人们理解事件的持续性和它们发生的顺序；对空间的感知则让人们能够判断物体的尺寸、位置和它们之间的距离；至于运动感知，它是理解物体移动过程的关键。在纪录片中，画面为观众提供了视觉基础，而声音则促使了知觉的形成。首先，声音的变化帮助他们将焦点转移到特定的场景上，导致对空间感知的缩小。通过工匠们口述历史文化知识，传递出中国人对中华传统文化的自信。其次，观众们可以通过声效的音量、反射和频率等因素来判断画面的运动空间。正如爱因汉姆说的：“声音产生了实际空间的幻觉，而画面没有这个深度”。《中国手作》中有一个片段介绍了甘肃非遗文化——木轮车，桦木、椴木等木材是主要的制作材料。当地居民用木轮车拉柴草、送籽种、收割拉运庄稼……观众在观看影片时，若能听到远处的木轮车的“吱呀”声，且随着车辆接近，声音逐渐增大，则正是“多普勒效应”的体现。多普勒效应是指当源波源(如木轮车)和观察者之间的相对速度发生变化时，观察者所感知到的波长和频率也会相应改变的现象。在片段中，随着木轮车的靠近，声音的频率和波长发生变化，导致观众感知到的声音逐渐增强。这样的处理不仅使得观众更加身临其境地感受到了木轮车的存在和运动，也增强了影片的沉浸感和真实感，使得观众感受到中国传统工艺在漫长岁月中轮转不停的生命力。最后，声画相互配合会对观众的时间知觉产生影响。观众的主观感知时间会受到发生事件复杂度的影响，在一定时间内，发生事件越简单，观众的感知时间就越长；反之，则会越短。《中国手作》纪录片片头片尾饱含古韵音乐，旋律平缓如流水潺潺，以听觉的感染加深对视觉形象内涵的理解，引导了观众正面情绪的产生，让观众有身临其境的感受。
纪录片的声音可以保持观众的注意力。为了维持住观众的注意力，创作者通常会采用声画同步的方式。音乐与语言相似，拥有连贯性和逻辑性。即使画面在时空中发生变化，音乐仍能保持其最初的旋律。此时，由于音乐的连贯，观众的注意力仍旧集中在原有的画面上，继续对原来片段的理解。如纪录片《中国手作》就采用了这种声画配合方式，尽管画面在新时代科技下的手工品、传统手工艺品和人物采访之间不断切换，但音乐始终保持着轻快平缓的节奏，观众会在无意识间延续对画面的注意，加深对中华传统工艺的理解。其次，纪录片声音模态的另一个作用就是调节观众注意力的指向，即让观众选择性注意。观众的关注焦点有时可能集中在画面上，而有时则可能转移到解说部分，引发这种现象的原因被称为“跨通道注意转移”。声音的音量是影响“跨通道注意转移”的重要因素。当创作者希望观众的注意力放在画面上时，便会减小背景音乐和解说词的响度比例，这样音效比例便会相应增大。此时，观众的注意力便集中到了音效上，从而将注意力转移到画面。“工匠人”王震华历时5年，历经十万道工序，以榫卯为材料制作了惟妙惟肖的天坛祈年殿微缩模型，向世人再现了古代建筑的精妙，随后他又向力学经典发起挑战，为呈现微缩版的赵州桥而不懈努力。当《中国手作》讲解模型的制作过程时，创作者有意降低了配乐和解说，而将锯木的声音放大，此时观众便会寻找声音来源，将注意力集中到画面上。
在影视艺术领域，声画关系被广泛认为是影响受众情绪的重要因素之一。通过声画同步、声画对位和声画平行等手法，创作者能够精准地引导观众的情绪体验。尽管这些手法在处理方式上存在一定的差异，但它们的共同基础在于确保声音和画面之间的表达相一致，以创造一种协调统一的感官体验。例如，当欢乐的画面配以欢快轻松的音乐时，观众往往会被带入激动愉悦的情绪中。这种效果在Donald的研究中得到了理论上的支持，他认为人类和音乐都具有共振功能，当二者协调一致时会引发愉悦的情绪共鸣。纪录片《中国手作》中，通过悠长的背景音乐和手工匠人们对传统工艺的执着表现，观众的心灵得到了安宁与静谧，呈现出幸福归于宁静、宁静致远的理想境界。尽管文章鲜有对声画对立关系的探讨，但其作为一种情感表达手段仍然具有重要意义，可为观众提供截然不同的情感体验，激发更深层次的思考。
5. 结语
多模态关系研究与新时代人们通过影视、广告、海报获得外界信息、与世界交流并自主形成新时代观念相吻合，对受众更深层次地认识中华传统优秀文化、汲取丰富的思想精髓、坚守中华民族的文化阵地具有深远意义。借助多模态话语形式，通过多模态间的协作来建构并传播脚踏实地、革故鼎新、与时俱进等中华优秀传统文化思想体系，能够从观念上促进中华文化对外传播。本文首先借助Pastra提出的COSMOROE框架，分析了《中国手作》中图片模态和文字模态之间的关系，再从认知心理学的角度入手，分析了纪录片中的声画关系以及纪录片声音的作用。研究发现，纪录片《中国手作》中的视觉模态、听觉模态和文字模态互相协调，展示了一个源远流长、璀璨夺目的“文化中国”形象。但是需要指出的是，本研究在内容层面上主要探讨了图像模态、文本模态和声音模态的相互关系。影视作品还涉及触觉、色彩等模态符号，未来还需进一步研究。