1. 引言
现代社会，随着科技的发展和信息交流方式的多样化，多模态文本变得越来越普遍，其交际效果和影响力也越来越受到社会群体重视。所谓“多模态”文本，是指包含了文字、图像、图表等“复合话语”且综合运用两种或两种以上的符号编码来实现意义的文本[1]。多模态文本中的所有模态都拥有意义表达的潜势或资源，各模态常常交织一起、同时运作和互动而产生意义，并且因交际者的需要和语境的变化而变化[2]。
2. 视觉语法和图文关系
Kress和van Leeuwen在Halliday系统功能语法的基础上创建了“视觉语法”(Visual Grammar)，认为图像等模态和语言一样，也是一个“意义潜势”的符号系统，交际者通过对各模态中意义潜势的选用来实现和表达再现、互动和构图三大功能和意义[3]。图像的再现功能用于表征其中参与者的行为、关系、反应和言语/心理过程等；互动功能实现图像作者、图像呈现的世界和图像观众之间的关系，揭示图像观众对图像所表征事物应当持有的态度；构图功能是安排和整合图像中各元素、从而形成一个有意义的整体的手段，通过元素的信息值、显著性和分割线来实现[3]。值得注意的是，构图功能不应只局限于图像本身，也适用于图像和文字组合而成的多模态文本；多模态文本既然是一个连续、连贯的整体，其中的图像和文本也要通过构图功能来进行构建和整合。
Martinec和Salway也认为多模态文本是一个有意义的、连贯的整体，其中图像和文字等模态的边界随着信息技术的发展越来越融合在一起[4]。他们在Barthes [5]提出的三种图文关系(“锚固”、“说明”和“接替”)基础上进一步阐释了多模态文本中的图文地位关系和图文逻辑–语义关系，指出图像和文字可以是平等或不平等的地位关系，并且为二者界定出“扩展”和“投射”两大逻辑–语义关系；此外，不论二者地位和语义关系如何，都是通过“成分粘合”相关联的，即图文中的参与者、过程、条件等成分不论长短都可以相“粘合”、相对应[4]。Martinec和Salway的阐释和描述较为清晰、准确地界定了多模态文本中的图文地位和相互关系，为研究此类文本中图文的功能、意义和关系指出了操作性较强的路径。本文将运用上述研究者对多模态文本中图文意义的阐述，分析绘本Something from Nothing的创作者如何通过设计、布局和编排其中的图像和文字，将图文结构和叙事主题融合一起，实现了叙事的主题。
3. Something from Nothing的图文结构与叙事主题
Something from Nothing (译作《爷爷一定有办法》)是加拿大女作家Phoebe Gilman创作的一部绘本，内容改编自一则古老的犹太语民间故事，由28页图文组成，是19~20世纪中东欧犹太人生活的真实写照[6]。绘本讲述小镇犹太男孩Joseph从出生、成长直到上学学会读书写字期间，爷爷如何将自己为他缝制的毯子一步步改为夹克、背心、领带、手绢以及扣子，但扣子最终完全消失，Joseph转而将这一经历记录下来，写成了一则故事。绘本的图像画面为剖面图，多层次呈现Joseph以及地下小老鼠一家所生活的世界，如Joseph父亲和爷爷的职业，小镇居民(包括Joseph和小老鼠一家)的生活、劳动和娱乐环境，Joseph和老鼠家庭的繁衍和壮大等细节；文字则比较简洁、通俗，叙述人物的动作、语言、人物事物的变化以及时间的推移等。
3.1. 外部边框
绘本Something from Nothing的所有页面都由图画和文字构成，除封面上的书名和图画放置在同一个木制边框内以外，其余页面的每一张图画、每一段文字四周都镶有木制边框，甚至包括户外活动的画面也被古色古香的木框包围，造就出一种窗框效果，似乎喻指故事中Joseph的犹太社会是一个封闭的世界，读者翻看书页时会有一种站在窗外向内打量或注视犹太男孩Joseph所生活的世界之感。这种“注视”具有“距离”性质，与现代人驻足凝视镶嵌于镜框里刻画旧时代人物及其生活场景的图画类似，暗示绘本故事与读者间存在时空距离，讲述的是“旧时候”的故事，与某个文化的“传统”有关(图1)。
Figure 1. A framed page in the book
图1. 带木制边框的页面
3.2. 封面图文
绘本封面的图文布局(图2)明显有别于其他页面，由书名和作者姓名组成的文字部分位于图画上方，书名因为字体较大、颜色迥异和书写在空白区域而尤为醒目，作者姓名字体稍小，但由于书写在类似于门楣的边框上而位居最高处。根据Kress & Leeuwen [3]对构图意义的分析以及Lakoff & Johnson [7]对方位隐喻的阐释，封面的这种图文布局揭示了文字高于图画的涵义：文字在上，代表叙事追求的理想；图画在下，表现犹太人生活的现实。此外，字母语言的符号抽象性以及词语Something from Nothing的意义笼统性也使封面文字相比图画成为更高层次的存在。
Figure 2. The cover page
图2. 绘本封面
3.3. 纵向三联结构
绘本中有16个页面(第1~3、6~7、10~11、14~15、18~19、22~23、26~28页)由拥有三个部分的纵向三联结构组成：上方大图描绘Joseph和Grandpa的犹太社会，中间为短文，下方小图展现小老鼠一家的地下世界。该页面布局中，人类社会位于最上方，属于高级、理想的层次；老鼠家庭位于最下方，不仅符合自然现实，也表现了它们与人类相比，占据着“低级”、“落后”的地位。同时，尽管Joseph的世界与老鼠的世界其实是相互连接的(二者只有一层地板相隔)，而且小老鼠一家是依靠Grandpa为Joseph裁剪衣物时从地板缝隙中落下的布料边角才得以成长、繁衍乃至兴旺的，但页面上居中的黑色文字有白底衬托，四周还有显性的界线，将上下两个世界截然割裂开来，成为两个完全独立和疏离的空间，意味着人类与老鼠的世界区别正在于文字，是文字的创造和使用赋予了人类高级和理想地位，将人类世界和老鼠世界区分开来。不过，随着故事的推进，老鼠家庭中的年轻一代和Joseph一样，也开始上学、读书和习得文字(图3)，其结果便是绘本最后一页(第28页)的三联结构图发生了微妙的变化——文字不再居正中，文字与上下图画间的边界线消失，老鼠一家不再位于人类世界的正下方，而是与其斜向相对，其地位似乎有所抬升(图4)。这一图文构造更加彰显了文字的强大功能：因为文字，人类成为高级动物；因为文字，小老鼠可以更接近人类；文字可以消解人鼠间的界线，可以扮演二者的桥梁，也可以使绘本中的故事得以讲述；物质的东西(Joseph的毯子)会变老变旧、会磨损会消失，但非物质的东西如文字及其承载的文化(“a wonderful story”)和传统(包括绘本图画中犹太家庭每周五举行的祈祷仪式)却可以保留和传承下来。
Figure 3. A vertical triptych
图3. 纵向三联结构
Figure 4. The final page
图4. 绘本尾页
3.4. 纵向二联结构
绘本中有6个页面(第5、9、13、17、21、25页)为图像和文字组成的二联结构(如图5)。除第25页以外，上述5个页面有一个共同点，即图像呈现的画面和文字内容没有关联—上方大图刻画犹太小镇的街景和犹太人的日常生活，下方文字描写Grandpa裁剪衣物的动作、声音和过程。也就是说，当图文没有意义上的联系时，老鼠家庭的画面就消失了；或者说，一旦老鼠家庭不出现，文字就失去了连接和桥梁作用。图文的这种布局用意很明显，即绘本文字主要是用来沟通、联结页面上不同图画和表征的世界的，不是为了解释、说明图画中表征的内容，更不是图画的附带物。
Figure 5. A vertical diptych
图5. 纵向二联结构
3.5. 纵向四联结构
绘本中有6个页面(第4、8、12、16、20、24页)为图像和文字组成的纵向四联结构：页面上方是三幅依次叠放且有明显分界线(木制地板)的图画，最下方是一小段文字(图6)。三个层次的图画中，小老鼠一家的画面依旧位于最底层，与上面两层世界仍有不可逾越的界线；中间一层表现Grandpa一家的生活和工作，喻指犹太老一辈及其传统是犹太社会的中流砥柱，起着承上启下的作用；Joseph自己的家(成员有Joseph、其父母以及后来出生的小妹妹)则被置于最高处，提示Joseph的小世界是理想，是犹太群体的未来，担负传承犹太文化的使命，即将用文字写作的方式将犹太人的传统和价值观讲述和延续下去。文字虽然只是和其中一幅小图部分对应，但在这个页面构造中却似乎起着基石作用。
Figure 6. A vertical quadriptych
图6. 纵向四联结构
值得注意的是，叠放在一起的三幅图画中，尽管老鼠世界和上方的人类世界有分界线，但从地板缝隙中漏下的布料却把两个世界连接起来，而且随着大图中Joseph的蓝色毯子越来越小，老鼠家中的蓝色织物越来越多了。图画之间的这种重合和关联揭示了“变”中的“不变”—人类世界的物质变少了、老鼠世界的物质却变多了；而哪怕人类世界的物质最终完全消失，在此基础上用文字产出的精神文化也会源远流长。
此外，绘本所有画面的主色均采用暖棕色、铁锈色和金色，贯穿整个故事的Joseph的毯子采用亮蓝色，给人温暖、祥和之感，颇有怀旧意味，与绘本的叙事主题是一致的。
总之，绘本的页面不论采用何种图文结构，表达的都是“传承”“延续”“文字是桥梁”“文字传承文化”的叙事主题，这在绘本文字部分的语言运用和编排方式上得到了进一步强化。
4. 绘本文字与叙事主题
4.1. 绘本文字的语言特点
虽然绘本文字远比图画抽象，其表意功能却强大得多，可以生动再现人物动作，模拟动作声音，表达人物情感，刻画人物内心活动，讲述时间推移和描写物质状态与变迁，很多时候具备了Barthes所说的“锚固”功能[5]。例如：
1) …he said as his scissors went snip, snip, snip and his needle flew in and out and in and out… (模拟声音；再现人物动作)
2) But as Joseph grew older, the wonderful blanket grew older, too. (讲述时间推移；表达人物情感)
3) “Joseph, look at your blanket. It’s frizzled, it’s worn, it’s unsightly, it’s torn…” (描写物质状态)
此外，绘本文字还运用拟声、押韵、首韵和词句反复等修辞手法，相比图画更有感染力，更为生动地表现过程和情感，传递更为具体的细节意义。例如：
1) …he said as his scissors went snip, snip, snip… (拟声)
2) “Joseph, look at your blanket. It’s shrunken and small, it doesn’t fit you at all…” (押韵；首韵)
3) …his needle flew in and out and in and out. (反复)
4.2. 重复文字及其含义
绘本文字部分还有一个显著特点：多个词句完全或大部分一再重复(仅有个别词语变化)，即每隔3到4页就会重现一次。例如：
1) But as Joseph grew older, the wonderful blanket/jacket/vest/tie/handkerchief/button grew older too.
2) One day his mother said to him, “Joseph, look at your blanket… It is time to throw it out.”
3) Joseph’s grandfather took the blanket/jacket/vest/tie/handkerchief and turned it round and round.
4) …he said as his scissors went snip, snip, snip and his needle flew in and out and in and out…
5) “Grandpa can fix it,” Joseph said.
6) “There’s just enough material here to make…”
以上词句单纯重复不仅是为了照顾低幼读者的阅读水平，更重要的是为了实现叙事主题而有意设计的。词句的单纯重复意味着“不变”和“永恒”，给人稳定、安全之感。与页面布局、图画设计的用意一样，反复重现的文字是犹太传统得以延续、犹太文化得以传承的隐喻。
4.3. 文字编排与叙事主题
绘本文字同时扮演着语言表达和视觉符号的双重角色[8]；文字(含标点)不仅是表意的语言符号，其印刷形式和书写形式，如字体、字号、形状、大小写以及排版方式等都能传递特殊意义，紧扣绘本的叙事主题。例如，Something from Nothing封面上(图2)的书名和作者姓名就采用了古体字，质朴沉稳，颇具历史和传统的厚重感；其他页面上的文字则采用标准的“新罗马”字体，中规中矩。书名往往揭示故事主题，统领全书，起着定调作用，可见文字的这种编排方式是和文化传承的叙事主题完全一致的。该绘本在文字编排上还有另一显著特色，即多达7对相邻的两个页面首尾处都使用了“…”符号，其作用不仅是制造了叙事上的悬念和期待，更是以符号隐喻的方式，通过表现前后页面及上下文之间的接续和传递，喻指犹太家族中上下两代人之间的延续和文化上的传承。例如绘本第5页和第6页上的文字：
(第5页) “Hmm,” he said as his scissors went snip, snip, snip and his needle flew in and out and in and out, “There’s just enough material here to make…”
(第6页) …a wonderful jacket! Joseph put on the wonderful jacket and went to play.
其他使用“…”符号的相邻页面还包括：第1~2页，第9~10页，第13~14页，第17~18页，第21~22页和第27~28页。
5. 图文“成分粘合”与叙事主题
Something from Nothing各页面上的图文通过Martinec和Salway所说的“成分粘合”而构成一个连贯、有机的整体[4]。首先，刻画Joseph一家的大图与刻画老鼠家庭的小图中都反复出现了蓝色布料，Joseph一家和老鼠一家在行为上高度相似和匹配(都有室内劳作、户外玩耍、围坐餐桌吃饭、上学读书识字等行为)，这种“成分粘合”使绘本的图画间紧密联结，使小老鼠们成为主人公Joseph的镜像，绘本的叙事主题—传承与发扬—也扩展和映射到了地底下的老鼠世界。
其次，绘本图文中的某些元素在意义上也“粘合”在一起，表征同样的叙事意义，支撑同一个叙事主题。例如，绘本文字在讲到Joseph发现他的扣子不见了(“gone”)时，画面中呈现的是“水”这一意象。“水”是一种可流动的液体，不仅可以象征不可逆的趋势和变化(Grandpa为Joseph缝制的毛毯终究会消失，会“gone”，“finished”，“kaput”，“lost”)，也可以象征“流传”和“延续”，即Joseph把自己的经历写成故事，将消失了的物质转化为文字和文化，由此永远传递、流传下去。
最后，绘本图文也通过某些文字的双关意义而“粘合”在一起。例如文中的material一词同时兼具“布料”和“素材”两个语义，前者与图画中的蓝色布料相粘合，后者与Joseph写作所获取的素材(自己的经历)相粘合，同时表征了具体(物质)和抽象(文化)意义，将故事主题—犹太文化的传承—成功表现出来。
6. 结论
O’Toole指出，社会符号学分析不考虑作者的个人阅历和知识背景，而是立足文本本身，对视觉文本的符号系统及其资源进行解读[9]。不过，通过对Something from Nothing页面的图文结构进行分析，恰好印证了作者Phoebe Gilman的自我评价：“虽然我认为自己是一名艺术家而不是作家，但其实相比图画，我更喜欢文字。”[10] Something from Nothing的图文结构和叙事主题都证明，尽管绘本图画占据了页面的大部分空间，但从意义上看Phoebe Gilman的确是将文字置于图画之上，赋予文字“恒久远、永流传”的功能和地位，这也意味着现代社会里，在图像和文字两种模态的竞争中，文字的地位仍旧是不可动摇的。