多模态视域的跨文化视觉读写能力培养

多模态视域的跨文化视觉读写能力培养
魏景春;江灿艳
【摘要】The paper first clarifies the significance of the multimodal teaching in cultural acquisition, then analyzes multiple tasks suitable for teaching intercultural communication in terms of goals, input, activi-ties, learner’s role, teacher’s role and settings, and finally, discusses possible operational procedures for culti-vating visual literacy. The findings show that a multimodal approach to teaching cultures can not only stimu-late learning potential but also facilitate effective intercultural communication.%教学的多模态途径在文化习得方面有重要意义，分别从教学目标、输入、活动、学习者角色、教师角色和环境等六个方面分析了如何设计适用于跨文化交际教学的任务。

结果显示，教师利用多模态话语进行文化教学，对激发学习潜势、促进跨文化沟通大有裨益。

【期刊名称】《六盘水师范学院学报》
【年(卷),期】2016(028)002
【总页数】5页(P58-62)
【关键词】跨文化交际;视觉读写能力;图像;多模态话语
【作者】魏景春;江灿艳
【作者单位】武夷学院人文与教师教育学院，福建武夷山354300;武夷学院教务处，福建武夷山354300
【正文语种】中文
【中图分类】H09
随着语篇分析理论和现代新媒体的出现，人们逐渐认识到，语篇的意义是由语言本身和非语言模态共同建构的，因此，新的话语类型：多模态话语，就成了语篇分析的焦点。

国内外学者对多模态话语进行了许多探索。

Kress&van Leeuven（1996）研究了多模态建构意义的现象，Royce（2002）研究了课堂教学中多模态的协同性，Ventola等（2004）论述了多模态与空间的关系，Norris（2004）构建了分析多模态互动的理论框架，Baldry和Thibault（2006）研究了多模态语料的转写及其与技术之间的关系，Machin（2007）讨论了多模态语法的建构。

我国最早结合系统功能语言学讨论多模态话语的是李战子（2003），胡壮麟（2007）讨论了符号学与多模态、多模态读写能力的培养，朱永生（2007）探讨了多模态话语分
析的理论框架，张德禄（2009）研究了多模态话语理论与媒体技术在外语教学中
的应用，冯德正（2011）讨论了多模态隐喻的构建，黄立鹤（2015）探讨了多模态语料库的建设。

综上所述，国内外学者都从不同角度对多模态进行了探索，但笔者通过文献研究发现，将多模态话语运用到跨文化交际教学的并不多。

因此，本文将探讨多模态话语与文化教学的关系，为跨文化交际教学寻求新视角。

本研究视角源于新伦敦小组（New London Group）（1996）提出的多元读写能力（multiliteracies）这一
概念。

朱永生（2008）指出该小组认为要“把培养学生的多元读写能力（其中包
括识别文化差别、亚文化差别、地区差别、民族差别等）和读写多模态（multimodal）意义的能力放到极其重要的位置上”。

本文从视觉读写能力出发，关注教师如何在课堂上通过使用静态图像培养学习者文化意识和提高跨文化交际能力的教学模式，探讨视觉读写能力与跨文化交际的关系。

图像（image）是语言教学中常用的工具，为课堂提供了丰富的资源。

我们可以挖掘图像在语言学习潜势中的功能，侧重图像承载的文化意义。

在课堂上使用图像，探索不同文化生成的图像意义是跨文化交际课堂的有效方式。

很少有人能达到本土人的语言能力，但很多人能具备观察、解释、调解等促成跨文化交际能力的宝贵技能。

人们普遍认为语言能最有效地实现交际，似乎语言所含的信息量大，不用借助其他渠道就能轻而易举地使用，打电话、发邮件、聊天，在这些情况下，我们都能使用口语或书面语交际。

但看电视、上网，通过图像，也可以达成交流。

图像通常要比描述性文字承载更多交际意义，甚至给人更多的现实感。

由此可见，语言在交际过程中并不总是起决定作用。

Kress&van Leeuwen（2001）把人们在交际过程中使用的语言、图像、文字、音乐、手势等称为模态，认为模态（mode）是社会文化形成和发展中建构意义的资源，这些模态就是“多个表征系统（systems of representation），有其规则和规律”。

Norris（2004）把模态分为身体模态（embodied modes）和非身体模态（disembodied modes）。

人的肢体动作和语言是身体模态；音乐、印刷品、布局陈设等是非身体模态。

Norris认为所有的互动都具有多模态性。

例如，与朋友交谈时，你会注意到他的语言选择、韵律、强度和说话内容。

对方或站立或就座，期间或点头、前倾或后仰，你偶尔会注意到他的面部表情、穿戴，若这时周围在播一段音乐，即使你没专心听，也会留意到它的存在，所有这一切都处于你们的对话之内。

对朋友说的话，你或许会作出应答，会注意他的表情、姿势，并根据这个环境或播放的音乐，放慢或加快语速。

人们交流时保持的距离、采用的手势动作、注视、音乐、着装等模态所起的作用不亚于语言，相反，二者同等重要，另外，在与他人互动时我们都本能地知道如何利用这些模态实现有效交际的目的。

社会符号学强调模态的物质性（materiality）和物质所处的文化。

以社会符号观为基本认知的多模态符号学把对语言的研究延伸到所有用来建构意义的符号资源。

李战子和陆丹云（2012）指出：“在多模态符号学的视角下，每种模态都是符号
资源，各种模态发展成产生意义的、互相连接的、可供选择的网络，所有的模态及各种模态间的互动均具有表达意义的潜势，可称之为模态潜势”。

社会行为和物质的供用特征（affordances）共同产生了符号资源，这些资源是物质内在潜势生产的产品，是社会对这些潜势选择的结果。

因此，一种模态的资源，如：手势、图像、口语、书面语等，其意义表征潜势在不同的文化中既有交集也有差异。

作为符号资源，一种文化的手势、口语等模态与另一文化的不一样，甚至在关系密切的英语、法语和德语文化中也是如此。

法国人耸肩膀传递的意义与德语、英语文化不同。

相同之处在于话语的产生有时间性，话语中声音、词、句子相继产生，这样一来，时间序列（sequence in time）就是根本的组织原则，是这个模态中建构意义的主
要方式。

这是各种文化的共同点。

相反，图像搁在一个表面框架空间内，它的成分同时存在，空间里成分间的组合是建构意义的主要方式。

时间与成分的时间序列给口语、舞蹈、手势和动态图像提供了符号逻辑，同时，空间和空间里各成分间的关联给静态图像、雕塑、布局陈设提供了深层符号逻辑。

文化选择物质——声音、
黏土、肢体动作、木头、石块、注视，这对建构意义非常必要，也很有用。

在一些话语受损的人类社会里，肢体动作的供用特征，如：腿、手臂的放置和移动，面部表情等都发展成了表意模态。

在能用话语交际的社会里，会选择少部分像手势等的供用特征。

社会不同，选择不同，这种差异不断地重构文化模态资源。

本研究以Nuan（1989）的交际课堂的任务设计为参照，将任务中的六要素融入
跨文化交际课程的教学设计（如图1）。

目标（goals）指教学任务目标。

文化任务的目标往往涉及跨文化探索和语言发展。

例如，通过具体的跨文化任务可实现以下目标：
调查日常会话如何维系社会群体的团结；
调查个人在群体中的地位如何通过日常会话得以协商；
观察目标文化中男女在会话时扮演的不同角色；
研究、描述和阐释某个社团的行为模式，如：年轻人的亚文化、职业商务人士或科学家等；
探索视觉图像、文学和媒体文本传达的文化信息。

教学目标也受到以下因素的影响：（1）学习者多大程度上能接触到目标文化（互访、广播媒体、发邮件）；（2）学习者参与目标文化的层次和性质（为了旅游、教育、商业还是移民？）
输入（input）指教师为推动学习发生而提供的刺激，可以是用于讨论的书面语、口语文本，用于阐释和评估的视觉图像或用于分析的媒体文本。

一般而言，真实材料在交际语言教学中是宝贵的课堂资源，指的并不是专门用于教学目的的口语或书面语文本。

因此，可以把目标文化中的报刊杂志与母语文化中的对比，分析每种文化是如何建构新闻价值的。

通过比较旅行社广告可以分析不同文化如何表征国家和休闲活动的。

在跨文化交际的课堂上使用的任务有可能是非真实的，因为有时任务中涉及比本族语者更多的阐释。

可见，并不是所有跨文化课堂中的输入都是要真实的。

教师可以创建输入，比如一套实施、报道采访和开展人种志观察的大纲，一个辩论命题等。

用作输入的材料要与文化任务的目标相一致，例如，对比不同国家开展政治活动的海报，调查不同文化利用图像宣扬其政治活动的方式。

活动（activity）可为跨文化任务的目标服务。

学习者可通过课堂展示、小组活动搜集和分享信息，评价、讨论观察的结果和发现。

之后可要求学习者以角色扮演、模拟、撰写平行文本的方式重构文化行为。

学习者角色（learner’s role）在不同的活动、同一活动的不同阶段不同。

随着课程的推进，学习者的角色会出现等级分化，取决于他们在搜集、组织、评价、汇报和重构材料的过程中承担的责任有多少。

在课程的早期阶段，学习者要支持或充当活动的脚手架，教师提供指南、模式，引导学习者完成任务。

在其余阶段，随着学
习者更自信，他们可能希望协商进度，发起任务，更积极地建构和实施跨文化任务。

教师角色（teacher’s role）是学习者的镜像图像（mirror-image）。

在课程的早期阶段，教师的主要任务是给任务提供材料、建议，示范如何利用材料增强跨文化交际能力，提供评价模式、探索和重构文化行为的建议。

在课程的其余阶段，教师成为学生兴趣和制度要求之间的协商者、调解员。

随着学习者更自信、更独立，教师就更像一个向导、顾问，而不是发起人或权威。

师生角色的不断变化为探索文化提供了机会。

在不同的文化，即使是同一所学校，师生关系也会变化。

环境（settings）跨文化交际任务是在许多环境下产生的，包括：个人、两人活动，小组和全班活动。

整个课程中环境最好要有变化，这样学习者能从同龄人互动中获益，一个人也能反思自己的学习。

没有哪个环境最好，每个都有优缺点。

以上列举的成分可为教师在设计跨文化交际任务时提供一个参考框架。

例如，教师可向学习者展示八卦（gossip）在英语文化中如何协商群体价值观。

作为输入，
教师可提供角色卡，要求学生谈论不在场的第三方，并评价第三方的行为是否属于可接受的社会行为。

教师的角色是确立活动，学习者的角色是实施，环境是三、四人的小组。

角色扮演完后，应停下来反思，有机会提炼学习者的观察和他们对文化行为的重构。

在这种情况下就可以分析不同文化中八卦的功能：对不在场的第三方评头论足是否礼貌？男性，还是女性更八卦？哪些人是评论的热点：朋友、家人、还是名人？针对第三方行为的道德评价最终会不会取得共识？
很少有人能达到本族人的语言能力，但很多人能具备观察、解释、调解等促成跨文化交际能力的宝贵技能。

跨文化交际教学的目的是鼓励学习者从批评视角看待不同文化在生活中扮演的角色，要求师生关注、尊重母语及其文化。

在课堂上使用图像，探索不同文化生成的图像是跨文化交际课堂的有效教学方式。

学习者对目标文化和母语文化的图像都能关注，如：报刊杂志上的报道、特写和广告，政治竞选宣传单，旅游宣传资料，插图，贺卡。

Corbett（2003）认为学习者要发展系统的方式看待
视觉图像，把图像作为信息来阅读。

视觉图像有其词汇和语法。

一方面，视觉图像的词汇由其内容构成，即图像刻画了什么？可能是一位士兵、一个小孩或一张世界地图。

与词汇一样，图像所刻画的东西也有内涵和外延之分。

这些意义是文化情景中特定的，学习者可在不同语境中对比。

例如，儿童的图像经常出现在政治竞选活动的宣传中，将儿童作为视觉词项是因为各政党希望传递的信息是候选人纯真、有朝气、有活力。

另一方面，语言文本不是完全随意的词项组合，文本要产生意义，词汇则要根据语言习惯或规则按顺序排列。

同样，图像的内容只有以可接受的方式排列才能让信息产生意义。

图像的语法就是它刻画的人或物之间的关系。

Kress&van Leeuwen（1996）认为要从信息值（information value）、凸显（salience）和框架（framing）三个系统看多模态文本的构成。

信息值指图像中各成分所处位置不同，在中央、边缘、左侧、右侧、上方、下方等方位传递不同的意义。

凸显指图像各成分以不同程度吸引观众，体现在前景、背景、相对大小、色调、清晰度等方面。

框架指图像的边框使各成分之间或组合或分离，形成不同的类别。

Corbett（2003）将这三个系统进一步细化，从人物、注视、视角和距离、时尚和风格、物体、背景、构成、框架、重要信息、动作图像、描述性图像、现实和抽象、图像和文本等13个角度为学习者挖掘视觉文本的文化意义提供了参考。

A.人物：（1）是哪类人（警察、模特、儿童等）？（2）他们表现出什么样的价值观（和善、外在美、诚实、丑陋、腐败）？
B.注视：（1）图中人物在看什么，他们是在看对方吗？（2）他们在看其他的东西还是别处？（3）他们在朝你——观众，看吗？（4）他们在朝着相框外的事物看吗？有可能是什么？你能猜出来吗？（5）他们对彼此或其他事物持什么态度？
C.视角和距离：（1）图中人物离你近吗？是用短、中还是长镜头拍摄的？（2）给你的感觉是亲近、友好还是疏远？为什么？（3）他们正面对着你吗？这会影响
你对他们的态度吗？（4）他们是在疏远还是邀请你加入？（5）你是在俯视、仰
视还是他们的目光与你的在同一水平？（6）你觉得自己是尊重、凌驾他们之上，还是与他们平等？
D.时尚和风格：（1）人物的装束怎样，有没有透露他们的年龄、阶层、性别、民族、国籍和职业？（2）他们穿得时髦还是老土？哪些价值观可以与他们联系起来？（3）他们是全裸还是半裸？（4）他们处于什么位置，作为观众，你呢？（5）他们是在看你还是看别处？（6）你怎么看的？是尊重、可怜、妒忌还是想占有？
E.物体：（1）什么物体，有什么功能（插图、广告、图表）？（2）看到的是它的一部分还是全部？你是在俯视、仰视还是直视？（3）哪些人能看透、拥有或解释它？这个图是给谁看的？（4）它会使人产生某种联想吗？为什么在你的文化中会有这些联想，在其他文化中呢？（5）它看起来昂贵还是便宜，破烂还是精致？（6）它是否具有美丽、青春、激情、诱惑、知识和力量等象征性价值观？为什么？（7）它现在或过去在你的文化中体现这种价值观吗？在其他文化中呢？
F.背景：（1）有无明显的背景，人或物是否被置于黑暗或模糊的背景中？（2）背景是城市、乡村、沙漠还是海洋？是你想去的地方吗？
G.构成：图像在框架中的位置不同，其表征的意义也不同。

中央是重要的位置，是关注的焦点。

边缘是次要位置。

许多图像被置于左右两侧，这是因为西方语言中句子是从左向右读的。

英语中的句子可分为两部分，最左侧的成分是主位（theme），其余靠右的是述位（rheme）。

这两个术语指的是英语句子作为话
语的传统组织形式，即由主位向述位移动。

英语口语的语调系统常遵循平行的模式：句子以已知信息（given information）开始，以语调的突然变化结束，即新信息的出现。

已知信息是说话人料定听话人知道的信息，新信息是听话人觉得突兀或重要的信息。

Kress &van Leeuwen（1996）认为左右位置在视觉上传递的信息与
句子是一样的。

换句话说，左侧的图像可被理解为主位，为信息提供了语境。

右侧
的是述位，新信息或重要信息。

上下位置分别表示理想和现实。

在西方文化中，位置居上有积极的联想，而位置居下有消极的意味。

这种对立可从以下这两个句子看出：（1）I’m feeling up today.我的心情今天很好（2）I’m feeling really down.我的心情糟糕透了。

H.框架：（1）图中的各成分是一个整体，还是被边框割裂成的不同部分？（2）
它们属于同一还是不同种类？（3）它们之间是敌对的吗？它们之间沟通有问题吗？
I.重要信息：在图像的前景和背景你看到了什么？重要信息离观众很近，常被置于前景。

J.动作图像：（1）有没有一物体作用于另一物体？这是个身体动作（接吻、射击、尾随）还是心理动作（注视、渴望、厌恶）？（2）动作是通过手势、注视、面部表情或矢量勾勒的吗？（3）手指、枪、手势是指向你的吗？对这种问候、威胁或邀请你作何反应？
K.描述性图像。

如果图像中没有任何矢量或动作，那就要考虑你的观察目的。

对图中描绘的东西你有什么反应，是渴望得到、羡慕、作为模范典型、蔑视、躲避还是反感？
L.从现实到抽象：（1）图像是现实题材还是非现实题材？（2）这种现实感或非现实感是如何实现的？例如，用彩色或单色交卷、焦点的强弱、色彩的饱和度、详细程度等。

（3）观众要付出多大努力才能理解图像的意义？（4）有没有因为缺乏
指导而有被骗或沮丧的感觉。

M.图像与文本。

文本在图像中的位置：左侧表示提供语境；右侧提供解释；上方
表示理想的状态；下方表示现实；中间表示希望观众关注；边缘提供假象或其他信息。

以上并不是所有的问题都适用于每个图像，但对提高视觉读写能力提供了一个可操作的框架。

此外，正如语言中常有外来语一样，其他文化的视觉图像也会被引入。

学习者分析英语国家如何在广告中运用法语、德语、意大利语等的词汇，或非英语国家在广告中如何使用英语。

通过一种文化可以观察另一种文化，发现它们之间的影响。

综上所述，教师利用多模态话语进行文化教学，对激发学习潜势、促进跨文化沟通大有裨益。

跨文化交际课堂旨在培养学习者的观察力、解释能力和文化批评意识。

张德禄（2013）认为，“外语人才不仅要具有良好的语言交际能力，而且要具有
多文化、多媒体和多模态交际能力”。

教师可充分利用视觉图像的潜势与语言文本一起建构信息，使学习者实现从理解向诠释的转变。

发展视觉读写能力提供跨文化交际意识对于外语课堂语境下的学习者非常重要。

因为对文化的民族志研究成本高、难以组织，而视觉材料可以被容易地带进课堂，与母语文化中的进行比较。

虽然这种方式无法复制或替代出国考察的经历，但至少为文化意识培养、跨文化交际能力的提升提供了丰富的资源。

冯德正.2011.多模态隐喻的构建与分类——系统功能视角［J］.外语研究，（1）:24-29.
黄立鹤.2015.语料库4.0:多模态语料库建设及其应用［J］.解放军外国语学院学报，38（3）:1-7.
胡壮麟.2007.社会符号学研究中的多模态话［J］.语言教学与研究，（1）:1-10.
李战子.2003.多模态话语的社会符号学分析［J］.外语研究，（5）:1-8.
李战子，陆丹云.2012.多模态符号学：理论基础，研究途径与发展前景［J］.外语
研究，（2）:2.
张德禄.2009.多模态话语理论与媒体技术在外语教学中的应用［J］.外语教学，（4）:15-20.
张德禄，丁肇芬.2013.外语教学多模态选择框架探索［J］.外语界，（3）:39-46. 朱永生.2008.多元读写能力研究及其对我国教学改革的启示［J］.外语研究，
（4）:10-14.
Baldry，A.&P.Thibault.2006.Multimodal Transcription and Text Analysis:A multimedia toolkit and coursebook［M］.London: Equinox.
Corbett，John.2003.An InterculturalApproach to English Language Teaching［M］.Clevedon:Multilingual Matters Ltd，143-160.
Kress，Gunther&van Leeuwen，Theo.1996.Reading Images:The grammar of visual design［M］.London:Routledge，183-218.
Kress，Gunther&van Leeuwen，Theo.2001.Multimodal Discourse:The modes and media of contemporary communication［M］.
London:Arnold.
Machin，D.2007.Introduction to MultimodalAnalysis
［M］.London:HodderArnold.
New London Group.1996.A pedagogy of multiliteracies:Designing social futures［J］.Harvard Educational Review，66（1）:60-90.
Norris，Sigrid.2004.Analyzing Multimodal Interaction:Amethodological framework［M］.London:Routledge，1-2.
Nunan，D.1989.Designing Tasks for the Communicative Classroom ［M］.Cambridge:Cambridge University Press，10-11.
Royce，T.2002.Multimodality in the TESOL classroom:Exploring visual-verbal synergy［J］.TESOL Quarterly，36（2）:191-205.
Ventola，Eija，Cassily Charles&Martin Kaltenbacher.2004.Perspectives on Multimodality［M］.London:John Benjam ins Pub Co.。