关注多模态话语教学 提高学生交际能力

关注多模态话语教学提高学生交际能力
代树兰
【摘要】我们生活在一个多模态的社会,意义的构建越来越依赖多模态话语的融合.传统上专注于单一模态的教学模式已不能适应新时期的以多模态话语为特点的教学的需要.因此,需要借助多模态话语的研究成果,开展新形式的教学模式的探讨.本文旨在引起人们对多模态话语教学的重视,尽快将多模态话语教学提上日程.
【期刊名称】《山东外语教学》
【年(卷),期】2011(032)003
【总页数】6页(P48-53)
【关键词】多模态话语教学；必要性；理论基础；方法与对策
【作者】代树兰
【作者单位】上海电机学院外国语学院，上海200240
【正文语种】中文
【中图分类】H319
1.0 引言
多模态话语是指在口头或书面交际中,交际符号的多样性。

虽然话语的多模态性(multimodality)并非是一个新现象,然而,随着现代科技和传媒技术的发展、多媒体技术和计算机技术的广泛运用,在人类的交际活动中,多模态话语特征日渐凸现,以图像、声音、文字、色彩、空间等多模态同时出现的话语形态日渐增多。

因此,话语
的多模态性也引起诸多关注(代树兰,2009)。

多模态交际能力不仅是指学生能够理解某一单一模态的意义,而且指学生理解、构
建多模态话语意义的能力。

多模态文本是指不同模态以不同的方式“共同作用”而形成的意义整体的文本,在这里,各模态之间互相补充、协同作用(Royce,2007:374)。

良好的交际能力是现代社会中人们必须具备的基本能力,也是学校语言教学对学生
培养的重要目标之一。

Hymes(1972)在其著名的文章“交际能力”中提出交际能力,认为交际者要进行有效交际不仅需要语法知识,还需要语用知识,即语言社区成员为实现交际目的应具备的运用语言的能力。

他们需要具备在不同的社会环境中恰当运用语言的能力——说什么,对谁说,以及说的方式等。

在Hymes的基础
上,Canale&Swain(1980:29-31)提出了语法能力、策略能力,即运用语言与非语言
手段解决交际过程中出现问题的能力以及社会语言能力。

社会语言能力又进一步分为:社会文化能力(包括非语言语境中语言的运用)和话语能力(话语与交际功能的吻
合并产生连贯交际的能力)(参阅Royce,2007:363)。

传统上,多数语言教师认为教学的目标是培养学生的交际能力,主要是语言交际能力,其他模态之所以不受重视主要是因为,“在西方文化传统中,人们更倾向于单一模态
的表述方式(事实上我国的传统也是如此,本文作者)。

”“在过去,即便在现在,多模
态话语有时仍是通过对不同模态的编辑而组成的多层次的话语,在形成过程中,它们
由不同的专家负责,最后编辑合成一个整体”。

然而,近年来,这种情况正在发生改变。

在同一社会文化背景中,同一意义可以借助不同的符号形式进行表述,即不同的符号
形式可以表达同一种意义。

同时,“在今天的数字化时代,不同的模态从技术上已融
为一个整体,可以由同一个掌握多种技术的人,用同一个界面完成。

他可以在表述意
义时在不同模态之间进行选择”(Kress&van Lee uwen,2001:1-2)。

如今,随着多种模态在交际过程中的普遍应用,仅仅关注语言已经不能满足教学的需要,无法适应时
代的要求,因此,在教学中对多模态话语的关注也提上了日程。

传统的语言教师培训项目主要关注语言能力,不过近年来这种情况已开始转变,在国外,随着交际模式和交际习惯的变化,语言教师也开始越来越多地关注对学生的“多
模态交际能力”的培养,开始关注、培养学生的视觉识读能力的培养,并形成一种应
对这种局势的教学方法,以便帮助学生阅读、理解图像、色彩、文本等形式共现的
话语及交际情境,培养他们的多模态交际能力。

(Royce,2007:366)在国内,虽然在传统的语言教学中教师会对文章中的插图予以本能的关注,有意无意地进行简要的分析,然而对学生多模态话语交际能力的有意识的培养尚未引起足够的重视。

本文旨
在探讨目前形势下多模态话语教学的必要性、理论基础及新形势下应采取的对策。

2.0 多模态话语教学的必要性
随着现代科技,特别是多媒体技术的飞速发展,人类交际活动中的多模态现象越来越
突出,人类的话语世界也呈现出数字化和多模态化的特点。

20世纪90年代以来,人们已经步入了海德格尔曾经预测过的“世界图像时代”,60%到70%的信息是通过图像获得的。

影视、广告、图片、卡通等充斥着我们的生活,改变着我们的人际交
流方式和意义表达方式。

(张雪林,2007)“图像时代的到来,特别是图像在媒体、教
育和儿童文学中的大量生产,使我们无法忽略多模态话语(的存在)”(李战子,2003)。

“语言使用,不管是口语还是书面语,总是不可避免地由多种交际模式构
建”(LeVine&Scollon,2004),“所有的话语都是多模态的”(Kress&van Leeuwen,1998:186),“意义总是通过在交际过程中共现的多种模式和媒介构
建”(Kress&van Leeuwen,2001:111)。

社会、经济、传播和技术等领域发生的重大变革改变着公共传播领域的前景,也正在产生深远影响。

书面文字在公共交流领
域作为主要媒介的统治地位正让位于以图像为载体,或文字与图像并存的媒介,而且,新的表达形式不断出现,现代文化背景下的大众交流正经历着日新月异的变化。

(Kress,2003:9-11)
我们生活在一个多模态的社会,意义的构建越来越依赖各种符号资源的整合。

话语
的多模态性已成为当今世界人们交际中使用的各种语篇的一个重要特征。

在数字化时代,人们需要同时进行和完成各种不同的交流形式,具有良好的多模态读写能力。

(Kress&van Leeuwen,2001:2)在这种多模态的背景下,公共交流领域日渐增多的新模态的应用以及老模态的新用促使人们对读写能力进行再思考,视觉图像、手势和
声音等往往和语言一起完成意义的动态建构。

不同模态中的意义、构成要素,按照
各自模态的组合习惯形成话语、传达信息。

因此,多模态话语的发展对教学、对学
生交际能力的培养也提出了新的要求,培养学生对不同模态的话语的读写能力和交
际能力已成为一个不容忽视的课题。

正如胡壮麟所言:在人类进入社会符号学的多
模态化的新世纪,对多模态读写能力的培养应引起重视(胡壮麟,2007)。

旨在探讨多元化的社会和文化背景下培养学生未来读写能力的新伦敦小组(New London Group,简称NLG,2000)早在本世纪初就曾提出,教育的核心任务是培养学生参与公共、社区及商业活动的能力。

在传统教学中,这些能力的培养“局限于培
养学生读、写书本上的、官方认可的语言的标准形式”(如普通话等,本文作者),即“正式的、单语言、单文化形态的、规则的语言形式”(NLG,2000:9)。

随着社会
的发展和技术的进步,在培养学生读写能力方面,应拓宽视野,注重对“话语的多种形式”的认识和重视,在教学过程中,重点“将读写能力的理念和涵盖范围放在多样的
文化、语言、以及日趋加强的全球化的背景中考虑,关注多样的文化之间的相互关
联及通行的文本的多样性”(NLG,2000:9);同时读写能力的培养还应考虑“与信息、多媒体技术等相关的话语形式的多样化趋势”,及“日渐增多的传播渠道、传播媒
介形成的各种文化、亚文化等”(同上)。

而这些能力的培养必然对各种层次的语言教学提出要求,多模态读写能力及多模态话语交际能力已成为当代社会对人们的基
本要求,加强对学生的多模态读写能力的重要性的认识及对其多模态话语交际能力
的培养,采取适当的方法和对策也成为时代的需求。

而一些学者的探讨也在一定程
度上为这一目的奠定了理论基础。

3.0 理论基础方法与对策
20世纪90年代中期以来,社会符号学流派中的部分系统功能语言学者以Halliday
的功能语言学为理论基础,把对语言社会符号性(Halliday,1978)的研究重心转移到
对图像(O'Toole,1994;Kress&van Leeuwen,1996)、声音(van Leeuwen,1999)、动作(Martinec,1998)等多模态的交际手段的研究上。

其中最为突出和具有代表性
的是Kress&van Leeuwen(1996)所构建的分析视觉图像的语法框架,从而为多模
态话语研究提供了理论依据和分析方法。

O'Toole(1994,1995)、Kress&van Leeuwen(1996)的研究证明,系统功能模式不
仅可以用于对自然语言的分析,同时也为研究其他符号形式提供了可行的分析框架(O'Toole,1995:159)。

在研究中,他们将图像看作社会符号,从而将Halliday功能语言学中的纯理功能思想延伸到视觉模式,创建了以“再现意义”、“互动意义”和“构图意义”为核心内容的分析图像的视觉语法(the grammar of visual design)。

正如语言语法能将语音组成词语,词语组成句子,然后再生成语篇一样,视觉语法探讨如何将基本的视觉元素,通过有意义的方式,以一种连贯的视觉形象,来创造、描述和表达人、动物、神话主体、物体以及空间、情境、环境等。

语言和视觉现象均需要依靠具体的、相互联系的符号系统,并在相应的符号系统中做出恰当的选择,然后通
过不同的形式组成具有意义的话语(Kress&van Leeuwen,1996:1)。

他们认为所谓的模态(视觉的、姿态的、动作的),像语言一样具有社会意义(Kress&van Leeuwen,2001),并在研究中关注视觉交际中话语的整体意义,而不是孤立地探讨其构成要素。

针对多模态文本的意义的多层次表述(multiple articulation)特征,Kress&van Leeuwen(2001)提出了意义建构的4个层次:话语、设计、生产和分配。

话语是在社会环境中产生的关于现实或现实某个方面的知识;设计是符号资源的使用,是关于
符号产品和符号事件的形式构想,它同时运用各种符号资源或模式实现话语和各种
活动;生产是符号产品或符号事件的物质形式表述(无论是原型还是最终产品);分配则是利用物质资源对符号产品和符号事件进行技术加工或再编码,以记录或传播符号产品和符号事件。

话语和设计属于内容层面,生产和分配属于表达层面。

“多模态指的是符号产品或符号事件的设计中几种符号模式的使用以及模式整合的方式”(Kress&Leeuwen,2001:20),例如,各模态之间相互增强、补充、以及各模态间的等级关系(其中一种模式处于主导地位,其他模式添加意义)等。

Lim(2005)也将图像看作具有表达层和意义层的符号资源。

只有在各种符号资源的意义构建过程和机制得到解释后,才能对多模态意义的构建的复杂过程有更清楚地了解,包括对多种符号资源的融合、协同作用。

虽然从理论上讲,所有的模态都是平等的,但在实际运用中,一些模态会在更大程度上增加或减少由其他模态所表达的信息,Barthes(1977)针对图像与语言构成的话语之间的关系进行了区分,认为语言与图像相互拓展、细化彼此所表达的意义、增加所蕴含的信息,对意义予以详细说明或更准确的重述(Anthonissen,2003:300)。

这些认识不仅为话语和话语研究开启了新的窗口,也对话语教学提出了挑战。

在社会符号学流派之外,以互动社会语言学,以及以认知语言学为基础发展而来的多模态话语理论也为多模态话语研究和教学提供了支持。

前者关注的是人们如何在交际时采用不同方式通过话语构建他们所处的情景和他们在该情景下的身份(辛志英,2008)。

该流派的代表人物Scollon(1998)将语言看作社会行为,认为话语研究不仅要考虑语言,更多地要考虑语言在互动过程中的作用,以及互动过程中的其他因素,采取多模态的研究方法,将话语融入人们的行为进行分析,探讨话语和行为构成的整体,包括媒介行为、模态密度和前景-背景的延续体等(Norris,2004:5-20)。

后者则提出了关联理论不局限于言语交际,也适用于其他交际模式,适用于非言语的、多模态的话语研究。

并在概念隐喻的基础上提出了图像隐喻(pictorial metaphor)理论(Forceville,1996:334)和多模态隐喻论(Forceville,2006),运用认知理论,尤其是概
念隐喻理论,尝试解释多模态话语。

Baldry(2000)、Kress(1996,1998)、Kress&van Leeuwen(2001)、
Scollon(1998)、Forceville(1996,2006)等的研究都从不同的角度证明,在现代社会,意义的构建依赖多种符号资源的协同作用,即图像、姿态、声音常常与语言如影随形,他们在互动过程中通过互补、融合、整合、协同作用,共同实现交际功能。

这种对符号资源的多层次的协同作用的认识为意义和话语的研究提出了新的课题:在对话语意义构建过程的研究中需要涉及多个方面、多种模态,同样,对话语的理解不仅需要关注语言,还需要考虑符号的多样性,考虑多种符号之间的协同作用,要理解意义构建过程,不仅需要对话语中的语言进行分析,还需要考虑话语中构建整体意义的其他符号资源。

这些探讨为语言教学和培养学生多模态话语交际能力提供了可资借鉴的理论资源。

在理论研究的基础上,Kress(2003)提出了新媒体新技术时代读写能力的新定义。

他认为虽然口头语言将继续作为主要的交流方式,而公共交流中的书面语言将日渐被图像模式和视觉文化替代。

读写能力已不再局限于对语言文字的理解,对图像等多模态话语的理解给社会符号学研究提出了新的课题和挑战(Kress,2003)。

当然,也对教学提出了新的要求。

语言教师应将目光转向关注视觉语法的社会符号学视角,即系统功能视角,寻求培养学生多模态话语交际能力的途径(Kress and van Leeuwen,1996;O'Toole,1994)。

Cope and Kalantzis(2000:5-9)认为多模态读写能力包括两个重要方面:传播渠道和传播媒介的多样化;文化与语言的多元化。

他们对读写能力和多模态读写能力进行了阐释,认为传统的培养读写能力的方法仅限于传授与学习书本上的、官方认可的、标准的语言形式,即规则的、单一语言形式的、单一文化背景的、受规则限制的语言形式。

如今,由于现代文化背景下社会的快速发展及其导致的经济、传播和技术的变化,读写能力的培养应该包括各种话语形式。

因此,现行的教学读写的方法
需要对不同文化、语言背景以及日益增长的全球化社会进行解释,同时还要对各种与信息和多媒体技术相关的话语形式,如听觉形象、视觉形象与文字的关系等做出解释。

在语言教学中,教师应更加关注学生多模态话语交际能力的培养,让学生意识到语言以外的交际模式,认识到这些模式可以与语言一道参与交际,甚至在某些情况下至关重要,对它们的忽视将影响正常的交际、影响交际效果和交际效率。

虽然多模态话语交际能力的培养正日渐引起重视,然而到目前为止,这方面的研究成果尚不多见,“少有的例外包括Lo Bianco(2000),Stenglin and Iedema(2001)及Royce(2002,2007)”。

其中Lo Bianco探讨了多模态读写能力的作用、个体与社会的多语言能力(multilingualism)以及全球化对多模态读写能力的影响,提出应该“建立一种元语言以将各种交流形式,如多种模态、多元文化等联为一个整体,共享一种教学方法”(Lo Bianco,2000:99);Stenglin and Iedema(2001:195)分析了英语作为外语的教师在课堂上理解并运用视觉分析“工具”帮助学生阅读视觉符号的必要性;Royce通过对科学课本中多模态语篇的分析,探讨了外语教师在处理视觉符号与语言符号并存的语篇的教学,并建议教师应更多地关注对学生多模态话语能力的培养(Royce,2002:192),同时对交际能力进行了重新定义,使其超越了传统的只注重语言交际能力的局限,迈向了多模态话语交际能力的研究(Royce,2007:362)。

在国内,多模态话语研究基础相对薄弱,在教学中也尚未引起足够的重视。

为此,我们撰写此文,以期引起更多的学者、教育研究者对该领域的关注,下面的方法与对策旨在抛砖引玉:
(1)增强意识循序渐进
目前,多模态话语研究在我国处于起步阶段,多模态话语读写能力的探讨也刚刚开始,人们对多模态话语、对多模态读写能力的培养的认识需要一个过程;同时,在传统的教学中,图像等视觉符号一般被视为辅助性的、不参与基本意义建构的可有可无的东西,而不是话语整体的一部分,而教学中对其的处理主要看教师的兴趣,如果教师恰
好对这块感兴趣,又有所了解,可能会在教学过程中附带介绍或简单强调一下,一般情况下会对其置若罔闻,留待学生自己理解,而学生也依个人兴趣,或则附带性欣赏一下,或则视而不见。

长此以往,视觉等其他符号在教学过程中不受重视或受到忽视的情况甚为普遍。

要改变这种情况,首先需要从改变教师、学生的观念入手,从中、小学开始,在重视语言符号的同时,强调其他符号在现代社会话语交际中的重要性,以改变目前的状况,形成教师在教学中重视,学生也将其看作日常交际中意义构建的组成部分而予以充分的关注的局面。

事实上要做到这点并不难,现代中小学几乎所有课本都是文字符号与图像等其他符号并存的,它们相辅相成,共同构建意义。

只要教师在掌握基本理论的基础上,进行指导、引导,将对改变现状、提高教学效果和学生交际能力,特别是现代社会所需要的多模态话语交际能力具有重要作用。

而多模态话语交际能力的培养将为学生认识世界、理解意义打开一扇新的窗口。

(2)加强理论研究为教学实践奠定基础
多模态话语研究正逐渐引起我国研究者的重视,然而,目前我国对多模态话语理论的探讨仍处于起步阶段,引进、验证居多,独创性成果较少,将其与教学理论的结合更是少之又少,对教学中学生多模态话语能力的培养也尚未引起重视。

因此,加强理论探讨,促进多模态研究理论与教学的结合,重视多模态理论在教学中的运用已成为当务之急。

(3)注重师资培养提高教学效果
理论研究成果是培养学生多模态话语读写能力和交际能力的基础和源泉,而师资的培养则是将二者连接起来的关键。

在师资培养中,我们建议:
1)开设相关课程,加强理论指导,培养师资的基本理论知识,提高教师的理论素养和多模态读写的教学能力。

2)提高教师对培养学生多模态读写能力和交际能力的重要性的认识,在原有教学理论基础上,在培养学生语言能力的同时,注重对学生的视觉符号等其他模态的交际能
力的培养。

3)组织观摩教学,提高教师相关的教学应对能力。

4)提高认识培养能力。

在目前的学习中,学生对多种模态的关注大多停留在自然而然习得的、无意识的状
态中,因此需要提高学生对多模态话语的认识和重视程度,在教学中培养学生的多模
态话语交际能力:
1)提高学生对多模态话语读写能力的重要性的认识,引导学生意识到时代的要求和
自身能力的不足,从而自觉地锻炼和学习。

2)有选择性地开设相关课程,在教学过程中加强有针对性的指导;从小学开始抓起,引导学生将多模态读写能力视为日常读写能力的一部分,而不仅仅局限于对语言单一
模态的能力的培养,从而养成多模态读写的习惯。

4.0 结语
我们生活在一个多模态的社会,意义的构建越来越依赖多模态话语的融合。

传统上
专注于单一模态的教学模式已不能适应新时期的以多模态话语为特点的教学的需要。

因此,需要借助多模态话语的研究成果,开展新形式的教学模式的探讨。

本文旨在引
起人们对多模态话语教学的重视,希望人们能认识到多模态话语教学的重要性和必
要性,加强师资培养,探索、掌握该领域的基本理论知识,尽快将多模态话语教学提上日程,关注我国具有特殊性的外语教学实践(杨敏2010),构建符合时代要求和具体教学实践的多模态语言教学理论,提高多模态语言教学实践能力和教学效率。

参考文献
[1]Anthonissen,C.Interaction between visual and verbal communication:Changing patterns in the printed media[A].In
G.Weiss&R.Wodak(eds.).Critical Discourse Analysis and Interdisciplinarity[C].New York:Palgrave Macmillan,2003.297-311.
[2]Baldry,A.P.(ed.).Multimodality and Multimediality in the Distance Learning Age[C].Campobasso:Palladino Editore,2000.
[3]Barthes,R.Image,Music,Text[M].New York:Hill&Wang,1977.
[4]Canale,M.&M.Swain.Theoretical bases of communicative approaches to second language teaching and testing[J].Applied Linguistics,1980,1(1),1-47.
[5]Cope,B.&M.Kalantzis(eds.).Multiliteracies:Literacy Learning and the Design of Social Futures[C].Melbourne:Macmillan,2000.9-37.
[6]Forceville,C.Pictorial Metaphor in
Advertising[M].London:Routledge,1996.334.
[7]Forceville,C.Non-verbal and multimodal metaphor in a cognitive framework:Agendas for research[A].In Gitte Kristiansen,Michel Achard,Rene Dirven&Francisco Ruiz de Mendoza Ibanez(eds.).Cognitive Linguistics:Current Applications and Future Perspectives[C].Berlin/New York:Mouton de Gruyter,2006.379-402.
[8]Halliday,nguage as Social Semiotic:The Social Interpretation of Language and Meaning[M].London:Edward Arnold,1978.
[9]Hymes,D.On communicative competence[A].In
J.B.Pride&J.Holmes(eds.).Sociolinguistics[C].Harmondsworth:Penguin Books,1972.
[10]Kress,G.&T.van Leeuwen.Reading Images:The Grammar of Visual Design[M].London:Routledge,1996.
[11]Kress,G.&T.van Leeuwen.Front pages:The critical analysis of newspaper layout[A].In A.Bell&P.Garrett(eds.).Approaches to Media
Discourse[C].Oxford:Blackwell,1998.
[12]Kress,G.&T.van Leeuwen.Multimodal Dis-course:The Modes and Media of Contemporary Communication[M].London:Arnold,2001.
[13]Kress,G.Literacy in the New Media Age[M].London/New
York:Routledge,Taylor&Francis Group,2003.
[14]LeVine,P.&R.Scollon.Discourse and Technology:Multimodal Discourse Analysis[M].Washington DC:Georgetown University Press,2004.
[15]Lim F.V.Problematising semiotic resource[A].In
E.Ventola,C.Charles,&M.Kaltenbacher(eds.).Perspectives on Multimodality[C].Amsterdam:John Benjamins,2005.
[16]Lo Bianco,T.Multiliteracies and multilingualism[A].In
B.Cope&M.Kalantzis(eds.).Multiliteracies:Literacy Learning and the Design of Social Futures[C].Melbourne:Macmillan,2000.92-105.
[17]Martinec,R.Cohesion in action[J].Semiotica,1998,(1/2):161-180.
[18]New London Group.A pedagogy of multiliteracies:Designing social futures[A].In B.Cope&M.Kalantzis(eds.).Multiliteracies:Literacy Learning and the Design of Social Futures[C].Melbourne:Macmillan,2000.9-37.
[19]Norris,S.Analyzing Multimodal Interaction:A Methodological Framework[M].New York/London:Routledge,2004.
[20]O'Toole,M.The Language of Displayed Art[M].London:Leicester University Press,1994.
[21]O'Toole,M.A systemic-functional semiotics of art[A].In
P.Fries&M.Gregory(eds.).Discourse in Society:Systemic Functional Perspcetives[C].Norwood:Ablex.1995.159-179.
[22]Royce,T.D.Multimodality in the TESOL classroom:Exploring visual-
verbal synergy[J].TESOL Quarterly,2002,36(2):191-205.
[23]Royce,T.D.Multimodal communicative competence in second language contexts[A].In T.D.Royce&W.L.Bowcher(eds.).New Directions in the Analysis of Multimodal Discourse[C].Mahwah:Lawrence Erlbaum Associates,Inc.2007.
[24]Scollon,R.Mediated Discourse as Social
Interaction[M].London:Longman,1998.
[25]Stenglin,M.&R.Iedema.How to Analyse Visual Images:A Guide for TESOL Teachers[A].In A.Burns&C.Coffin(eds.).Analysing English in a Global Context[C].London:Routledge,2001.194-208.
[26]van Leeuwen,T.Speech,Music,Sound[M].London:Macmillan,1999.
[27]代树兰.电视访谈的多模态话语特征[R].第三届当代中国话语研究讨论会宣读论文(2009年12月,杭州).
[28]胡壮麟.社会符号学研究中的多模态化[J].语言教学与研究,2007,(1):1-8.
[29]李战子.多模式话语的社会符号学分析[J].外语研究,2003,8(5).
[30]辛志英.话语分析的新发展——多模态话语分析[J].社会科学辑
刊,2008,(5):208-211.
[31]杨敏.外语教学研究中的若干问题与本土化外语教学研究[J].山东外语教
学,2010,(1):3-6.
[32]张雪林.读图时代的视觉文化[J].安徽电子信息职业技术学院学报,2007,(5):50-52.。