张德禄-多模态话语分析理论与外语教学

2. 理论基础
多模态话语分析理论的基础是社会符号学
索绪尔：能指（signifier)----所指(signified)。只研究个体符号的特性； 只研究“Langue”，不研究“parole”。
皮尔斯发展了符号范畴：图标、索引和语符。他论述的媒介、对象、解 释三位一体的三角关系。
韩礼德提出了“语言是社会符号”的理论。社会符号学优先研究的是把
语言
多 模 态 话 语 媒 体 系 统
非语言
伴语言 纯语言 身体
非身体
音响 音调 字体 布局 声音 文字 动作（移动） 比拟 面容
肢体
工具
环境
表情 眼神 五官 手势 姿势 摇动 PPT 音响扩放 网络 实验室 同声传译室
（2） 静态与动态
Thibault(2004)对符号资源的研究比较具体。他从身体动 力学的研究区分动态的和静态的:
根据新伦敦小组(New London Group 2000)的观点，任 何制造意义的过程基本上都是设计行为。一般有三个部分:
第一,已有资源：根据“可利用的设计”，择取某些符号资 源和常规，如话语形式、语类和方言。
第二,设计过程,：包括将符号资源转变成自己的声音，将老 材料作新用途等。根据这一观点，读和听、写和说是进行 设计的实例，因为每个人都可利用可利用的设计来产生意 义，根据各自的兴趣和个人经验，将所读到和听到的材料 转化成意义。
设计者根据符号特殊的修辞目的，用尽各种手段来劝诱那些有 机遇接触该信息的人们。页面/网址的设计者不再是权威性语 篇的“作者”，但他是材料的提供者，按照想象中读者的所谓 特点进行安排。
设计者的作用是将材料集中，加工为访问者可提取的“信息”。 屏幕设计要考虑访问者的兴趣。对访问者来说,“信息是个体选
再者，它也回答了索绪尔符号学所难以摆脱的一个悖论：这个 理论一方面把语言看作是静态的不变的，另一方面又不得不承 认“所指的变化导致概念的变化”，“思想可能被迫接受符号 的物质状态给它提供的特殊方式” (Lemke 2005) 。这说明语 言结构底层的常规是不固定的，而是受到实际言语的影响。 (Beaugrande 1991: 2 - 27)。
所指行为作为实例，并把社会的所指实践作为经常的、可重复的、可识
辨的类型。社会有意义的实践构成各种文化(社会符号系统) 。符号系统
是对这些实践的抽象(如从言语得到语言符号) 。
Saussure → Langue
Halliday
Pierce
Parole ←
社会符号学没有必要区分理论符号学和应用符号学，它与话语 分析、多媒体分析、教育研究、文化人类学、政治社会学有更 紧密的关系。
1实景实践实景实践的关键因素是完全投入到实践的交际过程中以学习者已经有的经历和已经掌握的知识为基础来发展某些基本技能或者获取某些知识这个过程也需要把学习者的文化或次文化态度考虑在内而不是把学习者当作训练的对象
目录
1. 引言 2. 理论基础 3. 符号资源 4. 多模态设计 5. 多模态语法 6. 模态之间的关系 7. 模态选择及用途 8. 多模态读写 9. 问题与不足 10. 将来的研究
过去，作者的形象和写作的方式占统治地位；在新的屏幕设 计中，设计者和图像的模式占统治地位。(Kress 2004)。
Kress (2004)重视设计者的作用。所有符号资源都具有社会意 义，属于特定文化。多模态符号(词语、文字、信件、色彩、 字体)的复杂信息反映了设计者的尽量选用多种符号表达意义 的意愿。
伴语言媒体
对语言意义的传递起到辅助、补充和强化的作用，包括音 响、声音的大小、音调、声音的频率、口音、语气、以及 字体形状、大小、空间的布局等。这些伴随语言的媒体特 征对意义整体的表达起着十分重要的作用，有时是关键作 用，因为它可以引起整体意义的改变，如用声调表达态度。来自图一：多模态话语媒体系统
系统：
类别
层次
项目
交通信号系统
意义 图符
停、行、准备等意义 红色、绿色、橘红等颜色
语言是三个层次的符号系统。
类别 语言
层次 意义 词汇语法 音系
目录 概念、人际、语篇 词汇系统、语法系统 音系系统
（ 4）. 维度 媒体的维度是一个重要的区分条件，因为维度之间的区别
很重要，可以直接影响对符号的识别难度。媒体的维度现 在一般还是局限在四个之内：
所谓习惯性的方法指可确认的符号架构( semiotic formations) ，是一个社团中的成员同时采用一些符号资源 形成的经常的、可重复的、可识别的、有意义的、文化的和 历史的特殊符号类型。如某一时期的文学语类是符号架构。 同样，建筑风格、房子类型、宗教仪式、特定节日、饮食、 衣着的特定样式都可以定义为可行动的有规律的范式，对社 会是有意义的实践的范式。
媒体资源的分类
（1） 语言与非语言
张德禄（2009）对媒体的类别根据是否语言和是否身体的对 外语教学中的媒体系统做了归类：
非语言媒体 表达意义的非语言媒体包括交际者的肢体动作和交际者在意
义表达中所使用的非语言手段，如工具、环境等。
肢体媒体：
(1) 与头部有关的动作，包括眼神、挤眼、凝视、摇头、 点头、仰头、低头、欢喜的表情、伤心的表情、嫉恨的表 情、凝重的表情、大笑、呲牙咧嘴以及鼻子和耳朵的动作 形成的媒体符号等。
多模态表达可以分解为同时表达意义的两个或两个以上的单 模态(Bernsen 2002) 。我们每天在看报纸、杂志、广告、 招贴画、故事书、教科书、活页文选、百科全书、说明书、 计算机界面时，甚至在我们相互交往时都离不开多模态。我 们谈话时手舞足蹈，有声有色，也意味着使用了多模态。
多模态话语：运用听觉、视觉、触觉等多种感觉，通过语言、 图像、声音、动作等多种手段和符号资源进行交际的现象。
社会符号学把语言看作众多符号之一，各种符号系统都能够用 以社会交际，体现讲话者的意义。这样，交际就是多模态的了。
3.符号资源
符号系统实际上是符号资源( semiotic resource)系统，人 们通过可识别的、多半是习惯性的(有时是原创的)方法从这 些资源中选择，就可以进行有意义的活动(Lemke 1993) 。
(2) 由手臂和腿形成的媒体符号，包括手势，手臂的状态、 形成的形状、摇动等，腿的并立、踢跳、弯伸等。
(3) 躯干的动作，如姿势、移动、摇摆、模拟等。
非肢体媒体
主要包括工具和环境两个方面。
随着现代科学技术的发展，交际者肢体以外的交际媒体变 得十分发达。从起初的音响设备到现在的网络平台、同声 传译室等都是工具性媒体。
(1)静态的表达媒体,如文字、图片、表格、绘画等。
(2)动态的研究指面对面的互动、动画、电影、使用录像机 等。
（3） 两个层次与三个层次
根据系统的复杂性，媒体系统可以分为两个层次的和三个层次的。 两个层次的符号系统比较简单，是符号的能指和所指可一一对应，
不通过词汇语法的系统，例如：交通信号系统是两个层次的符号
根据系统功能语言学理论（Halliday, 1973; 1985），语言要同时体现 三种元功能——概念功能、人际功能、谋篇功能。
那么，从多模态话语的角度讲，除了语言之外，其他符号系统也同样是 实现三个元功能的系统，如Kress and van Leeuwen (1996) 和 O'Toole (1994) 把多元功能的思想延伸到图像上，提出视觉语法的概 念；O'Toole (1994) 则提出了一个以多元功能分析为基础的，用于分 析图画的模式。
我们感受客观世界的视觉、听觉、触觉、味觉、嗅觉是不同 的感知模态，但眼、耳、手、舌、鼻则是媒体。
这样，模态是用某种媒体表达信息的特殊方式。媒体是表达 信息的物理工具。
1.3 单模态 (monomodality) vs 多模态 (multimodality
单模态是只通过一种模态进行交际活动的现象，如说话、听 录音、读书。前者为通过听觉模态；后者为通过视觉模态。
择的材料，经他们转换，成为可以解决有生世界问题的知识”。
设计是在一定语境下进行的。在多模态信息传递中，关键 是选择相应的设计。如果表达和塑造信息时有多种方法， 有待回答的问题是：
就要传递的内容或意义来说，哪一种模态最好? 哪一种模 态在塑造所传播信息时最能符合设计者的兴趣? 设计者的 听众或他自己最喜爱哪一种媒体? 在选择某个媒体或模态 而不是其他时，设计者对自己的定位? 所有这些都需要作 出抉择。
一维的是线性的：口语和书面语；
二维的是平面的：平面图画；
三维的是立体的：立体图形；
四维的是动态的，是可移动的三维符号系统，如电影、动 画等。
4. 设计
设计是制造语篇和识读语篇的过程。 书面语占统治地位的设计：写作的逻辑曾经塑造了页面的顺
序和书本。
新媒体时代的设计：当今占统治地位的媒体是屏幕，不管是 游戏机、移动电话、个人电脑或者电视和录像。因此现在屏 幕的逻辑正在塑造新的顺序和对屏幕的安排。虽然文字写作 可以出现在屏幕上，但它从属于图像，如同过去图像可出现 于书本上，但从属于文字写作。因此图像将越来越塑造写作 的出现和用途，这一过程已在公众信息传递的事例中出现。
还有其他许多研究者：Jewitt 2008；New London Group (1996)；
1.2 模态与媒体（Mode vs medium）
模态（modality）来自于mode/model(方式、模式），表 示可对比和对立的符号系统；
媒体是符号分布印迹的物质手段，如产生语篇采用印刷的或 手写的手段，说话时发出的声音，身体的动作，或计算机显 示器上的光脉冲( Scollon & Levine 2004) 。
1.引言
多模态性在历史上没有受到人们的重视;
在现代语言学研究中：被看作非语言特征和伴随语言特征； 一种语言的辅助表达系统，没有作为意义表达模态来研究。
多模态产生的原因： （1）是话语分析理论发展的一个历史阶段：人们发现话
语的意义很大一部分是由非语言特征实现的。
（2）人类话语越来越多模态化：多媒体和网络的产生促 进了多模态话语的研究；人类的交际过程需要听觉、视觉、 触觉并用；在一些领域，交际的主模态已经由语言转为图 像或其它模态，网页、电影、画展等。
3. O'Halloran， K. L. (1999a；1999b; 2000; 2003; 2004)不仅研 究多模态的理论建构，还专门研究了数学语篇中的多模态现象。
5. Royce， T. (1998a; 1998b; 2002)研究了不同符号在多模态话语 中的互补性，以及在第二语言课堂教学中多模态的协同性等。
除此之外，交际者还可以利用环境中已有的所有符号系统 来进行交际，包括现场环境中的人和物、有象征意义的符 号等(见图1。)
语言媒体
从传统的语言学研究的角度讲，实现意义传播的媒体形式 主要有两种：声波传导的声音符号和由笔等生成的书写符 号。这两种媒体是语言传播信息的主要媒介。但随着信息 技术的不断发展，其他技术开始用于语言信息的传播，如 计算机文字输入、计算机语音识别等，但最后的传播媒体 仍然是声音或者字符。
第三, “重新设计”：由设计过程产生的资源或重新产生 的意义，又可成为一种新的可利用的设计，具有制造意义 潜力的新的资源。
这样，设计的观点不仅应用于原创性活动，更应当看作是 日常经历的核心部分，因而这是教育过程中应当强调的重 要成分。(Williamson 2005)。
5. 语法
在多模态话语选择中最关键的因素是如何使不同模态的相互配合来获得 最佳交际效果，而这种模态之间的配合主要是在形式层面，特别是语法 层面表现出来的。
Kress(2001)认为，所有的模态(视觉的、姿态的、动作的) ， 像语言一样，在社会使用过程中共同形成社会资源的模态 (Halliday 1985, Kress 1997) 。
传统上书写和口语的模态强调语言方面，而把其他资源，如 姿势、语音音律、注视、动作等看作是“副语言的”，不把 这些看作是能与语言同时作用的完整的符号资源。多模态话 语分析把它们提高到相同的层面。
1.1 多模态话语分析研究
1.最早的研究者之一是R. Barthes，在他1977年发表的论文《图像的 修辞》（ Rhetoric of the image）中探讨了图像在表达意义上与语 言的相互作用。另外几个主要的研究者包括：
2. Kress， G. and van Leeuwen， T. (1996; 1998; 2001; 2002) 研究了模态与媒体的关系，专门探讨了多模态现象规则地表达意义的 现象，包括视觉图象、颜色的语法，以及报纸的版面设计和不同媒介 的作用等。