张德禄中国海洋大学外国语学院

图一：李姆的综合性多符号模式（Lim, 2004）
媒介与物质
语言 印刷术 词汇语法
话语意义
视觉图形
图形学 表达层面
整合空间
视觉语法
内容层面
话语意义
语域
体裁
语境层面
意识形态
6
这个框架是对语言与图像所形成的多模态话语的分析 框架，还不是一个对所有模态都适用的框架。但其基 本思路是正确的：
第一，他的层次的思想是正确的 第二，不同的模态涉及由不同的媒体来体现 第三，不同的模态需要整合在一起
了便利条件，可以提供图像、录像、声音，作为学习的实 际环境。利用从真实交际场合中得到的录像材料作为： （1）学习材料，让学生了解和认识真实语境的实际情 况，使获得的语境知识更加具体； （2）背景信息，让学生与录像中的交际者在录像提供 的语境中进行交际。 发展现代多媒体技术的一个最基本的理念是多模态交际可 以使受话人通过多通道获得信息，比单模态话语更容易使 受话者理解和记忆。 如 PPT: 文字、语音、图形、图像、录像：视觉和听觉
在这个框架中，语言和图画作为交际模态共有意识形态、体裁、语域 和话语意义四个层面。
在内容层面，图画具有视觉语法，而语言则有词汇语法； 在表达层面，语言由印刷符号体现；图形由图形符号体现。 在这里最主要的研究领域是把两者在内容层面和表达层面整合为一体，
特别是在内容层面研究的任务最重。
5
这样从两种模态的关系上讲，听觉是主模态，主导交际的 进程；而视觉模态则对听觉模态起主要两个作用：强化和 补充。
19
6.3 模态选择的原则
总体原则：充分利用现代媒体技术，最大限度地充分表 达讲话者的意义，取得最佳效果，为更好地利用现代技 术提供一个合适的理论框架。
基本思路：人类交际中意义的体现具有多模态特点：在 形式层面涉及不同模态的词汇语法系统之间的关系；形 式层面由媒体来体现。现代媒体技术都主要是在媒体层 面，所以充分利用好现代媒体技术是重要的研究课题。
17
6.2 模态选择主导因素 在外语教学中，主导模态选择的基本因素是： 话语范围：所教授的课程的内容，包括深度、难度； 话语基调：老师的个人特点；学生的基本特点；交际
目的，如传授知识、提高能力、提高素质等。 话语方式：设备条件、教学环境、传播渠道等。 教学目标：如是知识型的：讲解+实例：书本、PPT、
话语意义层面，概念意义、人际意义和谋篇意义。 形式层面：视觉语法、听觉语法、触觉语法等。
9
4.0 多模态话语的形式及其关系
4.1 多模态话语的形式 媒体只有通过形式层面的组织和模式化才具有直接表达意义的能力。 形式对媒介进行组织有两种手段：一是直接赋予某个媒介符号某种意义。
由这种符号组成的符号系统通常没有能产性、没有任意性； 二是把一定的媒介符号进行组合，然后赋予这种组合一定的意义，这就是
11
图二：多模态话语形式及关系
语言
形式
多 模 态 话 语 形 式 及 关 系
关系
视觉 声觉 感觉
互补
非互补
词汇 语法 图形形体 图形语法 声响形体 声响语法 感触形体 感触语法 强化
非强化
交叠
内包
突出 主次 扩充 交叉 联合 协调 冗余 排斥 抵消 整体部分 抽象具体
语境交互
独立 依赖
12
5.0 多模态话语的媒体系统
21
6.3.2. 作为助手
为教师提供条件，使他的工作容易进行；现代技术还可以从 内部提供动力，使教师和学生从内心愿意从事这种活动，把 外因转化为内因。
第一，特殊的东西、大的东西、颜色艳丽或者浓的东西更能 吸引人们的注意力，这就是突出，把事物前景化。例如，在 教学中在PPT画面上用艺术体、黑体、大体字，可以使文字突 出；在文字中加上图片可以更能引起学生的注意等。
2
多模态话语：运用听觉、视觉、触觉等多种感觉，通过语 言、图像、声音、动作等多种手段和符号资源进行交际的 现象。
这种现象司空见惯，自古有之，如诗歌配上图画，说话时 打手势做鬼脸，使用不同口气和腔调等。
系统功能语言学是最适合于研究多模态话语的理论模式， 其主要原因有以下三个方面：
（1）系统功能语言学不仅关心语言内部的运作机制，同 时还研究语言外的环境和动因；
伴随语言的媒体形式：音响，声音的大小，音调，声音的频 率，口音，口气等，以及字体形状、大小、空间的布局等。
13
3.2 非语言媒体 交际者肢体动作和交际者在意义表达中所使用的其他
非语言手段，如工具、环境等。 1.交际者肢体的动作可以分为三个类别： 一、由头部的移动形成的动作 二、由手臂和腿形成的媒体符号 三、躯干的动作，如移动、比划、模拟等。 2.非肢体媒体：工具和环境： 工具:音响设备， PPT，网络设备，到现在的网络平台，
口头讲授、回答问题等方式。
18
在这个教学模式中，要涉及模态内部媒体之间的协作，如 书本与PPT：PPT通过色彩、光亮、突出的字体等来强调重 点信息，而书本则可提供具体信息，补充PPT提供的框架中 的具体信息。
更重要的是视觉模态与听觉模态的协作。从形式上讲，每 一种模态都可以是自足的，但只有多种模态协作才能收到 更好的效果。
同声传译室等都是工具性媒体； 环境: 环境中已有的任何相关因素：人和物，有象征
意义的符号等。
14
图一：多模态话语媒体系统
语言
伴语言
多
纯语言
模
态
话
语
肢体
媒
体
系
统
非语言
非肢体
音响 音调 字体 布局 声音 文字 动作（移动） 比拟 面容
肢体
工具
环境
表情 眼神 五官 手势 姿势 摇动 PPT 音响扩放 网络 实验室 同声翻译室
第二，美丽的东西、怪诞的东西、幽默的东西更能引起人们 的兴趣，提高学生的参与度，所以，在教学中，用现代技术 提供美丽的图片，幽默的简笔画，美丽的环境介绍可以使学 生积极参与，注意力集中。
第三，有挑战性的环境，或对抗的环境，或者幽默的环境， 可以激发人们参与的热情，如提供一些有一定难度的破解题 ，谜题；描述一个对抗的语境；或者提供一项交际任务等。
2. 协调关系 协调关系是利用多模态之间的协调性，就是还原人类社会交际的本来面
目，即由一种媒体不能独自完成的交际任务可以由其他媒体来补充。例 如，在讲包括下面一个对话的故事时，如果没有图画，我们会不知所云 ：
[1] Big Nutbrown Hare, “I love you as high as I can reach.” Little Nutbrown Hare, “That is quite high. I wish I had arms like
（1）文化层面，意识形态、体裁； （2）语境层面，话语范围、话语基调和话语方式 （3）意义层面，概念意义、人际意义和谋篇意义； （4）形式层面，词汇语法系统，视觉语法系统，听觉
语法系统，触觉语法系统等 （5）媒体层面，语言的和非语言
4
3.0 多模态话语综合框架初探
如上所述，系统功能语言学为多模态话语分析提供了一个相对现成的 理论框架。这就是说，在语境和交际层面和话语意义层面，单模态的 语言交际和多模态话语交际并没有什么区别。李姆（Lim, 2004）在研 究图画与语言形成的多模态话语时提供了如下的框架。
从多模态话语的角度，我们可以把媒体分为语言媒体和非语 言媒体；
3.1语言媒体 传统媒体：主要两种，声波传导的声音符号和由笔、毛刷等
生成的书写符号。
其他媒体：随着信息技术的不断发展，其他技术开始用于语 言信息的传播，如计算机文字输入，计算机语音识别等，但 最后的传播媒体仍然是声音或者字符。

据此，我们根据韩礼德的系统功能语言学理论，和我 们以上研究的结果，提出了如下的理论框架（见图 二）。
7
图二：多模态话语分析综合框架
文化层面
文化语境
意识形态 体裁
语境层面
情景语境
话语范围 话语基调 话语方式
意义层面 话语意义
内 容 层 面
形式层面 形式及 关系
概念意义 人际意义 谋篇意义
形式
关系
多模态话语分析综合框架意识形态文化层面文化语境体裁话语范围语境层面情景语境话语基调话语方式概念意义意义层面话语意义人际意义谋篇意义声觉形式层面形式及感觉关系互补关系非互补伴语言语言纯语言表达层面媒体身体非语言非身体符号说明
张德禄 中国海洋大学外国语学院
1
1.0 引言
话语分析转入多模态话语分析阶段:人类的实际交际 过程：听觉、视觉、触觉并用
语法的作用。由这种符号和符号组成规则形成的符号系统具有任意性、能 产性、双分性，由三个层次的代码组成（媒介、形式（词汇语法）和意 义）。语言属于这一类。 语言：词汇—语法 图像：图符—图形语法 音响：音符—声响语法 接触：实体--感触语法
10
4.2 多模态话语形式之间的关系 运用多模态的理由：一种模态不足以表达清楚交际者
that.”
但是如果我们配上图画就很容易了，而且还很幽默。
23
24
3. 前景背景关系
第三种选择多模态教学的依据是语言交际中的前景和背 景的关系。在外语教学中，语言交际显然都是处在前景 中，由其他模态提供背景。例如，在戏剧的开始，首先 出现一个布景，提供事件发生的时间、地点、环境，还 可以包括人物等。
在多模态话语交际框架下，对模态的选择可以从三个角 度进行：
（1）为外语教学提供教学情景和便利条件（工具）；
（2）为外语教学提供辅助条件（助手）；
（3）为多模态话语交际提供多通道话语意义表达方式（ 补充）。
20
6.3.1 作为工具 多媒体技术的发展实际上为提供尽可能真实的语境的提供
16
不同模态之间的相互配合问题：语义表达的需要；交 际的需要。我们在选择中所要考虑的关键因素是在一 定的情景中，如何选择合适模态来有效地表达所要传 达的意义。

模态与媒体基本上是形式和实体的关系。模态语法确 定选择什么样的媒体。如视觉语法确定不同视觉媒体 之间的相互配合。例如，课堂教学：熟悉的事物：语 言讲解；不熟悉的事物：讲解 + 实物 （图像等）。
22
6.3.3. 作为补充
模态的选择要以增加正效应为原则，具体可以包括：互相强化、互相协 调、前景背景、整体部分（抽象具体）等关系。
1. 强化关系 用PPT显示句子“Peter was killed in a traffic accident”, 并可同时读
出这个句子，在PPT画面上配上皮特发生车祸的照片，或者放一段发生 车祸的录像片，配上发生补
非互补
表达层面
媒体
语言 非语言
伴语言 纯语言 身体 非身体
符号说明：
表现关系
决定关系
体现关系
8
这个框架分为四个层面：文化层面、情景层面、内容 层面和表达层面。
文化层面是使多模态交际成为可能的关键层面。意识 形态；体裁。
语境层面：话语范围、话语基调、话语方式；实现所 选择的体裁。
（2）系统功能语言学把话语的意义和功能放在首要位置 上；
（3）意义的实现是以多模态形式进行的，语言只是这些 形式中最有效的一种。
3
2.0 多模态话语分析的理论基础
系统功能语言学理论本身不需要做任何改动就可以直 接作为其理论框架。
这个框架主要由五个层面的系统和选择的基本因素和 条件组成(Martin, 1992)。这五个层面分别是：
的意义，从而利用另一者来强化、补充、调节、协同， 达到更加充分，或者尽量充分表达意义，让听话者理 解话语的目的。
关系：互补 vs 非互补

互补：强化（突出、主次、扩充） vs 非强化
（交叉、联合、协调）
非互补：交叠（冗余、排斥、抵消）vs 内包（部 分、具体）vs 语境交互（独立vs 依赖）
伴语言特征：音响度、声调、语调、音速等; 身体特征:如手势、身势、面部表情、动作、移动等 非身体特征：PPT、音响设备、网络、实验室、周围的
环境因素等。
首先，根据系统功能语言学理论尝试建立一个多模态 话语分析的综合框架；
然后，探讨不同的模态及其之间的关系； 第三，探讨实现模态的不同媒体系统； 最后，探讨如何在外语教学中选择模态和媒体。
15
6.0 模态选择
6.1 模态选择程序 对多模态话语理论框架进行选择的基本程序是： 意义选择：在文化语境中，受意识形态的支配和体裁系统的
制约，根据具体的情景语境，选择要表达的意义，包括概念 意义、人际意义和谋篇意义； 意义体现：所选择的意义要以合适的模态表达出来：即时 的—口语；安静的—手势； 同样，对多模态的选择也是受语境的制约的：噪音—声音+ 手势。