多模态语篇分析

有些学者认为各种模态的三个元功能具有同等 的作用。 他们根据系统功能语法中的概念功能、人际功 能和语篇功能，分析了图像的再现功能、互动 功能和构图功能。 但是视觉符号与语音层不同，有点、线条、颜 色、光等。
此外，也有些学者认为某个元功能占主导作用 （Martinec 2005）。Van Leeuwen（1999） 认为音乐中人际功能占主导地位，因为音乐的 结构特征是韵律的和递归的，即旋律和节奏。 Lemke（1998）对书面科学语篇中的图形和图 表的分析表明呈现意义和组织意义要比取向意 义更前景化，并显示出明显的多样化。 Martinec（2001; 2004）认为在动作模态中经 验功能占主导地位。
近年来的多模态研究主要有四种视角：交互社 会学的视角、认知的视角、语体学的视角和功 能符号学视角。从交互社会学的视角，学者应 用交互社会学理论研究即席话语和公共场所中 的多模态，关注人们如何在交际时采用不同模 态构建他们所处的情景和身份。其出发点不是 语篇而是人们的行为，主要代表人物有 Scollon和Norris等。
更多的学者关注多模态话语中各模态之间的关系和语 法整合。Lemke（1998，2000）从理论上解释了模 态之间的语义扩展。他认为，语言和其他模态共同进 化使我们拥有构建范畴意义和程度意义的两种不同方 式。语言擅长范畴意义的构建，而动态动作和视觉图 像更容易表达程度意义。Lemke（2000）认为，多模 态语篇中的模态混合必然导致语义的扩展，从而产生 新的解释空间。例如，数学语篇混合使用语言、视觉 图像和数学符号构建的世界远远超越了语言所能构建 的世界，从而产生新的解释空间。
人们通常认为现代符号学研究始于Saussure和 Peirce。Saussure（1916）认为符号学属于 社会心理学，主要研究符号的构成及其支配规 律。他认为语言学是符号学的一个组成部分。 符号包括能指和所指两方面组成。符号同符号 之间的区别构成符号系统，用于实现交际目的。 Peirce（1958）则认为符号由三方面组成：表 征、对象和解释。他重点区分了三种符号：图 像符号、指示符号和象征符号。
研究的视角也呈多样化，包括了交互社会学的 视角、认知的视角、语体学的视角和功能符号 学视角。多模态语篇分析考察了教材、故事书、 文学作品、广告、互联网、影视、音乐等等的 多模态特征，涉及了图像、色彩、图表、声音、 文字等多种模态或模态组合。这些研究还注意 到了多模态语篇的社会作用和功能，考虑到了 话语社区、媒体以及话语的理解和阐释等。另 外，我们也看到了系统功能语言学理论在多模 态研究中的重要作用。
Lemke（2002）提出超模态（hypermodality）的概 念，指超媒体（如网络）中的语言、图像和声音等体 现的意义的互动。超模态不同于多模态，前者不仅是 具有超链接的语篇，也不仅仅是图像、文字和声音的 并置，而且还有它们之间的多种隐性或者显性的联系。 Lemke 认为，两个网页之间存在着交换关系、取向关 系和呈现关系。此外，颜色在空间分布上的差异也体 现出不同的突显模式。Djonov（2006）也分析了儿 童网站上最常见的逻辑-语义关系及其超链接对使用 者的导航作用。
语体学视角关注的语体特征与多模态的关系。 Lanham（1983；2003）注意到受计算机技术 的影响，“散文”的概念已发生了变化：从书 面到电子、从静态到动态、从无声到有声等。 他认为散文分析应该包括传统的书面散文和现 代的多媒体散文，并指出计算机给文本写作提 供了动态的三维空间。因此，我们需要一种描 写这种三维文本的语法，特别是描写文字同声 音和图像的关系。 线性阅读和图像式阅读相辅相成，互为补充。
早期的功能符号学多模态研究关注用Halliday的系统 功能语法来分析语言之外的某种模态，如O’Toole （1994）对油画、建筑和雕塑的分析，Kress & van Leeuwen对图像的分析。20世纪90年代末以来，系统 功能符号学者开始关注多模态话语中模态间的分工与 整合。 O’Halloran（2007; 2008）称之为系统功能的多模态 话语分析（Systemic Functional Multimodal Discourse Analysis，简称SF-MDA）。 SF-MDA主 要研究符号资源的意义潜势在不同层面（语境、语篇 语义、词汇语法、语音、书写/图形）的体现和多模态 话语中符号选择的意义整合。
多模态研究关注的一个重点是教育，尤其是多模态读 写（multiliteracy）。胡壮麟（2007: 7）将多模态读 写解释为具有能阅读所能接触到的各种媒体和模态的 信息，并能循此产生相应的材料，如阅读互联网或互 动的多媒体。传统方式的读写在多媒体时代已不够用。 教室中不断增加的多媒体设备已使教育多模态化。多 模态的发展使传统的文字读写向多模态读写转变，教 学方法、教材编写和学习任务等也相应发生了变化。 Duncum（2004）认为多模态读写涉及不同媒介的互 动来构建意义。
从认知的视角，学者们关心的是概念化理论如 何指导交际者选择不同的模态或模态组合进行 连贯的交际。他们侧重研究理想的认知模式中 源和目标如何同时以一种以上的模态表征。其 主要代表人物有Forceville和Holsanova等人， 其主要代表作品有Pictorial Metaphor in Advertising（Forceville 1996）等。此外， Stöckl（2004）也做了相关的研究，认为不同 模态在符号属性、认知取向和语义潜势上体现 出区别性特征。
多模态语篇分析
当今，人们在交际过程中经常同时使用多种符号工具 来表达意义或创造信息。多模态（multimodality）也 称多符号（multi-semiotic），指包括口语、书面语、 图像、图表、空间以及其他可以用来构建意义的各种 符号资源。随着现代技术的发展，人们使用的交际模 态和交际媒体都发生了很大的变化。多模态话语冲击 了传统上文字在交际领域中的中心地位。在许多情况 下，语言与其它符号资源各有所长，一起构建意义。 各种Peirce的影响，主要的符号学研究都在 寻求能够适用于所有符号的理论框架。根据Hervey （1982）的观察，Morris将符号学分为研究符号与存 在之间关系的语义学，符号与人的创造性使用的语用 学以及符号与符号之间关系的语形学。Barthes把符 号视作一种社会文化意识形态，将符号学的研究范围 扩展到整个社会，包括文学、语言、图片、电影、烹 饪和衣着等。学者们应用符号学的理论对交通信号系 统、罗马数字系统、语表意文字、文学作品、电影、 广告作了分析。
功能符号学的视角运用系统功能语言学理论， 分析包括语言之内不同模态的意义构建模式。 在多模态话语的研究上，这一视角的研究成果 最多，成为多模态研究的主要力量。其代表人 物包括Kress，van Leeuwen，O’Toole， Lemke，O’Halloran，Baldry，Thibault， Bateman和Martinec等。功能符号学的多模态 分析理论基础主要来自Halliday（1978）的语 言是社会符号的观点。
符号属性指模态的内在结构和使用者惯常使用 该模态构建意义的方式。图像对世界的表征手 段是象似性，是对现实世界的直接模拟，而语 言则是象征性的。 语言是线性结构，在认知取向上要求把线性的 符号组织成短语，短语组织成句子等。图像则 基于整体的完形感知（gestalt-perception）。 因此，与语言相比，图像是更快捷的意义构建 模式。心理学实验表明，图像比语言更容易吸 引读者的注意力，更容易记忆。
多模态语篇中模态间的研究大致有三类。一类 是研究多模态语篇中不同部分之间的关系；另 一类是研究由不同模态体现的语篇之间的关系， 比如图像语篇和语言语篇之间的关系，语言、 数学符号和图像之间的关系，态势与口语的协 作以及图像，语言和声音的协作。第三类是研 究多模态语篇中不同模态之间的关系。目前大 致有三种观点：意义关系，成分衔接和符号隐 喻。
一些学者运用系统功能语言学理论研究语言之 外的某种模态，较早的两部专著是Kress与 Van Leeuwen合著的Reading Images: The Grammar of Visual Design (1990/1996/2006） 和O’Toole的Language of Displayed Art （1994）。两者都致力于视觉语法的构建：前 者关注图像，后者主要研究油画、雕塑和建筑。
随着现代科学技术的迅速发展，多模态语篇的 出现打破了传统概念上的语言或言语基础上的 理解。人们需要以新的角度审视现代社会中的 话语。Kress（2001: 80）甚至认为，不存在 所谓外在的语境，只有各种符号模式组成的整 体。学者们在近20年间对多模态现象进行了广 泛的研究，从理论上和实践上探索了多模态的 本质，涉及模态本身、模态之间的关系、多模 态语料库建设和软件开发以及多模态在教育中 的作用。
如今，我们生活在一个多模态的社会，使用各 种符号资源来完成意义表征和交际。正如 Kress（2001: 68）所提到的，在教材、报纸、 机构报告、电子媒介、网络等，图像正替代语 言成为主要的意义构建资源，或者与语言平分 秋色。在“视觉文化”的影响下，意义的构建 往往通过文化处所或实体来体现，视听动态图 像逐渐取代文本来传递信息。