多模态话语分析

Kress and Leeuwen, ( 1996; 1998)研究了模 态与媒体的关系,专门探 讨了多模态现象规则地 表达意义的现象,包括视 觉图象、颜色语法,以及 报纸的版面设计和不同 媒介的作用等;他们所构 建的分析视觉图像的语 法框架为多模态话语分 析提供了理论依据和分 析方法；
O’Toole(1 994)主要从 级阶的角度 来分析图象。
Mode and Medium 模态（Mode）：同步 实现话语和交流类别 的符号资源，它可以 通过一种生产媒介来 实现。 媒介（Medium）：表 达信息的物理工具。
多模态话语分析理论介绍
20世纪90年代（西方）
语 分 析 批 评 话
来自百度文库
社会符 号学
系统功 能语法
传统的语 话分析
批评性社会符号学
多模态话语分析理论介绍
多模态话语分析
内容提要
一、多模态话语分析及其历史发展 二、主要研究成果 三、未来的发展趋势 四、参考文献
多模态话语相关概念界定
多模态话语： 是一种融合了多种符 号模态进行交际的话 语。李战子（2003：5） 指出多模态话语为除 了文本之外，还带有 图像、图表等的复合 话语，或者说任何一 种以上的符号编码实 现意义的文本。
Lemke(199 8)探讨了科 学文章中图 表与文字的 关系；
Martinec&Sal way(2005)、 Len(2006)则 详细地探讨了 新旧媒体中的 图文二者关系。 二维平面中的 图文关系：
Kress&Leeuwen分析视觉图像的语法框架
再现 叙事 概念
行动、反应、言 语和心理 概念 分类、分析、象征
朱永生(2007)研究 了多模态话语的理 论基础和研究方法。
顾曰国 （2006,2007） 提出从内容层 和媒介层两方 面来分析多模 态话语，并运 用自己的构建 的多模态分析 框架分析了北 外五十周年校 庆的庆典礼；
张德禄（2009）提 出一个多模态话语 分析综合理论框架， 模态选择的原则， 并对多模态话语理 论应用到外语教学 的实践进行了探索。
韦琴红（2009） 在Kress和 Van Leeuwen的社会 符号学框架下的 视觉交流理论的 基础上，从图像、 情态、构图、颜 色、印刷版式等 视觉交流的和主 要方面研究了多 模态话语。
张德禄多模态话语分析综合理论框架
• 文化层面 文化语境 • 语境层面 情景语境 内 意义层面 话语意义 容 层 面 形式层面 形式及关系
Norris(2002,2004, 2006)在Scollon的 MDT理论基础上建 立了自己的多模态 分析框架，并利用 这个理论框架分析 了两个德国妇女的 身份构建过程以及 多人交际中关联的 产生；
Baldry,Thibault （2006）详尽的介绍 了多模态语篇的转写 和分析方法，包括语 言描述法、绘图法、 图文结合法、图片展 示法等，以及如何在 电子学习的环境下利 用多模态话语分析方 法来辅助教学。
MDT理论
MDT理论 （Mediated Discourse Theory） 介入性语篇分析 Scollon
交际社会 语言学
社会文化 心理学
跨文化 交际
语言人 类学
民俗方 法论
该理论试图把人们的社会行为和语篇有机地结合起 来研究以弥补以往的语篇分析理论忽略了行为而社 会学理论忽略了语篇的不足。
国内主要研究成果
意义的表达是由多种模态符号来共同实现的， 在社会交往的过程中，所有的模态符号都是各 自独立又相互作用的，孤立地研究一种符号模 态不能解释话语的全部意义。
提出“多模态话语”（multimodal discourse）这个概念，他们将系统功能语 言学中的纯理功能思想拓宽到视觉模式，创 建了以“再现意义”“互动意义”和“构图 意义”为核心内容的分析视觉图像的语法框 架，奠定了多模态话语分析的理论基础和分 析方法。
主要代 表人物
Kress,van Leeuwen, Lemke，Jewitt O'Halloran,O'Toole,Ventola,Baldry,Thib ault,Socollon，顾曰国、韦琴红，李战子， 胡壮麟，张德禄，朱永生，叶起昌，成文， 田海龙等
主要研究成果
国外主要成果
国内主要成果
国外主要研究成果
心理学
语言教学
传媒学
书刊 排版
多模态 话语分析
影视 戏剧
哲学
网站页 面设计 建筑 规划
法学
美学
理论基础
以社会符号学为视角，以韩礼德的系统功能语法为 理论基础，即语言是社会符号，除语言这外还有非 语言符号（绘画、雕刻、音乐、舞蹈等）这些非语 言符号与语言共同构建社会意义。
主要观点
图像、音乐、手势、动画、音调等非语言 符号在交流中也是意义生成的资源。
李战子( 2003) 对 Kress和 Van Leeuwen的多模 态话语的社会符 号学分析方法进 行了研究，指出 其对于加深认识 语言的社会符号 特点、对于多模 式话语的产生和 理解以及英语教 学都具有重要意 义。
胡壮麟(2006, 2007a, 2007b)从 理论和实践的角度 研究了多模态化和 意义的多模态构建。
互动
人际
接触、社会距离、态度
构图
组篇
信息价值、突出度、分格
O’Halloran, K. L.(1999a; 1999b; 2000; 2003; 2004)不 仅研究多模态的 理论建构,还专 门研究了数学语 篇中的多模态现 象，数学公式与 语言之间的转换。
Royce, T.(1998，Jewitt(2006)观察了 2002)探讨了广 教师使用互动白板 告中图像与文 （Interactive 字的关系，研 Whiteboards）时对 究了不同符号 节奏、多模态和互动 在多模态话语 性的资源分配，分析 中的互补性,以 了互动白板语篇设计 及在第二语言 和教学原则，探讨课 课堂教学中多 堂教学中多模态读写、 模态的协同性 教学方法和现代技术 等； 的关系；
意识形态 体裁 话语范围、话语基调、话语方式 概念意义 人际意义 谋篇意义 形式 关系 语言、图觉、 声觉、感觉 互补 非互补 伴语言 纯语言 身体、 非身体
• 表达层面
媒体
语言 非语言
外语教学中模态的选择
• 基本因素（1）教学内容所涉及的领域--话语范围 • （2）教学对象的情况，以及与授课者的关系--话语基调 • 教学条件和场所--话语的方式
• 多模态选择的目的：补缺，强化，吸引注意力，帮助理解
• 三个角度： • （1）为外语教学提供情景和便利条件 （2）为外语教学提供辅助条件 • （3）为多模态话语交际提供多通道话语意义表达方式， 提高教学效率。
未来的发展趋势
如何把各个学科的 研究成果融合起来 是将是多模态话语 分析今后必须面对 的问题。 跨学科交叉研究将 是多模态话语分析 未来的必然趋势。
Kress and van Leeuwen
多模态话语分析理论的历史发展 80年代后期： Kress &van Leeuwen开 始尝试包括对语调、音乐、 视觉图像、雕塑、绘画、 建筑的研究，自此“社会 符号学”成为一门独立的 学科，专门研究包括语言 在内的各种模态符号对交 际的作用，关注在社会情 境下所有的符号模态构建 意义的过程。
如何把多媒体和多 种模态结合起来进 行分析解读是多模 态话语分析将要解 决的问题。 把多媒体技术和多 种模态结合研究是 多模态话语分析的 必然趋势。
参考文献
• [1]Kay L. O’Halloran, Multimodal Analysis and Digital Technology • [2]Gu,Y. A multimodal text analysis of an anniversary ceremony in China,2006 • [3]Gu,Y. Multimodal text analysis: A corpus linguistic approach to situated discourse,2006 • [4]YINGEN XIONG AND FRANCIS QUEK,Hand Motion Gesture Frequency Properties and Multimodal Discourse Analysis • [5]Jaime Snyder, Applying multimodal discourse analysis to study image-enabled communication • [6]WeiQingHong, Studies on Multimodality and Multimodal Discourse in Visual Surroundings,2009
20世纪70年代后期：
话语分析 篇章语言学
批评话语分析 （研究话语表层形式与深 层社会结构和权势之间的 关系，以韩礼德的系统功 能语法为理论基础。）
2002年首届国际多模 态话语研讨会在奥地 利萨尔斯堡召开，并 出版会议论文集 Perspectives on Multimodality.以后 每隔两年举行一次。
2006年在意大利Pavia 召开的第三届多模态大 会，涵盖了身体符号学、 数字和因特网语类、多 媒体翻译、多模态文化 和教育、视觉艺术和电 影等七个主题。
2009年我国国内第一本 多模态话语专著《视觉 环境下的多模态化与多 模态话语研究》出版
本世纪初我国学者也开 始关注多模态话语，发 表论文内容涉及广告、 教学、建筑、影视等诸 多领域，