张德禄-多模态话语分析理论与外语教学.ppt
张德禄-多模态话语分析理论与外语教学
2. 理论基础
多模态话语分析理论的基础是社会符号学
索绪尔：能指（signifier)----所指(signified)。只研究个体符号的特性； 只研究“Langue”，不研究“parole”。
皮尔斯发展了符号范畴：图标、索引和语符。他论述的媒介、对象、解 释三位一体的三角关系。
韩礼德提出了“语言是社会符号”的理论。社会符号学优先研究的是把
语言
多 模 态 话 语 媒 体 系 统
非语言
伴语言 纯语言 身体
非身体
音响 音调 字体 布局 声音 文字 动作（移动） 比拟 面容
肢体
工具
环境
表情 眼神 五官 手势 姿势 摇动 PPT 音响扩放 网络 实验室 同声传译室
（2） 静态与动态
Thibault(2004)对符号资源的研究比较具体。他从身体动 力学的研究区分动态的和静态的:
根据新伦敦小组(New London Group 2000)的观点，任 何制造意义的过程基本上都是设计行为。一般有三个部分:
第一,已有资源：根据“可利用的设计”，择取某些符号资 源和常规，如话语形式、语类和方言。
第二,设计过程,：包括将符号资源转变成自己的声音，将老 材料作新用途等。根据这一观点，读和听、写和说是进行 设计的实例，因为每个人都可利用可利用的设计来产生意 义，根据各自的兴趣和个人经验，将所读到和听到的材料 转化成意义。
设计者根据符号特殊的修辞目的，用尽各种手段来劝诱那些有 机遇接触该信息的人们。页面/网址的设计者不再是权威性语 篇的“作者”，但他是材料的提供者，按照想象中读者的所谓 特点进行安排。
设计者的作用是将材料集中，加工为访问者可提取的“信息”。 屏幕设计要考虑访问者的兴趣。对访问者来说,“信息是个体选
张德禄中国海洋大学外国语学院
图一：李姆的综合性多符号模式（Lim, 2004）
媒介与物质
语言 印刷术 词汇语法
话语意义
视觉图形
图形学 表达层面
整合空间
视觉语法
内容层面
话语意义
语域
体裁
语境层面
意识形态
6
这个框架是对语言与图像所形成的多模态话语的分析 框架，还不是一个对所有模态都适用的框架。但其基 本思路是正确的：
第一，他的层次的思想是正确的 第二，不同的模态涉及由不同的媒体来体现 第三，不同的模态需要整合在一起
了便利条件，可以提供图像、录像、声音，作为学习的实 际环境。利用从真实交际场合中得到的录像材料作为： （1）学习材料，让学生了解和认识真实语境的实际情 况，使获得的语境知识更加具体； （2）背景信息，让学生与录像中的交际者在录像提供 的语境中进行交际。 发展现代多媒体技术的一个最基本的理念是多模态交际可 以使受话人通过多通道获得信息，比单模态话语更容易使 受话者理解和记忆。 如 PPT: 文字、语音、图形、图像、录像：视觉和听觉
在这个框架中，语言和图画作为交际模态共有意识形态、体裁、语域 和话语意义四个层面。
在内容层面，图画具有视觉语法，而语言则有词汇语法； 在表达层面，语言由印刷符号体现；图形由图形符号体现。 在这里最主要的研究领域是把两者在内容层面和表达层面整合为一体，
特别是在内容层面研究的任务最重。
5
这样从两种模态的关系上讲，听觉是主模态，主导交际的 进程；而视觉模态则对听觉模态起主要两个作用：强化和 补充。
19
6.3 模态选择的原则
总体原则：充分利用现代媒体技术，最大限度地充分表 达讲话者的意义，取得最佳效果，为更好地利用现代技 术提供一个合适的理论框架。
张德禄 多模态
As we still don’t know how the lexical grammatical systems of other modes work, we dream of being able to describe them the same as we describe the lexicogrammatical system of language. As a result, we now mainly look at the lexicogrammatical system of other modes in a top-down way, that is, we first discuss their semantic system, the meaning they realize, and then see how they realize the meanings, so that we get a comparable lexicogrammatical system like that of language. Here we can say that the research on multimodal grammar is still in its infantile stage.
Along with the development of modern technology, more and more multimedia technologies have been employed in the classroom teaching. Thus, the multimodality of the classroom discourse becomes the main area of research. The classroom teaching is mainly accomplished by more than one mode, such as space, gestures, gaze, posture, motion, sound, tone of voice, music, three-dimension objects, oral, written, image, tables, diagrams, pictures, etc. (Jewitt, 2009:14） Each of them becomes an independent mode of communication.
张德禄多模态话语分析pdf
张德禄多模态话语分析pdf1 张德禄多模态话语分析简介张德禄多模态话语分析(ZDLMT)是一种语言识别技术，由张德禄（2006）提出，是一种交叉领域的分析方法，由语音识别，语音分析，和语言分析组成。
它主要用于理解多模态话语中的信息内容，包括文本，语音，电影，图像，和视频内容。
ZDLMT分析技术可以帮助识别出跨不同模态特征的"细微"变化，从而达到更准确的分析结果。
2 张德禄多模态话语分析方法张德禄多模态话语分析主要包括以下几个步骤：（一）信息收集：采用多模态信息采集技术，从多源信息中收集需要分析的话语。
（二）特征提取：从每一种模态中提取信息，如文本中的关键词、语音特征等，并将模态特征存储在一起，形成模态特征空间。
（三）话语分析：利用聚类，分类，标记和关联技术，对多模态特征空间中的信息进行分析，得出话语中内容的概要。
（四）结果演示：将话语的内容等汇总成图文的可读格式，以便于用户更好的理解和解释分析结果。
3 张德禄多模态话语分析的应用张德禄多模态话语分析的应用非常广泛，它可以广泛应用于国家安全、商业营销、教学训练、社交分析、情绪分析和疾病检测等多个领域中。
其中，在国家安全领域中，可以使用ZDLMT分析技术来快速定位和识别可疑文本、语音或图像信息，为社会安全提供可靠的技术支撑。
在商业营销领域中，ZDLMT分析技术可以帮助企业更好地理解和把握营销活动中用户的意向，从而实现有效的营销策略。
在教学训练领域中，可以分析学生在训练中做出的正确和错误回答，并对其进行更加准确的分析，从而及时发现和纠正学生错误回答的方式和原因。
4 结论总之，张德禄多模态话语分析技术是一种多功能、高效的分析技术，可以帮助人们更好地理解多模态的话语内容，并将它们分析结果汇总成可读格式，从而实现各种应用场景中的实施精准、实时监控、安全应急管理等许多功能。
张德禄多模态话语分析框架
张德禄多模态话语分析框架
张德禄多模态话语分析框架一种新的分析框架，是由张德禄在20世纪80年代提出的。
它依据科学研究结果及其应用，用来理解有关感觉、思维、语言和行为之间的关系。
这个框架由三个关键概念组成：
多模态话语，多模态认知过程和多模态行为分析。
模态话语定义为双向的有意义的交流，它是一种将内容与情感相
结合的语言，使当事人能够互相交流情感和心理状态。
在模态话语中，人们不仅能够交流内容，还可以通过调整语气和强度来传达情感。
多模态认知过程是指人们在模态话语中进行认知活动，以理解和
表达感受、想法和意图。
通过认知和表达，人们可以构建一种共同的
理解，从而形成一些共同的行为进程。
最后，多模态行为分析指的是人们在模态话语的情境中表现出的
具体行为。
通过分析这些行为，研究者可以更好地理解当事人的情况，并分析行为可能的原因，从而给出更有效的干预建议。
张德禄多模态话语分析框架的出现，为研究者提供了一种探索情
绪心理和行为特征的新工具。
它既可以用于实用咨询，也可以用于研究，丰富了当代心理学研究的工具，并有助于更好地理解和分析人类
的行为特征。
张德禄中国海洋大学外国语学院
第三，有挑战性的环境，或对抗的环境，或者幽默的环境， 可以激发人们参与的热情，如提供一些有一定难度的破解题 ，谜题；描述一个对抗的语境；或者提供一项交际任务等。
第一，他的层次的思想是正确的 第二，不同的模态涉及由不同的媒体来体现 第三，不同的模态需要整合在一起
据此，我们根据韩礼德的系统功能语言学理论，和我 们以上研究的结果，提出了如下的理论框架（见图 二）。
7
图二：多模态话语分析综合框架
文化层面
文化语境
意识形态 体裁
语境层面
情景语境
话语范围 话语基调 话语方式
2. 强化，一种模态表达整体意义，另一种来突出部分意 义，例如：（重音、黑体、前景图像、彩色等）
目的：使重点意义突出。
27
3. 吸引注意力，一种模态表达基本的意义，另一种来更 加具体和形象地重现这种意义；例如，用文字标出某个 动物或者植物的名称，用图像把这种动物或者植物的典 型形式表现出来；用语言艺术、图像、动作来幽默的表 达意义，吸引听话者的注意力等；
25
6.3.4 多模态选择的目标 从经济的角度讲，使用单模态要比用多模态要简单、省
力，所以使用多模态进行交际必然要有一定的理由，组 成这些理由的最主要因素是使用多模态的所要取得的效 果或者目标；形成多模态选择的动因可以总结为一下几 个方面：
26
1. 补缺，一种模态不足以表达意义，或不能使听话者理 解意义，用另一种来补充剩余的意义，即一种模态只能 体现要表达的部分意义，另一部分需要通过另一种模态 来体现，例如：在较远的距离内或者噪杂的环境中喊叫 某个人时同时打手势；在幽默图画中只提供语境依赖性 强的书面话语，或者在录像中提供同类口头话语。图画 没有文字则不能把整体意义表达出来；同样录像没有口 头话语也会使看者一头雾水。
多模态话语分析理论在英语教学中的应用研究
多模态话语分析理论在英语教学中的应用研究作者：申琴来源：《成才之路》 2018年第8期时代的发展和进步，要求教学模式也要与时俱进。
对于英语教学来说，传统的教学模式由于方式单一、内容枯燥，其教学效果难以达到预期目标。
如今，英语能力已成为评价学生综合素质的重要指标。
为进一步提升英语教学质量，相关教育者对此展开了大量理论研究和实践探索。
其中，多模态话语分析理论在英语教学中的应用，成为大家关注的焦点。
多模态话语分析理论在英语教学中的应用和发展，对提升英语教学水平具有重要的作用。
一、多模态话语分析理论的介绍张德禄认为，“多模态话语分析指运用听觉、视觉、触觉等多种感觉, 通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象。
”教师在课堂上使用PPT进行辅助教学，就属于常见的多模态教学，因为PPT包含图片、动画、声音等模态类型，能调动学生的视觉和听觉。
而且，教师在讲解PPT的过程中，还会调动触觉。
多模态话语分析理论的提出，顺应了社会发展的需要。
对于牛津版初中英语教学而言，该理论的应用能够优化教学环境，营造良好的课堂氛围。
所以，很多英语教师非常重视应用多模态话语分析理论，以更好地满足学生的学习需求，提升教学效果和教学质量。
二、运用多模态教学的优势和作用其一，能够弥补单模态教学的不足。
即某一种模态的使用可以弥补另一种模态意义表达的不足，如语言表述不尽意时可以通过肢体语言来补充，在图画教学中可以添加与语境相关的书面话语等。
其二，能强化课堂教学内容。
可以用另一种模态突出部分意义，如口语加重音、书写加黑体或下划线、理论性强的授课部分用PPT画面等。
其三，能吸引学生的注意力。
运用语言艺术、简笔画艺术或动作等表达意义，可以吸引学生的注意力。
其四，能抒发情感。
一种模态无法充分抒发应有的情感时，可运用另一种模态进行强化，如用照片再现场景、用恰当的语调和语气渲染课堂气氛等。
其五，能加深学生对教学材料的理解。
纯文本往往不能完全说明比较抽象、概括、偏僻、难度大的概念，如教材中的环保概念，而加入形象的图形、通俗易懂的表格则可以帮助学生理解。
多模态性外语教材编写原则探索_张德禄
多模态性外语教材编写原则探索*张德禄1 张淑杰2提要:本文重点探讨具有多模态特点的外语教材的编写原则。
首先,文章对以往有关外语教材编写原则的研究成果进行了综述,包括普通外语教材的编写原则和具有多模态特点的外语教材的编写原则。
其次,文章论述了外语教材编写的制约因素,包括培养目标、培养环境、教学条件和教材的体裁结构等,提出了语境支配下外语教材编写的基本原则。
第三,文章阐述了多模态性外语教材的基本特点,提出了多模态性外语教材的类型:纸质教材、电子教材和演示教材。
第四,文章初步探讨了三种多模态性外语教材的宏观编写原则和具体编写原则。
最后,文章提出了本研究的局限性和将来的研究方向。
关键词:编写原则;多模态性教材;电子教材;演示教材Abstrac t:T his paper ism a i n l y intended to investi ga te the co m pil a ti on pri nc i ples of fore i gn l anguag e tex t books w ith mu lti m oda l characteristi cs.F irstly,t he paper rev i ew s t he prev i ous stud i es on the comp ilati on pri nc i ples o f fore i gn language tex t books,i ncl uding those o f o rd i nary fo re i gn language textbooks and t hose of fo re i gn language textbooks w ith mu lti m oda l characteristi cs.Second l y,it i dentifi es the constra i n i ng factors i n foreign l anguage tex t book com pilation, such as t he goa l and the env iron m en t o f teach i ng,teach i ng cond iti ons,and t he g enre struc t ure o f foreign l anguag e tex tbooks,and proposes t he bas i c co m pil a tion princ i p l es o f fo re i gn language tex t books under the constra i nts o f the contextual factors.T h i rdly,it expounds t he gene ra l character i stics of m ulti m oda l fore i gn l anguage tex tbooks,and d i v i des them i nto three types:pri n ted,e lectron ic and presenta ti ona l textbooks.F ourthly,it e laborates on the m acro-pr i nciples,t he m icro-pri nc i ples o r t he concrete pr i nciples of comp ili ng m ulti m oda l fore i gn l anguage tex tbooks.F i na lly,t he paper sho w s the li m ita ti ons of the present st udy and the prospect for f urther i nvestigati on i n m ulti m oda l fore i gn language tex tbook comp ilati on.K ey word s:com pilation princ i p l e;m ulti m oda l tex t book;electronic tex t book;presentati ona l tex tbook中图分类号:H319 文献标识码:A 文章编号:1004-5112(2010)05-0026-081.引言教材编写是一个十分复杂的过程,不仅涉及学生学什么以及在什么阶段学,还涉及如何使其符合学习规律,如何使学生容易学、喜欢学、乐意学等问题。
多模态话语分析讲稿ppt课件
• 情态是指某种图画表达手段的使用程度，如色彩、色调、深度和再现细节等。 • 社会距离：图像参与者与图像观看者之间的亲疏关系。亲近距离: 只看得到脸部或头
部; 个人近距离: 头部和肩部; 个人远距离: 腰部以上; 社会近距离: 整个人;社会 远距离: 整个人并且周围有空间环绕; 公共距离: 至少有4－5个人的距离
3.构图意义：信息值、取景和显著性
• 信息值是通过元素在构图中的放置位置来实现的 ,在Kress ＆ VanLeeuwen( 1996) 看来，放置在左边的信息是已知信息，放 在右边的是新信息; 放置在中间的图像具有核心信息提供者的 功能，而放置在边缘上的信息则起着辅助核心信息的功能。
• 多模态话语分析的研究主要分布在二维平面的图文关系多模态 研究、影视作品的多模态分析研究、三维空间的多模态话语分 析研究、电子语篇中的图文关系多模态研究、多模态语口语语 料库问题研究、教学领域中的多模态应用研究等方面（何山 燕）。
在传播学
• 目前，多模态话语分析在传播学的应用，主要集中于对视觉、 听觉符号的意义解读。
多模态话语理论与媒体技术在外语教学中的应用_张德禄
2009年7月第30卷第4期 外语教学F oreign L anguage Educa tionJuly.2009Vol.30No.4多模态话语理论与媒体技术在外语教学中的应用张德禄(中国海洋大学外国语学院山东青岛266071)摘 要:本文重点探讨用系统功能语言学理论为多模态话语分析和研究提供理论框架,并根据这个框架为现代媒体技术条件下的外语教学实践提供选择有效教学过程和实践的指导。
在现代技术条件下,在多模态话语交际框架下,对模态的选择可以从三个角度进行:1)为外语教学提供教学情景和便利条件;2)为外语教学提供辅助条件;3)为多模态话语交际提供多通道话语意义表达方式,提高教学效率。
对于一定的话语以什么模态和媒体表达最为有效,是需要进一步认真研究的课题。
关键词:多模态话语;多媒体;现代媒体技术;选择中图分类号:H030 文献标识码:A 文章编号:100025544(2009)0420015206Abstract:I n the p resent article,we mainly try t o devel op a theoretical fra me work f or multi m odal discourse analysis and re2 search with the theory of syste m ic functi onal linguistics,and p r ovide guidance for the choice of effective p r ocedures and p rac2 tice in f oreign language teaching under the conditi on of modern media technol ogy.I n this case,the choice of modes and media in a multi m odal discourse communicati on in a f oreign language teaching setting can be made fr om the f oll owing three pers pec2 tives:1)it should be able t o p r ovide ne w teaching envir on ments and facile conditi ons;2)it should be able t o p r ovide supp le2 mentary or enabling conditi ons;3)it should be able t o p r ovide multi2channels f or meaning2making in a multi m odal discourse communicati on,and enhance teaching efficiency.A s f or what type of discourse can be best p resented with what type of modes or media,it re mains a t op ic f or further research.Key words:multi m odal discourse;multi2media;modern media technol ogy;choice1.引言在话语交际中,话语的一大部分意义是由非语言因素体现的,如伴语言特征,如音响度、声调、语调、音速等,身体特征,如手势、身势、面部表情、动作、移动等,和非身体特征,如PPT、音响设备、网络、实验室、周围的环境因素等。
多模态话语分析综合理论框架探索_张德禄
语言
布局
多 模
纯语言
声音 文字
态
话
动作(移动)
语
比拟
媒
表情
体
身体
面容
眼神
系
五官
统
手势
肢体
姿势
非语言
摇动 PPT
音响扩放
工具
网络
非身体
实验室 同声传译室
环境
图 1 多模态话语媒体系统
25
2009年1月 第6卷 第1期 （总第27期）
中国外语
F
L
C
Jan. 2009 Vol.6 No.1 (General Serial No.27)
3 多模态话语的媒体系统
3.1 语言媒体 从传统的语言学研究的角度讲，实现意 义传播的媒体形式主要有两种：声波传导的声 音符号和由笔等生成的书写符号。这两种媒体 是语言传播信息的主要媒介。但随着信息技术 的不断发展，其他技术开始用于语言信息的传 播，如计算机文字输入、计算机语音识别等， 但最后的传播媒体仍然是声音或者字符。 伴随语言的媒体形式对语言意义的传递起 到辅助、补充和强化的作用，包括音响、声音
非强化关系表示两种交际模态缺一不可， 互为补充的关系，特别是听觉和视觉的结合。 在非强化关系中，我们可以区分协调、联合和 交叉几种形式。在协调关系中，不同的模态共 同表达交际者的整体意义，缺乏任何一者将不 完整。例如，在播放录像画面时，同时播放声 音。图像和声音都是必需的，不然交际将难以 理解。这是一种典型的相互协调模式。在同一 种模态中，不同类型的媒体可以形成联合关 系，共同来体现意义。例如在录像这种多模态 话语形式中，与动画相匹配的声音与解说的声 音联合体现听觉所实现的意义。还有一种交叉 体现意义的现象，例如交际者可以在边工作、 边做事的同时，讲解他做的事情的经过和原 理、原因等，从而形成两种模态交叉体现整体 意义的现象。这样，非强化关系可以归结为协 调、联合和交叉。
多模态话语分析
朱永生(2007)研究 了多模态话语的理 论基础和研究方法。
顾曰国 （2006,2007） 提出从内容层 和媒介层两方 面来分析多模 态话语，并运 用自己的构建 的多模态分析 框架分析了北 外五十周年校 庆的庆典礼；
张德禄（2009）提 出一个多模态话语 分析综合理论框架， 模态选择的原则， 并对多模态话语理 论应用到外语教学 的实践进行了探索。
意义的表达是由多种模态符号来共同实现的， 在社会交往的过程中，所有的模态符号都是各 自独立又相互作用的，孤立地研究一种符号模 态不能解释话语的全部意义。
提出“多模态话语”（multimodal discourse）这个概念，他们将系统功能语 言学中的纯理功能思想拓宽到视觉模式，创 建了以“再现意义”“互动意义”和“构图 意义”为核心内容的分析视觉图像的语法框 架，奠定了多模态话语分析的理论基础和分 析方法。
主要代 表人物
Kress,van Leeuwen, Lemke，Jewitt O'Halloran,O'Toole,Ventola,Baldry,Thib ault,Socollon，顾曰国、韦琴红，李战子， 胡壮麟，张德禄，朱永生，叶起昌，成文， 田海龙等
主要研究成果
国外主要成果
国内主要成果
国外主要研究成果
Mode and Medium 模态（Mode）：同步 实现话语和交流类别 的符号资源，它可以 通过一种生产媒介来 实现。 媒介（Medium）：表 达信息的物理工具。
多模态话语分析理论介绍
20世纪90年代（西方）
语 分 析 批 评 话
社会符 号学
系统功 能语法
传统的语 话分析
批评性社会符号学
多模态话语分析理论介绍
多模态话语分析理论下的外语课堂教学设计
722018年34期总第422期ENGLISH ON CAMPUS多模态话语分析理论下的外语课堂教学设计文/祁雪多模态话语分析理论兴起于20世纪90年代，除了语言这种广泛用于社会交际中的模态之外，不同领域的专家学者也致力于探究诸如图像、声音、颜色、字体、手势等其他非语言社会符号资源。
多模态话语是指“运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象(张德禄，2009)”。
一、多模态话语分析理论研究概述目前，系统功能符号学、多模态互动分析及语料库语言学多模态话语分析是国外现阶段研究比较系统的，也在各自的领域取得了卓越的成就。
“系统功能符号学”常被称为“系统功能多模态话语分析”，Gunther Kress和 Theo Van Leeuwen为该研究的主要代表人物。
该理论体系以社会符号学与系统功能语言学理论为基础，认为对多模态话语的解读必须在一定的语境(文化语境和情景语境)中进行。
“多模态互动分析”将语言看做是一种社会行为，Scollon认为互动进程实际上就是一个共同参与的过程，因此话语分析不能只考虑语言因素自身，还要考虑语言在互动过程中所起的作用以及互动过程中出现的其他因素。
“语料库语言学多模态话语分析”以社会行为心理学、感知生态学理论和行为生态学理论为理论依据，并采用“面向对象的软件工程中的模型构造法(张佐成、陈瑜民，2011))”。
二、多模态话语分析综合理论在外语课堂教学的应用根据系统功能语言学理论，多模态的选择是由语境决定的。
文化语境指社会交际的文化背景，在外语教学中实现文化语境化有两种方式，一种是学习者完全按照目标语文化的交际方式来实现外国文化的学习，另外一种是Kramsch认为的“第三种文化”(Kramsh,1993)，即融合了本族文化和外国文化的一种新的交际方式。
显然，第二种文化语境是目前中国外语课堂普遍采用的方式。
张德禄认为，情境语境的三个变项(话语范围、话语基调及话语方式)“在外语教学中，分别表现为教学内容、师生资源和教学条件”。
多模态话语分析
Kress and Leeuwen, ( 1996; 1998)研究了模 态与媒体的关系,专门探 讨了多模态现象规则地 表达意义的现象,包括视 觉图象、颜色语法,以及 报纸的版面设计和不同 媒介的作用等;他们所构 建的分析视觉图像的语 法框架为多模态话语分 析提供了理论依据和分 析方法；
O’Toole(1 994)主要从 级阶的角度 来分析图象。
李战子( 2003) 对 Kress和 Van Leeuwen的多模 态话语的社会符 号学分析方法进 行了研究，指出 其对于加深认识 语言的社会符号 特点、对于多模 式话语的产生和 理解以及英语教 学都具有重要意 义。
胡壮麟(2006, 2007a, 2007b)从 理论和实践的角度 研究了多模态化和 意义的多模态构建。
• 多模态选择的目的：补缺，强化，吸引注意力，帮助理解
• 三个角度： • （1）为外语教学提供情景和便利条件 （2）为外语教学提供辅助条件 • （3）为多模态话语交际提供多通道话语意义表达方式， 提高教学效率。
未来的发展趋势
如何把各个学科的 研究成果融合起来 是将是多模态话语 分析今后必须面对 的问题。 跨学科交叉研究将 是多模态话语分析 未来的必然趋势。
朱永生(2007)研究 了多模态话语的理 论基础和研究方法。
顾曰国 （2006,2007） 提出从内容层 和媒介层两方 面来分析多模 态话语，并运 用自己的构建 的多模态分析 框架分析了北 外五十周年校 庆的庆典礼；
张德禄（2009）提 出一个多模态话语 分析综合理论框架， 模态选择的原则， 并对多模态话语理 论应用到外语教学 的实践进行了探索。
20世纪70年代后期：
话语分析 篇章语言学
批评话语分析 （研究话语表层形式与深 层社会结构和权势之间的 关系，以韩礼德的系统功 能语法为理论基础。）
最新图文连环画的多模态功能文体学分析 幻灯片1PPT课件
发话者 选择 意义
详述 逻辑 延伸
提升
补缺 表现 强化
叠加 内包
前景化 多模态 受话者 文体特
图1表示，发话者根据情景语境和交际目的选择要表达的意义； 所选择的意义可以由图像体现，同时也由文字意义体现，所 以就有了由图像体现的意义和由文字体现的意义；
由图像体现的意义由图像成分和图像语法体现；受意义的制 约，某些图像特征成为突出的特征，如处于前景中的人、事 物、特征等；文字亦如此，由文字体现的意义由词汇语法体 现，其中某些特征成为突出特征。
多模态概念就建立在表达和交际都以多种模态来实现为假 设的。这些模态都对意义做出同等的贡献，而不仅仅是通 过语言。
正如Norris所说，“所有的交际都是多模态的，并且多模态 ‘已渐渐远离了在交际中总是语言起中心作用的状况’，虽然 不可否认，通常是这样的（Norris, 2004: 3）。”
这样，探讨多模态语篇的文体就成为一种必然和当务之急。
详述关系则是指用两种符号系统对同一个意义进行详述 elaborate），两相呼应（Kress & Van Leeuwen 1996:16）。
Kress & Van Leeuwen(1996：17)则认为，图像本身就是"有其 独立的组织和结构的"，图像与文字文本之间的关系是关联性 的而绝非依赖性的。他们还提到，图像与文字两种交流模式 都对我们文化的建构起到了重要作用，但二者是以其各自独 特的方式、独立地完成这一过程的。
外语教学多模态选择框架探索_张德禄
*
“外语课堂教学多模态话语研究” （ 项目批准号： 08BYY030 ） 的部分成果。 本文是国家社科基金项目
· 39·
外语界 2013 年第 3 期（ 总第 156 期）
程的结果是课堂教学体裁的多模态语篇 。本节重点探讨这类多模态语篇的体裁结构特点以及 在多元读写能力培养框架下外语教学课堂体裁的结构潜势 。 2． 1 体裁理论 2003 ） ， 根据系统功能语言学的体裁理论 （ Martin 1992 ， 体裁是“讲话者作为文化成员参与 （ Martin 1984 ： 25 ） ， 的有步骤、 有目标、 有目的的活动 ” 因此体裁， 包括其图式结构 （ schematic structure） ， 是实现交际目的的主要表现形式 。 关于体裁研究， 还存在着一些有争议的议题， 如体裁是语言活动还是社会活动。 Ventola （ 1988 ： 545 ） 认为， 体裁成分有时是由非语言特征体现的 ， 如不考虑非语言特征的作用， 就无法 全面认识体裁成分和体裁结构。此外， 语言活动是社会活动的一部分， 两者通常交织在一起： 有的社会活动以语言活动为主， 有的以非语言活动为主， 有些用语言活动体现的体裁成分亦可 用非语言活动来体现， 反之亦然。体裁实际上是一种涉及语言活动的社会活动 。因此， 体裁是 一个社会符号层次的范畴， 而不仅仅是意义层次的范畴。 从这个意义上讲， 体裁是多模态的， 由语言和其他符号系统共同体现交际意义 、 实现交际目的。 教学也是一个达到教学目标的意 义实现过程。 2． 2 外语课堂教学的体裁结构 在外语教学中， 体裁概念出现在许多不同的层面。 教学使用的课文， 如会话、 记叙、 评论、 日记、 小说、 戏剧等都属于不同的体裁； 每个教学阶段采用的不同教学活动， 如角色扮演、 课堂 讨论、 布置和完成任务等也属于不同的体裁 ； 一堂课的教学过程可以说组成了一个体裁结构 （ 有时由两节课或更多节课组合而成 ） 。在这里， 我们把一堂课 （ 一节、 两节或更多节课 ） 看成 一个体裁结构。具体而言， 听力课、 听说课、 写作课、 阅读课、 综合课等都有自己的体裁结构， 表 现为不同的教学步骤、 教学目标、 教学手段和方法以及教学模态组合等 。 一般来讲， 一门课程有比较明确的知识体系和培养目标 ， 所以可以被视为一个超高级层面 而每个章节或每节课的教学都以一定的教学程序 的体裁。每门课程分为不同的章节或者课 ， 。 ， 但由于其所处的 和模式通过一定量的课时来完成 这样 各节课虽然都会表现出一定的模式 ， 教学阶段各不相同， 还是会表现出很大的差异。因此， 课程这个超高级体裁具有以章节和课为 标志的教学体裁结构。我们可以把课程中的章节或课称为课段， 把课程的体裁结构视为宏观 教学体裁结构。 实现课程体裁结构的具体教学过程还会因一个课段的长短而有所不同 。 在大学教学中， 3 节或者 4 节课组成。而每个课段， 一个课段一般由 2 节、 无论是 2 节或者 4 节课都具有相似 的教学程序， 所以可以把这类教学体裁结构视为标准教学体裁结构 。 张德禄（ 2010 ） 曾探讨了国家优秀课程大学英语综合课教学案例的体裁结构， 提出了由 7 个必要成分和 8 个可选成分组成的英语综合课体裁结构。 本研究共收集了 18 个课段的大学 英语教学录像， 分为综合英语教学部分和商务英语教学部分 。通过对课段录像的分析发现， 这 18 个课段中共有的必要成分是 7 个， 即［ 开始仪式^ 确定教学目标和任务^ 讲解课文· 组织活动 ^总结^ 布置作业^ 结束仪式 ］ 。“教学目标” “教学任务” 和 合为一体， 这使得讲解阶段更加简短， 教师能够把时间主要用于实际教学任务 。可选成分包括复习、 发言准备、 观看录像、 评价、 辅导 。 （ generic structure potential ） （ Halli等 综观所有课段的体裁结构及其所代表的体裁结构潜势 day ＆ Hasan 1985 ： 63 ） ， 其中有些比较固定的教学模式在课堂中反复出现 ， 构成了教学体裁结 构的主体。这些模式分别是： （ 1 ） 复习→讲解新内容 → 观看录像 → 问答； （ 2 ） 讲解新内容 → 实
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1.1 多模态话语分析研究
1.最早的研究者之一是R. Barthes，在他1977年发表的论文《图像的修 辞》（ Rhetoric of the image）中探讨了图像在表达意义上与语言的相 互作用。另外几个主要的研究者包括：
2. Kress， G. and van Leeuwen， T. (1996; 1998; 2001; 2002)研究了模态 与媒体的关系，专门探讨了多模态现象规则地表达意义的现象，包括 视觉图象、颜色的语法，以及报纸的版面设计和不同媒介的作用等。
在现代语言学研究中：被看作非语言特征和伴随语言特征； 一种语言的辅助表达系统，没有作为意义表达模态来研究。
多模态产生的原因： （1）是话语分析理论发展的一个历史阶段：人们发现话语
的意义很大一部分是由非语言特征实现的。
（2）人类话语越来越多模态化：多媒体和网络的产生促进 了多模态话语的研究；人类的交际过程需要听觉、视觉、 触觉并用；在一些领域，交际的主模态已经由语言转为图 像或其它模态，网页3 、电影、画展等。
3. O'Halloran， K. L. (1999a；1999b; 2000; 2003; 2004)不仅研究多模态的 理论建构，还专门研究了数学语篇中的多模态现象。
5. Royce， T. (1998a; 1998b; 2002)研究了不同符号在多模态话语中的互 补性，以及在第二语言课堂教学中多模态的协同性等。
9
Kress(2001)认为，所有的模态(视觉的、姿态的、动作的) ， 像语言一样，在社会使用过程中共同形成社会资源的模态 (Halliday 1985, Kress 1997) 。
传统上书写和口语的模态强调语言方面，而把其他资源，如 姿势、语音音律、注视、动作等看作是“副语言的”，不把 这些看作是能与语言同时作用的完整的符号资源。多模态话 语分析把它们提高到相同的层面。
皮尔斯发展了符号范畴：图标、索引和语符。他论述的媒介、对象、解 释三位一体的三角关系。
韩礼德提出了“语言是社会符号”的理论。社会符号学优先研究的是把
所指行为作为实例，并把社会的所指实践作为经常的、可重复的、可识
辨的类型。社会有意义的实践构成各种文化(社会符号系统) 。符号系统
是对这些实践的抽象(如从言语得到语言符号) 。
多模态话语分析 理论及在教学中的应用
张德禄 dlzh@
1
目录
1. 引言 2. 理论基础 3. 符号资源 4. 多模态设计 5. 多模态语法 6. 模态之间的关系 7. 模态选择及用途 8. 多模态读写 9. 问题与不足 10. 将来的研究
2
1.引言
多模态性在历史上没有受到人们的重视;
10
媒体资源的分类
（1） 语言与非语言
所谓习惯性的方法指可确认的符号架构( semiotic formations) ，是一个社团中的成员同时采用一些符号资源形 成的经常的、可重复的、可识别的、有意义的、文化的和历 史的特殊符号类型。如某一时期的文学语类是符号架构。同 样，建筑风格、房子类型、宗教仪式、特定节日、饮食、衣 着的特定样式都可以定义为可行动的有规律的范式，对社会 是有意义的实践的范式。
社会符号学把语言看作众多符号之一，各种符号系统都能够用 以社会交际，体现讲话者的意义。这样，交际就是多模态的了。
8
3.符号资源
符号系统实际上是符号资源( semiotic resource)系统，人们通 过可识别的、多半是习惯性的(有时是原创的)方法从这些资 源中选择，就可以进行有意义的活动(Lemke 1993) 。
还有其他许多研究者：Jewitt 2008；New London Group (1996)；Lemke, J. (2002)；Bednarek & Martin （2010）。
4
1.2 模态与媒体（Mode vs medium）
模态（modality）来自于mode/model(方式、模式），表示可 对比和对立的符号系统；
Saussure → Langue
Pierce
Parole ← Hall和应用符号学，它与话语 分析、多媒体分析、教育研究、文化人类学、政治社会学有更 紧密的关系。
再者，它也回答了索绪尔符号学所难以摆脱的一个悖论：这个 理论一方面把语言看作是静态的不变的，另一方面又不得不承 认“所指的变化导致概念的变化”，“思想可能被迫接受符号 的物质状态给它提供的特殊方式” (Lemke 2005) 。这说明语言 结构底层的常规是不固定的，而是受到实际言语的影响。 (Beaugrande 1991: 2 - 27)。
多模态话语：运用听觉、视觉、触觉等多种感觉，通过语言、 图像、声音、动作等多种手段和符号资源进行交际的现象。
6
2. 理论基础
多模态话语分析理论的基础是社会符号学
索绪尔：能指（signifier)----所指(signified)。只研究个体符号的特性；只 研究“Langue”，不研究“parole”。
5
1.3 单模态 (monomodality) vs 多模态 (multimodality
单模态是只通过一种模态进行交际活动的现象，如说话、听 录音、读书。前者为通过听觉模态；后者为通过视觉模态。
多模态表达可以分解为同时表达意义的两个或两个以上的单 模态(Bernsen 2002) 。我们每天在看报纸、杂志、广告、招 贴画、故事书、教科书、活页文选、百科全书、说明书、计 算机界面时，甚至在我们相互交往时都离不开多模态。我们 谈话时手舞足蹈，有声有色，也意味着使用了多模态。
媒体是符号分布印迹的物质手段，如产生语篇采用印刷的或 手写的手段，说话时发出的声音，身体的动作，或计算机显 示器上的光脉冲( Scollon & Levine 2004) 。
我们感受客观世界的视觉、听觉、触觉、味觉、嗅觉是不同 的感知模态，但眼、耳、手、舌、鼻则是媒体。
这样，模态是用某种媒体表达信息的特殊方式。媒体是表达 信息的物理工具。