多模态话语分析的双重视角_社会符号观与概念隐喻观的连接与互补_张德禄
张德禄中国海洋大学外国语学院
图一：李姆的综合性多符号模式（Lim, 2004）
媒介与物质
语言 印刷术 词汇语法
话语意义
视觉图形
图形学 表达层面
整合空间
视觉语法
内容层面
话语意义
语域
体裁
语境层面
意识形态
6
这个框架是对语言与图像所形成的多模态话语的分析 框架，还不是一个对所有模态都适用的框架。但其基 本思路是正确的：
第一，他的层次的思想是正确的 第二，不同的模态涉及由不同的媒体来体现 第三，不同的模态需要整合在一起
了便利条件，可以提供图像、录像、声音，作为学习的实 际环境。利用从真实交际场合中得到的录像材料作为： （1）学习材料，让学生了解和认识真实语境的实际情 况，使获得的语境知识更加具体； （2）背景信息，让学生与录像中的交际者在录像提供 的语境中进行交际。 发展现代多媒体技术的一个最基本的理念是多模态交际可 以使受话人通过多通道获得信息，比单模态话语更容易使 受话者理解和记忆。 如 PPT: 文字、语音、图形、图像、录像：视觉和听觉
在这个框架中，语言和图画作为交际模态共有意识形态、体裁、语域 和话语意义四个层面。
在内容层面，图画具有视觉语法，而语言则有词汇语法； 在表达层面，语言由印刷符号体现；图形由图形符号体现。 在这里最主要的研究领域是把两者在内容层面和表达层面整合为一体，
特别是在内容层面研究的任务最重。
5
这样从两种模态的关系上讲，听觉是主模态，主导交际的 进程；而视觉模态则对听觉模态起主要两个作用：强化和 补充。
19
6.3 模态选择的原则
总体原则：充分利用现代媒体技术，最大限度地充分表 达讲话者的意义，取得最佳效果，为更好地利用现代技 术提供一个合适的理论框架。
张德禄多模态话语分析pdf
张德禄多模态话语分析pdf1 张德禄多模态话语分析简介张德禄多模态话语分析(ZDLMT)是一种语言识别技术，由张德禄（2006）提出，是一种交叉领域的分析方法，由语音识别，语音分析，和语言分析组成。
它主要用于理解多模态话语中的信息内容，包括文本，语音，电影，图像，和视频内容。
ZDLMT分析技术可以帮助识别出跨不同模态特征的"细微"变化，从而达到更准确的分析结果。
2 张德禄多模态话语分析方法张德禄多模态话语分析主要包括以下几个步骤：（一）信息收集：采用多模态信息采集技术，从多源信息中收集需要分析的话语。
（二）特征提取：从每一种模态中提取信息，如文本中的关键词、语音特征等，并将模态特征存储在一起，形成模态特征空间。
（三）话语分析：利用聚类，分类，标记和关联技术，对多模态特征空间中的信息进行分析，得出话语中内容的概要。
（四）结果演示：将话语的内容等汇总成图文的可读格式，以便于用户更好的理解和解释分析结果。
3 张德禄多模态话语分析的应用张德禄多模态话语分析的应用非常广泛，它可以广泛应用于国家安全、商业营销、教学训练、社交分析、情绪分析和疾病检测等多个领域中。
其中，在国家安全领域中，可以使用ZDLMT分析技术来快速定位和识别可疑文本、语音或图像信息，为社会安全提供可靠的技术支撑。
在商业营销领域中，ZDLMT分析技术可以帮助企业更好地理解和把握营销活动中用户的意向，从而实现有效的营销策略。
在教学训练领域中，可以分析学生在训练中做出的正确和错误回答，并对其进行更加准确的分析，从而及时发现和纠正学生错误回答的方式和原因。
4 结论总之，张德禄多模态话语分析技术是一种多功能、高效的分析技术，可以帮助人们更好地理解多模态的话语内容，并将它们分析结果汇总成可读格式，从而实现各种应用场景中的实施精准、实时监控、安全应急管理等许多功能。
张德禄中国海洋大学外国语学院
第三，有挑战性的环境，或对抗的环境，或者幽默的环境， 可以激发人们参与的热情，如提供一些有一定难度的破解题 ，谜题；描述一个对抗的语境；或者提供一项交际任务等。
第一，他的层次的思想是正确的 第二，不同的模态涉及由不同的媒体来体现 第三，不同的模态需要整合在一起
据此，我们根据韩礼德的系统功能语言学理论，和我 们以上研究的结果，提出了如下的理论框架（见图 二）。
7
图二：多模态话语分析综合框架
文化层面
文化语境
意识形态 体裁
语境层面
情景语境
话语范围 话语基调 话语方式
2. 强化，一种模态表达整体意义，另一种来突出部分意 义，例如：（重音、黑体、前景图像、彩色等）
目的：使重点意义突出。
27
3. 吸引注意力，一种模态表达基本的意义，另一种来更 加具体和形象地重现这种意义；例如，用文字标出某个 动物或者植物的名称，用图像把这种动物或者植物的典 型形式表现出来；用语言艺术、图像、动作来幽默的表 达意义，吸引听话者的注意力等；
25
6.3.4 多模态选择的目标 从经济的角度讲，使用单模态要比用多模态要简单、省
力，所以使用多模态进行交际必然要有一定的理由，组 成这些理由的最主要因素是使用多模态的所要取得的效 果或者目标；形成多模态选择的动因可以总结为一下几 个方面：
26
1. 补缺，一种模态不足以表达意义，或不能使听话者理 解意义，用另一种来补充剩余的意义，即一种模态只能 体现要表达的部分意义，另一部分需要通过另一种模态 来体现，例如：在较远的距离内或者噪杂的环境中喊叫 某个人时同时打手势；在幽默图画中只提供语境依赖性 强的书面话语，或者在录像中提供同类口头话语。图画 没有文字则不能把整体意义表达出来；同样录像没有口 头话语也会使看者一头雾水。
多模态话语的文化语境——社会符号学视角
多模 态 话 语 的文 化 语 境
社会符 号 学视 角
张德 禄
（ 同济 大 学 外 国 语 学 院 ， 上海 ２ ０ ０ ０ ９ ２ ） 摘 要 ： 文化 语 境 是 系统 功 能语 言 学 的 重要 概 念 之 一 ，表 示整 个语 言 的语 境 。社 会 符 号 学重 视 实践 ，强调 语 境在社会 交际 中的作 用，但却没有发展一种 系统 的多模 态话语 的语境概念 。在 系统功能语言 学的社会符号学和文 化研 究的基础上探讨 了文化语境 的基本研 究范围和主要组成部分 、社会符号 学的符号 系统 、社会符号 系统的机 构 性特 点、社会符号 系统 的类别及其与文化语境的关 系。研 究发 现 ，文化语境是 意义 系统 ，ｚ ｚ ￣ ／ － 部表现为社会 系统 ， 包括社会 结构 ，从 内部表现 为意识形 态，从 交际的角度表现为体裁 系统 ，由行动、语言等各种符号 系统实现。符 号 系统 可以是 两个层次 的简单 系统 ，也可 以是三个层次 的复杂 系统 。文化语境为每个符号 系统提供 了生存 和发展 的环境 。同时又由符号 系统共 同表现 。某个或 某组符号 系统通常是在一定的领域或机构 内被 激活 ，具有机 构性特
音 响 形 式和 概 念 之 间约 定 俗 成 的 联 系 ，即 语 言 （ １ ａ ｎ ｇ ｕ ｅ） 与言语 （ ｐ ａ ｒ ｏ ｌ ｅ ）这 对 术 语 中的 语 言 ，认 为 言语 不 值 得 研 究。 正如 Ｊ ｕ ｄ ｉ ｔ ｈ Ｉ ｒ ｖ ｉ ｎ ｅ所说 ： “ （ Ｓ ａ ｕ ｓ ｓ ｕ ｒ ｅ ） 最重要 的遗 产之一是其将符号从物质世界分 离出来的激进做 法。 ” （ Ｔ ｈ ｉ ｂ ａ ｕ ｌ ｔ ， １ ９ ９ １ ：３） 。社会符号 学所要解决的 问题是人们如何设计和解释意义和语篇 ，符号 系统如何被社会利益和意识形 态 所 塑造 ，以及如何顺应新的社会 变化。也就是说 ，社会 符号学是 与解释符号实践 （ 即言语 ）的变异性相 关的。这 新 的研 究重 点 突 出 了个 体 的 创 造 力 、 变化 的 历 史 环 境 以 及新 的社 会 身份 是 如 何 改 变符 号 的使 用和 设 计 的 （ Ｈ ｏ ｄ ｇ ｅ ＆Ｋ ｒ ｅ ｓ ｓ ，１ ９ ８ ８） 。从社会符号学的 角度来看 ，符号是可供人们使 用和设计 从而生成意义的资源。社会符号 学的主
多模态话语的文化语境——社会符号学视角
作者： 张德禄
作者机构： 同济大学外国语学院,上海200092
出版物刊名： 天津外国语大学学报
页码： 1-7页
年卷期： 2016年 第6期
主题词： 文化语境 社会符号 多模态话语 符号系统 机构性
摘要：文化语境是系统功能语言学的重要概念之一,表示整个语言的语境。
社会符号学重视实践,强调语境在社会交际中的作用,但却没有发展一种系统的多模态话语的语境概念。
在系统功能语言学的社会符号学和文化研究的基础上探讨了文化语境的基本研究范围和主要组成部分、社会符号学的符号系统、社会符号系统的机构性特点、社会符号系统的类别及其与文化语境的关系。
研究发现,文化语境是意义系统,从外部表现为社会系统,包括社会结构,从内部表现为意识形态,从交际的角度表现为体裁系统,由行动、语言等各种符号系统实现。
符号系统可以是两个层次的简单系统,也可以是三个层次的复杂系统。
文化语境为每个符号系统提供了生存和发展的环境,同时又由符号系统共同表现。
某个或某组符号系统通常是在一定的领域或机构内被激活,具有机构性特点,在社会交际中产生多模态话语。
新闻漫画中的多模态隐喻
《长江丛刊·理论研究》2017.01新闻漫画中的多模态隐喻路 慧【摘 要】科学信息技术的飞速发展和更新使交际手段和形式更快方便、快捷、和视觉化，关于隐喻的研究不再局限于语言层面，更多的关注多模态的表现形式，将视觉和听觉等多种模态结合起来，探索多模态隐喻的本质。
本文以多模态隐喻理论为基础，结合政治漫画文字与图画相结合的特点，尝试分析政治漫画中的隐、转喻现象，进一步说明多模态隐喻形成过程中，源域的选择及其与目标域之间的密切联系。
【关键词】漫画 多模态 隐喻一、前言随着新的信息技术的迅速发展，“视觉化”时代开始影响着信息的传播。
在进行话语分析时，仅集中在文字意义的阐释已不能满足对话语意义的理解和表达。
本文主要从多模态角度出发，首先对政治漫画的语篇特征进行说明，然后分析新闻类政治漫画中出现的隐喻和转喻现象，对意义的形成进行详细解读，并且指出源域的选择及其文化内涵，对目标域意义的形成和多模态隐喻意义的形成具有重要的作用。
二、多模态的发展在对多模态隐喻研究之前，必须对“模态”和“多模态隐喻”进行说明，对于“模态”的定义不同学者有不同观点，Forceville（2009）把“模态”定义为“利用具体的感知过程可阐释的符号系统”，他的定义把模态和人的5个感官联系在一起。
在多模态理论发展方面的代表人物Kress&Leeuwen认为，“多模态指的是运用几种符号学模态或者使用多个符号学模态来加强一种意义的传达，或者发挥补充功能”（Kress&Leeuwen 2001: 20）。
在多模态语篇中，读者需要运用多种感官理解多种模态的符号，然后通过不同的感官模式理解的信息，不同模态之间会进行积极互动，从而形成某种意义作为文字文本的一部分等。
多模态语篇指运用听觉和视觉等多种感官，并且通过声音、图像、语言、动作等多种符号资源进行意义传达的现象（张德禄2013）。
三、隐喻研究的多模态转向隐喻最早由亚里士多德提出，他将隐喻看作一种修辞方式，之后也有许多学者都专注以修辞为研究方向对隐喻进行研究。
多模态话语分析的系统功能语言学研究
多模态话语分析的系统功能语言学研究引言多模态话语分析理论是结合语言、视觉、声觉等其中两种或两种以上的模态而展开分析的一种理论模式,语言学理论与现代多媒体技术的有机结合为这一理论的建立提供了可靠依据。
人们在与他人交往或在表达意义的过程中,一般都会使用到符号资源,而语言中的语法体系则对由词语组成的句子、语篇等符号资源的使用起决定性作用。
与此相类似,视觉中的语法则对人物与事物等因素如何组成不同复杂程度的视觉陈述起着决定作用。
一、多模态话语概述（一）多形态话语的产生情况1.生命感知模态的产生分析生命科学研究成果得知,在不断演化的过程中,生命体逐渐获得视觉、嗅觉、听觉、味觉以及触觉等不同的感知通道,其中,依靠眼睛获取了视觉通道,依靠鼻子获取了嗅觉通道,依靠耳朵获取了听觉通道,依靠舌头获取了味觉通道,而依靠皮肤则获取了触觉通道。
生命体通过这些通道,与周围的环境进行了有效的信息交换。
此外,在物竞天择,适者生存的残酷竞争面前,生命体为获得生存与繁衍,他们就需利用这些感知通道之间的相互作用,对周围环境中的一切事物做出有效、迅速的反应。
一些生物学家认为,生命体在获得以上五种感知渠道的基础上,分别产生了视觉、嗅觉、听觉、味觉、触觉五种不同的交际模态。
而在这些模态中,视觉与听觉这两种模态与话语分析具有最为紧密的联系。
近些年来,随着科技的进步与发展,其他三种模态也逐步应用于话语交际中。
例如在触觉模态方面,人们可以利用数据手套,在将手指弯曲角度进行传递的基础上,将各种三维手势打出来,并通过有机结合语言与手势,进而促进人机对话朝着与自然人际对话相接近的方面发展。
2.模式、媒介、模态三者之间的区别模式、媒介以及模态这三个词语经常出现在多模态话语的分析中.在意义上,它们之间存在一定的联系,但由于没有具备非常明确的界限,经常导致误解及混乱的发生,因而对其含义展开一定的说明是极为有你要的。
通常情况下,模式指的是与话语基调、话语范围并列为语境三要素的话语模式,其本意指的是人们交流的渠道,例如口头模式、书面模式、电子模式等。
多模态话语模态的协同及在外语教学中的体现
●外语教学编者按:外语教学不仅是一个科研园地,而且是外语人才培养的摇篮。
其研究论题多样,研究维度也绝不单一。
运用语言学理论指导外语教学研究与实践是提升外语教学的有效途径(张德禄、王璐,王学文,李小华、王立非,崔玉范、宋莉);目的语意识的培养(黄波)和大学英语需求分析模型的理论构建(陈冰冰)也是推进我国外语教学的重要维度。
外语教学需要多维度探索与实践。
多模态话语模态的协同及在外语教学中的体现3张德禄 王 璐(中国海洋大学,青岛266071;山东大学,济南250100)提 要:本文重点探讨在大学英语课堂教学中,各种不同模态是如何相互协同,共同完成教学目标的。
文章首先对多模态话语分析理论进行简单探讨,包括多模态话语分析理论的发展和理论基础、不同模态和媒体、模态和媒体之间的关系,然后探讨不同模态之间的关系,最后对比两个教学案例,探讨在实际教学过程中,不同模态之间的相互协同,共同实现教学目标的过程。
本文发现,教学的主模态是口头话语模态,其他对它起补充、强化、优化等作用,并据此总结出6点教师应该注意和改进的方面。
关键词:多模态话语;协同;模态;媒体;课堂教学中图分类号:H319.3 文献标识码:A 文章编号:1000-0100(2010)02-0097-6The Synergy of D i fferen tM odes i n M ultim oda l D iscourse andThe i r Rea li za ti on i n Fore i gn Language Teach i n gZhang De2lu W ang Lu(Ocean University of China,Q ingdao,266071,China;Shandong University,J inan,250100,China) The p resent article investigates how the different modes of discourse cooperate and coordinate with each other t o achieve the teaching objectives in college English classr oom teaching.It begins with a brief intr oducti on t o the theory of multi m odal discourse analysis,including the devel opment of multi m odal discourse analysis and its theoretical foundati on,the different types of media and modes and the relati on bet w een them,and then it investigates the relati onshi p bet w een different modes of discourse.Finally, it compares t w o cases of college English classr oom teaching by investigating how the different modes cooperate and coordinate in accomp lishing teaching objectives in college English teaching.It is f ound that the main mode of discourse in classr oom teaching is the oral language,and other modes mainly comp le ment and highlight it.Fr om this,we p r opose six suggesti ons f or the teacher t o i m p r ove his teaching.Key words:multi m odal discourse analysis;synergy;modes;media;classr oom teaching 在话语分析研究中,人们发现单纯研究语言话语已经不能对话语进行深入全面的分析和研究,特别是随着现代科学技术的发展,很大部分话语意义是由非语言因素体现的,如伴语言特征、身体特征、教学设备、实验室、计算机、网络、周围的环境因素等。
多模态话语分析综合理论框架探索_张德禄
26
在探讨多模态话语形式之间的关系时，我 们需要首先考虑一个问题：为什么人类在交际 中会用多模态？是为了有趣，是随意的，是生 理和心理的自然表现的结果，还是因为一种模 态不能，或者不能充分表达交际者的意义？可 能两种情况都有，但最主要的应该是后者，即 一种模态不足以表达清楚交际者的意义，从而 利用另一者来进行强化、补充、调节、协同， 达到更加充分，或者尽量充分表达意义，让听 话者理解话语的目的。
国内多模态话语的研究还处在起始阶段尚未见到专著出版只有数量不多的论文其中胡壮麟的社会符号学研究中的多模态化2007讨论了多模态符号学和多媒体符号学的区别介绍了具有媒体和模态双重特性的计算符号学并指出人类进入社会符号学多模态化的新世纪对多模态识读能力的培养应引起重视
多模态话语分析综合理论框架探索
张德禄 中国海洋大学
然而，如何在话语分析中把多种媒体和多 种模态结合起来进行分析解读是现代语言学研 究，特别是话语分析研究应该特别注意解决的 问题。本文首先对多模态话语研究动态进行了 简单述评，然后根据系统功能语言学理论尝试 建立一个多模态话语分析的综合框架。
多模态话语指运用听觉、视觉、触觉等多 种感觉，通过语言、图像、声音、动作等多种 手段和符号资源进行交际的现象。这种现象司 空见惯，自古有之，如诗歌配上图画，说话时 打手势做鬼脸，使用不同口气和腔调等。但话 语的多模态性一直没有受到人们的重视，只是
新媒体在英语教学中的应用
智库时代·154·智库理论新媒体在英语教学中的应用刘 杰（郑州工商学院人文艺术学院，河南郑州 451400）摘要：高校英语专业教学存在着一个普遍问题，那就是继续沿用中学英语的教学模式，以填鸭式灌输为主，过度强调学生的阅读和语法能力，忽略了学生的语言实际应用和交流能力，使语言与日常生活及用语脱节，导致了英语无用论的流行，严重影响了学生的学习积极性。
为改变现状，提高教学质量，大学英语课程借用现代网络技术改变传统教学模式，已势在必行。
关键词：新媒体；英语；应用中图分类号：G623.31文献标识码：A文章编号：2096-4609（2019）41-0154-002新媒体是运用数字、网络和移动等技术，通过互联网、无线通信网等渠道向大众传播信息的工具。
各大网站、电子期刊、报纸、QQ、微信、微博等都属于常见的新媒体资源。
将新媒体用于英语教学，有许多的优势：（1）新媒体平台上信息资源丰富，共享便捷；（2）互动性强，提高了参与度；（3）各种学习资源可反复观看使用，使学习突破了时间空间的限制。
总之，它的全球性、全面性、全天候及经济、操作性强等优势不但使学生能随时随地获取大量学习资料，还以图、文、声、像等多模态的形式，传送大量感官的信息，使学习变得轻松有趣。
因此，将新媒体应用于英语教学是社会、科技发展的必然趋势。
一、多模态话语分析理论新媒体这种运用视觉、听觉、触觉等多种感觉并通过图像、文字、声音、动作等多种手段或模态与符号资源进行交际的现象即多模态话语。
（张德禄，2010）多模态话语分析理论自20世纪90年代在西方国家兴起，是西方研究学者在批评话语分析的基础上，结合社会符号学、系统功能语法和传统话语分析等领域的研究成果发展而来。
该理论强调既然人类交流的方式是多种多样的，那么信息传递就应该充分利用各类信息传递渠道，并认为语言是一个社会符号系统（Halliday，1973），除语言之外的其他非语言符号（如：音乐、舞蹈、绘画等）也具有表意功能，非语言符号各模态之间既独立存在又相互作用，最后与语言符号一起共同生成意义。
多模态话语分析综合理论框架探索_张德禄
语言
布局
多 模
纯语言
声音 文字
态
话
动作(移动)
语
比拟
媒
表情
体
身体
面容
眼神
系
五官
统
手势
肢体
姿势
非语言
摇动 PPT
音响扩放
工具
网络
非身体
实验室 同声传译室
环境
图 1 多模态话语媒体系统
25
2009年1月 第6卷 第1期 （总第27期）
中国外语
F
L
C
Jan. 2009 Vol.6 No.1 (General Serial No.27)
3 多模态话语的媒体系统
3.1 语言媒体 从传统的语言学研究的角度讲，实现意 义传播的媒体形式主要有两种：声波传导的声 音符号和由笔等生成的书写符号。这两种媒体 是语言传播信息的主要媒介。但随着信息技术 的不断发展，其他技术开始用于语言信息的传 播，如计算机文字输入、计算机语音识别等， 但最后的传播媒体仍然是声音或者字符。 伴随语言的媒体形式对语言意义的传递起 到辅助、补充和强化的作用，包括音响、声音
非强化关系表示两种交际模态缺一不可， 互为补充的关系，特别是听觉和视觉的结合。 在非强化关系中，我们可以区分协调、联合和 交叉几种形式。在协调关系中，不同的模态共 同表达交际者的整体意义，缺乏任何一者将不 完整。例如，在播放录像画面时，同时播放声 音。图像和声音都是必需的，不然交际将难以 理解。这是一种典型的相互协调模式。在同一 种模态中，不同类型的媒体可以形成联合关 系，共同来体现意义。例如在录像这种多模态 话语形式中，与动画相匹配的声音与解说的声 音联合体现听觉所实现的意义。还有一种交叉 体现意义的现象，例如交际者可以在边工作、 边做事的同时，讲解他做的事情的经过和原 理、原因等，从而形成两种模态交叉体现整体 意义的现象。这样，非强化关系可以归结为协 调、联合和交叉。
国内多模态隐喻研究现状及展望
2192020年10期总第502期ENGLISH ON CAMPUS国内多模态隐喻研究现状及展望文/张雅昕【摘要】本研究旨在通过对国内近十年(2011－2019)多模态隐喻核心研究期刊进行梳理与分析，进而明确国内多模态隐喻的研究现状，展望其未来研究的发展方向，以期为多模态隐喻研究的发展提供新的方向与思路。
研究发现，多模态隐喻从国内兴起发展至今，研究方向与研究视角逐渐呈现多元化，跨学科研究趋势明显增强。
分析认为：多模态隐喻的跨学科与跨文化研究，动态语料分析以及语料实证化将会是未来研究发展的主要方向。
【关键词】多模态隐喻；国内期刊；研究分析【作者简介】张雅昕(1997-)，女，吉林长春人，长春师范大学2019级硕士研究生，研究方向：外国语言学及应用语言学。
三、国内多模态隐喻研究现状分析1.研究方向与内容多样化。
概念隐喻是多模态话语研究领域的经典主题。
多模态隐喻理论提出以后，在国内形成了有代表性的多模态隐喻研究方向。
第一个方向是关注多模态语篇中概念隐喻的动态构建与表征类型，突破了以往研究中多限于语言层面的单模态隐喻， 而较少涉及非语言资源与语言元素的多模态隐喻。
(冯德正，邢春燕2011；蓝纯，蔡颖2013；刘熠，刘平2019；)其中有关政治漫画分析与国家形象构建等相关研究呈现明显增长的态势。
(赵秀凤，冯德正2017；刘煜，张红军2018) 第二个方向下，学者们注意到了多模态隐喻在实际教学领域的应用(王林海，刘秀云2013；张维，刘晓斌，周榕，李曼娜2014)。
如李毅，石磊(2010)强调了进行多模态研究教学的发展前景；更有学者探讨了多模态隐喻在英语写作教学中的应用。
(梁晓晖2013；张长颉2015；吴菁菁 2017) 第三个方向为多维视阈下多模态认知隐喻的研究增多，打破了一直以来仅从认知理论角度对多模态隐喻意义解构的局面。
2.研究视角多元化。
多维视角丰富了多模态隐喻的研究途径，在国内形成了三个具有代表性的研究趋势：1.认知诗学多模态隐喻研究。
多模态话语分析
• 多模态选择的目的：补缺，强化，吸引注意力，帮助理解
• 三个角度： • （1）为外语教学提供情景和便利条件 （2）为外语教学提供辅助条件 • （3）为多模态话语交际提供多通道话语意义表达方式， 提高教学效率。
未来的发展趋势
如何把各个学科的 研究成果融合起来 是将是多模态话语 分析今后必须面对 的问题。 跨学科交叉研究将 是多模态话语分析 未来的必然趋势。
朱永生(2007)研究 了多模态话语的理 论基础和研究方法。
顾曰国 （2006,2007） 提出从内容层 和媒介层两方 面来分析多模 态话语，并运 用自己的构建 的多模态分析 框架分析了北 外五十周年校 庆的庆典礼；
张德禄（2009）提 出一个多模态话语 分析综合理论框架， 模态选择的原则， 并对多模态话语理 论应用到外语教学 的实践进行了探索。
张德禄多模态话语分析综合理论框架?文化层面文化语境?语境层面情景语境内内容层面形式层面形式及关系意义意义层面话语意义话语意义意识形态体裁话语范围话语基调话语方式概念意义概人际意义谋篇意义?表达层面媒体意义形式关系语言图觉声觉感觉互补非互补语言非语言伴语言纯语言身体非身体外语教学中模态的选择?基本因素1教学内容所涉及的领域话语范围?2教学对象的情况以及与授课者的关系话语基调?教学条件和场所话语的方式?多模态选择的目的
Mode and Medium 模态（Mode）：同步 实现话语和交流类别 的符号资源，它可以 通过一种生产媒介来 实现。 媒介（Medium）：表 达信息的物理工具。
多模态话语分析理论介绍
20世纪90年代（西方）
语 分 析 批 评 话
社会符 号学
系统功 能语法
传统的语 话分析
批评性社会符号学
多模态话语分析理论介绍
张德禄-多模态话语分析理论与外语教学
第三, “重新设计”：由设计过程产生的资源或重新产生 的意义，又可成为一种新的可利用的设计，具有制造意义 潜力的新的资源。 这样，设计的观点不仅应用于原创性活动，更应当看作是 日常经历的核心部分，因而这是教育过程中应当强调的重 要成分。(Williamson 2005)。
19
Kress (2004)重视设计者的作用。所有符号资源都具有社会意 义，属于特定文化。多模态符号(词语、文字、信件、色彩、 字体)的复杂信息反映了设计者的尽量选用多种符号表达意义 的意愿。 设计者根据符号特殊的修辞目的，用尽各种手段来劝诱那些有 机遇接触该信息的人们。页面/网址的设计者不再是权威性语 篇的“作者”，但他是材料的提供者，按照想象中读者的所谓 特点进行安排。
12
非肢体媒体
主要包括工具和环境两个方面。 随着现代科学技术的发展，交际者肢体以外的交际媒体变 得十分发达。从起初的音响设备到现在的网络平台、同声 传译室等都是工具性媒体。 除此之外，交际者还可以利用环境中已有的所有符号系统 来进行交际，包括现场环境中的人和物、有象征意义的符 号等(见图1。)
二维的是平面的：平面图画； 三维的是立体的：立体图形；
四维的是动态的，是可移动的三维符号系统，如电影、动 画等。
18
4. 设计
设计是制造语篇和识读语篇的过程。 书面语占统治地位的设计：写作的逻辑曾经塑造了页面的顺 序和书本。 新媒体时代的设计：当今占统治地位的媒体是屏幕，不管是 游戏机、移动电话、个人电脑或者电视和录像。因此现在屏 幕的逻辑正在塑造新的顺序和对屏幕的安排。虽然文字写作 可以出现在屏幕上，但它从属于图像，如同过去图像可出现 于书本上，但从属于文字写作。因此图像将越来越塑造写作 的出现和用途，这一过程已在公众信息传递的事例中出现。 过去，作者的形象和写作的方式占统治地位；在新的屏幕设 计中，设计者和图像的模式占统治地位。(Kress 2004)。
认知语言学十讲思考题答案
认知语言学十讲思考题答案1. 应如何界定多模态话语？对于多模态话语的定义，众多专家给出了自己的意见：张德禄认为，多模态话语涉及两种或两种以上模态, 是运用听觉、视觉、触觉等多种感觉，并通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象。
顾曰国指出，模态是“指人类通过感官（如视觉、听觉等）跟外部环境”（如人、机器、物件、动物等）之间的互动方式。
用单个感官进行互动的叫单模态，用两个的叫双模态，三个或以上的叫多模态。
胡壮麟把多模态话语定义为有表达意义的两个或两个以上单模态构成的话语。
李战子提出“多模态指的是除了文本之外，还带有图像、图表等的复合话语，或者说任何由一种以上的符号编码实现意义的文本”。
朱永生还给出了两个多模态话语识别的标准：“第一条标准是看涉及的模态种类有多少，第二条标准是看涉及的符号系统有多少。
有些话语虽然只涉及一种模态，但包含两个或两个以上的符号系统，我们也罢这些话语看作是多模态话语。
”综上所述，在多模态话语的定义上存在以模态为标准还是以符号系统为标准的问题。
根据模态即按感官分的话，由于同一感官（如视觉）可能涉及两种以上符号系统（文本、图像、图表），所以朱永生的第二条标准或李战子的定义比较清晰，可避免争议。
2．试分析多模态话语的两类媒体系统的含义及其相互关系。
多模态话语的媒体系统可分为语言媒体和非语言媒体两类（前者是以语言为信息载体，后者则是以非语言的物质为媒介）。
语言媒体主要有两种：声波传导的声音符号和由笔等生成的书写符号，是语言传播信息的主要媒介。
非语言媒体主要包括肢体动作和非肢体媒体。
肢体动作根据功能可分为五大类：象征性行为、解说性行为、情绪表达行为、调控行为、体适性行为。
而非肢体媒体主要包括工具和环境两个方面。
不同模态的媒体之间的关系呈现了多样性和复杂性，可大致分为互补和非互补关系：当一种或几种模态对某种模态起到强化、补充、调节、协同作用时，它们之间即构成互补关系；当第二种或第三种模态对第一种在意义的体现上并没有多大的作用时，它们之间就是非互补关系。
社会符号学视角下的多模态话语分析
社会符号学视角下的多模态话语分析社会符号学视角下的多模态话语分析摘要：多媒体时代的到来使语篇世界日趋呈现多模态化。
多模态话语分析逐渐成为语言学研究的焦点。
本文以韩礼德的系统功能语言学基础上发展起来的视觉语法为理论，以2010年广州亚运会会徽为例，进行多模态话语的社会符号学分析，探讨图像作为社会符号和语言符号是如何实现表意功能的。
关键词：多模态话语；社会符号学；视觉语法；广州亚运会会徽1.引言科技的进步促进了多媒体技术的飞速发展，人类的语篇世界日趋呈现多模态化。
2010年广州亚运会是亚洲一大体育盛事，对广州，对中国，甚至对整个亚洲都有深远的影响。
本文尝试运用克瑞斯和勒文的多模态话语分析法，以广州亚运会会徽为例，进行多模态话语的社会符号学分析，探讨图像作为社会符号和语言符号共同构成意义的手段和方法，解析亚运会会徽的深层含义。
2.多模态话语的社会符号学分析理论克瑞斯和勒文把多模态话语定义为一种融合了多种交流模态（如声音、文字、形象等）来传递信息的语篇。
他们创建发展的多模态话语的社会符号学分析理论是以韩礼德的系统功能语言学理论为基础，主张图像也是社会符号。
韩礼德的功能语法认为语言系统中有三个表示功能意义的纯理功能：概念功能、人际功能和语篇功能。
而克瑞斯和勒文的研究将韩礼德的语法概念延伸到包括视觉模式，并由此创建了以再现意义、互动意义和构图意义为核心内容的视觉语法。
3．基于广州亚运会会徽的多模态话语的社会符号学分析3.1图像的再现意义对应于功能语法的概念意义，克瑞斯和勒文提出了多模态话语的再现意义，他们将再现意义区分为叙事的和概念的两大类，前者包括行动过程、反应过程及言语和心理过程，后者则相当于功能语法中所描述的关系过程和存在过程。
广州亚运会会徽以柔美上升的线条，构成了一个造型鲜明的五羊外形轮廓。
五羊雕塑是广州最具有象征意义的城徽，是广州的标志。
广州因此被称为“羊城”。
中国传统文化中，“羊”与“祥”相通，是吉祥之物，象征着吉祥、幸运。
多模态话语分析的双重视角_社会符号观与概念隐喻观的连接与互补_张德禄
2013年5月第36卷第3期外国语Journal of Foreign LanguagesMay2013Vol．36No．3文章编号：1004－5139（2013）03－0020－09中图分类号：H030文献标识码：A 多模态话语分析的双重视角———社会符号观与概念隐喻观的连接与互补张德禄1，郭恩华2（1．同济大学，上海200092；2．烟台大学，山东烟台264005）摘要：多模态话语分析在语言学领域主要有两个研究视角:基于系统功能语言学的社会符号学视角和基于认知语言学的概念隐喻视角。
两个研究视角之间的连接与互补可以从语言学基础层面、语言哲学层面、语境层面、主体理论构建层面进行探讨。
通过研究和实例分析表明这两个研究视角在理论范式上可相互连接，在话语分析实践中可相互补充。
两者的结合可以有力地促进多模态话语分析理论的发展。
关键词：社会符号学;系统功能语言学;多模态隐喻;概念隐喻The Dual Perspectives of Multimodal Discourse Analysis:The Connection and Complementarity Between Social Semiotics and Conceptual Metaphor TheoryZHANG Delu1，GUO Enhua2(1．Tongji University，Shanghai200092，China;2．Yantai University，Yantai264005，China)AbstractʒMultimodal discourse analysis(MDA)in linguistics can be approached mainly from two perspectives:the social semiotic perspective based on SFL and the conceptual metaphor perspective based on cognitive linguistics．The connection and complementarity between these two perspectives can be probed into in terms of the levels of their respective linguistic foundations，philosophical foundation，contextual level and theoretical formulation．Through case study and investigation，it is shown that the two perspectives share common grounds in their theoretical paradigms and can complement each other in MDA．The integration of the two perspectives can greatly promote the development of the theory of MDA．Key wordsʒsocial semiotics;systemic functional linguistics;multimodal metaphor;conceptual metaphor1．引言多模态话语分析主要研究多种符号资源在同一语篇中如何协同来实现意义。
从社会符号学及概念隐喻双重视角探析公益广告中的多模态隐喻建构
从社会符号学及概念隐喻双重视角探析公益广告中的多模态隐喻建构代美苓【期刊名称】《海外英语(上)》【年(卷),期】2016(000)002【摘要】With the development of science and technology, not only words, but images and sounds are widely used in advertis-ings. Advertising tends to be multimodal. The paper is intended to investigate the meaning construction of multimodal metaphor in print public service ads from the two perspectives of social semiotics and conceptual metaphor, that is, how multimodal meta-phor help transfer the value of the ads. The analytical methods of social semiotics and conceptual metaphor are briefly explained first, and the viability to combine the two perspectives in multimodal metaphor study is demonstrated by data analysis.%随着科学技术的进步，不仅文字，图像、声音等其他媒体都被广泛应用于广告，即广告媒体越来越趋于多模态化。
该研究旨在从社会符合学以及概念隐喻双重视角来分析平面公益广告中的多模态隐喻是如何实现其意义建构的，即传递其价值观的。
该文首先对社会符号学和概念隐喻的分析方法进行简要的阐释，接着从实例分析来证明两种视角共同分析多模态研究的可行性与互补性。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2013年5月第36卷第3期外国语Journal of Foreign LanguagesMay2013Vol．36No．3文章编号：1004－5139（2013）03－0020－09中图分类号：H030文献标识码：A 多模态话语分析的双重视角———社会符号观与概念隐喻观的连接与互补张德禄1，郭恩华2（1．同济大学，上海200092；2．烟台大学，山东烟台264005）摘要：多模态话语分析在语言学领域主要有两个研究视角:基于系统功能语言学的社会符号学视角和基于认知语言学的概念隐喻视角。
两个研究视角之间的连接与互补可以从语言学基础层面、语言哲学层面、语境层面、主体理论构建层面进行探讨。
通过研究和实例分析表明这两个研究视角在理论范式上可相互连接，在话语分析实践中可相互补充。
两者的结合可以有力地促进多模态话语分析理论的发展。
关键词：社会符号学;系统功能语言学;多模态隐喻;概念隐喻The Dual Perspectives of Multimodal Discourse Analysis:The Connection and Complementarity Between Social Semiotics and Conceptual Metaphor TheoryZHANG Delu1，GUO Enhua2(1．Tongji University，Shanghai200092，China;2．Yantai University，Yantai264005，China)AbstractʒMultimodal discourse analysis(MDA)in linguistics can be approached mainly from two perspectives:the social semiotic perspective based on SFL and the conceptual metaphor perspective based on cognitive linguistics．The connection and complementarity between these two perspectives can be probed into in terms of the levels of their respective linguistic foundations，philosophical foundation，contextual level and theoretical formulation．Through case study and investigation，it is shown that the two perspectives share common grounds in their theoretical paradigms and can complement each other in MDA．The integration of the two perspectives can greatly promote the development of the theory of MDA．Key wordsʒsocial semiotics;systemic functional linguistics;multimodal metaphor;conceptual metaphor1．引言多模态话语分析主要研究多种符号资源在同一语篇中如何协同来实现意义。
一方面，每个模态都有自己的独特性和表意潜势，因此，任何模态间的完全“翻译（translation）”都是不可能的［19：27；11：13］，都伴随着不同程度的意义丢失。
另一方面，不同模态在本质上有许多共同点：一方面，它们都是实现意义的社会符号系统；另一方面，各种符号话语都能表达人的思维结构和认知体验。
这两点分别为多模态研究提供了社会基础和认知基础，使多模态话语分析研究可以从两个视角进行研究：（1）系统功能语言学的社会符号学视角；（2）认知语言学的概念隐喻视角。
社会符号学理论源于系统功能语言学，主要研究某一特定文化中符号实践如何在各种语境中产生语篇意义。
概念隐喻在多模态语篇中称为“多模态隐喻”（multimodal metaphor），该理论重点研究不同的隐喻如何体现于各种符号实践，作用于人的认知语境，影响人们的认知识解。
这两种语篇分析视角在各自的领域里独立发展，很少相互交叉。
从国内外已有的研究上看，社会符号学视角的多模态话语分析起步较早［13；14；23；19］，数量较多；概念隐喻视角的研究［6；8；9；10］则是方兴未艾。
国内外在两者的关系研究上成果较少（见［29］）。
本研究则进一步从哲学基础和语境方面探讨这两种视角的连接，在理论模式建构上探讨两者的互补，并用实例进行说明。
2．两种研究视角的理论基础2．1基于系统功能语言学的社会符号学视角Halliday［13］最早提出语言本质上是一种社会符号。
系统功能语言学［14；15；22］认为语言本质上是一种意义资源，或称意义潜势。
语篇是人们根据语境从意义潜势中选择的结果，是意义潜势的实例化。
社会符号学家将这一基本理论观点应用到其他符号领域，认为社会中有意义的活动都构成符号资源，任何一种符号都是一种意义资源［14］。
各种符号系统共同形成相互联系的可供选择的意义网络。
符号实践则是符号的意义潜势在特定情景中的实例化。
社会符号学不是一门纯粹研究符号性质和系统的理论，而是一种实践理论［25：1］，一种适用符号学理论［32］，旨在运用和发展系统功能语言学的基本理论，解释各种符号资源和符号实践。
Kress＆van Leeuwen［18］将系统功能语言学的元功能理论扩展到视觉图像上，建立了视觉图像语法，构建了视觉图像的三大元功能（元意义），分别是再现意义（representational）、互动意义（interactional）和构图意义（compositional）。
另外，正如语言的元功能由词汇语法层实现一样，视觉图像的元功能也由视觉语法的功能成分体现。
2．2基于认知语言学的概念隐喻视角多模态话语分析在认知语言学领域的发展主要基于其概念隐喻理论［20］，其核心观点是：隐喻本质上是一种思维和行为方式，人们往往借助具体的身体体验来理解和感知抽象的概念；前者是源域，后者是目标域；源域投射到目标域的属性为映射项。
虽然Lakoff＆Johnson［20］将语言看作概念隐喻的外在表现形式，而非隐喻的本质属性，但其概念隐喻理论基本上是建立在语言隐喻研究的基础上的。
Forceville［10：21］认为：“要进一步证明隐喻的本质是概念的而非语言的，就必须证明隐喻不仅可以在语言中构建，而且可以由非语言符号或多模态话语来体现。
”此外，研究非语言模态隐喻和多模态隐喻有利于揭示概念隐喻在语言模态中不易表现出来的特征。
Forceville ［10：24］对多模态隐喻的基本定义是：“目的域和源域完全或很大程度上是由不同模态实现的隐喻。
”尽管不乏质疑，但多模态隐喻研究者们总体上认同Forceville的这个定义。
多模态隐喻虽然起步于语言学领域的概念隐喻研究，但它的研究成果远远突破了后者的研究局限，不仅发展了传统的认知隐喻理论，也为多模态话语分析提供了许多新的视角。
其主要贡献［10］是弥补了语言学领域概念隐喻研究的诸多不足，能更全面客观地触及隐喻的本质。
它将语类图式、文化规约、交际参与者的社会文化背景和即时认知环境纳入隐喻研究，有助于揭示隐喻的动态构建特征。
3．两种视角在语言哲学层面上的连接在语言哲学层面上，系统功能语言学和认知语言学并非相互排斥，而是在许多方面有共同之处：（1）系统功能语言学和认知语言学都把语义作为各自理论研究的重点，语法系统不是自主的，而是受到语义的支配，只是在支配方式上存在着差异：前者通过外部的交际功能；后者则是通过内部的意象图式和概念结构。
（2）在系统功能语言学中，内在经验同样占据重要地位，“它（语法）是再现经验模式的手段———使人类能够建立关于现实的心理图像，并理解发生在他们周围的和自身内部的经验。
”［14：101］Halliday［12］曾谈到及物性与认知的关系，认为及物性是有关认知内容选择的集合，是对语言外经验的语言表达。
胡壮麟［30：69］认为“意义的识解是社会的主体间相互作用的过程”，因此意义的产生与理解既涉及社会文化，又包含个体认知体验。
（3）认知语言学的理论基础并不排斥系统功能语言学的社会理据性（social accountability），它的一个核心思想就是语言在很大程度上以人类的躯体经验作为基础，而躯体经验是以社会实践为基础的。
社会符号学重点关注社会实践的研究，因此，社会文化因素在躯体经验中占据重要地位。
Lakoff＆Johnson［20］提出认知隐喻的体验性虽然是物质层面的，但受到文化差异的影响。
Forceville［10：27］则更进一步认为在多模态隐喻中投射不仅是体验性的，而且是文化性的。
在纯语言隐喻中，投射的往往是源域的内涵意义而非字面意义，而这种内涵意义在不同的文化（亚文化）中可能存在较大的差异［10：29］。
Yu［27：121］认为概念隐喻的经验基础既是身体的又是文化的，概念隐喻源自体验与文化的相互作用。
4．两种视角在语境理论上的连接社会符号学视角的多模态话语分析主要基于系统功能语言学的语境理论。
根据系统功能语言学理论［22］，语境指文化语境和情景语境：文化语境包括两个次范畴：意识形态和语类；情景语境即Martin［22］所称的语域，包括语场、语旨和语式三个变项（variables）。
每个语境变项都与一个元功能相关联，并决定着对意义，进而对语言形式特征的选择，即语场决定对概念意义的选择，进而决定对及物性系统的选择；语旨决定对人际意义的选择，从而决定对语气和情态系统的选择；语式决定对语篇意义的选择，进而决定对主位系统和信息系统的选择［13：31－32］。
在社会符号学中，这些适用于语言研究的语境被重新定义，适用范围扩展到其他符号系统。
多模态隐喻研究的语境理论［6；10］主要建立在Jakobson［16］所讲的话语交际模式上。
该模式包含语篇发出者、语篇接收者、语境、信息、渠道和符码六个要素。
Forceville运用Sperber＆Wilson ［24］的关联理论解释该模式，强调语篇的关联性只针对于语篇接收者个体，语篇发出者通过有效刺激（stimulus）激活语篇接收者的认知环境，从而引导后者对语篇中的隐喻做出正确的识解。
Jakobson将其交际模式中的语境因素分为篇内语境和篇外语境。
Forceville［6：2］认为篇外语境主要包括文化传统、交际期待、语类等。