多模态话语分析初探
话语分析的新发展多模态话语分析
话语分析的新发展多模态话语分析一、本文概述随着信息技术的飞速发展和社交媒体的广泛应用，话语分析的研究领域正在经历一场革命性的变革。
传统的以文本为中心的话语分析已经无法满足现代社会的需求，多模态话语分析应运而生，成为了话语分析领域的新热点。
本文旨在探讨话语分析的新发展——多模态话语分析，介绍其理论框架、研究方法以及在各个领域的应用，以期推动多模态话语分析在中国的深入研究和广泛应用。
本文将概述多模态话语分析的基本概念、理论框架和研究方法，为读者提供一个清晰的认识和了解。
通过案例分析，本文将详细阐述多模态话语分析在各个领域的应用，如社交媒体、广告、教育等，以展示其强大的解释力和实用性。
本文还将探讨多模态话语分析面临的挑战和未来的发展方向，以期为中国的话语分析研究提供新的思路和启示。
通过本文的阐述，我们希望能够引起更多学者和研究人员对多模态话语分析的关注，推动该领域的研究和发展，为社会语言学、传播学、教育学等相关学科的研究提供新的视角和方法。
二、多模态话语分析的基本概念多模态话语分析（Multimodal Discourse Analysis）是话语分析领域的一个新兴分支，它突破了传统话语分析主要关注语言文本的局限，将视线扩展到了包括语言在内的多种符号模态上。
多模态话语分析强调在话语理解中应当同时考虑语言、图像、声音、动作等多种符号资源的作用，认为这些模态在话语表达和意义构建过程中是相互关联、相互补充的。
在多模态话语中，不同的模态可以共同构建一个完整的意义，每个模态都在其独特的表意系统中发挥着作用。
例如，在一段视频讲座中，语言模态负责传达讲座的主要内容和思想，图像模态则通过展示实物、图表等方式提供直观的视觉信息，声音模态则可能通过背景音乐、环境音效等来营造氛围或强调某些信息。
多模态话语分析的核心任务之一是揭示不同模态之间是如何协同工作的，以及它们是如何共同构建话语意义的。
这要求分析者不仅要对单一模态有深入的理解，还要具备跨模态的分析能力，能够从整体上把握多模态话语的运作机制。
[模态,语言学,话语]多模态话语分析的系统功能语言学研究
![[模态,语言学,话语]多模态话语分析的系统功能语言学研究](https://img.taocdn.com/s3/m/633ddc2b04a1b0717ed5dda2.png)
多模态话语分析的系统功能语言学研究引言多模态话语分析理论是结合语言、视觉、声觉等其中两种或两种以上的模态而展开分析的一种理论模式，语言学理论与现代多媒体技术的有机结合为这一理论的建立提供了可靠依据。
人们在与他人交往或在表达意义的过程中，一般都会使用到符号资源，而语言中的语法体系则对由词语组成的句子、语篇等符号资源的使用起决定性作用。
与此相类似，视觉中的语法则对人物与事物等因素如何组成不同复杂程度的视觉陈述起着决定作用。
一、多模态话语概述（一）多形态话语的产生情况1.生命感知模态的产生分析生命科学研究成果得知，在不断演化的过程中，生命体逐渐获得视觉、嗅觉、听觉、味觉以及触觉等不同的感知通道，其中，依靠眼睛获取了视觉通道，依靠鼻子获取了嗅觉通道，依靠耳朵获取了听觉通道，依靠舌头获取了味觉通道，而依靠皮肤则获取了触觉通道。
生命体通过这些通道，与周围的环境进行了有效的信息交换。
此外，在物竞天择，适者生存的残酷竞争面前，生命体为获得生存与繁衍，他们就需利用这些感知通道之间的相互作用，对周围环境中的一切事物做出有效、迅速的反应。
一些生物学家认为，生命体在获得以上五种感知渠道的基础上，分别产生了视觉、嗅觉、听觉、味觉、触觉五种不同的交际模态。
而在这些模态中，视觉与听觉这两种模态与话语分析具有最为紧密的联系。
近些年来，随着科技的进步与发展，其他三种模态也逐步应用于话语交际中。
例如在触觉模态方面，人们可以利用数据手套，在将手指弯曲角度进行传递的基础上，将各种三维手势打出来，并通过有机结合语言与手势，进而促进人机对话朝着与自然人际对话相接近的方面发展。
2.模式、媒介、模态三者之间的区别模式、媒介以及模态这三个词语经常出现在多模态话语的分析中.在意义上，它们之间存在一定的联系，但由于没有具备非常明确的界限，经常导致误解及混乱的发生，因而对其含义展开一定的说明是极为有你要的。
通常情况下，模式指的是与话语基调、话语范围并列为语境三要素的话语模式，其本意指的是人们交流的渠道，例如口头模式、书面模式、电子模式等。
多模态话语分析Multimodal_Discourse_Analysis__Systemic
多模态话语分析：系统功能语言学视角多模态话语分析（Multimodal Discourse Analysis）是近年来在话语分析领域兴起的一种跨学科研究方法。
它将传统的话语分析扩展到多模态符号系统，如文字、图像、声音、空间布局等，从而全面分析话语在各个符号系统中的互动和协同作用。
在系统功能语言学（Systemic Functional Linguistics）的视角下，多模态话语分析关注的是语言在实现社会功能过程中的多模态特征，以及这些特征如何通过不同符号系统之间的协同作用来构建和传达意义。
在系统功能语言学中，语言被视为一种社会符号系统，其功能在于实现人际交往、信息传递和构建社会现实。
多模态话语分析则进一步拓展了这一视角，认为除了语言符号外，其他符号系统也在人际交往中发挥着重要作用。
例如，在广告、电影、网络媒体等多模态文本中，图像、声音、文字等符号系统共同作用，构建了一个丰富的意义世界。
多模态话语分析强调符号系统之间的协同作用，认为意义并非单一符号系统所能独立表达，而是通过各个符号系统之间的互动和协同作用来实现的。
例如，在一张图片中，文字、图像、颜色等符号系统共同作用，传达出特定的意义。
这种协同作用不仅体现在单个符号系统内部，还体现在不同符号系统之间的互动关系上。
例如，在一场演讲中，演讲者的语言、肢体动作、面部表情等符号系统共同作用，传达出演讲者的意图和情感。
多模态话语分析的应用领域十分广泛，包括广告、电影、网络媒体、教育、医疗等多个领域。
通过对多模态话语的分析，我们可以更深入地理解各种文本的意义构建过程，以及这些文本如何通过符号系统之间的协同作用来影响受众。
同时，多模态话语分析也为语言教学、跨文化交流等领域提供了新的视角和方法。
多模态话语分析的理论基础与实践应用多模态话语分析的理论基础主要来源于系统功能语言学和符号学。
系统功能语言学强调语言的社会功能和语境对意义构建的影响，而符号学则关注符号系统及其意义的和解读。
我国多模态话语研究综述
4、技术发展与应用：随着人工智能、大数据等技术的快速发展，多模态话 语研究应技术发展与应用方面的研究。利用先进的技术手段对多模态话语进行自 动化分析、理解和生成等方面的研究，可以提升多模态话语研究的效率和实用性。
五、结论
本次演示对我国近20年来的多模态话语研究进行了综述和分析。可以看到， 我国的多模态话语研究在理论框架、研究方法、应用领域等方面取得了显著成果。 未来，我们期待这一领域能够继续拓展研究领域、加强方法论研究和国际合作与 交流、技术发展与应用等方面的研究，为推动多模态话语研究的深入发展做出更 大的贡献。
二、多模态话语的研究内容
多模态话语研究的内容非常广泛，主要包括以下几个方面：
1、多模态话语的符号学理论：多模态话语的符号学理论是研究多模态话语 的基础。它主要研究多模态话语中各种符号模态之间的关系和作用，以及它们如 何共同构成意义。
2、多模态话语的认知心理学：多模态话语的认知心理学主要研究人们如何 理解和处理多模态话语。它的是多模态话语对人们的认知负荷、注意力和记忆等 方面的影响，以及这些方面如何影响人们对多模态话语的理解。
我国多模态话语研究综述
目录
01 一、多模态话语的定 义
02
二、多模态话语的研 究内容
03
三、多模态话语的研 究方法
04 四、发展趋势
05 参考内容
随着我国经济和科技的快速发展，多模态话语研究逐渐成为语言学、计算机 科学、社会学等领域的热点话题。多模态话语是指通过多种符号模态（如文字、 图像、声音、视频等）来表达意义的话语。在当今社会，多模态话语的应用越来 越广泛，对我们的生活和工作产生了深远的影响。本次演示将从多模态话语的定 义、研究内容、研究方法和发展趋势四个方面来进行综述。
国内多模态话语分析研究述评
多模态话语分析在现实中有广泛的应用场景，其优势在于可以全面、深入地分 析各种交际现象。例如，在社交媒体分析中，通过研究网络表情符号、图片、 视频等模态，可以了解用户的需求和行为习惯；在医疗领域，通过对医疗图像 和文字信息进行多模态分析，可以帮助医生提高诊断的准确性和效率；在教育 领域，利用多模态话语分析可以帮助学生更好地理解和掌握知识，提高教学效 果。
多模态话语分析的定义和基本原 理
多模态话语分析是一种跨学科的研究方法，其基本原理是通过对多种模态的话 语进行分析，以揭示它们之间的互动关系和意义。与传统的话语分析不同，多 模态话语分析更加注重多种模态的协同作用，以及它们在特定语境下的意义。 多模态话语分析涉及的关键概念包括：
1、模态：指交际的媒介，如语 言、图像、声音等；
然而，多模态话语分析也存在一些不足。例如，不同模态之间的转换和整合可 能存在困难，不同模态之间的语义和文化差异也可能影响分析结果。因此，在 应用多模态话语分析时，需要综合考虑多种因素，以避免出现偏差。
对国内多模态话语分析研究的思 考和建议
针对国内多模态话语分析研究的现状和问题，本次演示提出以下思考和建议：
2、多模态：指同时使用两种或 多种模态进行交际；
3、话语：指由交际者产生的有意义的信息单位，可以由一种或多种模态构成；
4、分析：指对话语进行深入理解和解释，以揭示其意义和交际效果。
国内多模态话语分析研究现状
近年来，国内多模态话语分析研究取得了长足的发展。在研究成果方面，学者 们从不同角度对多模态话语进行了分析，如李晨对网络表情符号的研究、张德 禄对多模态话语的语法研究等。此外，国内还了一系列有关多模态话语分析的 专著和论文集，如《多模态话语分析理论与实践》、《多模态话语研究的跨学 科视野》等。
《多模态话语分析》
《多模态话语分析》
多模态话语分析是一种从不同模态（文本、语音、图像等）中分析话语的新兴研究领域。
它旨在理解和模拟人类话语的各种不同多模态表达，以支持智能交互系统，例如语音和视觉智能机器人、智能交流代理、虚拟助理、多媒体引擎和智能家居系统等。
话语分析的多模态数据模型主要由以下几个部分组成：文本、语音、图像、视频和多媒体。
语音和图像模型包括音频强度、音频语音识别和图像分析技术；文本模型包括自然语言处理技术；而视频模型则包括视频分析技术，以及可视化技术（如计算机视觉）。
多模态话语分析可以使用多模态数据模型来建立一个多模态的生成模型，从而可以更好地理解多模态的表达，以及联合模型。
联合模型主要用于模拟多模态表达的实际数据，进行多模态话语的深入分析。
多模态话语分析可以为多模态交互系统提供实用的语言模型，并可以支持多模态的交互方式，例如文本到语音、图像到语音等。
此外，多模态话语分析还可以用来研究话语的情感特性，并基于话语的情感特性提出综合的分析结论。
当前，多模态话语分析正在以快速的步伐发展。
多模态话语分析综合理论框架探索_张德禄
拟等。
非肢体媒体主要包括工具和环境两个方
面。随着现代科学技术的发展，交际者肢体以
外的交际媒体变得十分发达。从起初的音响设
备到现在的网络平台、同声传译室等都是工具
性媒体。除此之外，交际者还可以利用环境中
已有的任何相关因素来进行交际，包括现场环
境中的人和物、有象征意义的符号等(见图1)。
音响
伴语言*① 音调 字体
的大小、音调、声音的频率、口音、语气以及 字体形状、大小、空间的布局等。这些伴随语 言的媒体特征对意义整体的表达起着十分重要 的作用，有时是关键作用，因为它可以引起整 体意义的改变。
3.2 非语言媒体
表达意义的非语言媒体包括交际者的身体
动作和交际者在意义表达中所使用的非语言手
段，如工具、环境等。交际者肢体的动作可以
国内多模态话语的研究还处在起始阶段， 尚未见到专著出版，只有数量不多的论文， 其中胡壮麟的“社会符号学研究中的多模态化” (2007)讨论了多模态符号学和多媒体符号学的 区别，介绍了具有媒体和模态双重特性的计算 符号学，并指出人类进入社会符号学多模态化 的新世纪，对多模态识读能力的培养应引起重 视。其他研究包括李战子(2003)用系统功能语 言学理论对多模态话语理论的研究。
3 多模态话语的媒体系统
3.1 语言媒体 从传统的语言学研究的角度讲，实现意 义传播的媒体形式主要有两种：声波传导的声 音符号和由笔等生成的书写符号。这两种媒体 是语言传播信息的主要媒介。但随着信息技术 的不断发展，其他技术开始用于语言信息的传 播，如计算机文字输入、计算机语音识别等， 但最后的传播媒体仍然是声音或者字符。 伴随语言的媒体形式对语言意义的传递起 到辅助、补充和强化的作用，包括音响、声音
在话语分析理论如火如荼的发展中，人们 发现单纯从语言的角度已经不能对话语进行深入 全面的分析和研究，因为话语的意义中的一大部 分是由非语言因素体现的，如伴语言特征：音响 度、声调、语调、音速等，身体特征：手势、身 势、面部表情、动作、移动等，非身体特征： PPT、音响设备、网络、实验室、周围的环境因 素等。在这种情况下，交际不再是利用一种感官 进行，如说话是听觉，书写是视觉，盲文是触觉 等，而是用两种或者多种感官同时进行，如用 PPT上课则是视觉与听觉同时进行的；模拟与讲 解则是听觉、视觉和触觉同时进行的。以这种交 际方式产生的话语就是多模态话语。
多模态话语分析研究
多模态话语分析研究摘要：随着科技的进步，现代广告的多模态语篇应运而生。
传统的语篇分析侧重于对广告语言特点的分析。
本文则基于kress，g&van leenwen的视觉图像分析框架和系统功能语言学的相关理论，分别从语言符号、图像符号及声音符号对自然堂一则电视广告进行分析，指出以多模态形式出现的广告语篇较之传统广告形式的优势，以期为广告欣赏及制作提供启示。
关键词：多模态话语分析系统功能语法视觉语法广告语篇“图像时代的到来，特别是图像在媒体、教育和儿童文学中的大量产生，使我们无法忽略多模态话语。
”（李战子，2003： 1-8）广告作为一种语篇体裁，一个最显著的特征就是多种符号模态---语言、图像、音乐的混合使用（cook，1992）。
传统话语分析侧重于分析语言文本，因此，继续使用传统话语分析的方法来分析当今的电视广告显然已行不通。
20世纪90年代中期以来，系统功能语言学者以韩礼德的功能语言学为基础，把对语言社会符号性的研究重心转移到图像、声音、动画等多模态的研究。
其中，最具代表性的是kress，g&van leeuwen 所建构的分析视觉图像的语法框架。
目前国内虽然有不少关于多模态话语研究的论文发表，如李战子、胡壮麟、朱永生、张德禄、唐青叶等，但还处于初始阶段，尚未见专著出版。
本文将以自然堂一则电视广告为例，运用多模态语篇的社会符号学分析方法，从语言、图像和声音方面解读该广告，以说明电视广告语篇的多模态分析。
1、基本理论框架1.1多模态语篇的定义模态（modality）是指交流的渠道和媒介，包括语言、技术、图像、颜色、音乐等符号系统。
（朱永生，2007）一般认为有五种交际模态：视觉模态、听觉模态、触觉模态、嗅觉模态和味觉模态。
人类通过单个感官与外界互动被称为单模态，若是通过多个感官则为多模态。
多模态语篇是一种融合了文字、声音、形象、动作等多种交流模态来传递信息的语篇。
（kress，g&van leeuwen，2001）换言之，多模态语篇指的是除了文本之外，还带有图像、图表等的复合话语，或者说由任何一种以上的符号编码实现意义的文本。
论多模态话语分析理论在初中英语教学中的应用
论多模态话语分析理论在初中英语教学中的应用一、本文概述随着信息技术的飞速发展和全球化趋势的加强，多模态话语已成为现代语言交流的重要特征。
多模态话语分析理论，作为语言学领域的新兴分支，强调在话语理解中综合考虑语言、图像、声音、动作等多种模态的作用。
这一理论在近年来的语言教学中逐渐受到关注，尤其在初中英语教学中，其应用潜力和实践价值日益凸显。
本文旨在探讨多模态话语分析理论在初中英语教学中的应用。
文章将简要介绍多模态话语分析理论的基本概念、发展脉络和核心要素，为后续研究提供理论基础。
文章将分析初中英语教学的现状和挑战，探讨多模态话语分析理论在初中英语教学中的适用性。
在此基础上，文章将重点探讨如何将多模态话语分析理论应用于初中英语教学中，包括课程设计、教学资源开发、教学方法改进等方面。
文章将总结多模态话语分析理论在初中英语教学中的实践成果，展望其未来的发展前景。
通过本文的研究，我们期望能够为初中英语教师提供一种新的教学视角和方法，帮助他们更好地理解和应对多模态话语环境，提高教学效果和学生的语言综合运用能力。
我们也期望能够推动多模态话语分析理论在教育领域的深入研究和应用，为语言教学和学习的现代化和科学化做出贡献。
二、多模态话语分析理论框架多模态话语分析理论框架是一个综合性的理论工具，它融合了语言学、心理学、传播学、教育学等多个学科的知识，旨在对多模态话语进行系统的分析和研究。
该理论框架认为，话语不仅仅包括语言符号，还包括图像、声音、动作等非语言符号。
这些符号在语言交际中相互补充、相互作用，共同构成了多模态话语。
在多模态话语分析理论框架中，模态是指交际中使用的不同符号系统，如文字、图像、声音等。
每个模态都有其独特的表达方式和意义构建功能，同时也存在模态间的互补和互动关系。
这种互补和互动关系不仅体现在不同模态之间的协同作用，还体现在不同模态之间的转换和过渡。
在初中英语教学中，多模态话语分析理论框架的应用具有重要意义。
多模态教师话语分析
多模态教师话语分析
报告
模态教师话语分析：在教学过程中，教师话语有着重要的影响力。
教师所使用的话语，可分为模仿性（反馈性话语）和直接性（指挥性话语）两种模式。
本文报告对模仿性和直接性教师话语的功能进行客观分析。
首先，模仿性教师话语的目的是建立学习者与老师之间的关系，帮助学习者更进一步地理解老师想传达的信息，也帮助学习者记住课堂上发生的事情。
模仿性的教师话语可以用来提倡学习者的分析性思维，帮助学习者得出正确的结论，从而培养学习者的独立思考能力。
其次，直接性教师话语是指教师使用直接性语言，明确、清晰地告知学习者课程相关的信息。
直接性教师话语有着独特的优势，可以更有效地将知识信息传达给学习者，使其更容易掌握课程内容。
最后，教师应结合上述模态教师话语的功能，来相应地使用更科学的教学方式。
此外，教师还应该考虑学生的个体差异，以求在课堂教学中使用更适合学生的教育话语。
总而言之，模态教师话语的分析显示，教师应尽可能采用模仿性和直接性教师话语的交互，来促进更加有效的教学过程。
这样一来，学生可以更好地理解课程内容，而老师则可以更好地管理学生，从而使课堂教学更有效率，更有价值。
最新-多模态批评话语分析 精品
多模态批评话语分析一、引言随着互联网和多媒体的迅速发展和广泛应用,语言文本不再是交际的唯一手段,图像、手势、动作、颜色、声音等其他非语言符号也成为信息传递的重要方式。
我们生活在一个由多种符号资源构成的社会中,意义的构建不再单纯依靠语言文本,而是越来越依赖各种符号资源的整合。
人类交流所依赖的媒介和渠道被称之为模态,例如语言、声音、颜色、图像、手势等符号系统。
作为人类的一种重要交际行为,话语自然具有多模态性。
传统的话语分析以大于句子的语言单位作为研究对象,对实际使用中的语言进行观察和分析,研究语言的组织结构、使用特点、语法规律、语言中的制约因素等内容,忽略了能够传递大量重要信息的其他非语言符号。
可见,传统的话语分析已经不能满足人们的实际交际需要,多模态话语分析符合当下信息时代发展的要求和趋势。
多模态话语分析为人类理解丰富多彩的符号系统提供了新视角,目前已发展成为一种重要的话语分析方式。
像语言一样,视觉符号和声音符号貌似正常或中立平淡无奇,实则隐含着个人或社会团体的不公正、偏见和歧视。
因此,在多模态话语分析中,我们应坚持批评的立场,给予非语言模态符号足够的重视,关注其中含而不露的意识形态意义,尤其是那些被人们习以为常的思想和观点。
在多模态话语和批评话语分析互相影响和借鉴的基础上,多模态批评话语分析应运而生。
二、多模态话语分析的概述性研究20世纪90年代,多模态话语分析在西方开始兴起,引起越来越多语言学家的关注。
传统意义上的话语分析注重分析语言符号系统和语义结构本身,忽略了对其他符号系统例如图像、声音、颜色、手势等的研究。
随着现代科学技术的发展,人类交际开始依靠多种模态共同完成,包括图像、音乐、声音、颜色等。
而这种运用语言、图像、声音、动作等多种符号资源进行交际的现象就是多模态话语-。
学界对交际中出现的图像、手势、姿态以及空间的运用也产生了浓厚兴趣。
学者们认识到,对于意义理解不仅需要对话语语言的分析,更要对独立或相互依赖的其他符号资源进行研究。
多模态积极话语分析初探——以语言与图像的评价功能为例
Ｖ０ ． ４ Ｎｏ ７ 】 ２ ．
Ｊ １ ０１１ ｕ ．２以语言与 图像 的评 价功能为例
吕 慰
（ 西南大学外 国语学院 ，重庆 ，４ ０ １ ） ０７５
［ 摘 要］ 在 系统功 能语 言学的基础上 ， 积极话语分析和 多模 态话语分 析方法相整合 ， 将 构建 一种新的话语分析视 角—— 多模态积极话语分析。 在此视角下 ， 以考察语言和 图像 二者 的评价功能为例， 出一个新的理论框架 ， 提 并通过案 例分析来验证该理论框 架的可操作性。 ［ 关键词］ 积极话语分析； 多模态话语 分析 ； 语言 ； 图像 ； 功能评价
中的权势关系与意识形态 ， 阐释 了 社会与语言的辩证关系 ，
语交际和非 言语交际模式。 传统 的话语分析一般局 限在语言
上， 较少涉及非言语交际模式 。多模态话语分析恰好弥补 了
传统话语分析 的这一点不足 ， 将语言 以外的其 它意义表达形
式纳入分析的范 畴。
加深 了人们对语言 、 权力 和意识形态 之间互动关 系的认识 。 但正如 Ｍａ ｉ所指出， Ｒｎ 批评话语分析 以消极 态度影响着社会 ， 这种分析只满足于揭露和批判 。 他认 为应采取 积极 态度进行 话语分析 ，并提 出积极话语分析与批评话语分析形成互补 ， 旨在建成一个宽松 、 和谐 、 共处 的美好社会…。 在批 评话语分
析中， 人们主要关注 “ 霸权 ’ 就是 揭示话语 中所含 的权势 ， ， 也 因此人们会或多或少地反抗这种权势。而积极话语分析关注 于 ‘ 区” 它着重考虑的是人们如何团结在一起并为各 自 社 ， 在 世上寻求空 间， 而通过这种方式重新分配权利 而不必反抗 从 它 。国内学者朱永生详细探讨 了积极话语分析与批评话语
多模态话语分析综合理论框架探索_张德禄
语言
布局
多 模
纯语言
声音 文字
态
话
动作(移动)
语
比拟
媒
表情
体
身体
面容
眼神
系
五官
统
手势
肢体
姿势
非语言
摇动 PPT
音响扩放
工具
网络
非身体
实验室 同声传译室
环境
图 1 多模态话语媒体系统
25
2009年1月 第6卷 第1期 （总第27期）
中国外语
F
L
C
Jan. 2009 Vol.6 No.1 (General Serial No.27)
3 多模态话语的媒体系统
3.1 语言媒体 从传统的语言学研究的角度讲，实现意 义传播的媒体形式主要有两种：声波传导的声 音符号和由笔等生成的书写符号。这两种媒体 是语言传播信息的主要媒介。但随着信息技术 的不断发展，其他技术开始用于语言信息的传 播，如计算机文字输入、计算机语音识别等， 但最后的传播媒体仍然是声音或者字符。 伴随语言的媒体形式对语言意义的传递起 到辅助、补充和强化的作用，包括音响、声音
非强化关系表示两种交际模态缺一不可， 互为补充的关系，特别是听觉和视觉的结合。 在非强化关系中，我们可以区分协调、联合和 交叉几种形式。在协调关系中，不同的模态共 同表达交际者的整体意义，缺乏任何一者将不 完整。例如，在播放录像画面时，同时播放声 音。图像和声音都是必需的，不然交际将难以 理解。这是一种典型的相互协调模式。在同一 种模态中，不同类型的媒体可以形成联合关 系，共同来体现意义。例如在录像这种多模态 话语形式中，与动画相匹配的声音与解说的声 音联合体现听觉所实现的意义。还有一种交叉 体现意义的现象，例如交际者可以在边工作、 边做事的同时，讲解他做的事情的经过和原 理、原因等，从而形成两种模态交叉体现整体 意义的现象。这样，非强化关系可以归结为协 调、联合和交叉。
冯德正多模态中国话语研究的方法
冯德正的多模态中国话语研究方法主要包括以下几个方面：
1. 话语分析框架的构建：冯德正借助话语分析框架，系统地连接了宏观与微观、抽象与具体，从而形成了一
个完整的话语分析体系。
2. 多种话语形式的考察：他关注图文与视频语篇中的复杂多模态资源，如拍摄手法、剪辑、叙事等，并探讨
不同话语形式如何建构全方位、立体客观的中国形象。
3. 社会符号学视角的评价性身份分析：他利用这一框架，深入分析多模态资源在身份构建中的作用，以及这
些资源如何“蕴含”身份特征。
4. 跨文化与跨学科的研究方法：冯德正强调话语分析与其他学科的结合，如外语教学、话语分析、语用学、
翻译研究、隐喻研究以及跨文化研究等。
5. 理论结合实践的研究方式：他不仅进行理论探讨，还积极与师生互动，解答他们在多模态研究分析方法、
理论和内容等方面的困惑，使得研究成果更具实践指导意义。
6. 融汇中外、贯通古今的超文化身份研究：冯德正认为这是构建新时代多模态中国话语体系的一个重要部
分，需要政府、外交官、学者等共同努力。
多模态话语分析理论关照下的大学英语教学实践初探
- 57 -校园英语 / 高等教育多模态话语分析理论关照下的大学英语教学实践初探渭南师范学院外国语学院/张莉我国多模态话语的研究始于 2003 年李战子首次引入多模态话语理论，提出多模态话语分析对英语教学有重要意义！ 随后胡壮麟、朱永生、顾日国、韦琴红等专家对于多模态话语进行了深入的研究！时至今日，多模态话语研究如雨后春笋，在社会学、人类学、美学、新闻学、符号学等领域得以广泛运用! “多模态话语”是一个合成词语，它是由“模态”和“话语”两部分组合而成的一个术语关于“模态”“话语”这两个词，研究者有过这样的论述：模态是指交流的渠道和媒介，包括语言、技术、图像、颜色、音乐等符号系统；多模态话语是指运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象。
在大学英语的课堂教学实践中，英语教师可以结合现代化的教学媒介，选择不同的模态进行英语教学。
例如，语言教学中使用的音频播放设备，展现概念、术语内容的视频图片，等等。
同时，也可以根据学生的特点，利用模态话语完成自己的教学任务。
一、英语课堂面临的挑战随着现代科技，电脑，手机的广泛应用，大学英语课堂不再是教师一根粉笔，一张嘴就能满足的了。
学生可以从自己的手机和电脑上轻松获得各种信息，比如课本上的生词，翻译甚至是作文。
作为一名英语教师，自然会思考我们在课堂上的作用和价值。
课堂上部分学生会选择看手机，而不是听教师讲。
采用传统的教学手段，无法引起学生的学习兴趣，进而使部分学生产生厌学情绪。
这一新的挑战要求我们注意研究教育思想、模式和方法的变化与教育技术现代化之间的关系;要求广大英语教师掌握进行现代教学设计的方法，把应用现代教育技术作为教育改革与发展的重要动力。
面对新的社会环境和就业形势，需要在教学中进一步强化新的教学理念，改变教师满堂灌、学生被动听的旧模式。
教师不再是整个教学过程的主体，而是教学过程的组织者、自主学习的指导者、教学活动的督促者; 整个教学过程都要以学生为中心，注意培养学生的语言综合应用能力、批判思维能力、跨文化交际能力和自主学习能力。
英语类专业本科课堂多模态话语分析
英语类专业本科课堂多模态话语分析随着教育的发展，多模态交流在课堂教学中扮演着越来越重要的角色。
特别是在英语类专业本科课堂中，学生和教师之间的多模态话语分析对于有效的教学和学习起着重要的作用。
多模态话语是指通过不同的语言形式进行交流，包括语言文字、肢体语言、声音、图像、空间布局等多种形式。
在英语课堂中，教师和学生通过多种方式表达自己的思想、理解和意图，以达到更好的沟通和理解。
首先，教师在课堂上使用多模态话语来引导学生的学习。
教师可以通过举例、演示、图片、视频等多种方式来呈现知识点，帮助学生更好地理解和记忆。
通过图像和视频的使用，教师可以使抽象的概念更加具体和生动，激发学生的学习兴趣。
同时，教师的肢体语言和声音也能够传达出情感和态度，有效地引导学生的学习。
其次，学生也可以通过多模态话语来表达自己的思想和理解。
在课堂上，学生可以通过演讲、展示、讨论等方式来展示自己的学习成果。
他们可以利用肢体语言和声音来增强自己的表达效果，让观众更好地理解和接受自己的观点。
此外，学生还可以使用图像、视频等辅助工具来支持自己的演讲，使观众更加深入地理解自己的意图。
多模态话语分析对于英语类专业本科课堂的教学和学习至关重要。
首先，它可以帮助教师更好地传递知识，提高学生的学习效果。
通过多种方式的呈现，教师可以满足不同学生的学习需求，提高他们的参与度和学习动力。
其次，多模态话语分析也可以帮助学生提高自己的表达能力和沟通能力。
通过学习和使用多种语言形式，学生可以更好地表达自己的思想和理解，提高自己的学术能力。
总之，英语类专业本科课堂的多模态话语分析对于教学和学习有着重要的影响。
教师和学生可以通过多种语言形式来进行交流，提高教学效果和学习成果。
因此，在英语类专业本科课堂中，我们应该重视多模态话语的运用，并不断提升自己的多模态交流能力。
多模态语篇分析
随着现代科学技术的迅速发展，多模态语篇的
出现打破了传统概念上的语言或言语基础上的
理解。人们需要以新的角度审视现代社会中的 话语。Kress（2001: 80）甚至认为，不存在 所谓外在的语境，只有各种符号模式组成的整 体。学者们在近20年间对多模态现象进行了广 泛的研究，从理论上和实践上探索了多模态的
一些学者运用系统功能语言学理论研究语言之 外的某种模态，较早的两部专著是Kress与 Van Leeuwen合著的Reading Images: The Grammar of Visual Design (1990/1996/2006） 和O’Toole的Language of Displayed Art （1994）。两者都致力于视觉语法的构建：前 者关注图像，后者主要研究油画、雕塑和建筑。
语体学视角关注的语体特征与多模态的关系。 Lanham（1983；2003）注意到受计算机技术 的影响，“散文”的概念已发生了变化：从书 面到电子、从静态到动态、从无声到有声等。 他认为散文分析应该包括传统的书面散文和现 代的多媒体散文，并指出计算机给文本写作提 供了动态的三维空间。因此，我们需要一种描 写这种三维文本的语法，特别是描写文字同声 音和图像的关系。
更多的学者关注多模态话语中各模态之间的关系和语 法整合。Lemke（1998，2000）从理论上解释了模 态之间的语义扩展。他认为，语言和其他模态共同进 化使我们拥有构建范畴意义和程度意义的两种不同方 式。语言擅长范畴意义的构建，而动态动作和视觉图 像更容易表达程度意义。Lemke（2000）认为，多模 态语篇中的模态混合必然导致语义的扩展，从而产生 新的解释空间。例如，数学语篇混合使用语言、视觉 图像和数学符号构建的世界远远超越了语言所能构建 的世界，从而产生新的解释空间。
多模态话语分析理论在医学英语阅读中的应用探索
302018年46期总第434期ENGLISH ON CAMPUS多模态话语分析理论在医学英语阅读中的应用探索文/卢杨夏蒙为了紧跟全球医学事业的发展步伐，医学人才培养也要向国际化双语型的培养模式推进。
医学英语在国际医学前沿发展的交流过程中扮演至关重要的角色，所以提高医学英语阅读的水平，有助于医学生更好地了解国际最新医学进展和成果。
因此，如何提高阅读更新速度快、覆盖面广的医学英语文献素材成为我们的一道课题。
本文通过介绍多模态话语分析理论在英语语言学习中的应用启示，重点探索其有效促进医学英语阅读的全新模式。
一、多模态话语分析理论的提出与发展多模态话语分析理论在上世纪末的西方国家被最先提出，它是以韩札德的系统功能语言学为基础来进行持续发展改进的。
在多模态话语分析理论的整个理论基础分析中，语言被认为是社会的符号，其他的表现模式全部为非语言符号。
多模态话语分析理论的改进者认为非语言符号也是可以相互产生意义表达，并且能够独立互生，共同与语言符号产生出特殊的意义，由此便改变了传统的话语分析理论认为语言文字是独立的片面性。
自多模态话语分析理论被提出以来，各方面不同领域的专家都对其做了一些深入的探究。
首先便是罗兰.巴特，他是最早开始研究多模态话语分析的专家，他在1977年发表的一篇论文上向我们分析了图像在表达意义上与语言的相互相生的作用；然后是克雷斯，他对媒体与多模态话语的关系、表达的意义、报纸图像的版面以及不同媒介的作用都做出了深入的探究；罗伊斯则对符号的不同在多模态话语中的表达不同以及它们相互之间的关系进行了深入分析；而奥拉罗兰完善了多模态的理论建构，此结构对多模态话语分析在英语教学中的应用提供了很大的启示。
从上文中我们可以发现，多模态话语分析理论最先是在西方国家20世纪末被提出，而我国针对这方面的研究，则开始于21世纪初，所以我国虽然在时间上与西方国家相比较为劣势，但发展速度却十分迅速，而目前针对将这项理论应用到医学英语阅读中也显得格外重要，也会凸显出它自身的实际应用价值，以及帮助我们更好的理解医学英语阅读。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
多模态话语分析初探[摘要] 多模态话语指语言与其他符号资源共存,共同建构意义。
迄今为止的话语分析基本上局限于语言本身,即只注意语言系统和语义结构本身及其与社会文化和心理认知之间的关系,忽视了诸如图象、声音、颜色、动漫等其他意义表现形式。
20世纪90年代,西方兴起的多模态话语分析,则可以在很大程度上帮助人们克服这些局限性。
本文将论述与多模态话语分析紧密相关的几个问题: (1)多模态话语的产生; (2)多模态话语分析的理论基础; (3)多模态话语的媒体系统; (4)多模态话语分析的意义。
[关键词] 多模态话语分析理论基础媒体系统1. 引言话语分析(discourse analysis)这一研究方向是美国语言学Harris于20世纪50年代初提出的，自此以后，世界各地的话语分析家作出了很大努力,提出了各种各样的话语分析理论和方法,通过大量实例分析,解剖了话语活动内在的规律以及话语活动与意识形态和认知模式之间的关系。
（朱永生，2003）然而，这些理论和方法，基本上都是以语言为研究对象的，即只注重语言系统和语言结构本身及其与社会文化和心理认知之间的关系，忽视了诸如图象、声音、颜色、动漫等其他意义表现形式。
在这种情况下，交际不再是利用一种感官进行，如说话是听觉，书写是视觉，盲文是触觉等，而是用两种或者多种感官同时进行，如用PPT 上课则是视觉与听觉同时进行的；模拟与讲解则是听觉、视觉和触觉同时进行的。
以这种交际方式产生的话语就是多模态话语。
多模态话语指运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象。
然而，如何在话语分析中把多种媒体和多种模态结合起来进行分析解读是现代语言学研究要解决的问题。
2.多模态话语的产生生命科学的研究成果告诉我们,生命体在演化过程中逐步获得视觉、听觉、嗅觉、味觉、触觉等5种不同的感知通道( sensory channel): (1)靠眼睛获得的视觉通道(visual channel); (2)靠耳朵获得的听觉通道(auditive channel); (3)靠皮肤获得的触觉通道( tactile channel); (4)靠鼻子获得的嗅觉通道(olfactory channel);(5)靠舌头获得的味觉通道(gustatory channel)。
这些通道是生命体与周围环境进行信息交换的界面和路径。
生物学家们认为,上述5种感知渠道的获得分别导致以下5种交际模态的产生:视觉模态(visualmodality)、听觉模态(auditivemodality)、触觉模态( tactile modality)、嗅觉模态(olfacotry modality)和味觉模态( gustatormodality)。
其中与话语分析关系最紧密的是视觉模态和听觉模态。
近年来,由于科学技术的发展,触觉模态、嗅觉模态和味觉模态也开始用于话语交际。
3.多模态话语分析的理论基础多模态话语分析主要的理论基础是Halliday创立的系统功能语言学(Halliday 1978, 1985/1994; Halliday&Matthiessen 2004)。
具体地说,多模态话语分析从系统功能语言学那里接受了语言是社会符号(social semiotic)和意义潜势(meaning potential)的观点,认为语言以外的其他符号系统也是意义的源泉;接受了系统理论,认为多模态话语本身也具有系统性;接受了纯理功能假说(metafunction hypothesis) ,认为多模态话语与只包含语言符号的话语一样,也具有多功能性,即同时具有概念功能、人际功能和语篇功能;接受了语域( register)理论,认为语境因素和多模态话语的意义解读之间有着密不可分的联系。
4.多模态话语的媒体系统4.1 语言媒体从传统的语言学研究的角度讲，实现意义传播的媒体形式主要有两种：声波传导的声音符号和由笔等生成的书写符号。
这两种媒体是语言传播信息的主要媒介。
但随着信息技术的不断发展，其他技术开始用于语言信息的传播，如计算机文字输入、计算机语音识别等，但最后的传播媒体仍然是声音或者字符。
伴随语言的媒体形式对语言意义的传递起到辅助、补充和强化的作用，包括音响、声音的大小、音调、声音的频率、口音、语气以及字体形状、大小、空间的布局等。
这些伴随语言的媒体特征对意义整体的表达起着十分重要的作用，有时是关键作用，因为它可以引起整体意义的改变。
4.2 非语言媒体表达意义的非语言媒体包括交际者的身体动作和交际者在意义表达中所使用的非语言手段，如工具、环境等。
交际者肢体的动作可以分为三个类别：(1) 与头部有关的动作，包括眼神、挤眼、凝视、摇头、点头、仰头、低头、欢喜的表情、伤心的表情、嫉恨的表情、凝重的表情、大笑、龇牙咧嘴以及鼻子和耳朵的动作形成的媒体符号等。
(2) 由手臂和腿形成的媒体符号，包括手势，手臂的状态、形成的形状、摇动等，腿的并立、踢跳、弯伸等。
(3) 躯干的动作，如姿势、移动、摇摆、模拟等。
非肢体媒体主要包括工具和环境两个方面。
随着现代科学技术的发展，交际者肢体以外的交际媒体变得十分发达。
从起初的音响设备到现在的网络平台、同声传译室等都是工具性媒体。
除此之外，交际者还可以利用环境中已有的任何相关因素来进行交际，包括现场环境中的人和物、有象征意义的符号等。
5.多模态话语分析的意义Saussure (1916)很早就明确指出,实际使用的话语才是语言学真正需要研究的对象,基于文本的语言形式和结构研究并不能从根本上解决语言学家想要解决的问题。
Halliday (1978) , Halliday &Hasan (1985) , Chafe (1994)等人也持有相同的观点。
我们认为有必要将语言研究的重心转移到自然状态下的话语上来,特别是现场即席口语会话。
而人们在具体的社会情境中,总是运用多种多样的符号资源完成意义建构(Kress et al 2001)。
这就是说,自然状态下发生的话语活动往往具有多模态性(multimodality)。
多模态话语分析的意义在于它可以将语言和其他相关的意义资源整合起来(Gibbon 2000) ,它不仅可以看到语言系统在意义交换过程中所发挥的作用,而且可以看到诸如图象、音乐、颜色等其他符号系统在这个过程中所产生的效果,从而使话语意义的解读更加全面、更加准确,进而发现人类如何综合使用多种模态达到社会交际的目的。
可以说,这类话语分析既可以推动我们对语言学的研究,同时也可以加深对符号学的认识(胡壮麟2007)。
6.结束语我们生活在一个多模态的社会,意义的构建越来越依赖各种符号资源的整合。
比如,视觉图像、手势和声音等往往和语言一起完成意义的动态建构。
多模态话语的发展对话语研究领域提出新的要求。
系统功能语言学为多模态话语分析和研究提供了理论基础。
多模态话语可以从文化、情景、话语意义、语法、形式和媒介多个层次进行研究。
传统上专注于单一模态研究的学科,比如语言学,需要同其他研究领域展开对话,满足多模态研究的跨学科要求。
多模态话语分析作为新兴的学科,一方面体现了不同学科发展的整合趋势,另一方面也对研究领域传统的理念提出了挑战。
这门新兴学科昭示了社会科学领域,尤其是话语分析领域的新发展和新趋势。
参考文献：[1] Chafe, W. Discourse, Consciousness, and Time[M]. Chicago: University of Chicago Press. 1994.[2] Gibbon, Dafydd, IngeMertins &Roger K. Moore. Handbook Of Multimodal and Spoken Dialogue Systems [M]. Boston: Kluwer Academic Publishers. 2000.[3] Halliday, M. A. K. Language as a Social Semiotic [M]. London: Arnold. 1978.[4] Halliday, M. A. K. An Introduction to Functional Grammar [M ]. London: Arnold. 1985/1994.[5] Halliday, M.A.K. & Hasan, R. Language, Context and Text: A Social Semiotic Perspective [M]. Geelong, Vic.: Deakin University Press. 1985.[6] Halliday, M. M. K. & Matthiessen, C. An Introduction to Functional Grammar [M]. London: Arnold. 2004.[7] Kress, G. & van Leeuwen, T. Multimodal Discourse: The Modes and Media of Contemporary Communication [C]. London: Arnold. 2001.[8] Saussure, F. de. Course in General Linguistics[M]. London: Gerald Duckworth & Co. Ltd. 1916.[9] 胡壮麟. 社会符号学研究中的多模态化[J]. 语言教学与研究，2007，(1).[10] 朱永生. 话语分析50年[J] . 外国语，2003，(3).。