多模态的理论基础

多模态的理论基础

作者：付兰

来源：《报刊荟萃（下）》2017年第09期

摘要：自1990年以来，多模态仅用于语言学理论分析，对于其他的学科应用甚少，但是，近些年来，随着多模态研究的深入，多模态逐渐从简单地图像，手势等非语言的符号的语言学分析转向有多模态领导的跨学科的分析及实证研究。2014年6月11-13日第七届国际多模态会议的召开，表明多模态的研究有着研究主题多样化，研究内容深入化，跨学科化，多模态研究方法更新进步的趋势。本文总结多模态的理论基础以供初学者进行参考。

关键词：多模态；单模态；理论基础

1 引言

2014年6月11日至13日，第七届国际多模态会议（7th International Conference on Multimodality， 7ICOM）在香港理工大学召开。这次会议邀请了国外多个著名学者进行发言，并吸引了来自三十多个国家的学者来观摩。香港理工大学教授冯德正与Francis Low 对第七届国际多模态会议的主要内容进行了评述。对多模态话题的研究一直在继续，并且有着研究主题多样化，内容深入化，跨学科化，多模态研究方法更新进步的趋势。近些年来，随着多模态研究的深入，多模态逐渐从简单地图像，手势等非语言符号的语言学分析转向由多模态领导的跨学科分析及实证研究。

2 多模态

2.1 多模态的定义

模态是一个非常复杂的概念，广义上说，一个模态即一个符号系统，借助一个特定的感知过程而被识解。这个定义把模态和人的五官联系在一起，大致分为视觉，听觉，嗅觉，味觉和触觉模态。由于人类可以感知多种隶属不同模态的符号系统，而我们很难给模态全部进行分类，所以为了便于研究，模态可以细分为：图像符号，书写符号，口语符号，手势，声音，音乐，气味，味道，触觉。 Forceville简要定义模态为“利用具体的感知过程可阐释的符号系统”。而国内的著名学者朱永生认为模态指交流的渠道和媒介，包括语言，技术，图像，颜色，音乐等符号系统。

2.2 多模态的种类

模态有单模态和多模态之分。朱永生指出生物学家认为人有五种感官，应而有五种模态：视觉，听觉，触觉，味觉，嗅觉。单模态话语是指只使用一种模态传播的话语，而多模态话语是指使用两种或者两种以上模态的话语。

2.3 多模态的判断标准

朱永生指出判断单模态还是多模态的标准：一涉及模态种类的多少，例如说，使用视觉模态阅读小说，使用听觉模态收听新闻联播等。二涉及符号系统的多少，如，连环画虽然只涉及到视觉模态，但是既有文字又有图片，广播小说虽然只涉及到听觉模态，但是既有文字内容又有背景音乐。

2.4 多模态的国内外研究动态

R.Barthes是国外最早研究多模态话语分析的研究者之一，他探讨了图像在表达意义上与语言的相互作用：Kress，G&Van Leeuwen，T研究了模态和媒体关系，解释了视觉图像，颜色语法，报纸的板面设计和不同媒介的相互作用及意义：Royce，T研究了不同符号在多模态话语中互补性及在第二语言课堂教学中多模态的协同性：O’Halloran，K，L不仅研究了多模态理论构建，而且研究了数学语篇中多模态现象。

国内多模态研究起步比国外研究要晚，现如今，对于多模态研究虽然还未形成著作，但是较之前却大有提高，不少国内学者纷纷发表学术论文探讨多模态的研究分析。国内最早研究多模态的学者李战子在多模态话语的社会符号学分析一文中首次将多模态符号理论引入国内，他在论文中介绍了K&V所构建的视觉语言和图像分析方法，探讨了这种分析方法对于加深认识语言学的符号学特点。

3 多模态的理论框架

多模态的研究大致可以分为两个方向：一是以系统功能语言学理论为基础的话语分析：二是基于认知语言学理论为基础的话语分析。两个不同方向的理论并不互相矛盾，相反两者在一定程度上具有互补性：也就是说，以系统功能语言学理论为基础的多模态话语分析和以认知语言学理论为基础多模态话语分析其实是多模态话语分析的两个层面，前者从功能层面进行分析，注重话语分析社会性；后者是从认知层面进行分析，注重隐、转喻这两种人类认知现象的研究和阐释。

3.1 系统功能语言学

Kress 和Van Leeuwen认为，图像中的视觉符号不仅可以反映客观世界和主观世界，还可以表现各种各样的人际关系：与此同时，视觉符号内部也是一个有机的连贯的整体，因此可以

借用Halliday的语言三大功能假说，分别从概念功能、人际功能和语篇功能三个不同层面分析图像等视觉符号的语义关系。

3.2 认知语言学

在认知语言学中，多模态主要研究隐喻。以Forceville等为代表认为既然隐喻不仅是一种修辞方法，而且还是一种思维方式，那么隐喻就不仅可以用语言符号表达，还可以用其他符号模式来表达，表现在绘画，音乐，雕塑，建筑等人类的认知活动中。在认知隐喻理论，概念整合理论和关联理论基础上，Forceville提出图像隐喻和多模态隐喻。在单模态的图像隐喻中，源域和目标域都以图像的形式（即视觉模态）呈现。在多模态隐喻中，源域和目标域分别由不同符号模式呈现。在多模态语境下，通过两种或多种模态或符号协同作用，相互补充，构成概念隐喻。例如，漫画，海报，广告，电影，演讲等，这些语篇通过图像，文字，声音，音乐，动作等符号和模态的组合，构成多模态隐喻。

4 结语

现如今，随着多模态国际会议的推广，学术界越来越重视多模态的研究，而它的使用范围也越来越广泛，出现了多种跨学科的趋势，而多模态研究的理论主要来源于以Halliday 为基础的系统功能语言学和以Forceville为代表的认知语言学的隐喻研究。

参考文献：

[1] 束定芳.隐喻学研究[M].上海：上海教育出版社.2000.

[2] 朱永生.多模态话语分析的理论基础与研究方法[J].外语学刊2007：82-86.

作者简介：

付兰（1992—），女，湖南岳阳人，江西师范大学外国语言学及应用语言学硕士，研究方向：二语习得。