多模态批评话语分析

多模态批评话语分析

一、引言

随着互联网和多媒体的迅速发展和广泛应用,语言文本不再是交际的唯一手段,图像、手势、动作、颜色、声音等其他非语言符号也成为信息传递的重要方式。我们生活在一个由多种符号资源构成的社会中,意义的构建不再单纯依靠语言文本,而是越来越依赖各种符号资源的整合。人类交流所依赖的媒介和渠道被称之为“模态”(modality),例如:语言、声音、颜色、图像、手势等符号系统。作为人类的一种重要交际行为,话语自然具有多模态性。传统的话语分析以大于句子的语言单位作为研究对象,对实际使用中的语言进行观察和分析,研究语言的组织结构、使用特点、语法规律、语言中的制约因素等内容,忽略了能够传递大量重要信息的其他非语言符号。可见,传统的话语分析已经不能满足人们的实际交际需要,多模态话语分析符合当下信息时代发展的要求和趋势。多模态话语分析为人类理解丰富多彩的符号系统提供了新视角,目前已发展成为一种重要的话语分析方式。像语言一样,视觉符号和声音符号貌似正常或中立(平淡无奇),实则隐含着个人或社会团体的不公正、偏见和歧视。因此,在多模态话语分析中,我们应坚持批评的立场,给予非语言模态符号足够的重视,关注其中含而不露的意识形态意义,尤其是那些被人们习以为常的思想和观点。在多模态话语和批评话语分析互相影响和借鉴的基础上,多模态批评话语分析应运而生。

二、多模态话语分析的概述性研究

20世纪90年代,多模态话语分析在西方开始兴起,引起越来越多语言学家的关注。传统意义上的话语分析注重分析语言符号系统和语义结构本身,忽略了对其他符号系统(例如:图像、声音、颜色、手势等)的研究。随着现代科学技术的发展,人类交际开始依靠多种模态共同完成,包括图像、音乐、声音、颜色等。而这种运用语言、图像、声音、动作等多种符号资源进行交际的现象就是“多模态话语”(multimodaldis-course)。学界对交际中出现的图像、手势、姿态以及空间的运用也产生了浓厚兴趣。学者们认识到,对于意义理解不仅需要对话语语言的分析,更要对独立或相互依赖的其他符号资源进行研究。法国语言学家BarthesRlando是最早从事多模态话语分析研究的学者之一。他在1977年发表的论文《形象的修辞》中探讨了图像在表达意义上与语言的相互作用[1]。Kress和

VanLeuwene[2][3][4](P343-368)[5](P35-50)作为社会符号学的代表研究了模态与媒体的关系,在系统功能语言学的基础上,构建了视频话语的分析模式和多模态话语分析框架,探讨了多模态符号表达意义的现象,包括视觉图像、颜色语法以及报纸的版面设计和不同媒介的作用等方面。2007年,朱永生[6](P82-86)提出了两种多模态话语的识别标准:(1)同时使用两种模态的话语叫做“多模态话语”;(2)只涉及一种模态,但包含两个或更多符号系统的话语也是“多模态话语”,比如:视觉模态中的平面公益广告,既有文字又有图片。近十年来,多模态话语一直是国内外语言学界的研究热点。对相关文献进行计量学统计,可以发现:(1)多模态话语分析的主要理论基础是系统功能语法和符号学;(2)多模态话语分析的研究热点主要为:言语、隐喻、身份、手势语、系统功能语法、语境和视觉;(3)多模态话语分析主要研究静态多模态话语中的视觉和语言模态。虽然相关研究在理论探索和应用实践方面取得可喜的成绩,但仍存在不足:(1)忽视构建语篇的整体意义的动态操作和多模态语篇背后的认知机制;(2)理论研究为主,实证研究偏少;(3)静态研究偏多,动态研究较少;(4)忽视各个模态之间的关系;(5)缺乏多模态语料库建设和软件开发。另外,未来的多模态研究应加强以下方面:(1)跨学科研究与学科的融合;(2)理论与方法的创新。多模态话语分析不仅是一个语言研究理论,更是一个应用领域。一些其他学科领域(例如:后现代哲学、社会学、心理学、人类学)的理论和方法都可以应用到多模态话语分析中,分析人类如何通过各种模态资源传递信息、产生意义、表达情感、构建权力关系和意识形态。

三、多模态话语分析的认知研究

到目前为止,大多数多模态话语分析研究者,以系统功能语法的三大元功能为工具,分析文字、图像、动作等符号模态,但是一些学者开展了以认知语言学核心概念为界面的跨学科研究,运用认知语言学中的认知工具和理论进行多模态话语分析,其中应用最为广泛的是认知隐喻理论。荷兰阿姆斯特丹大学的学者CharlesFrcevilleo[7]于1996年出版了博士论文《广告中的图片隐喻》,将隐喻研究延伸到非语言模态中,掀起了多模态隐喻研究的热潮,极大地促进了多模态话语分析的发展。后来,他在国际顶级期刊上发表了一系列学术论文,主要研究多模态隐喻的理论基础及应用分析,同时关注多模态隐喻分析中的焦点问题,例如:多模态隐喻的区别性特征、语类性特征、模态配置方式。另外,他的研究所涉及的语类十分丰富,包括政治漫画、广告、动画、电影、音乐、手势、雕塑等,为同领域的研究者提供了重要的参考和启迪。他在多模态隐喻研究领域的成果丰厚,不仅奠定了多模态隐喻研究的理论基础,而且为其他应用研究提供了典范。2015年,MaríaJsúsPnarSnzeia[8]出版了论文集《多模态与认知语言学》。该论文集不仅在理论层面把认知语言学的意象图式和合成空间等概念扩大到多模态隐喻研究中,分析多模态隐喻创建和解读的认知机制,而且形成了以文献回顾为辅、实证研究为主的多模态话语分析新模

式。另外,该书综合多模态研究的各种理论,将多模态研究置于认知语言学框架之内,汇集众多学者专家的最新研究成果,标志着多模态和认知语言学的互补融合,也为多模态话语分析的认知转向提供了理论依据和方法论参考。国内也有学者运用认知语言学理论和方法进行多模态话语分析,但基本上集中在多模态隐喻分析方面。国内多模态隐喻研究起步相对较晚,曾立[9](P11-14)于2004年开始关注非语言模态的隐喻认知机制,探索认知隐喻的相似性和语义冲突在图文隐喻运作中的作用。国内多模态隐喻研究的相关论文从2010年开始零星出现,其中赵秀凤[10](P18-29)[11](P45-47)发表论文2篇,结合实例探讨了多模态广告语篇中隐喻的构成、识别和解读,以及隐喻性多模态广告语篇中整体意义的动态构建过程。虽然起步相对较晚,但国内多模态隐喻研究在近几年内发展迅猛。《外语学刊》2011年第一期和《外语研究》2013年第五期分别开辟了“多模态转喻和隐喻”研究专栏并刊登了4篇相关文章,或对国外最新研究成果进行系统引介,或结合具体语类展开实例分析,或勇于创新、积极借鉴其他理论,至此国内掀起了多模态隐喻研究的热潮[12](P54-57)。另外,李健雪和俞越聪[13](P137-140)对《多模态与认知语言学》进行评介,不仅介绍主要内容,还总结了该专著的主要贡献、特色及不足,为相关研究提供重要启示。无论在语言观还是方法论上,认知语言学和多模态话语分析都具有一定的渊源关系,认知语言学可以为多模态话语分析提供更多的方法选择,多模态话语分析拓宽了认知语言学的研究范围。

四、多模态批评话语分析研究现状与存在问题

国外一批优秀学者致力于批评话语分析和多模态话语分析的理论基础和分析方法的研究,并在上述两个研究领域取得了显著的成就。虽然有些学者敏锐地发现或指出,二者存在很好的融合性和互补性,但很少有人真正地将二者融合并正式提出“多模态批评话语分析”这一概念及分析框架。直到2012年,Da-vidMachin和AndreaMayr[14]出版合著《如何进行批评话语分析:多模态的视角》,并首次提出“多模态批评话语分析”的概念。多模态批评话语分析是对批评话语分析的进一步发展,主张图像、颜色、动作、声音等其他模态符号像语言文字一样,也应该成为批评分析的对象。多模态批评话语分析主要从批评的视角分析多模态语篇中的各种符号资源如何互动和建构语篇意义,重点关注多模态话语中隐含的权力关系和意识形态。TheresaCtalanoa和LaurenGttia[15](P59-80)选取4篇有关亚特兰大公立学校教师的“作弊丑闻”的网络新闻报道,从语言层面和视觉层面分析不同媒体如何使用各种模态符号框定教师的行为和身份,并揭示涉案教师的语言表征和视觉表征背后反映和隐含的特殊利益和权力关系。英国兰卡斯特大学ChristopherHart[16][17][18]教授在认知语言学和批评话语分析融合领域的研究成绩斐然,出版了《批评话语和认知科学:移民话语研究新视角》《语境和认知中的批评话语研究》《批评话语分析中的认知语言学:应用及理论》等学术价值极高的专著。在此基础上,Hart[19](P335-350)于2016年开始针对多模态话语开展批评话语分析研究,解释语言话语中的意识形态传播,并提出一个整合认知语言学和多模态的综合分析方法。他认为,理解语言涉及到多模态心理表征的构建,话语中语言模态和非语言模态在意义构建方面互相影响。Hart[20](P3-30)从多模态视角对英国各大报纸关于1984-1985年英国矿工大罢工的相关报道进行了认知批评话语分析,研究发现:“战争”隐喻思维存在于语言和视觉层面,媒体使用语言和图片把“罢工”框定为“政府与英国矿工联合会之间的战争”。近年来,国内有关多模态批评话语分析的研究不断涌现,但并没有展开系统研究,仍是处于起步阶段。早在2009年,陈美足[21](P87-90)以“多模态批评话语分析研究”为题撰文,借助Kress和Leeuwer的视觉语法分析框架和批评话语分析方法,阐释英国《太阳报》上的一幅头版新闻图片中隐含的深层次信息。陈文提出的“多模态批评话语分析”综合方法和研究视角在当时十分具有创新性和前沿性,值得参考和借鉴。仲夏阳和孙志祥[22](P131-135)以ChinaDaily上的英文公寓广告为例,采用视觉语法和批评话语分析的三维分析模式分别对广告图片和文字说明进行解读和分析,揭示广告设计者如何利用各种符号资源对消费者

的情感、态度和观念进行影响和控制。截止到笔者撰文之日,“中国知网”上可以检索到6篇以“多模态批评话语分析”为主题的硕士学位论文。江南大学李健雪教授曾经指导的4份硕士毕业论文均借助了Machin和Mayr[14]的多模态批评话语分析方法,但他们根据各自的研究对象和研究目的对分析框架进行了调整。例如:顾阳阳[23]以信托机构网站文本为语料,一方面对网站话语中的语言现象借助系统功能语法进行微观分析,另一方面借助多模态批评话语分析工具对图像信息进行个案分析;田建萍[24]基于多模态批评话语分析框架,以系

统功能语法和视觉语法为工具,探讨公益广告中的语言模态和视觉模态如何协同构建话语意义和传达社会责任、伦理、道德等意识形态;孙富强[25]选取30则奥巴马竞选视频广告,并根据视频语篇的特点,构建由语言分析、视觉分析和图文互动构成的多模态批评话语分析综合分析模型;郑慧[26]在前人研究的基础上,自建多模态批评话语分析综合分析框架,使用检索工具、视频注释软件和语音分析软件实施三维动态语篇的批评性分析。另外,王玉竹[27]通过整合Fairclough的三维分析模式、系统功能语法和视觉语法制定综合研究框架,对中美报刊政治漫画进行批评话语分析,揭示多模态话语中隐含的意识形态和权力关系。杨开烨[28]引入多模态批评话语分析的综合视角,采用VanLeuwene的“社会行29动者表征”理论体系和Halliday的及物性理论分析英国两大媒体如何从语言和视觉层面构建学生抗议者和警察的身份,探讨如何通过对多模态符号进行全面深入的解读来认识社会问题。五、进一步研究的展望多模态话语分析是一个发展势头良好的语言研究领域,多模态话语本身也越来越多样化和复杂化。多模态话语需要更多稳健可靠的分析工具和方法,从而满足不同研究目的的需要。多模态批评话语分析也应广泛吸收语言学、社会学、认知科学、符号学、民族志、政治学等学科领域的知识,不断发展成为一门超学科。其中,多模态话语分析、批评话语分析和认知语言学之间的有机结合尤其重要。经过三十多年的发展和完善,批评话语分析已从系