社会符号学研究中的多模态化_胡壮麟

语言教学与研究2007年第1期

社会符号学研究中的多模态化

胡壮麟

提要 索绪尔对语言符号学的建立和对普通符号学的展望有其不可磨灭的贡献,但他的有些观点在符号学研究者中有不同反响。代表英美传统的皮尔斯发展了符号范畴,但他忽视了作为社会成员的人,因此仍不能摆脱形式主义的研究方法。随后的社会符号学发端于韩礼德的 语言是社会符号 的理论,关注的是特定于某一文化某一社团的符号实践。这一理论推动了多模态表达的研究,从而形成了多模态符号学。本文首先讨论多模态符号学和多媒体符号学的区别;进一步介绍具有媒体和模态双重特性的计算机符号学;对一些具体问题分别作了论述,如作为符号系统的符号资源、以屏幕代替书本的多模态符号的设计以及由话语参与者实现的连贯。最后指出,在人类进入社会符号学的多模态化的新世纪,对多模态识读能力的培养应引起重视。

关键词 社会符号学;多模态化;体符号学;计算机符号学;多模态识读能力

2004年,原洛阳外国语大学王铭玉教授的 语言符号学 一书问世,我在序言中肯定了索绪尔明确指出语言学是符号学的一个分支后,接着说了这么一段话:

如今,我们一方面认识到语言是全部符号事实中的一个特殊系统,对语言学的研究推动了对符号学的研究。对符号学的认识加深了我们对语言的认识。另一方面又开拓了我们对其他符号系统的研究。这就是说,符号学有广阔的目标,它的理论旨在探索意义的生成。任何意义,不仅是书面语的意义,诸如视觉、听觉、嗅觉、味觉、触觉,以至抽象的模型、结构、主体意识都应纳入它的视线之内。

本文就这个话题,谈谈自己的认识。

一 从普通符号学到社会符号学

索绪尔对语言符号学的建立和对普通符号学的展望(Saussure1974)有其不可磨灭的贡献,但他的有些观点,如关于语言单位和结构是语言系统固有的特性,不受制于外部影响,在语音和意义之间没有必要的联系,意义不是通过与外部现实的关系而是通过该符号与其他符号之间的关系来界定,在符号学研究者中有不同反响。(Saussure1974,F iske1982,Beaugrande 1991,Guske1998)

代表英美传统的皮尔斯发展了符号范畴,如图标、索引和语符。他论述的媒介、对象、解释三位一体的三角关系是奥格登和理查兹的语义三角的理论基础。值得注意的是 解释 这个概念的出现,意味着他对人作为解释者,作为主体作用的确认,但由于皮尔斯从哲学上关注逻

辑和意义的关系,强调作为个体的人,忽视了作为社会成员的人,因此仍不能摆脱形式主义的研究方法。(M arti n&R ingha m2000,王铭玉2004:122)

这样,虽然索绪尔曾经观察到 语言是社会事实 ,日后对此作出详细解释的却是韩礼德的 语言是社会符号 的理论。即 要在社会语境中解释语言,在此过程中文化本身用符号学术语来说,被解释为一个信息系统 , 人们在他们日常的语言交换过程中,实现社会结构,肯定自己的地位和角色,建立和传递共享的价值系统和知识系统 。这就是说,语言既表达意义,也积极将社会结构和系统符号化。语言的这种双重功能使意义的表达方式多种多样, 从后院的闲言碎语到叙述体小说到史诗般的诗歌 。(H alliday1978)

由此产生的社会符号学反对把符号作为第一性,反对过分强调用形式主义的方法研究符号系统。社会符号学优先研究的是把指称行为作为实例,并把社会的指称实践作为经常的、可重复的、可识辨的类型。它认为社会有意义的行动构成各种文化(社会符号系统),文化就是相互连接的对社会具有意义的实践系统。我们依赖这种系统使这些实践和其他实践具有意义,不仅仅是通过清晰的信息传递,也通过所有形式的对社会有意义的活动(说话、画图、衣着、烹调、建筑、打架等)。符号系统是对这些实践的抽象(如从言语得到语言符号),这种变化是社会实践的变化。(Le m ke2005)正是这种变化是意义得以产生的过程,即 符号化 (se m i o sis),这比单纯研究符号间意义关系的系统更为基本,后者只是在产生意义时可资利用的资源潜势。正如Le m ke所言,社会符号学调查的是特定于某一文化某一社团的符号实践,可以在各种情景语境和文化上有意义活动的语境中产生各种语篇和意义。因此,社会符号学没有必要区分理论符号学和应用符号学,它与话语分析、多媒体分析、教育研究、文化人类学、政治社会学有更紧密的关系。再者,它也回答了索绪尔符号学所难以摆脱的一个悖论:这个理论一方面把语言看作是静态的不变的,另一方面又不得不承认 所指的变化导致概念的变化 , 思想可能被迫接受符号的物质状态给它提供的特殊方式 。这说明语言结构底层的常规是不固定的,而是受到实际言语的影响。(Beaugrande1991:2-27)

二 多模态化和多媒体化

在讨论 多模态化 (m ulti m odality)和 多媒体化 (m ulti m ed iality)之前,有必要澄清一些词义的区别。

首先,本文讨论的m oda lity的意义源自m ode(方式/模式/模态/型),它不同于英语语法中的m oda lity(情态),后者与m odal verb(情态动词)中的m odal(情态的)更为接近,虽然m odel 与m ode在词源上还是有联系的。

其次,我们要区分m ode和m ed i u m(媒介/媒体)的不同。两者都是历史和文化的产物。模态是可对比和对立的符号系统,媒体是符号分布印迹的物质手段,如产生语篇采用印刷的或手写的手段,说话时发出的声音,身体的动作,或计算机显示器上的光脉冲(Sco llon&Levine 2004)。举例说,我们感受客观世界的视觉、听觉、触觉、味觉、嗅觉是不同的感知模式,但眼、耳、手、舌、鼻则是媒体。再具体说,写文章、唱歌、跳舞是采用符号表达情感的模式。但我们用以写字的纸和墨,歌舞演出时的道具,教室中的黑板和白板,以至扩音器、录音机、电视机、录像机、投射仪、计算机则是媒体。这样,模式是用某种媒体表达信息的特殊方式。媒体是表达信息的物理工具。口语是用声音媒介表达的一种方式,而书面语和面部表情是用光线或图表进行表达的模式。显然,采用某一种媒体仍可以有不同方法表达信息。如采用嘴唇活动或笔录