社会符号学研究中的多模态化_胡壮麟
社会符号学研究中的多模态化_胡壮麟
语言教学与研究2007年第1期社会符号学研究中的多模态化胡壮麟提要 索绪尔对语言符号学的建立和对普通符号学的展望有其不可磨灭的贡献,但他的有些观点在符号学研究者中有不同反响。
代表英美传统的皮尔斯发展了符号范畴,但他忽视了作为社会成员的人,因此仍不能摆脱形式主义的研究方法。
随后的社会符号学发端于韩礼德的 语言是社会符号 的理论,关注的是特定于某一文化某一社团的符号实践。
这一理论推动了多模态表达的研究,从而形成了多模态符号学。
本文首先讨论多模态符号学和多媒体符号学的区别;进一步介绍具有媒体和模态双重特性的计算机符号学;对一些具体问题分别作了论述,如作为符号系统的符号资源、以屏幕代替书本的多模态符号的设计以及由话语参与者实现的连贯。
最后指出,在人类进入社会符号学的多模态化的新世纪,对多模态识读能力的培养应引起重视。
关键词 社会符号学;多模态化;体符号学;计算机符号学;多模态识读能力2004年,原洛阳外国语大学王铭玉教授的 语言符号学 一书问世,我在序言中肯定了索绪尔明确指出语言学是符号学的一个分支后,接着说了这么一段话:如今,我们一方面认识到语言是全部符号事实中的一个特殊系统,对语言学的研究推动了对符号学的研究。
对符号学的认识加深了我们对语言的认识。
另一方面又开拓了我们对其他符号系统的研究。
这就是说,符号学有广阔的目标,它的理论旨在探索意义的生成。
任何意义,不仅是书面语的意义,诸如视觉、听觉、嗅觉、味觉、触觉,以至抽象的模型、结构、主体意识都应纳入它的视线之内。
本文就这个话题,谈谈自己的认识。
一 从普通符号学到社会符号学索绪尔对语言符号学的建立和对普通符号学的展望(Saussure1974)有其不可磨灭的贡献,但他的有些观点,如关于语言单位和结构是语言系统固有的特性,不受制于外部影响,在语音和意义之间没有必要的联系,意义不是通过与外部现实的关系而是通过该符号与其他符号之间的关系来界定,在符号学研究者中有不同反响。
以社会符号学的视角看多模态话语分析——2011深圳世界大运会会徽为例
Ｓｔ ｎ ｈｅ ｎ ￣ ． ｎ ｚ
蝴
２１ ０ １深 圳 世 界 大 运 会 会 徽
（ ） 一 图像 的再 现 意 义
克 瑞 斯 和 勒 文 提 出 了多 模 态 话 语 的 再 现 意 义 。再 现 功 能
个 重要 特 征 。胡 壮 麟认 为多 模 态 话 语 是 由表 达 意义 的两 个 或 两 个 以 上 的单 模 所 构成 的话 语 。１ 斯 和勒 文 认 为语 篇 的多 ｛ ３ 克瑞
起 来 的视 觉 图像 语 法 为 理 论 ， ２ １ 年 深圳 世 界 犬运 会 会 徽 图像 为 实例 ， 行 多模 态 话 语 的 社 会 符 号 学分 析 ， 以 ０１ 进 并揭 示 出文 字与 图像 共 同作 为 社 会 符 号 的袁 意 功 能 。 关键 词 ： 多模 态话 语 ； 会 符 号 学 ； 社 深圳 世 界 犬运 会 会 徽
（ ） 模 态话 语 的社 会 符 号 学 分 析 理 论 二 多
克瑞 斯 和 勒 文所 创 建 发 展 的多 模 态 话 语 的社 会 符 号 分 析 理 论 是 以韩 礼 德 的 系统 功 能 语 言 学 理 论 为 基 础 ．主 张 图 像 也
“ ｎｖｒｉ ｅ 代 表 着 世 界 大 学 生 运 动 会 的 英 文 名 称 ： Ｕ ｉ ｓ ｄ” ｅ ａ
２ ２年 ７月 ０１
湖北经济学院学报（ 文社会科学版 ） 人
Ｊ ｕ ａ ｆＨｕ ｅ ｎｖ ｒｉ ｆＥ ｏ ｏ ｃ （ ｍａ ｉｅ ｎ ｏ ｉｌＳ ｉｎ ｅ ｏ ｒ ｌ ｂ ｉＵ ｉｅｓｔ ｏ ｃ ｎ ｍｉｓＨｕ ｎｔ ｓａ ｄＳ ｃａ ｃｅ ｃ ｓ ｎ ｏ ｙ ｉ
Ｊ １ ０１ ｕ． ２ ２
以图画、 画、 音 、 动 声 图像 、 色 、 排 等 多 模 态 同时 出 现 。ｆ 颜 编 ｌ ｌ 多 模 态 话语 分 析 诞 生 与 ２ Ｏ世 纪 ９ ０年代 ，将 系统 功能 语 言 学 应 用 于 图 像 、 乐 、 言 等 其 它 符 号 资 源 ， 而 在 一 定 程 度 上 弥 音 语 从 补 了 传统 话 语 分 析 的 不 足 。本 文 以社 会 符 号学 的视 角 看 多 模 态话 语分 析 ２ １ 年 深 圳 世 界 大 运 会 会 徽 ． 讨 图像 和 语 言 作 ０１ 探
社会符号学研究中的多模态话语构建——基于2008北京奥运会会徽的话语分析
、
代 人 类 的 交 流 不 再 是 单 一 模 态 的 交 流 （ ｏ ｏ ｏ ａｃｍｍ ｎｃ． ｍ ｎｍ ｄｌ ｏ ｕ ｉ ａ ｔ ｎ ， 模 态 交 流 （ ｌｍｏ ａ ｃ ｍ ｎｃ ｔ ｎ 已 经 成 为 主 流 。 ｉ ）多 ｏ ｍｕｔ ｄ ｌ ｏ ｍｕ ｉ ｉ ） ｉ ａｏ 按 照 社 会 符 号 学 家 （ ｏｇ Ｈ ｄｅ＆Ｋ ｅｓ １８ ： ） 观 点 ， 义 如 此 ｒｓ，９ ８６ 的 意 强 大 和广 泛 地 存 在 于 视 觉 、 觉 、 为 、 情 和 动 作 等 其 他 社 听 行 表 会符号的资源系统中 ， 只注 重 语 言 文 字 是 远 远 不 够 的 ， 为没 因 有 一 个 单 一 的 符 号能 够被 孤 立 地 完 全 理 解 。 严格 意 义 上 说 ． 从 现 实 中 “ 有 的 交 流都 是 多模 态 的 ”Ｂ ｌｒ ＆ Ｔ ｉａｈ，０ ６ 所 （ａｄｙ ｈｂｕ ２０ ； Ｋ ｅｓ ｖ ｎＬ ｅ ｗ ｎ １ ９ ） ｒ ｓ ＆ ａ ｅｕ ｅ ， ９ ６ 。 在克瑞斯和勒文的研究中 ， 法被延伸到包括视觉模式。 语 他 们 认 为 ：正 如 语 言 的 语 法 决 定 词 如 何 组 成 小 句 、句 子 和语 “ 篇， 视觉 语 法 将 描 写 所 描 绘 的人 物 、 点 和 事 物 如何 组 成 具 体 地 不 同 复 杂 程 度 的 视觉 的陈 述 。 在 将 图像 也 看 作 社 会 符 号 的前 ” 提 下 ，他 们 将 韩 礼 德 功 能 语 言 学 中 的 纯 理 功 能 思想 延 伸 到视 觉 模 式 ， 建 了 以“ 现 意 义 ” “ 动 意 义 ” “ 图 意 义 ” 核 创 再 、互 和 构 为 心 内容 的 分 析 图像 的视 觉 语 法 （ ｅ ｒｍ ｒ ｆ ｉ ａｄｓ ｎ 。 ｔ ａ ｍａ ｏｖｓ ｌ ｅｉ ） ｈｇ ｕ ｇ 二、 北京 奥 运 会 会 徽 多模 态 话 语 分 析 中 国２ ｏ 年北 京 奥 运 会 会 徽 图 案 形 似 汉 字 “ ” 表 达 了 ｏ８ 京 ． 中国 人 民 希 望举 办 一 届 属 于 世 界 的 、 多 元 文 化 融 合 的奥 运 盛 会 的 强 烈 愿 望 。 北京 奥运 会 会 徽 构 成一 个 多 模 态 文 本 。
国内“多模态”符号研究文献综述
总第265期2014年1月(上)The Science Education Article CollectsTotal.265January 2014(A)国内“多模态”符号研究文献综述周海鸿（合肥师范学院大学英语教学部安徽·合肥230061）中图分类号：H319文献标识码：A文章编号：1672-7894（2014）01-0129-02基金项目：本文系2010年院级项目“大学英语课堂教学多模态符号研究”(项目编号2010yj41)的研究成果。
作者简介:周海鸿（1984—），女，安徽无为人，合肥师范学院大学英语教学部助教,文学硕士,研究方向为应用语言学。
摘要多媒体条件下,多模态符号分析应运而生。
本文以中国期刊网上的相关论文为基础,梳理了国内多模态的发展过程,以及表现出的特点和趋势,指出了取得的成绩以及存在的不足,因此需要采取措施,完善多模态理论构建和实践探索,加快多模态学科建设的脚步。
关键词多模态名称发展过程研究内容建议A Literature Review on "Multi -modality"Research in China //Zhou HaihongAbstract With the rapid development of multi-media,the stud -ies of multi-modal discourses has emerged and developed pros -perously.This paper has carried out an analysis on the basis of related papers published in China Journal Net,sorting out the developing process of multi-modality in our country,as well as the characteristics and tendency,and also pointing out theachievements and some problems.Therefore,some measures should be taken to further improve the theoretical establishmentand practical discovery,and finally accelerate the construction of multi-modality as a subject.Key words multi -modality;name;developing process;researchcontent;suggestions1引言在西方，多模态（式）话语分析兴起于20世纪90年代，但到2003年才进入中国。
教科书语篇的多模态语篇分析——以高中英语新课标必修(二)为例
人文教 育 ． ８ １９．
教 科 书 语 篇 的 多模 态 语 篇 分 析
文 献 标 识 码 ：Ａ
文 章 编 号 ：１ ０ ０ ６—０ ６ （ ０ １ １ ２ Ｘ ２ １ ） ２—０ ０ ０ ０一Ｏ ２ 的这 些 不 同模 态 实 际 上都 是 为 了 体 现 语 篇 的 整 体 意 义 。 教 科 书 的 多模 态 话 语 分 析 教 科 书 书 面语 篇 结 合 专 业 特 点 和 学 习 对 象 ，从 传 播 知 识 形 式 上 是 呈 现单媒体多模态 的特 点。其语篇 意义的构建是通过直接印刷语 言符号资 源 与 图像 视 觉 符 号 等 多模 态 形 式 体 现 的 。 （ 徐立 红 ＆ 黄 宁夏 ，２ １ ） ００ 众所周知 ，教 科书是 教师上 课的蓝 本 ， 学生学习用到 的第 一手资 是 料 。教材编写 ，设计 的效果 直接 影响到学生学习的效果 。为 此，教材版 编写者在编写教材 时，应 考虑学 生的年龄 ， 知及身心发展 特点 ，知道 认 他们喜欢什么乐于做什 么 ，尽可 能多 的在 教科书 中将多种 模态相结 合 ， 充分体现思想性 ，科学性 ，基础性 ，交 际性 ，时代性 ，趣味性 ，可操作 性 和 可 选 择 性 （ 壮 麟 ，２ ０ ，从 而 达 到 提 高 学 习 兴 趣 ，促 进 学 习 效 胡 ０６）
— —
以高 中英 语 新 课 标 必修 （ ） 为 例 二
崔 维 清
福建 漳州 ３３０ ） ６０ ０
多模态话语的语言媒体系统和非语言媒体系统综述
多模态话语的语言媒体系统和非语言媒体系统综述作者：杨迪来源：《学理论·下》2012年第05期摘要：随着人类的交际活动从口述、读写时代进入超文本时代，多模态话语及多模态话语分析引起越来越多的学者的关注。
以多模态视角出发审视语言媒体系统和非语言媒体系统的各个角度，期待多模态化的教学及其研究会将教学法及教学改革带来启示。
关键词：语言媒体；非语言媒体；多模态中图分类号：H0-06 文献标志码：A 文章编号：1002-2589（2012）15-0207-02引言在话语分析研究的过程中，人们常常发现单一研究语言话语不能对话语进行全面分析。
随着科技的进步，非语言因素对于话语意义的影响不容忽视，如半语言特征、身体特征、非身体特征等。
在这种复合情况下，交际过程不仅依托单一的模式进行，如说话依托口头表达，书写依托文字，盲文依托触摸等，而是通过两种或两种以上的模式同时进行或接替进行。
PPT全称Power Point Software是专门用于制作演示文稿的工具软件，现广泛应用于学校教学。
利用PPT 工具软件制作的演示文稿俗称幻灯片，制作优秀的PPT已经不是单一的语言语篇，而是将语言文字、图像、声音、计算机、投影仪、显示屏及参与者结合，是多模态性的讲解、展示方式。
一、多模态化理论多模态化是指交际活动中不同符号模态的混合体。
通过调动不同的符号，构建一个特定的有意义的文本。
它基于社会符号学，以功能语法为理论基础，提出人们以往认为是副语言的图像、音乐、视角符号等在交际活动中的重要性，打破了人们长期以来形成的误区：副语言处于辅助地位，不能与文字符号一起参与意义建构。
国内学者胡壮麟从社会符号学的研究视角出发，对多模态现象进行研究，他区分了多模态化和多媒体化，研究了普通符号学、社会符号学、计算机符号学、符号资源、多模态符号的设计、连贯、多模态识读等重要概念。
顾曰国对多模态学习和多媒体学习逐一分析，并区分了单媒体、多媒体、单模态、多模态等概念。
社会符号学视角下的多模态话语分析——以北京2008年第29届奥运会吉祥物为例
二、 多模 态 话 语 的社 会 符 号 学 分 析 理 论
图像在媒体 、 教育和儿童 文学 中的大量 产生 ， 我们无法忽 使 略多模态话语。 …社会进入后现代时期 ， ” 话语已不仅仅 以文
第 ２ 卷第 ４期 ３
２１ ０ ０年 ８月
江 西金 融 职 工 大 学 学 报
Ｊ ｕ ａ ｏ ｉ ｎ ｘ Ｆ ｎ ｎ ｅ Ｃ ｌ ｇ ｏ ｒ ｌ ｆＪａ ｇ ｉ ｉ ａ ｃ ｏｌ ｅ ｎ ｅ
Ｖｏ Ｊ ３ Ｎｏ ４ ｌ２ ． Ａｕｇ ２ ０ ． ０１
社会 符 号 学视 角下 的多模 态 话 语 分析
本文尝试用克瑞斯和勒 文的 多模 态话语 分析方法来分
析 ２０ ０ ８年奥运会吉祥物 一福娃 图案 ， 进行 多模态话 语的社 会符号学分析 ， 探讨图像和语言作为社会符号如何共 同作用
构建 意义 的 手段 和方 法 ， 以期 对 读 者 多 模 态 识 读 能 力 的 提 高
奄 既帮助 ，
随着多媒体技术和计算机技术的飞速 发展 ， 人类交际活 动 中出现的多种符号现象越 来越 突 出， 人类 的语篇世界也呈 现出数字化和多模 态化的特点 。“ 图像 时代的到来 ， 特别是
ｌｅｗ ｎ （０ １ 认为语 篇 的多模态 性是 当今世 界 人们 交际 ｅｕ ｅ ，２０ ）
中使用 的各种语篇的一个重要特征 。在数字 化时代 ， 一个具
— —
以北 京 ２０ ０ ８年第 ２ 届 奥 运会 吉祥 物 为例 ９
邹 文君 ， 虞安 骥
（ 西 师 范 大学 外语 学 院 ， 西 南 昌 ３ ０ ２ ） 江 江 ３０ ２
广告语篇视觉语法下的多模态化
关键词：多模态化；视觉语法；语篇分析1背景自20世纪90年代以来，多模态话语分析开始在语言学界兴起，也逐步成为语篇分析研究当中的新热点之一。
随着现代科学技术的发展，尤其是计算机科学的迅速发展，大众传媒的宣传方式以及互动模式都发生了深刻的变化。
单一的语言媒介逐渐被由语言、图像、声音等构成的复杂媒介所取代[1]。
在此背景之下，胡壮麟教授[2]在其文章中指出，在人类进入社会符号学的多模态化的新世纪，对多模态识读能力的培养应引起重视。
接下来文章将分为三个部分阐述：1)多模态话语的定义；2)多模态话语的发展简史及现状；3)广告视觉语法关联的实例分析。
2多模态话语2.1多模态话语的定义首先要明确的是，多模态这个术语指的是一种现象，而不是一种理论或方法，因为话语几乎总是多模态的现象。
多模态话语分析认为‘语言’只是制造意义的众多资源之一，一个文本，一个复杂的符号实体就具有独特的物质潜力和社会塑造力[3]。
在通常情况下，多模态这个术语表示的是不同的符号模式(例如语言和图像)在给定的话语或者话语类型中被组合或者整合：例如，口语话语将语言与语调、语音质量、面部表情、手势和姿势以及自我表现的方面(如服装和发型)结合在一起[4]。
另外，朱永生教授[5]在其论文中区分了模式、媒介与模态的差别，在他看来模态指的是交流的渠道和媒介，多模态话语则包括了语言、技术、图像、颜色、音乐等符号系统。
而我们在这里讨论的多模态和多媒体又是有所区别的，对于二者概念的混淆认识会导致对多模态话语定义的模糊认识。
“模态是可对比的对立符号系统，媒体是符号分布印迹的物质手段；模式是用某种媒体表达信息的特殊方式，而媒体是表达信息的物理工具”[2]。
也就是说，我们在利用眼睛、耳朵、鼻子、手等身体部位感受外部客观世界的时候，所产生的例如视觉、听觉、嗅觉、触觉等感官体会，就是媒体和模态的不同表现，前者是表达信息的工具，后者是特殊的符号系统。
综合上述学者的观点，笔者认为多模态话语其本质上是多样的：手势、语言、图像(静止或移动)、写作、音乐(在网站上或电影中)，这些以及三维实体，都可以被纳入多模态话语的整体之中。
社会符号学视角下的多模态话语分析——以第16届广州亚运会会徽为例
独 立 而 又 相 互 作 用 的符 号 资 源 ，在 分 析语 言 特 征 的 同 时 强 调 图像 、 色 、 音 和 动 作 等 视 觉 、 觉 和 行 为 方 面 的 符 号 模 态 颜 声 听 在 话 语 中的 作 用 Ｈ ｄ ｅ 克 瑞斯 归纳 出用 以指 导 阐释 多 模 态 ｏｇ 和
话 语 两 个 理 论 前 提 ．并 进 一 步 强 调社 会符 号 在 社 会 实践 中的 应 用 ． 调 符 号 的 动 态 表 意 功 能 。 由 此 可 见 ， 会 符 号 学 为 强 社 理 解 视 觉 化 语 篇 提 供 了一 个 总 的描 述 的语 法 。 ２ ３ 觉 语 法 －视 克瑞 斯 和赖文 基本 接受 了韩 礼德 的系统 功 能语 言学 观点 ． 并 且进 一步 发展 了 自己的理 论 。 克瑞 斯 和赖 文指 出多模 态话 语分析
考 试 Ｊ： ２１ ５ ￣Ｆ （ 年第 ５ Ｊ ） Ｊ Ｉ ０ 期
社 会 号 学 视 角 下 的 多 模 态 话 语 分 析 符
以 第 １ 届 广 州 亚运 会 会 徽 为例 ６
李 篙
（ 国矿 业 大 学 外 文 学 院 ， 苏 徐 州 中 江 ２ １１） ２ ｌ６
摘 要 ：随 着 科 技 、 多媒 体 、 字 化 的 发 展 ， 言 不 再 是 数 语 意 义 的唯 一 表 现 形 式 ， 种 符 号 资 源也 成 为表 意 的 工 具 。 瑞 各 克 斯 和赖 文 在 韩 礼 德 系统 功 能 语 法 的 基 础 上 提 出 了 多模 态话 语 分析 理 论 ， 建 了 以“ 创 再现 意 义 ” “ 动 意 义 ” “ 图 意 义 ” 、互 和 构 为 核 心 内容 的视 觉语 法 本 文 利 用社 会 符 号 学视 角 下 的 视 觉 语 法理 论 ． 第１ 届 广 州亚 运 会 会 徽 进 行 了 多模 态话 语 分析 ， 对 ６ 从 而揭 示 了图像 和 文 字是 如 何 表 现 意 义 的 。 关 键 词 ： 会 符 号 学 多模 态 话 语 分 析 视 觉语 法 第 社
1.本课题国内外研究现状述评及研究意义。2.研究的主要内容...
图形、版面的布局等都直接引发多模态话语交 际，直接影响着课堂教学的效果 ，但这些媒体如何合理 搭配，在不同的情景中哪些模态起主要交际作 用，各个模态之间的关系如何处 理等都没有进行很好的 研究，致使我们对它们如何影响教学效果没有 清晰的认识。特别是在现代外语 教学中，有两个新的趋 势促使我们必须对外语教学中多模态话语进行 深入的研究：一是以交际、协商 、任务、活动为特点的 新教学法不断发展，使多种交际模态参与课堂教学成为可能，如话语伴随动作和行为、话语解释动作， 或者动作表演话语等；二是多媒体教学工具的不断发展，如实物投影、PPT、电影 、录像等。这样课堂 内容的表达不仅不是完全由语言来完成，而且 语言也不再是主要的交际媒体。 所以如果我们仍忽视其 他媒体的作用，只注重语言的作用，就会影响 学生对课堂话语整体意义的理解 ，从而影响课堂教学的 效果。我们对外语课堂多模态话语进行研究， 可以使我们更加清晰地认识到外 语教学中对各种媒体的 运用和各种模态如何协同进行话语交际，设计 出一个根据课型和教学目的选择 合适媒体组合的模式， 提高外语教学的质量。
国内多模态话语的研究还处在起始阶段，还没有见到专著出版，只有数量不多的论文，其中胡壮
麟的“社会符号学中多模态化”（2007）讨论多模态符号学和多媒体符号学的区别；介绍了具有媒体和 模态双重特性的计算机符号学，并指出，人类进入社会符号学多模态化的新世纪，对多模态识读能力
Multimodal Discourse Analysis
Meanings are created in texts and interactions in a complex interplay of semiosis across multiple modes but are not limited to written or spoken language.
Hall
and Bucholz—trying to encompass social psychological and socialcultural forces on analyzing a person‟s use of language. all of these approaches to identity have in common is their concentration on language (spoken or written). It is this point that creates the opportunity for this chapter on multimodal personal identity construction.
多模态语篇分析
Multimodal
discourse analysis is a fairly new and rapidly developing perspective on discourse. interesting perspective on multimodal discourse analysis is that it not merely attempts to integrate all the possible semiotic modes of expressions but also can integrate various other approaches to discourse analysis.
Wodak ---combining text analysis with narrative and interview analysis on national identity construction and placing it into a historical perspective.
The self is not something that exists first and then enters into relationship with others, but it is, so to speak, an eddy(漩涡 ) in the social current and so still a part of that current.
Hall
and Bucholz—trying to encompass social psychological and socialcultural forces on analyzing a person‟s use of language. all of these approaches to identity have in common is their concentration on language (spoken or written). It is this point that creates the opportunity for this chapter on multimodal personal identity construction.
多模态话语的社会符号学分析——以中山大学校徽为例
２ １ Ｓ Ｎ Ｙ Ｔ Ｓ Ｎ Ｕ Ｉ Ｅ Ｓ Ｙ （ Ｏ Ｉ Ｌ Ｓ Ｉ Ｎ Ｅ ） ２ １ ０ ０ Ｕ Ａ —Ｅ Ｎ Ｖ Ｒ Ｉ Ｔ Ｓ ＣＡ ＣＥ Ｃ Ｓ ０ ０
巾 山 大学 研 究 生 学 刊 （ 年第 三 期
本文尝试 运用 Ｋｅｓ ｖｉＬ ｅｗ ｎ 的多模态话语 分析 的方法 ，以中 山大 学 的校徽 ｒｓ ＆ ａ ｅｕ ｅ ｌ 为例进行 多模 态话语 的社 会符号 学分析 ，探讨 图像 作为社会 符号 和语义 作 为符 号如何 共 同作用构成 意 义的手段 和方法 ，从而也 验证 了系统 功能 语言学理论 对 于分 析 图像 的可 行
进入社 会符 号学 的多 模态 化 的新 世 纪 ，对 多模态 识读 能力 的培养 应 引起 重视 。 语 篇多 模态 观 （ ｕ ｉｏａ ｐｒｐｃｉ ）指 的是 各种 符号 资 源 （ 有声 语 言 、形象 、 ｍ ｈｍ ｄｌ ｅｓｅｔｅ ｖ 如
声音 、设计 、动 作等 ）共 同参 与我 们 日常的人 际交往 活动 。在这 种语 境 下 ，模 态可 以定
语 还可 以看 涉及符 号系统 的多少 。
Ｋ ｅｓ＆ ｖｎＬ ｅ ｗ ｎＪ 认 为语 篇 的多模 态 性是 当今 世 界人 们 交 际 中使用 的各 种 ｒｓ ａ ｅｕ ｅ ＿＿ Ｉ 语篇 的一个 重要特 征 。在 数字化 时代 ，不 同的交 流模态在 信息表 征层 面上 日趋 一致 ，一
收 稿 日期 ：２ ｌ Ｏ ０一Ｏ ７—１ ７
作 者 简 介 ：李 恩 耀 （ ９ ７一） 男 ， 中山 大 学外 国语 学 院 外 国 语 言 学 及 应 用 语 言 学 专 业 ２ ０ １８ ， ０ ９级 硕 士 研 究 生
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
语言教学与研究2007年第1期社会符号学研究中的多模态化胡壮麟提要 索绪尔对语言符号学的建立和对普通符号学的展望有其不可磨灭的贡献,但他的有些观点在符号学研究者中有不同反响。
代表英美传统的皮尔斯发展了符号范畴,但他忽视了作为社会成员的人,因此仍不能摆脱形式主义的研究方法。
随后的社会符号学发端于韩礼德的 语言是社会符号 的理论,关注的是特定于某一文化某一社团的符号实践。
这一理论推动了多模态表达的研究,从而形成了多模态符号学。
本文首先讨论多模态符号学和多媒体符号学的区别;进一步介绍具有媒体和模态双重特性的计算机符号学;对一些具体问题分别作了论述,如作为符号系统的符号资源、以屏幕代替书本的多模态符号的设计以及由话语参与者实现的连贯。
最后指出,在人类进入社会符号学的多模态化的新世纪,对多模态识读能力的培养应引起重视。
关键词 社会符号学;多模态化;体符号学;计算机符号学;多模态识读能力2004年,原洛阳外国语大学王铭玉教授的 语言符号学 一书问世,我在序言中肯定了索绪尔明确指出语言学是符号学的一个分支后,接着说了这么一段话:如今,我们一方面认识到语言是全部符号事实中的一个特殊系统,对语言学的研究推动了对符号学的研究。
对符号学的认识加深了我们对语言的认识。
另一方面又开拓了我们对其他符号系统的研究。
这就是说,符号学有广阔的目标,它的理论旨在探索意义的生成。
任何意义,不仅是书面语的意义,诸如视觉、听觉、嗅觉、味觉、触觉,以至抽象的模型、结构、主体意识都应纳入它的视线之内。
本文就这个话题,谈谈自己的认识。
一 从普通符号学到社会符号学索绪尔对语言符号学的建立和对普通符号学的展望(Saussure1974)有其不可磨灭的贡献,但他的有些观点,如关于语言单位和结构是语言系统固有的特性,不受制于外部影响,在语音和意义之间没有必要的联系,意义不是通过与外部现实的关系而是通过该符号与其他符号之间的关系来界定,在符号学研究者中有不同反响。
(Saussure1974,F iske1982,Beaugrande 1991,Guske1998)代表英美传统的皮尔斯发展了符号范畴,如图标、索引和语符。
他论述的媒介、对象、解释三位一体的三角关系是奥格登和理查兹的语义三角的理论基础。
值得注意的是 解释 这个概念的出现,意味着他对人作为解释者,作为主体作用的确认,但由于皮尔斯从哲学上关注逻辑和意义的关系,强调作为个体的人,忽视了作为社会成员的人,因此仍不能摆脱形式主义的研究方法。
(M arti n&R ingha m2000,王铭玉2004:122)这样,虽然索绪尔曾经观察到 语言是社会事实 ,日后对此作出详细解释的却是韩礼德的 语言是社会符号 的理论。
即 要在社会语境中解释语言,在此过程中文化本身用符号学术语来说,被解释为一个信息系统 , 人们在他们日常的语言交换过程中,实现社会结构,肯定自己的地位和角色,建立和传递共享的价值系统和知识系统 。
这就是说,语言既表达意义,也积极将社会结构和系统符号化。
语言的这种双重功能使意义的表达方式多种多样, 从后院的闲言碎语到叙述体小说到史诗般的诗歌 。
(H alliday1978)由此产生的社会符号学反对把符号作为第一性,反对过分强调用形式主义的方法研究符号系统。
社会符号学优先研究的是把指称行为作为实例,并把社会的指称实践作为经常的、可重复的、可识辨的类型。
它认为社会有意义的行动构成各种文化(社会符号系统),文化就是相互连接的对社会具有意义的实践系统。
我们依赖这种系统使这些实践和其他实践具有意义,不仅仅是通过清晰的信息传递,也通过所有形式的对社会有意义的活动(说话、画图、衣着、烹调、建筑、打架等)。
符号系统是对这些实践的抽象(如从言语得到语言符号),这种变化是社会实践的变化。
(Le m ke2005)正是这种变化是意义得以产生的过程,即 符号化 (se m i o sis),这比单纯研究符号间意义关系的系统更为基本,后者只是在产生意义时可资利用的资源潜势。
正如Le m ke所言,社会符号学调查的是特定于某一文化某一社团的符号实践,可以在各种情景语境和文化上有意义活动的语境中产生各种语篇和意义。
因此,社会符号学没有必要区分理论符号学和应用符号学,它与话语分析、多媒体分析、教育研究、文化人类学、政治社会学有更紧密的关系。
再者,它也回答了索绪尔符号学所难以摆脱的一个悖论:这个理论一方面把语言看作是静态的不变的,另一方面又不得不承认 所指的变化导致概念的变化 , 思想可能被迫接受符号的物质状态给它提供的特殊方式 。
这说明语言结构底层的常规是不固定的,而是受到实际言语的影响。
(Beaugrande1991:2-27)二 多模态化和多媒体化在讨论 多模态化 (m ulti m odality)和 多媒体化 (m ulti m ed iality)之前,有必要澄清一些词义的区别。
首先,本文讨论的m oda lity的意义源自m ode(方式/模式/模态/型),它不同于英语语法中的m oda lity(情态),后者与m odal verb(情态动词)中的m odal(情态的)更为接近,虽然m odel 与m ode在词源上还是有联系的。
其次,我们要区分m ode和m ed i u m(媒介/媒体)的不同。
两者都是历史和文化的产物。
模态是可对比和对立的符号系统,媒体是符号分布印迹的物质手段,如产生语篇采用印刷的或手写的手段,说话时发出的声音,身体的动作,或计算机显示器上的光脉冲(Sco llon&Levine 2004)。
举例说,我们感受客观世界的视觉、听觉、触觉、味觉、嗅觉是不同的感知模式,但眼、耳、手、舌、鼻则是媒体。
再具体说,写文章、唱歌、跳舞是采用符号表达情感的模式。
但我们用以写字的纸和墨,歌舞演出时的道具,教室中的黑板和白板,以至扩音器、录音机、电视机、录像机、投射仪、计算机则是媒体。
这样,模式是用某种媒体表达信息的特殊方式。
媒体是表达信息的物理工具。
口语是用声音媒介表达的一种方式,而书面语和面部表情是用光线或图表进行表达的模式。
显然,采用某一种媒体仍可以有不同方法表达信息。
如采用嘴唇活动或笔录的形式,口语可以由光线/图表的媒介来表达。
同理,同样的模式可以用不同媒体表达。
在人 人 系统的互动中,一种模态可以作为输入模式(从人到系统或其他人)或作为输出模式(从系统到人,或到另一系统),或两者皆可。
K ress(2001)报道教室中的多模态信息传递有三个理论基础:首先,物质的媒体经过社会长时间的塑造,成为意义产生的资源,可表达不同社团所要求的意义,这就成了模态。
所有模态具有表达意义的潜势。
非社团成员不能全部懂得这些意义,因为模态和意义具有社会的和文化的特殊性。
其次,作为言语的语言模态和作为书面语的语言模态以及其他模态往往是交织在一起的,在信息传递语境下它们同时存在同时操作。
这种互动本身就产生意义。
使用者经常对表达和信息传递的模态加以改变,以适应社会的信息传递需要,这样,已有的模态被改造,新模态被创造。
Kress(2001)认为韩礼德1978年关于信息传递的社会符号学理论推动了多模态表达的研究。
多模态表达可以分解为同时表达意义的两个或两个以上的单模态(Ber nsen2002)。
H ol sonova(1999)指出,我们每天在报纸、杂志、广告、招贴画、故事书、教科书、活页文选、百科全书、说明书、计算机界面,甚至在我们相互交往时都离不开多模态。
例如,我们谈话时手舞足蹈,有声有色,意味着使用了多模态。
我们的国画往往配有诗文和印章也是如此。
现在,许多学科都在研究多模态化这个课题,如(社会)符号学、语篇语言学、界面设计、人机对话等。
H ol sonova把多模态化分析研究的不同方法分为七个视角:(1)研究不同模态之间的差异性是强调各模式有各自内在的优劣,因此不同的模态宜用于表达不同的信息类型。
(2)根据不同模态之间的相似性,重点研究不同模态的相似方面。
例如,在分析语言和图画时,采用同样的分析范畴。
这种观点认为图画和其他视觉成分与语言一样,也具有符号的语法。
(3)根据不同模态之间的相互作用研究各模态是否有主次?是否彼此互补?是否其中一个模态可以加强其他模态提供的信息?是减少其他模态的信息还是增加信息?(4)对不同范态如何可以实现形式化?(5)对不同模态及其相互作用的感知,如有的研究使用眼跟踪器(eye trackers)和词句协议(ver bal pro tocols)。
(6)对会话模态的复制,这方面的研究强调多模态产品的应用不是以感知作为终结。
从一个多模态成果获得的信息可以在另一个信递场合重建和讨论。
如果在传递过程中信息打包维持原样或发生变化都是值得注意的现象。
(7)多模态的互动,包括我们作为个体与他人互动时或采用多模态系统时,使用言语、手势、体语、面部表情,接近或凝视的情景。
这时,我们不妨提问:何处何时对这些方法加以整合?这些方式是互补的还是重复的?这些方法是同时出现的,还是有次序的?以上(1)-(4)项趋向于研究现有产品的多模态化, (5)-(7)项关注的是这些产品的应用价值。
总的来说,在今后研究中,多模态的感知,多模态化的复制和多模态化的互动将受到特别重视。
多媒体符号学的基本原则是所有意义的产生渗透于诸如语言、姿态、描写、动作等可区别的理想的符号资源系统之间,因为意义产生既是符号实践,也是物质过程。
每一个物质行为可以就一个以上的符号关系系统构建,如一个书面词即是语言学符号,也是可视的书写符号;一个口语的词的构建也得倚赖非语言的音质;一个图像要按可视的,有时也要按语言学的性质加以理解。
因此研究不同符号系统的物质因素和符号学因素如何整合成语篇和林林总总的多媒体产物甚为重要。
研究的方法可以先分后合,先分析清楚单个的符号系统,然后将其整合。
(Le mke2005)模态和媒体的关系归根结底是话语和技术的关系,两者存在着内在的联系。
哲学家尼采曾说过, 我们的写作工具对我们的思想也起作用 (Sco ll o n&Levine2004)。
我们今天所谈的语篇分析在许多方面是技术变化的产物。
新的传播技术有双重影响。
一个影响我们如何采集语料,如笔录和分析语篇资料,另一个更重要的影响是对互动和语篇本身的影响。
例如,六十年代后盒式录音机的出现使捕捉瞬息即逝的正在使用的语言成为可能,如今信递技术成就了巴掌大的数字录像机、手机和网上聊天室,杂志已可以通过网络阅读。
Sco llon&Lev ine(2004)认为我们要研究话语和技术的关系以及多模态话语分析,因为:第一,任何话语具有多模态的固有特性。
对这个问题的研究可以更全面地了解人类的信息传递。
何况新的话语形式不时产生,如互联网和聊天室。