张德禄-多模态话语分析理论与外语教学.ppt
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
还有其他许多研究者：Jewitt 2008；New London Group (1996)；Lemke, J. (2002)；Bednarek & Martin （2010）。
4
1.2 模态与媒体（Mode vs medium）
模态（modality）来自于mode/model(方式、模式），表示可 对比和对立的符号系统；
社会符号学把语言看作众多符号之一，பைடு நூலகம்种符号系统都能够用 以社会交际，体现讲话者的意义。这样，交际就是多模态的了。
8
3.符号资源
符号系统实际上是符号资源( semiotic resource)系统，人们通 过可识别的、多半是习惯性的(有时是原创的)方法从这些资 源中选择，就可以进行有意义的活动(Lemke 1993) 。
9
Kress(2001)认为，所有的模态(视觉的、姿态的、动作的) ， 像语言一样，在社会使用过程中共同形成社会资源的模态 (Halliday 1985, Kress 1997) 。
传统上书写和口语的模态强调语言方面，而把其他资源，如 姿势、语音音律、注视、动作等看作是“副语言的”，不把 这些看作是能与语言同时作用的完整的符号资源。多模态话 语分析把它们提高到相同的层面。
1.1 多模态话语分析研究
1.最早的研究者之一是R. Barthes，在他1977年发表的论文《图像的修 辞》（ Rhetoric of the image）中探讨了图像在表达意义上与语言的相 互作用。另外几个主要的研究者包括：
2. Kress， G. and van Leeuwen， T. (1996; 1998; 2001; 2002)研究了模态 与媒体的关系，专门探讨了多模态现象规则地表达意义的现象，包括 视觉图象、颜色的语法，以及报纸的版面设计和不同媒介的作用等。
媒体是符号分布印迹的物质手段，如产生语篇采用印刷的或 手写的手段，说话时发出的声音，身体的动作，或计算机显 示器上的光脉冲( Scollon & Levine 2004) 。
我们感受客观世界的视觉、听觉、触觉、味觉、嗅觉是不同 的感知模态，但眼、耳、手、舌、鼻则是媒体。
这样，模态是用某种媒体表达信息的特殊方式。媒体是表达 信息的物理工具。
多模态话语：运用听觉、视觉、触觉等多种感觉，通过语言、 图像、声音、动作等多种手段和符号资源进行交际的现象。
6
2. 理论基础
多模态话语分析理论的基础是社会符号学
索绪尔：能指（signifier)----所指(signified)。只研究个体符号的特性；只 研究“Langue”，不研究“parole”。
多模态话语分析 理论及在教学中的应用
张德禄 dlzh@hotmail.com
1
目录
1. 引言 2. 理论基础 3. 符号资源 4. 多模态设计 5. 多模态语法 6. 模态之间的关系 7. 模态选择及用途 8. 多模态读写 9. 问题与不足 10. 将来的研究
2
1.引言
多模态性在历史上没有受到人们的重视;
5
1.3 单模态 (monomodality) vs 多模态 (multimodality
单模态是只通过一种模态进行交际活动的现象，如说话、听 录音、读书。前者为通过听觉模态；后者为通过视觉模态。
多模态表达可以分解为同时表达意义的两个或两个以上的单 模态(Bernsen 2002) 。我们每天在看报纸、杂志、广告、招 贴画、故事书、教科书、活页文选、百科全书、说明书、计 算机界面时，甚至在我们相互交往时都离不开多模态。我们 谈话时手舞足蹈，有声有色，也意味着使用了多模态。
3. O'Halloran， K. L. (1999a；1999b; 2000; 2003; 2004)不仅研究多模态的 理论建构，还专门研究了数学语篇中的多模态现象。
5. Royce， T. (1998a; 1998b; 2002)研究了不同符号在多模态话语中的互 补性，以及在第二语言课堂教学中多模态的协同性等。
在现代语言学研究中：被看作非语言特征和伴随语言特征； 一种语言的辅助表达系统，没有作为意义表达模态来研究。
多模态产生的原因： （1）是话语分析理论发展的一个历史阶段：人们发现话语
的意义很大一部分是由非语言特征实现的。
（2）人类话语越来越多模态化：多媒体和网络的产生促进 了多模态话语的研究；人类的交际过程需要听觉、视觉、 触觉并用；在一些领域，交际的主模态已经由语言转为图 像或其它模态，网页3 、电影、画展等。
皮尔斯发展了符号范畴：图标、索引和语符。他论述的媒介、对象、解 释三位一体的三角关系。
韩礼德提出了“语言是社会符号”的理论。社会符号学优先研究的是把
所指行为作为实例，并把社会的所指实践作为经常的、可重复的、可识
辨的类型。社会有意义的实践构成各种文化(社会符号系统) 。符号系统
是对这些实践的抽象(如从言语得到语言符号) 。
所谓习惯性的方法指可确认的符号架构( semiotic formations) ，是一个社团中的成员同时采用一些符号资源形 成的经常的、可重复的、可识别的、有意义的、文化的和历 史的特殊符号类型。如某一时期的文学语类是符号架构。同 样，建筑风格、房子类型、宗教仪式、特定节日、饮食、衣 着的特定样式都可以定义为可行动的有规律的范式，对社会 是有意义的实践的范式。
Saussure → Langue
Pierce
Parole ← Halliday
7
社会符号学没有必要区分理论符号学和应用符号学，它与话语 分析、多媒体分析、教育研究、文化人类学、政治社会学有更 紧密的关系。
再者，它也回答了索绪尔符号学所难以摆脱的一个悖论：这个 理论一方面把语言看作是静态的不变的，另一方面又不得不承 认“所指的变化导致概念的变化”，“思想可能被迫接受符号 的物质状态给它提供的特殊方式” (Lemke 2005) 。这说明语言 结构底层的常规是不固定的，而是受到实际言语的影响。 (Beaugrande 1991: 2 - 27)。
10
媒体资源的分类
（1） 语言与非语言
4
1.2 模态与媒体（Mode vs medium）
模态（modality）来自于mode/model(方式、模式），表示可 对比和对立的符号系统；
社会符号学把语言看作众多符号之一，பைடு நூலகம்种符号系统都能够用 以社会交际，体现讲话者的意义。这样，交际就是多模态的了。
8
3.符号资源
符号系统实际上是符号资源( semiotic resource)系统，人们通 过可识别的、多半是习惯性的(有时是原创的)方法从这些资 源中选择，就可以进行有意义的活动(Lemke 1993) 。
9
Kress(2001)认为，所有的模态(视觉的、姿态的、动作的) ， 像语言一样，在社会使用过程中共同形成社会资源的模态 (Halliday 1985, Kress 1997) 。
传统上书写和口语的模态强调语言方面，而把其他资源，如 姿势、语音音律、注视、动作等看作是“副语言的”，不把 这些看作是能与语言同时作用的完整的符号资源。多模态话 语分析把它们提高到相同的层面。
1.1 多模态话语分析研究
1.最早的研究者之一是R. Barthes，在他1977年发表的论文《图像的修 辞》（ Rhetoric of the image）中探讨了图像在表达意义上与语言的相 互作用。另外几个主要的研究者包括：
2. Kress， G. and van Leeuwen， T. (1996; 1998; 2001; 2002)研究了模态 与媒体的关系，专门探讨了多模态现象规则地表达意义的现象，包括 视觉图象、颜色的语法，以及报纸的版面设计和不同媒介的作用等。
媒体是符号分布印迹的物质手段，如产生语篇采用印刷的或 手写的手段，说话时发出的声音，身体的动作，或计算机显 示器上的光脉冲( Scollon & Levine 2004) 。
我们感受客观世界的视觉、听觉、触觉、味觉、嗅觉是不同 的感知模态，但眼、耳、手、舌、鼻则是媒体。
这样，模态是用某种媒体表达信息的特殊方式。媒体是表达 信息的物理工具。
多模态话语：运用听觉、视觉、触觉等多种感觉，通过语言、 图像、声音、动作等多种手段和符号资源进行交际的现象。
6
2. 理论基础
多模态话语分析理论的基础是社会符号学
索绪尔：能指（signifier)----所指(signified)。只研究个体符号的特性；只 研究“Langue”，不研究“parole”。
多模态话语分析 理论及在教学中的应用
张德禄 dlzh@hotmail.com
1
目录
1. 引言 2. 理论基础 3. 符号资源 4. 多模态设计 5. 多模态语法 6. 模态之间的关系 7. 模态选择及用途 8. 多模态读写 9. 问题与不足 10. 将来的研究
2
1.引言
多模态性在历史上没有受到人们的重视;
5
1.3 单模态 (monomodality) vs 多模态 (multimodality
单模态是只通过一种模态进行交际活动的现象，如说话、听 录音、读书。前者为通过听觉模态；后者为通过视觉模态。
多模态表达可以分解为同时表达意义的两个或两个以上的单 模态(Bernsen 2002) 。我们每天在看报纸、杂志、广告、招 贴画、故事书、教科书、活页文选、百科全书、说明书、计 算机界面时，甚至在我们相互交往时都离不开多模态。我们 谈话时手舞足蹈，有声有色，也意味着使用了多模态。
3. O'Halloran， K. L. (1999a；1999b; 2000; 2003; 2004)不仅研究多模态的 理论建构，还专门研究了数学语篇中的多模态现象。
5. Royce， T. (1998a; 1998b; 2002)研究了不同符号在多模态话语中的互 补性，以及在第二语言课堂教学中多模态的协同性等。
在现代语言学研究中：被看作非语言特征和伴随语言特征； 一种语言的辅助表达系统，没有作为意义表达模态来研究。
多模态产生的原因： （1）是话语分析理论发展的一个历史阶段：人们发现话语
的意义很大一部分是由非语言特征实现的。
（2）人类话语越来越多模态化：多媒体和网络的产生促进 了多模态话语的研究；人类的交际过程需要听觉、视觉、 触觉并用；在一些领域，交际的主模态已经由语言转为图 像或其它模态，网页3 、电影、画展等。
皮尔斯发展了符号范畴：图标、索引和语符。他论述的媒介、对象、解 释三位一体的三角关系。
韩礼德提出了“语言是社会符号”的理论。社会符号学优先研究的是把
所指行为作为实例，并把社会的所指实践作为经常的、可重复的、可识
辨的类型。社会有意义的实践构成各种文化(社会符号系统) 。符号系统
是对这些实践的抽象(如从言语得到语言符号) 。
所谓习惯性的方法指可确认的符号架构( semiotic formations) ，是一个社团中的成员同时采用一些符号资源形 成的经常的、可重复的、可识别的、有意义的、文化的和历 史的特殊符号类型。如某一时期的文学语类是符号架构。同 样，建筑风格、房子类型、宗教仪式、特定节日、饮食、衣 着的特定样式都可以定义为可行动的有规律的范式，对社会 是有意义的实践的范式。
Saussure → Langue
Pierce
Parole ← Halliday
7
社会符号学没有必要区分理论符号学和应用符号学，它与话语 分析、多媒体分析、教育研究、文化人类学、政治社会学有更 紧密的关系。
再者，它也回答了索绪尔符号学所难以摆脱的一个悖论：这个 理论一方面把语言看作是静态的不变的，另一方面又不得不承 认“所指的变化导致概念的变化”，“思想可能被迫接受符号 的物质状态给它提供的特殊方式” (Lemke 2005) 。这说明语言 结构底层的常规是不固定的，而是受到实际言语的影响。 (Beaugrande 1991: 2 - 27)。
10
媒体资源的分类
（1） 语言与非语言