多模态话语理论在大学英语教学中的应用

多模态话语理论在大学英语教学中的应用
摘要：多模态话语理论中关于视觉符号多模态语篇及非言语交际的观点，可应用于大学英语教学中。

视觉符号可应用于语料选取、课程实施、评价三个环节；教师的指导干预和学生的技术实践是进行多模态语篇识读教学的关键；非言语交际观点主要应用于场景式角色扮演的学习形式。

关键词：多模态；大学英语；教学
一、多模态话语理论的内涵
多模态话语是指通过调动多种因素如视觉、听觉和触觉，以文字、画面、音响等符号资源为媒介，进行的现代交际过程。

Gentle.F.M.Knight和Corrigan于2006年在《多模态识读和信息》一书中将多模态因素分为五个构成部分：1)语言(linguistic)成分，如词汇、隐喻、结构、情态等；2)视觉(vis－ual)成分，如颜色、视角、矢量、前景、背景等；3)听觉(audio)成分，如嗓音、音乐、音响效果等；
4)姿态(gestural)成分，如行为、感受、身体控制、情感、动作等；5)空间(spatial)成分，如生态空间、几何空间、建筑空间等。

这五个部分共同作为现代信息的传输媒介，成为现代人识读的客体。

文化交际正经历从静态到动态、从平面到立体、从简单到复杂的转变过程。

二、多模态话语理论相关观点阐释
1关于视觉符号的观点
Kress对视觉符号的功能进行了如下分析：“正如语言的语法决定词如何组成小句、句子和语篇，视觉语法所描绘的人物、地点和实物组成具有不同复杂程度的视觉的‘陈述’，视觉图像是社会文化的组成部分，每一种图像都有各自的图形语义。

”Kress把Halliday的语言功能论扩展到视觉图像领域，认为图像具备“再现意义”、“互动意义”和“构成意义”的功能。

2关于多模态语篇的观点
Jewitt对多模态语篇进行了定义：多模态语篇是把所有交际模态视为意义生成资源的一种语篇视角。

他认为，现代语篇意义由多种模态构成，所有的模态都通过社会使用变成了符号资源，所有的语篇都具有多模态性。

印刷体式也是一种模态，具有自身的意义潜势，共同参与语篇意义的构建，与语言符号系统一样，它具有概念功能和人际功能，能够与文字一起共同参与意义的构建。

Silberstein 重视图表在语篇中的作用，将其称为“非文章材料”。

他指出，对其合理的利用可以提高阅读的有效性。

3关于非言语交际的观点
在社会交际中，话语意义的传播很大部分是由非言语因素完成的，这些因素承担了社会交际功能。

在多模态话语分析理论下，一些伴语言特征(如音响度、声调、语调、音速等)和身体特征(如手势、身势、面部表情、动作、移动等)因素在交际中与言语符号同等重要。

这些非言语因素整合在一起共同实现交际的目的，对语言起辅助和补充作用，甚至可以传递出语言之外更深层的意义。

Argyle 指出了非言语交际的五大功能：表达情感、表达人际态度、简化交流、展现说话者个性、表现习俗等。

三、多模态话语理论在大学英语教学中的应用
1基于视觉符号观点的视听教学
根据多模态话语理论关于视觉符号的观点，视觉图像具有再现情境、场景互动、生成意义的功能，这一观点为大学英语视听教学提供了指导原则。

视觉符号在英语教学中的应用可以贯穿整个视听课堂，在语料选取、课程实施、能力评价三个核心环节，都可以得到广泛应用。

(1)语料的选取
面对种类繁多的视听材料，如果选择不当，会分散学生注意力，影响教学的有效性。

要根据视听材料的再现情境功能，坚持真实性和实用性的选取原则。

如通过时事新闻、话题访谈、学术报告、影视剪辑等材料再现真实生活，可以使学生学以致用。

应避免过于冗长的材料，所选视频应短小精悍。

如NBC(National Broadcasting Company)，CBS(Co－lumbia Broadcasting System)，CNN(Cable News Network)等节目都是大学英语教学视听材料的合适选择。

(2)课程的实施
首先，根据视觉符号的场景互动功能，采取“教师一视听语料一学生”三方互动形式，激发学生对视听材料主题的兴趣，激发学生的听力动机，为学生加深对视频符号的进一步理解做好准备。

然后进入视觉符号的展示阶段。

传统的听力教学注重书面材料的输入而忽略会话形式语料的输入。

在多模态教学中，应发挥会话形式听力语料的优势，注意对话场景的设置。

在此过程中，视觉、听觉、文本等模态交互呈现。

视觉模态中，图像符号通过动态、色彩等形式呈现主要信息；文本模态为图像提供必要补充；音频符号通过朗读者的音量、音调、语速进行意义的传输。

教师可以通过多媒体进行教学内容展示。

例如，讲解Natural Disasters 一课，可以在PPT上以文本的形式为学生呈现听力语料上的词汇tornado、hurricane、tsunami、thunderstorm，同时用图像的形式分别展示各个单词所代表的含义，再用音频来形象地描述每种自然现象的特有声音。

这种语言与非语言的搭配是具有代表性的多模态教学形式，可以通过调动多种感官如视觉、听觉和触觉来共同识读意义、传递信息、刺激听者的感觉，提高教学的有效性。

(3)能力评价
根据视觉符号构成意义的功能，对学生能力的评估不仅要考查学生的音频输入能力，而且还应模仿视听材料中的会话背景、面部表情、语音语调等综合因素进行意义的再次生成与重现，这是培养学生多模态视听能力的目标所在。

2基于多模态语篇观点的阅读教学
多模态话语理论认为，现代语篇存在多种非言语因素，更加趋于多模态化。

胡壮麟指出，在多模态环境下，人们的识读能力已经分化为两个部分，即文化识读能力和技术识读能力。

文化识读能力指描写语言、表述各种文化的一种能力；技术识读能力则指识读多种模态信息的能力。

例如，现代语篇中的文字排版技术如文字加黑、斜体、字号、下划线等形式，可以改变语篇视觉形象，提高文字显性度，便于读者高效获取信息。

图表则是更加显著的印刷体式，包括柱状图、表格、曲线图等，在现代语篇中，这些图表在文章中的贡献度日益增加。

教师的指导干预和学生的技术实践是进行多模态语篇识读教学的关键。

(1)教师指导干预(instructive intervention)
在阅读教学中，教师以文字模态为主要平台，指导学生重点识读非文字模态，寻找它们与文字模态的内在联系，训练学生甄别非文章材料的意义，提高他们的敏感度。

要利用排版格式如书或文章的标题、副标题、小标题、斜体字、黑体字脚注、标点符号等对书和文章进行任务性阅读，识别信息主次，对重点信息进行定位。

例如，阅读材料Greenspanwas a director of policy research for Richard Nixon but did notcome to Washington until the 1970s，when he became chairman0f the Council of Economic Advisors under President GeraldFord，在该句中，多次出现大写字母这种识读度高的形式，它与数字结合则凸显了相关信息。

大写字母一般表示人名和地名，在阅读中采取跳读的方式了解大意，基本就可以完成信息获取的任务。

另外，图表在阅读中可以快捷地呈现信息，例如，The number of car accidents rose from 22 in Januaryto 32 in March but fell to 26 in June，After June，the rate beganto rise to 40 and eventually fell to 16 in December，英语文字对事件过程的表述烦琐，如果以图表模式来表述，则使阅读过程变得快速、清晰、流畅，这是图表相对于文字符号所特有的优势。

如图1。

(2)学生技术识读实践(technical reading practice)
在实践中，强化学生对非文字模态的敏感性。

例如，初级练习阶段，可以让学生浏览英文列车时刻表等生活信息，在最短的时间内确定时间与车次；或者向学生出示英文电视节目单，让他们快速确定所需查找的节目类型和播放时间；也可要求学生浏览英文价格标签，寻找相关信息。

在学生掌握初级技巧之后，进入
批评性识读阶段。

训练学生对非文字模态的语篇做出批判性评价。

例如，向学生展示三幅图片：其中一个图片展示的是双手托起融化的地球；另一图片画有皲裂的土地；第三幅图是黑色的河流。

要求学生回答该组图片传递的意义是什么，根据学生的判断和价值观来评价图片，引导学生进入生态保护的话题。

批判性阅读属于开放性任务，具有不同价值观和不同文化背景的学生会做出不同的反馈，这也正是此种多模态识读法的特色所在。

3基于非言语交际观点的口语教学
由于非言语符号具备五大交际功能，话语意义中相当大的一部分是由非言语因素承担并传递的，这些因素弥补了单模态语言的不足，使言语、手势、表情、语音、语调进行有机整合，共同促进意义的建构和传递。

该观点在英语教学中主要应用于场景式角色扮演的学习形式。

课程的实施包括以下几个环节。

首先，创设情境，以当前社会面临的突出问题以及人际之间的各种矛盾作为口语课的社会背景，让学生以不同的角色身份感受各种社会现象，从中增强对社会的洞察力。

如医学院校临床专业可以把医患关系作为交际背景，把医院作为模拟场景，鼓励学生利用教室中现有资源作为非言语媒介。

其次，学生角色演绎，增强学生借助非言语符号进行意义传递的能力，充分利用这些手段进行口语交际。

可由一名学生模拟医生表情、动作等非言语成分，结合专业术语进行问诊，另一学生作为患者，采用适当的姿势、动作、声音、体态这些非语言系统，进行医患沟通。

让学生成为语用交际活动的主体，使学生用语言之外的手段实现有效沟通。

在立体网络式的课堂环境中，让学生获得更多的体验并参与到自身知识的构建中，最大限度地激发学生的学习动机和学习兴趣，使他们能更好地综合运用他们所学的语言，在相互交流中学会交际、学会学习。

信息技术架构下的多模态教学具备信息域的开放性和可选择性，把多模态理论与识读能力相结合是人才培养的趋势。

多模态话语理论是一种相对较新的理论，在我国的研究尚处于起步阶段，因而需要教师在实践中进行摸索，以便更好地指导教学实践。

这一理论的应用研究仍有很大拓展空间，有待进一步探索。