试论口语测试的真实性

试论口语测试的真实性
□邹　申
提要:本文在简述各类口试形式的基础上,从口试效度与信度的角度探讨口试的真实性问题。

直接口试与间接口试在效度与信度方面各有其优劣。

折衷的半直接口试得到语言测试人员的推崇。

然而,如何看待半直接口试乃至其他口试形式的的真实性呢?本文认为对口试真实性的检验不能仅仅停留在考试能否再现实际语言运用情景上。

口试的真实性应反映在对被试能力结构的恰当界定及考生与考试任务之间的交互作用上。

关键词:口试;口语测试的真实性
Abstract:On the basis of a brief survey of the different types of oral tests,this paper attempts to explore authenticity with relation to validity and reliability.Direct and indirect oral tests possess both strengths and weaknesses in terms of validity and reliability.Semi2direct oral tests are regarded as a compromise between validity and reliability.H owever, are semi2direct oral tests authentic with regard to test situation and format?This paper argues that authenticity cannot be judged on proximity to real2life situations only.It resides in the underlying test construct and in the interaction be2 tween test takers and test tasks.
K ey words:oral tests;authenticity in oral testing
中图分类号:H319　文献标识码:A　文章编号:1004-5112(2001)03-0074-05
英语口语测试不同于笔试,在施考过程中存在众多的制约因素,如考官业务素质、考官人数配备、考场资源以及评分标准把握等。

如何保证考试的效度与信度及其真实性,一直是摆在口语测试人员面前的一道难题。

本文在简述各类口试形式的基础上,从口试效度与信度的角度探讨真实性问题。

一、口试的类别及其特征
在口试的门类上本文采用Clark(1975∶10-11)的分类法。

Clark将口试分为直接口试和间接口试。

直接口试“旨在尽可能多地重现实际语言运用情景及使用过程”,并“提供一个反映所测试语言运用情景的尽可能真实的口语样本”。

由于口语交际基本上是一相互交流过程,根据上述标准,一个较为理想的直接口试形式应为面对面交流。

在这方面,面试型口试(oral interview test)被认为是较能代表直接口试特点的形式(Clark1975; Raatz1981;Wilkinson1968)。

一个常被用来作为此类口试形式的例子是美国外交服务学院(FSI)面试型口试。

该口试包括考官与考生之间面对面的口语交流。

在考试的过程中考官向考生提问,考生的回答向考官提供了本人的口语样本。

随后考官根据口试评分标准给考生的回答打分(Shohamy1994∶110)。

自20世纪50年代开始实施以来,FSI面试型口试已在其效度及信度方面建立了较高的威信。

因此,语言测试界一些人士效仿该口试模式来衡量语言学习者的口语水平,一些经过改良后的FSI式口试被用来评估学生的口语能力。

比如,美国外语教学委员会(ACTF L)就采用这种口试形式来测试美国中学生和大学生的外语水平(Shohamy1994∶110)。

在我国,一些口试也采用了这种形式,如大学英语口语测试(CET2SET),全国公共英语等级考试体系的口语考试(PETS)等。

由于这种面试型口试要求考官与考生进行直接的口语交流,在形
・
4
7
・
式上比较贴近现实生活中的口语交际活动,所以它比较符合直接口试的要求,同时在内涵上也体现了语言的交际功能。

根据Clark(1975∶11)的观点,间接口试是“不具备表面效度或代表性测试情景”的口试。

换句话说,在间接口试中,测试形式是否与现实语言情景相一致不是衡量考试质量的一个决定性因素。

由于具备了不受语言情景限制的特征,间接口试可以给语言测试人员在考试形式选择上提供较大的回旋余地。

口语测试可以采用常规的口头形式,也可以选用笔试的形式。

常规口头形式有朗读、看图说话、简短说话等。

至于笔试的形式,Lado (1961∶241-247)曾建议用多项选择题的形式来测试发音、重音的掌握、语音语调等。

目前,用多项选择题形式测试上述知识仍是较为常见的现象。

比如,2000年普通高等学校招生全国统一考试英语卷(NMET2000)中就有测试考生语音知识的试题(第一至五题)。

二、直接与间接口试的效度与信度
1.表面效度
由于直接口试(如面试型口试)侧重于重现现实生活中的口语交流情景,因此具有较高的表面效度。

而间接口试则不然,原因是其不一定重现现实中的口语交流模式。

2.内容效度
在这点上,两种口试形式似乎都存在一些问题。

鉴于口语能力指在不同的口语场合上进行交际的能力,它的运用也就涉及众多口语交流形式的使用。

在这方面,大多数人看好面试型口试形式,认为它可以在有限的时间内较为充分而真实地检验考生的口语交际能力。

然而,一些语言学家曾对它的内容效度提出疑问。

Shohamy(1994∶101)就怀疑一个只采用一种口语交流形式的考试,如面试型口试,能否提供代表其他口语交流形式(如讨论、报告和会话等)的有效样本。

而间接口试形式由于不受场合限制,可以在一次考试中通过各种方式获取较长的考生口语样本来测试诸多英语口头表达形式(Stansfield1990)。

然而,由于大部分间接口试基本上都是单向(口语)交流,缺乏口语活动中的交互性,所测试的内容是否真正代表了考生的口语交际潜力还需要进一步证实。

3.信度
直接口试虽有较高的表面效度,其评分过程却存在着缺陷,即“直接口语测试的评分信度通常较低”(Shohamy et al1986)。

原因之一是评分人员的专业素质。

要使评分做到公正、客观,评分人员必须经过系统培训。

另一原因是评分的瞬间性。

在通常情况下,口试的评分与口试同步进行,因而,口试对评分人员的压力大,对他们的工作要求高。

在听取考生口语样本的同时,评分人员要对样本的等级当场做出快速、准确的判断,如果没有较高的专业素质实难做到公正、客观地评分。

第三个原因是直接口试的标准化问题。

其中有口试的主观性和口语交流过程中的非预测性两大因素。

口试的主观性主要指考官或评分人无法与评分过程完全分离。

照Raatz的话就是“考官是考试的一个组成部分”,结果是考官“在看到与听见考生时把个人的看法及偏见一起带进口试的情景内”(Raatz1981∶205)。

因此,口试分数很有可能部分反映了考生的口语水平,部分反映了考官或评分人的个人看法。

口试过程中的非预测性也是口试标准化的一个难题。

虽然考试前我们可以把话题、时间安排等具体规定下来,但没有人能事先精确地规定整个对话过程。

因而,考生表现如何是个未知数;考官的具体提问、引导技巧只能视当时的情形而定。

因此尽管考官是同一人,他主持的每个具体口试都会有所不同。

目前,直接口试中影响标准化的因素已不仅仅是臆测。

一些研究结果表明,某些因素如考官、所测试的口语形式、测试时间等,都在不同程度上影响口试成绩(Shohamy1983,1988)。

间接口语测试的考试信度问题不如直接
・
5
7
・
口试那么突出。

首先由于可以预先设计好,间接口试在语言输入(如话题的馈入等)上能达到一致;其次,整个测试过程亦可以预先计划,如口试的具体步骤、具体内容、时间控制等。

较典型的例子是录音口试。

当然,录音口试最后仍需人工评分,故信度问题无法彻底解决,只能在一定程度上得以缓解。

三、半直接口试
为了融合直接口试与间接口试各自的优势,语言测试人员开始探索一种新型的口试形式,这种形式既能顾及直接口试测试考生口语交际能力的长处,又能吸收间接口试标准化及公正性的优点。

Beardsmore(1974∶31)曾描述他的一个口试研究项目。

具体研究方法是一个在语言实验室内进行的长约十分钟的口试。

口试内容是考生就一个话题发表意见。

值得注意的是Beardsmore特别强调测试中的“创造性”,即口语交际功能的运用,他试图在录音口试中综合直接口试的交际特点和间接口试的客观性。

可以说,他的尝试就是现在一般称为“半直接口语测试法”的雏形。

Shohamy(1994∶101)比较全面地归纳了“半直接口语测试法”的性质与特点。

在这类口试中,考生对类似真实的录音或可视考试内容做出回答;测试内容力求接近平时的口语交际活动。

这类口试是统一的,因为所有考生都完成同样的语言测试任务。

同时,这些语言测试任务涉及各种交际特征,以便较为广泛地测试口语交流模式和交际策略。

迄今为止,一系列带有半直接口试特征的口试已经问世。

美国教育考试中心(ETS)在1982年推出的口试(TSE)是最早实施的此类口试(Shohamy1994;101)。

国内目前正处于试行阶段的高等学校英语专业口试也是一个融合了直接与间接口试优势的半直接口试。

从中我们可以看出,口语测试形式的发展与演变过程中的一个特点是在不摒弃效度的前提下寻求信度的提高。

四、口试的真实性
从对直接口试和间接口试的描述中,我们可以观察到这样一种现象:当我们侧重考试的有效性(效度)时,考试的信度会受到一定的影响;而当我们比较关注考试的客观性(信度)时,其效度可能会有所降低。

针对效度与信度这对矛盾,在语言实验室内进行的半直接口试是人们尝试解决矛盾的一种方法。

尽管半直接口试具有较高的可操作性,一些语言学家对它的使用仍有疑虑。

Valette (1977∶39)曾指出语言实验室没有给考生提供一个逼真的情景。

Beardsmore(1974∶324)曾提及在语言实验室内进行口试时考生的单向回答显得不自然。

Bartz(1979)也曾指出,学生认为在语言实验室考口语不仅不逼真,而且相当令人紧张。

以上观点都是说在语言实验室内举行的口试失去了逼真与自然,即失去了真实性。

那么,什么是真实性?我们应该如何理解它呢?
一种观点认为口试的真实性就是“测试形式和过程尽可能多地重现实际语言运用情景及其过程”(Clark1975∶10)。

根据这个观点,测试形式及具体测试任务只要近似于实际语言运用,那么测试就具备了真实性。

面试型口试由于模仿了现实生活中应聘面试模式,因而被看作具有较高真实性的测试手段。

同样,一个要求考生在模拟情景中进行角色扮演的口试任务也具有真实性,因为它反映了一个现实生活中的语言运用活动。

然而,上述具有表面效度的口试形式是否真正具有真实性呢?一些语言学家对此持不同看法。

Spolsky(1985∶34)认为,即使在普遍被称为真实性较高的面试型口试内“也有许多非自然成分”。

他把人们的提问分为真实提问和考试提问(1985∶37)。

真实提问的目的是获取所需信息;考试提问是“为了评估考生的知识与技能”。

而后者正是面试型口试中的提问类型。

在考试中考生被提问的原因不是考官对其兴趣爱好感兴趣,而是考
・
6
7
・
官需要通过提问来测试考生的口语交际能力。

因此,Spolsky(1985∶39)的结论是:“任何语言测试本身都不具有真实性,因为它所汲取的语言样本并非是正常情况下的语言。

”
经过对四种口语测试任务(面试、角色扮演、汇报和小组讨论)所具有的口语交流形式的调查研究后,Shohamy等人(1985∶48-59)也发表了类似的观点。

他们提出可能影响考试真实性的五大因素:对话目的、对话参与者、考场、考题及考试时间。

他们认为,由于任何对话都是为了获取考生口语能力的样本,考试双方都明显感觉到考试中的非自然性。

在考官与考生互不相识的情况下也会出现这种非自然性。

考场本身(考试气氛等)有可能增强这种感觉。

另外,对话内容(即考题)的选择是单方面的,只有考官可以决定考试题目;而现实会话中内容的挑选是建立在双方意向之上的。

最后,考试时间限制也会影响考生水平的发挥。

因此,他们的结论是:由于上述因素的影响,所谓具备真实性的语言测试形式并不能真正反映考生的语言水平。

上述观点表明:口试的表面效度不等于测试的真实性。

只用表面效度来判断一个口试是否具有真实性容易忽略交际口语测试的其他特征,如语言使用恰当程度、对话性质或交流形式等。

要真正认识真实性的性质,我们须扩大对其理解范围。

在讨论专门用途英语教学的问题时, Widdowson(1976∶263)认为我们不应当把真实性当作语言运用实例本身所具备的特性,而应该把它当作由语言使用者的反馈所产生的、附加在语言运用实例上的特性。

换句话说,语言素材是否具有真实性不是由其来源或特点所决定的,而是要看它能否在作者与读者之间产生共鸣和交流。

Widdowson的观点事实上体现了交际语言能力的实质所在。

Bachman(1990)提出的真实性概念在一定程度上与Widdowson的观点相仿,只不过Bachman更侧重语言测试领域中的真实性。

Bachman(1990∶302)将这种概念称为“交互/能力法”(the interactional/ability approach)。

交互/能力法认为真实性存在于应试者、考试任务与考试情景之间的相互作用中(Bach2 man1990∶322)。

根据这个概念,具有真实性的考试应该是包括了那些反映人们对语言能力性质和语言运用认识的考试形式。

因此,要使口试具备真实性,首先要在考试设计的最初阶段确定被试能力的性质或构成,比如口语能力的构成或结构。

Weir和Bygate(1990)在分析了口语行为特征后,提出口语行为可划分为常规技能(routine skills)和即席技能(improvisational skills)两类。

常规技能指常用或典型的口头用语与传递信息方式;即席技能指在交流过程中解决问题以完成沟通的技能。

他俩的划分法从理论上探索了口语能力的结构,可以在考试设计中作为被试能力(口语能力)的一个理论框架。

另外,口试的真实性还体现在测试形式选择上;选择的侧重点是那些最能体现语言运用交互性或最能反映应试者口语潜能的形式。

口语测试有多种具体形式可供考试设计人员挑选。

常见的形式有朗读、看图说话、简短说话、对话、小组讨论、面试型口试等。

上述形式对考生的能力要求不尽相同。

比如,朗读、看图说话和简短说话一般不需要考生进行人际交流以达到相互沟通的目的,故只能测试考生的常规技能。

要测试考生的即席技能,即在交流过程中解决问题以完成相互沟通的技能,我们就要选用对话、小组讨论和面试型口试等形式,因为这些形式的一个共同点是着眼于人际的相互交流。

我们要在测试形式上体现真实性,就需要了解各种具体口试形式的特点及其交互程度;庶可在此基础上,选择最佳口试形式的结合,以提高考试的真实性。

由此可见,真实性不局限于在口试中重
・
7
7
・
现实际语言运用情景,口试中也不一定要出现模仿现实口语活动的特定场合,如在邮局或饭店里等。

考试的真实性反映在对被试能力结构的恰当界定及考生与考试任务之间的交互作用上。

因此,考试的真实性不再以考试的表面效度为惟一的衡量标准,考试的构想效度(即考试的理论框架)对考试真实性的论证具有同等、甚至更重要的地位。

如果一个口试的被试能力结构不明确,或缺乏要求考生运用交际能力完成口试任务的话,这个口试再逼真地展现现实生活情景也无用,因为它很难在理论上证明其真实性。

对真实性有了重新认识,口语测试人员可以摆脱情景逼真性的束缚,在选择口试形式时拥有更多的灵活性。

一个口试只要能证明具有合理的理论框架,且具体口试任务能体现这个理论框架,如口语的交互性、交际功能等,不管它的情景是否逼真或自然,我们都可以确认该口试的真实性。

从这个角度讲,任何形式的口试都有可能具备真实性。

对真实性的认识不能停留在考试的表面效度上;真实性要从考试的构想效度上去探索,从测试形式中去论证。

只有这样,我们的口试才能从效度和信度上得以保证。

□
参考文献
[1]Clark J L D.Theoretical and technical considera2
tions in oral proficiency testing[A].Randall L
J,Spolsky B.Testing L anguage Proficiency
[C].Virginia:Centre for Applied Linguistics,
1975.
[2]Raatz U.Are oral tests tests?[A]K lein2Braley
C,Stevenson D K.Practice and Problems in
L anguage Testing I[C].Bern:Verlag Peter D.
Lang,1981.
[3]Wilkinson A.The testing of oracy[A].Davies
A.L anguage Testing Symposium[C].London:
OUP,1968.
[4]Shohamy E.The validity of direct versus semi2di2
rect oral tests[J].L anguage Testing,1994,11
(2).
[5]Lado R.L anguage Testing[M].London:Long2
man,1961.
[6]Stans field C W.An evaluation of simulated oral
proficiency interview as measures of spoken lan2
guage proficiency.Paper presented at the1990
G eorgetown University Roundtable on Languages
and Linguistics,1990.
[7]Shohamy E et al.Introducing a new comprehen2
sive test of oral proficiency[J].E L T Journal,
1986,40(3).
[8]Shohamy E.The stability of the oral proficiency
trait on the oral interview speaking test[J].L an2
guage Learning,1983,33.
[9]Shohamy E et al.A proposed framework for test2
ing the oral language of second/foreign language
learners[J].Studies in Second L anguage Acqui2
sition,1988,10,165-179.
[10]Beardsmore H.Testing oral fluency[J].IRAL,
1974,12(4).
[11]Valette R M.Modern L anguage Testing[M].
Harcourt Brace Jovanovich,Inc.,1977.
[12]Bartz W.Testing oral communication in foreign
language classroom[A].Arlington V.L anguage
in Education:Theory and Practice[C].1979,2
(17).
[13]Spolsky B.The limits of authenticity in language
testing[J].L anguage Testing,1985,2(1). [14]Shohamy E,Reves T.Authentic language tests:
where from and where to?[J]L anguage Testing,
1985,2(1).
[15]Widdowson H G.The authenticity of language
data[A].Fauselow J F,Crymes R H.On
TESOLπ76[C].1976.
[16]Bachman L F.Fundamental Considerations in
L anguage Testing[M].Ox ford:OUP,1990. [17]Weir C J,Bygate M.Meeting the criteria of com2
municativeness in a spoken language test.Paper
presented at the RE LC C onference on Testing and
Evaluation.Singapore,1990.
作者单位:上海外国语大学英语学院,上海 200083
・
8
7
・。