浅论语言测试的效度

浅论语言测试的效度

[摘要] 信度与效度是语言测试两大基本要求,信度与效度的关系问题是语言测试的根本问题。考试的效度指的是考试在多大程度上测出预期要测量的东西,信度指的是考试结果的可靠性。本文重点介绍了效度的含义,对效度的测量方法以及效度与信度的关系等问题做了详细的阐述。

[关键词] 语言测试效度信度

[Abstract] As a branch of applied linguistics, language testing has developed into a relative independent subject. Validity and reliability is the most important two criteria of language testing and the relationship of both is the ultimate issue. This article makes comments on the two criteria in detail. Validity is concerned with if a test measures accurately what it is intended to measure. Reliability means the quality of being reliable on consistency. This article puts emhasis on validity and also explains the testing methods of validity as well as the relation between validity and reliability.

[Key words] Language testing validity reliability

一、引言

语言测试学作为应用语言学的一个分支,现已发展成一个相对独立的学科。信度与效度原是计量学中的两个重要概念,30年代被引入语言测试领域,60年代以Lado等人为代表的结构主义测试学家对这两个概念进行了系统的阐述和论证,标志着语言测试已形成科学的体系,成为一门独立的学科。可以说语言测试理论和实践上的发展和纷争都是以信度与效度为主线进行的,信度与效度是语言测试的永恒主题。

二、效度( Validity)

效度是一个相对概念。效度的有效性总是相对于一定的目的、功能和范围而言。效度具有相对性:任何测验的效度是对一定的目标来说的,或者说测验只有用于与测验目标一致的目的和场合才会有效。同时,效度具有连续性,测验效度通常用相关系数表示,它只有程度上的不同,而没有“全有”或“全无”的区别。

根据美国心理学会1974年出版的《教育与心理测试标准》一书,考试的效度可分成三大类:内容效度(Content Validity)、构想效度(Construct Validity)和效标关联效度(Criterion-related Validity)。

(一)内容效度(Content Validity)

内容效度指的是测验题目对有关内容或行为取样的适用性,从而确定测验是

否是所欲测量的行为领域的代表性取样。或者说,考试的题目在多大程度上能代表它所要测量的目标。它可以从三个方面进行判断:(1)测试内容是否和测试目标有关,(2)测试内容(试题)是否具有代表性,(3)测试内容是否适合测试对象。

内容效度的评估方法主要有以下三种方法:

1.专家判断法

确定一个测验是否有内容效度,最常用的方法是请有关专家对测验题目与原定内容的符合性做出判断,看测验的题目是否代表规定的内容。如果专家认为测验题目恰当地代表了所测的内容,则测验具有内容效度。由于这种估计效度的方法,是一个逻辑分析的过程,所以内容效度有时又称“逻辑效度”。

2.统计分析法

除了描述性语言外,内容效度的的确定也可采用一些统计分析方法。例如计算两个评分者之间的评定的一致性,虽然考察的是评分者的判断信度,但由于来自两个独立的评者,因此符合越高越能反映测验的内容效度。

3.经验推测法

通过实践来检验效度

(二)构想效度(Construct Validity)

考试的构想效度指考试实际测得的东西与理论所假设的能力要素或心理特征相吻合的程度。就预言测试而言,构想效度指考试结果能在多大程度上解释人的语言能力及与语言相关的心理特征。由于我们需要借助理论构想来判断考试成绩是否能代表一个人的真实能力,所以构想效度也称理论效度。构想效度是一个相对的概念,它是相对一定的理论构想而言的。

测验构想效度的方法比较复杂,而且手段也很多。构想效度的主要缺点是,有些构想概念模糊,没有一致的定义,确定效度时没有明确的操作步骤,没有单一的数量指标来描述有效程度。构想效度的估计方法主要有以下四种:

1. 测验内法

测验内法这类方法主要是通过研究测验内部结构,如测验的内容以及题目间的关系等来分析测验的构想效度。测验的内容效度可以作为构想效度的证据;测验的同质性指标可以推断测验是测量单一特质还是测量多种特质,从而为评估测验构想效度提供证据;分析被试对题目的反应特点也可以作为构想效度的证据。

2. 测验间法

通过对几个测验的比较研究,找出它们所测的共同特质,这样便可确定这些测验是否具有构想效度。相容效度是构想效度的一个证据。区分效度是构想效度的又一个证据,一个有效的测验不仅应与其他测量同一构想的测验有关,而且还必须与测量不同构想的测验无相关;因素分析法也是建立构想效度的常用方法,通过对一组测验进行因素分析,可以找到影响测验分数的共同因素,这种因素可能就是我们要测量的语言能力(构想)。

3.效标关联法

如果一个测验与效标具有高相关,那么该测验所预测的效标的性质与种类就可以作为测验所测量的构想的指标。

4.实验操作法

通过控制某些实验条件,观察其对测验分数的影响,也可以获得构想效度的信息。例如,在进行一个关系重大的考试前,对被试施测焦虑测验,如果考前的焦虑分数比平时显著提高,则说明该焦虑测验有较高的构想效度。

(三)效标关联效度(Criterion-related Validity)

效标效度又称实证效度,反映的是测验预测个体在某种情境下行为表现的有效性程度。被预测的行为是检验效度的标准,简称效标。根据效标资料是否与测验分数同时获得,又可分为同时效度和预测效度两类。效标效度的评估方法主要有以下三种:

1.相关法

相关法是评估效标效度最常用的方法,它是求测验分数与效标资料间的相关,这一相关系数称为效度系数。计算效度系数最常用的是积差相关法,因这测验分数和效标资料通常都是连续变量。但在特殊情况下,也可采用其他方法。当测验成绩是连续变量,而效标资料是二分变量时,计算效度系数可用点二列相关公式或二列相关公式。点二列相关与二列相关的区别是前者其中一个变量是真正的二分称名变量,而后者两个变量原来都是连续变量,其中一个由于某种原因,被人为地分为两个类别,变成了二分称名变量。当测验分数为连续变量,效标资料为等级评定时,可用贾期朋我系列相关公式计算。

2. 区分法

区分法是检验测验分数能否有效地区分由效标所定义的团体的一种方法。

3. 命中率法

命中率法是当测验用来做取舍的依据时,用其正确决定的比例作为效度指标的一种方法。正命中率高低常随划分测验分数成功与失败的临界分数的高低而变