英语测试课程chapter 3 考试要素

第三章：考试要素

教学目标：

１、通过本课学习使学生了解影响考试质量的要素有考试信度、考试效度、真实性、交互性、后效作用、可操作性；

２、了解如何保证考试的信度和考试的效度；

３、正确理解考试信度和效度的关系。

教学手段：讲解、讨论，多媒体辅助

一、考试信度：

考试结果的可靠性和稳定性。拿同一份试卷对同一组学生实施两次或多次考试，如果考试结果很一致，那就说明该测试的信度很高。

结果分析：部分学生两次成绩差距较大，有一半成绩的差距在3分以上。两次学生的排序也发生较大的变化。

情况分析：两次考试成绩之间的差距很小，往下浮动幅度仅在一二分之间，且部分分数保持一致。

三种测定考试信度的方法

1．重复测量法：

通过对同一组学生重复使用同一份试卷来确定试卷的信度。是求两次施考之间的一致性（consistency over time）

注意事项

1．控制相隔时间段的教学内容，以保证学生学习进展的一致性

2．两次考试间隔时间不宜过短。否则学生第二次考试可能会凭记忆答题。

3．为了减少记忆力因素的影响，可以重新调整题目的选项的顺序。如

第一次考试

Can you think of a ______ excuse for our being late?

A. flexible

B. reliable

C. favorable

D. reasonable

第二次考试

Can you think of a _______ excuse for our being late.

A. reasonable

B. favorable

C. reliable

D. flexible

缺点

1．这种考试的可靠性基于一个同步性假设之上：在两次考试之间学生在学习上都没有或获得新的进展。如果在此期间一部分学生的学习成绩发生变化，而另一部分保持原状，那么第二次考试的分数与第一次的相比就会出现差异。因而两组分数中就缺乏稳定性。

2．有许多偶然因素会影响重复测试的可靠性，如学生学习积极性的高低，对考试形式的熟悉程度。

2．平行卷测试法

通过A, B卷的形式求得考试的一致性（consistent in form）。先让学生做两套试卷，随后分析考试结果。考试信度是通过两组分数的比较而求得，分数之间的一致性将决定考试信度。

优点：平行卷测试法不牵涉的时间的间隔性，A、B卷可以先后完成，或隔一两天完成。

注意事项：A、B卷的制作要求较高，两份试卷被视为完全等同的试卷，在考试内容、题目难度、试题数量、施考时间，甚至题目顺序等方面都必须吻合。

要求教师在命题过程中严格按照规则操作。两套试卷内的题目必须经过预测及分析，以确定它们的一致性。

3．对半分析法（split-half method）

只进行一次测试，然后将试题的题号按奇偶数分成两半，计算两半所得分数的高低排列的相关性

把一份试卷看作为两个相对独立且对应的部分，通过对这两个部分分数的比较以获得整份试卷的信度

两个部分分数的一致性越高，试卷的信度也就相应地越高。

对半分析法也常被称为求内部一致性的方法（internal consistency）

影响考试信度的因素：

1．试题的量是否足够大。试卷只有保证有足够的量，才能保证试卷的覆盖面更为合理。理论上讲，题目越多，信度越高。

2．题目是否属于同一性质，即试题是否属于同一范畴。如英语试题中不能插入其他科目的题目。

3．题目区分度是否高。题目能否把考生中好的和差的区分开来。考试的区分能力越高，测试的信度就越高。

4．考试之间的差异性是否大。即考生的分数分布情况是否呈中间大、两头小的状态。考生分数的分散情况越大，信度越高。

5．题目难易度适中。题目太难或太易都会影响题目的区分度，从而影响测试的信度。

6．评分是否客观。如果不同的评卷人会得出不同的分数，或者同一评卷人两次阅卷容易得出不同的分数，那么这套试题的信度就会较差。

二、考试效度

考试达到其预期测试意图的程度。一套测试所考的是否就是设计人想要考的内容。

如教师编制了一套口试题目，来测试学生口头表达所选择的语言功能的能力，如inviting, accepting, refusing, thanking。测试结果显示这套题目的确检查了学生在规定方面的能力，我们可以说这套口试题目具有效度。

如国外某次大学入学考试中一个测验写作能力的题目是：“Is photography an art or science? Discuss”。这种题目是无效的，因为他要求考试首先懂得摄影，才有写作而言，因此只能对个别学生有利。

1．表面效度

表面效度是指考试的“表面可信或公众的可接受度”（surface credibility or public acceptability）。按照常理，一个考试看上去测试了预定的技能或能力范畴，那么这个考试就具有表面效度。

如口语旨在测试学生口语能力的考试的确让学生开口说英语，或测试英语书面表达能力的考试让学生写一篇文章。这类让学生直接运用被测试能力的考试属于表面效度高的考试。

如果测试学生语音语调的考试通过笔头答题形式完成的话，很难说这个考试具有表面效度，原因是这种考试方式与语言运用实际方式之间的差距较大。

直接考试具有表面效度，而间接考试则缺乏表面效度。

2.内容效度

试卷试题内容是否代表了它应测量的内容。

一测量工具①内容上（包括材料、题目）的代表性或②所选内容的充分性（sampling adequacy）

某一阅读课程接受时要举行期末考试，根据教学大纲的要求，本学期所教授的阅读技能主要有以下几种：

Recognizing the script of a language

Deducing the meaning and use of unfamiliar lexical items

Understanding explicitly stated information

Understanding implicitly stated information

Understanding the communicative value of sentences

Understanding relations within the sentence

阅读材料包括小故事、信或明信片、报刊杂志上的文章节选，广告等

题材涵盖文学、文化、政治、历史、日常生活等范畴。

出卷时如何坚固到内容效度？

1．所选材料内容的覆盖面要广，要反映出教学内容的特点，即要有代表性

2．被测试的技能应明确具有代表性，要避免题目过多地集中在某几项技能上

3．所选材料和技能都应在规定的范围内，即内容的关联性

3. 尺度关联效度

尺度关联效度主要指的是本考试与某一个“独立并且相当可靠的学生能力测量工具”之间的联系。如果两者之间的关联度高，考试就具有尺度关联效度。

尺度关联效度分为：共时效度和预测效度

1共时效度

共时效度是将一次测试的结果同另一次同时或时间相近的测试的结果相比较而得出的系数。

共时效度建立在差不多同时施考的两个考试结果的比较之上。假设出了一套英语水平考试卷。为了了解其共时效度，挑选了另外一套试卷（B卷）作为衡量A卷的尺度。分别两次让学生做这两套卷子。比较两组成绩，如果出现较高的一致性，我们就作出A卷具有较高共时效度的结论，反之A卷缺乏共时效度。

如一组学生刚刚考过大学英语四级考试，接着又考我们自己设计的一套题目，如果得分情况相似，我们自己设计的测试就有较高的效度（假设四级考试效度很高）

在选择衡量尺度B卷时，要注意以下事项：

1．卷子本身的信度与效度。这份卷子应有充分的数据印证它的质量

2．卷子自身的难度。试卷应与A在难度上相仿。

3．考试方式与题型。试卷在这点上应尽可能地与A卷保持一致。

2．预测效度

预测效度涉及测试的预测能力，即测试的结果到底在多大程度上能够预测出某些将来会发生的可能性，或者说对考生未来的行为做出的预测性的程度有多高。

预测效度也是建立在两个考试结果的比较之上。它与共时效度的区别在于两个考试之间相隔一定时间。

注意事项：

1．预测效度中的B卷，即尺度，不一定与A卷具有共同的测试特点或测试重点2．在预测效度中实际上不是比较学生的分数，而是他们的排序。

3．尽管预测效度是建立在考试结果的比较之上，我们必须清醒地意识到他们本身也是各种因素相互作用的结果。

4．结构效度/构想效度（construct validity）

指试卷所测量的（能力）与语言、语言学习和行为的理论所假设的（能力）的相关性。

如传统的观点强调，考试的试题所测量的应该最大限度覆盖某种语言学理论所假设的，若能覆盖，就判定其有构想效度。反之，就说它没有构想效度。

例如，根据结构主义语言学理论，语言技能可分割成听、说、读、写，他们在试卷中也就把上述技能分开测试。如果像听写那样的把听与写、写与词汇、语法结构混在一起的试题，就会被认为该试卷没有构想效度。与此相反，交际功能法的语言学理论，视语言为交际工具，他们将每一次考试，乃至试卷中的每一项任务（task）都看成一次交际活动。因此，他们是试题往往是整体式、综合式的。如听写、读后写作等被有构想效度，而把分离式试题看成没有构想效度。

效度与信度的关系

1．信度指的是考试结果（分数）的可靠性，效度指的是考试达到预定目标的程度。2．一个考试可能具备较高的信度，但缺乏效度。（例子见课本）

3．一个考试要具有效度的话，首先要有信度，因为

1．如果考试结果本身不可靠的话，怎么能够说考试有效地测试了所选定的语言能力或技能呢？ 2．确定效度的一些方法需要考试结果作为基本数据，如试卷内各项目之间的相关分析；考试成绩与考生特征之间的关系分析等。不可靠的数据无法确定考试效度。 总之，对于考试来说，信度与效度都是必不可少的；信度是保证效度的基础，撇开效度只讲信度是没有实际意义的。

三、真实性

真实性是指某一语言测试任务（a given language test task ）与实际语言运用任务（target-language-use task ）在特征方面的对应程度。

任务特征

可观察类（形式）特征：方式，内容，情景等

非观察类（性质）特征：语言运用性质、语言能力

对应程度：形式上的对应 性质上的对应

当今语言测试界在考试真实性方面的两大派别 1．现实生活法（ “real -life” approach ）

即通过设计能复制语言使用环境的考试来达到真实性。（例子见课本） 考试的真实性体现在语言运用实景的真实上面。 3个侧重点

1．考试的表面效度。采用“现实生活法”的考试必须给人一种真实感。

2．考试的预测效度。考试要能够从学生在某个仿真情景的表现中预测他以后在其它情景中的语言表现力。

3．考试的内容效度。考试所选择的内容对某一仿真情景来说有代表性。

1．交际/能力法（interactional/ability approach ）。

强调交际语言运用过程中显著特征，而不是某一个具体的语言运用行为。

真实性不一定反映在语言运用实景中，而是应该体现在考试是否真正测试了构成语言能力的那些特征。

如：一个在语音室内进行的录音口试也可具有真实性，只要这个口试能测量到口语能力中的一些显著特征。

交际/能力法所关注的是语言能力或能力结构，也就是结构效度。

四．交互性

交互性指的是在考试所设计的任务中学生的参与程度（degree of involvement）。参与程度越高，考试的交互性越高。

例1对语言的运用的要求极为有限，它只要求学生选出正确的答案。交互性低。

例 2 的讨论中学生可以选择不同的角度来讨论这个问题；可以发表不同的观点或见解……交互性教高

考试交互性与考试的目的、用途等因素有关。

如果我只需要了解学生英语元音发音是正确与否，一个交互性低的语音朗读考试应是个合适的选择。

如果想要了解学生语言交际方面的技能，必须采用交互性高的形式。

五．后效作用/反拨作用/反溅作用

考试的后效作用（washback effect）指的是考试对教学的影响。

考试的后效作用直接影响以下两个方面：教与学

教指的是教师或学校，包括教学方法、课程设置、教学内容、课程评估等。

学指是学生，包括学习方法、学习动机等。

六、可操作性/可行性

制约施考过程的因素有：

1．资源因素：考试场地、考试所需要的设备、阅卷设施等

2．人力因素：考官、监考人员、阅卷人员等

3．时间因素：实际考试所用时间

设计考试时必须把这些因素都包括进去。否则，一个不实用的考试在完美也是纸上谈兵。

例1中施考制约因素相对有利，教师就可以选择较为贴近现实交互性强的任务。

例2中施考制约因素相对不利，故教师只好通过求结构效度的方法来检查学生的口语进展情况。

讨论题

1）什么是考试信度？什么是考试效度？两者之间存在怎样一种关系？试举例说明。

2）结合直接考试与间接考试方式，谈谈考试的表面效度。举例说明。

3）我们在考试设计过程中如何保证考试的内容效度？为什么要把考试效度作为一个整体概念来看待？

4）考试的真实性与交互性分别指什么？

5）举一个身边的例子来说明考试对教学的后效作用。

6）我们为什么要在考试设计过程中考虑可操作性？试举例说明。

实例分析

1．一位教师拟用平行卷的方法来确定考试的信度，他设计了两套试卷(form A与form

B)。以下为两套试卷内的项目、题量、题型等。对比两套试卷，它们能否成为平行

卷？你的根据是什么？

2．从表面效度、真实性和交互性3个角度讨论下面的考试题目或任务。

例1：补全对话

根据文中提示，将对话中缺少的部分写在线上。全句必须符合英语表达习惯。打句号的地方用陈述句；打问号的地方用疑问句

例4