目标参照测验

• 信度及其估计 • 效度及其估计
一、信度及其估计
• 1、信度定义： 不变。 • 2、常模测验信度不适用目标测验的原因：
– 相关系数信度高低与被试团体分布有关，被试 异质性越强，信度越高，目标测验不在于鉴别 被试差异，因而分数分布相对集中，即使测验 可靠稳定，其相关也不高，因此相关信度不适 用于目标测验。
二、专家判定法
• 1、理论依据：
– 据临界水平被试在各项目上正确作答产可能性 ，进而推断整卷的合格分数线，即临界点。其 中“临界水平被试”是虚拟的，正确作答可能 性是据专家经验推测的。
• 2、Nedelsky 方法(1954)—适用于选择题
– ① 判断临界水平被试在每一试题上的正确作答 概率，方法是先判断其可排除几个错误选项， 然后再作概率估计。如选 四选一，若能排除一 个错误选项，则正确作答概率为0.33，若能排 除两个错误选项，正确作答概率为0.5。 – ② 在每一题的正确作答概率都确定后，将每一 题的正确作答概率以题分加权求和，即可得整 λ 卷分界点， ＝∑ Fi Pi – ③ 若能由各位专家分别评定则以各位专家评定 分数的均数为最终分界点。
3、内容范围界定的依据和方法
• 特定测验目的是界定的依据。
– (A) 如某专业资格测验，可以通过该工作分析 来界定，测验内容范围。 – (B) 教学测验可通过教材、大纲来界定，测验 内容范围。 – 形式就是测验双向细目表。
二、测验项目的内容效度分析
• 1、分析目的：检验所命试题的内容是否与 测验内容范围所规定的内容一致。 • 2、分析方法：专家评定法。 该专家对测题所测内容与测题编制者宣称 要测量的目标内容间的一致性进行评价。
• 2、效标关联效度
– 目标测验的目的在于鉴别人的合格与某测验施 测鉴别结果是否准确应以客观评价为准，因此， 目标测验的效标关联效度成为测验评价与客观 评价一致性程度指标，可用两次评价一致的人 数在总人数中的比作为效度，也称为“决策效 度”。具体算法类似于表10.5，只是其中一次 为客观评价的合格与否。
目标参照性测验
第一节 概述
• 一、目标参照测验的意义 • 二、目标参照测验的定义
一、目标参照测验的意义
• 1、产生于实际需要。 • 2、发展的原因是常模参照测验无法胜任这 一任务。 • 3、目标参照测验应用广泛，且副作用较小， 有利于素质教育，有利于教育大面积丰收。
二、目标参照测验的定义
• 1、从评价参照标准来定义
• 3、Angoff方法(1971)
– Angoff方法省却专家判断被试可排除的选项的 步骤，直接判断正答概率。然后用 λ＝∑ F P 求分 界点。此法适用于任何题型，专家评定较自由 ，因而此法更受欢迎，但专家评定正答概率的 先验依据也就较少了。
i i
三、效标组预测法
• 1、临界组法：
– 将测验施测于一批临界水平被试，用平均值作 为合格分数线。困难是临界水平被试较难界定 ，要找一批更加困难。
• 2、难度差值指标：
• ① 掌握组—非掌握组鉴别指数(D)。 • ② 个人获得指数(DIG)
• 3、相关系数
– 常模参照测验中常用相关系数作项目区分度指 标，在目标参照测验中同样可以使用，方法也 是一样的，但只有负值题才淘汰，对低值题还 是要视其内容重要性决定取舍。
第三节 目标参照测验的信度与效度
第四节 分界点确定法
• • • • • 一、分界点确定的意义 二、专家判定法 三、效标组预测法 四、测验分数的解释 五、试卷结构调整法决定分界点
一、分界点确定的意义
• 1、知识的掌握是一个程度问题，理论上不 存在一个非常明确的合格点。 • 2、实际中都非常需要对被试的某种技能、 技术、专业知识能力作出合格与否的界定 。 • 3、上述两点的结果是需要划分界点确又非 常困难，现有方法很多，但各有缺点。
四、测验分数的解释
• 两种测验模式不同，但分数解释可以配合 使用，即常模式解释可以同时用于目标测 验，特别是既对被试绝对水平感兴趣，又 对其相对水平感兴趣时，更可以配合使用 ，如标准分数，百分等级等。
五、试卷结构调整法决定分界点
• 1、前面所介绍的方法都是根据试卷实际情 况来确定分界点，但在实践中，象我国都 有另一种特殊要求，这就是合格分数线有 一条，即60分，所以必须调整试卷结构， 使合格线恰好在60分以上。 • 2、调整试卷结构的含义：调整与合格标准 有关的各项指标结构比例：常见的有难度 、教学目标、内容范围、内容重要性、题 目类型等等。一般内容范围是不变的，题 型的影响不大，所以可调的是难度和教学 目标。
第二节 目标参照测验的项目分析
• • • • 一、内容范围的界定 二、测验项目的内容效度分析 三、难度分析 四、区分度分析
1、内容范围界定的意义
• ① 目标参照测验本身的要求，要有明确的 内容范围。 • ② 项目分析的需要以至测验总体的评价都 要以内容的界定作前提。
2、内容范围的特点
• ① 内容范围有边界：边界有大，有小，须 界定。 • ② 内容范围中的内容可以分类、分层。每 一类每一层有其相对地位，划分清楚类层 及地位，如此构成内容的结构。 • ③ 明确了内容范围的边界和其内部结构， 则认为内容范围得到了明确的界定。
• 3、分类一致性信度估计(P0)
– (A) 目标测验关心的产对被试合格与否的分类是 否一致，分类一致性指标成为目标测验的信度 是顺理成章的。 – (B) 方法: ① 测试采用复测法或复本法；② 统计 以合格线为界分别进行。③ 计算在两次测试中 分数一致人数(两次均及格或两次均表格人数) 在总人数中之比。 – (C) 评价：① 越大，信度越高，意义明确，计 算简单。 ② 但再测、复本的测试缺陷存在。③ 依赖于合格分数线的准确划分 。
三、难度分析
• 1、目标参照测验的难度计算与常模测验 的难度计算采用同一种方法。 • 2、有人认为，目标参照测验中属内容范 围中不可缺少题目并不在乎它是难还是易， 都要测。 • 3、计算目的：(A) 分析区分度的基础；(B) 调整合格分数线的参考值。
四、区分度分析
• 1、数据采集方法：
• ① 前测—后测法：同一项目对同一组被试在学 习之前之后分别测试一次。 • ② 学过组—非学过组法：同一项目对学过组和 非学过组被试各测一次。 • ③ 对照组法，掌握组—非掌握组法：同一项目 对两组被试各施测一次。 • 第③种方法被认为是对①、②两法的改进，但 分组依赖于都是的经验判断。
– 以个体有未达到一客观的标准来评价个体行为 的测验
• 2、从测验的编制角度定义—(R.Glaser,1971)
– “目标参照测验是根据某一明确界定的内容范 围而缜密编制的测验，并且被试在测验上所得 结果，也是根据某一明确界定的行为标准直接 进行解释的。”
Glaser的定义强调“内容范围”与 “行为标准”两词
ຫໍສະໝຸດ Baidu
• 2、对照组法
– 临界水平被试难以界定，改用对照组法，即用 专家界定出掌握组与未掌握组两组被试，将测 验用于这些被试，然后将两组成绩绘制两分布 曲线，其交点即为合格分数线。此法被试较上 法易找，但同样依据于经验，被试选择会影响 分界点的确定，改善方法：① 多找一些组对用 其均值；② 找教学与否组代替掌握与否组，但 被认为更不准确；③由于依赖专家，因此多找 专家，综合各方的意见，更稳妥一些。
• ① 内容范围在测验编制之前就必须明确界定，最好 有操作性定义。 • ② 内容范围包括知识内容范围和能力目标范围两个 方面。 • ③ 测验试题应在内容范围之内，并且是所有属此内 容范围内试题的一个有充分代表性的样本，否则评 价是不准确的。 • ④ “行为标准”是一客观的、稳定的，被指为“已 掌握这一内容范围”的最低标准。 • ⑤ “行为”标准从统计上说就是一条合格分数线， 也称“分界点”。
• 4、方差分析方法——荷伊特信度
– 公式:
– 评价：由于此式不受被试分布及测验目标影响， 可用于目标参照测验，又因为不涉及合格线， 因此优于分类一致性信度。
二、效度及其估计
• 1、目标测验要求有明确的内容范围，要求 试题严格限制在内容范围之内，且有最充 分代表性，因此，内容效度是目标对参照 性测验关心的重点，评估计方法与常模测 验方法相同。