教育测量与评价的质量特性 效度课件

• 验证方法
– 测验内部寻找证据法
• 内容效度 • 作答过程分析 • 测验的同质性 • 因素分析法
– 考察测验的实证效度法
• 差异被试比较法 • 先后测试分析法
效标关联效度 （criterion-related validity)
• 效标：足以显示测验所欲测量的特性的变量或足 以显示测验所欲预测的特性的变量。它是用来检 验测验效度的外在的、客观的标准和尺度。
分析； • 内容效度或结构效度很好，结果效度不一
定好。
• 验证时应注意：
– 测验指导手册中对测验目标和测验效度的说明 是否合理；
– 基于测验结果，在给被试写出测验报告或推荐 书时，有关推论是否恰如其分；
– 对测验的优点和缺点是否在应用中过于夸大其 实；
– 能否把测验用到所测特性的范围之外； – 基于测验结果的解释和推论是否符合科学原理
• 应用范围：教育测量（尤其是学业成就测 验）；某些用于选拔和分类的职业测验
• 注意：不适用于能力倾向和人格测验
• 分析方法
– 逻辑分析的方法。请有关专家对测验题目与原 定内容范围的吻合程度作出判断。
– 统计分析法。从同一个教学内容总体中抽取两 套独立的平行测验，用这两个测验来测同一批 被试，求其相关。若相关高，表明测验内容效 度较高；若相关低，表示测验的内容效度较低。
用积差相关系数的方法估计效度
• 积差相关，是计算两个变量线性相关的一种方法，由英 国统计学家皮尔逊提出，因此也称为皮尔逊(Pearson)相 关。要使用积差相关必须同时具备如下几个条件：
①两个变量都是由测量获得的连续性数据，即等距或等比 数据。
②两个变量的总体都呈正态分布，或接近正态分布，至少 是单峰对称分布，当然样本并不一定要正态。
根据分析，可知：1.高信度是高效度的必要条件，而 非充分条件；2.效度系数不会大于信度系数的平方根
三、效度的估计
• 效度估计是多方寻找证据来证明一个测验 的有效性程度的过程。
– 内容效度 – 结构效度 – 效标关联效度 – 结果效度
内容效度（content validity）
• 含义：又称合理效度或逻辑效度，是测验 题目样本对于应测内容与行为领域的代表 性程度。
为了证明这个论点，他们让刚入高中的103名学生作10 道题，测量其空间想像力。为避免知道了某些学生的刚入 高中时的成绩影响以后考试的评分，试卷暂不评阅。立体 几何学完后，进行考试，按得分多少把成绩分为五等（A、 B、C、D、E）分别得5、4、3、2、1分。这时才评阅入学 时的试卷，统计出期末得5、4、3、2、1分者在入学测验 中分别答对1道题至10道题的人数（见表2-1）。
X（答对的题数）
1 2 3 4 5 6 7 8 9 10
Y A5
1 3 10 5 4 2
25
所B 4
1 6 8 8 4 31
31
评 的
C
3
2459831
32
等D2
113211
9
级E 1 11211
6
合计
2 4 10 14 20 20 17 9 5 2
103
（2）用积差相关系数公式பைடு நூலகம்算效度系数：
r fxy / N x y (公式2 4)
教育测量与评价的质量特性
第二节 效度
一、效度的意义
• 效度（validity)，是指一个测验或量表实际 能测出其所要测量的特性的程度。
– 效度是一个相对概念
• 效度始终是针对一定测量目的而言的 • 效度是针对测量结果而言的
– 效度只有程度上的差异 – 评价一个测量是否有效要多角度、多方面的收
集证据
sxsy 式中x是刚入学的测验中答对1道题到10道题 的人数的平均数，y是期末测验中103人得分平均数， S x是刚入学的测验各题答对题数的标准差， S y是期末测验各人得分的标准差。
fxy是指刚入学测验中答对的题数与期末测
验的得分和
结果效度
• 关注测量工具与测验结果的推论与应用 （“推论的适切、意义与有用的程度”）； • 避免过分依赖量化结果，应适切考虑质的
以及测验道德；
– 测验结果能否给被试以及所有关注测验结果的
四、提高效度的方法
• 控制系统误差 • 精心编制量表 • 妥善组织测验 • 扩充样本的容量和代表性 • 合理处理信度和效度的关系 • 适当增加测验的长度
—完—
• 验证步骤
– 第一，提出有关理论结构的说明，并据此设计 测量用的试题；
– 第二，提出可以验证该理论结构存在的假设说 明；
– 第三，采用各种方法收集实际的资料，以验证 第二步提出的假设的正确性；
– 第四，收集其他类型的辅助证据，淘汰与理论 结构相反的试题，或是修正理论，并重复第二 和第三步，直到上述的假设得到验证。
二、效度的统计定义
X=T+ E
V +I
V: 目标真分数，反映被试某种心理特质真正水平的数值； I: 非目标真分数，被试在某种心理特质测量表上表现的 与测量目标无关的稳定测值
测量效度实质上就是指一次测量出目标真分数的程度
效度是目标真分数方差与观察分数方差之比
思考：从统计学定义看，效度和信度有什么关系？
就现有资料，用什么方法可以判断教师们的意见是否 正确？
表2-1：
（答对的题数）
1 2 3 4 5 6 7 8 9 10
A5
所B 4
评 的
C
3
等D2
级E 1
1 3 10 5 4 2 1 6 8 8 4 31 2459831 1 13211 11211
解：（1）设期末考试的等第为y，空间想像力测 验答对的题数为x，列出二重交叉次数分布表：
• 效标关联：又称为经验效度或统计效度，一个测 验对处于特定情境中的个体行为进行预测时的有 效性。
• 效标关联可分为同时效度和预测效度
• 估计方法
– 相关法
• 积差相关 • 等级相关 • 点双列相关 • 二列相关 • 四分相关……
– 显著差异法
• 根据效标测量将被试分为两个极端组（如好与坏， 成功与失败等），然后检验这两组测验分数是否具 有统计学上的差异显著性
结构效度（construct validity)
• 结构:心理学或社会学上的一种理论构想或特质。 如智力、焦虑、机械能力倾向、成就、动机等。
• 结构效度是指一个测量能实际测量出理论上的构 想或心理特性的程度。它的目的在于从心理学或 社会学的理论观点就测验的结果加以解释和探讨。
• 结构效度主要用于智力测验、人格测验等一些心 理测验方面。
③必须是成对的数据，而且每对数据之间是相互独立的， 即各自互不影响，本条件是难以检验的。
④两个变量之间呈线性关系。一般用描绘散点图的方式来 观察，最好是先各自转化为Z分数，单位会统一些。
例：
某中学数学教研组的教师积多年的教学法经验，认为 刚入高中的学生学习立体几何感到困难的主要原因是空间 想像力弱。