Chapter5效度

• 效标(Criterion)：希望做出推断的行为或被预测 的行为，是检验测验有效性的标准。
–测验=预测源
–行为=效标
• 效标关联效度是基于数据的( data based)
–一个选拔测验与工作绩效的相关
–一个成就测验与年级的相关
2020/8/1–3 一个诚实测验与偷窃的相关
20
2.2.1 常见的效标
2020/8/13
18
内容效度的适用
• 成就测验 • 标准参照测验
• 不适用：能力倾向（aptitude）与人格 • 为什么？
2020/8/13
19
2.2 效标关联效度
(Criterion-related validation)
• 又称实证效度，指一个测验对处于特定情境中的 个体的行为预测的准确性。即：测验结果与效标 的关联程度（求相关）。
2.3.1 结构（构想）效度的概念
• 结构（构想）：假设性的概念或特质
• 结构（构想）效度（Construct validation ）：一个测验度量一个理论上 的构想或特质的程度
• 例如，
– 一个测验在多大程度上测量了“幸福感”（责任感、自主性等 等）？
– 这个面试(interview)测量了人际技能了吗？
第五章 效 度
2020/8/13
孔明 苏州大学医学部
1
• 信度：测量的稳定性（弹着点的密集程 度）
• 效度：测量是否有效（弹着点离靶心的 距离）
2020/8/13
2
本章要点
• 1. 效度概念及其演变趋势 • 2. 传统的三种效度类型：内容效度、效
标关联效度、构想效度的概念及其评估 方法 • 3. 现代效度理论：单一效度 • 4. 影响测验效度的因素
• 学业成就：
– 学科成绩，学历，获奖
• 实际的工作表现
– 产量、治愈率、违规次数
• 对团体的区分（人口 统计学变量）
– 年龄，种族，疾病类型
• 其他现成的测验
• 特殊训练成绩
– 培训
• 临床诊断
2020/8/13
21
2.2.2 效标的选择
• 有效——符合测验目的 • 可靠——高信度、误差小 • 可行——可以收集到 • 客观——避免“效标污染”
• 同一时间=同时效度
2020/8/13
24
做法不同
• 理想的策略：预测效度 • 实践中的选择：同时效度
–学生参加高考，把所有的人 都录取
–一段时间以后，将他们的平 均学业成绩与高考分数求相 关
–已经上了大学的学生参加 高考，同时收集他们的平 均学业成绩
–计算高考分数与学业成绩 的相关
–这个相关称为效度系数 –困境？实践上，伦理上
• 你将预期招到的人中有多少是成功的？
• 如果胜任该职位但未被录取的人提出质
2020/8/1疑3 ，你将如何给出合理的解释？
36
2020/8/13
37
决策
选择
拒绝
小计
绩 成功 27
33
60
失败
3
37
40
效
小计 30
70
100
根据泰勒-罗塞尔表，正命中率=.91。.91*30=27.3 2020/8/13在所有被拒绝的人中漏报的比率=33/70=.47 38
• 假设验证与累积证据
2020/8/13
39
2.3.2 结构效度的验证步骤
• 第一步：对结构或特质进行界定（建立理论框 架），说明该结构的心理学意义、它与其他结构 或特质间的关系
• 第二步：根据理论定义，推论出一些可能的假设， 并验证假设。
• 例：焦虑测验的结构效度验证
– 当人面临危险时，焦虑度会升高；
• 效度只有程度上的差异
2020/8/13
6
1.2 效度的测量学定义
• 真分数理论回顾：
• 效度的测量学定义：
S S S 2
2
2
X
T
E
与测量目的有关的真 实变异（或有效变异）
• 系统误差（包含在真分 在总变异中的比例
数中）：
S S S 2
2
2
T
V
I
• rxy=Sv2/Sx2
S S S S 2 2 2 2
–内容效度(content) –效标关联或实证效度(criterion-related or empirical) –构想或结构效度(construct)
• 不能只独立地保证一方面。
2020/8/13
12
2.1.1 什么是内容效度
• 内容效度（content validity）：测验内容对 测验目的的适合程度。
X
V
I
E
• Sv2 ：有关（有效）变异
• S 2020/8I/213：无关变异(系统误差)
7
1.3 效度与信度的关系?
• rxy=Sv2/Sx2 • =(Sx2- SI2- SE2)/ Sx2 • =1- SI2/ Sx2- SE2/ Sx2 • = rXX - SI2/Sx2
• 信度：只考虑随机误差 (random error)对测量的 影响
相关系数r .997 .707 .514 .325 .195 .098
样本量n 3 8 15 37 102 402 28
• 2. 估计的标准误
• 估计的标准误 (standard error, SE)：使 用测验分数预测效标分数时的误差大 小的估计值：
SE S y 1 rx2y
• rxy：测验的效度系数 sy：效标成绩
2020/8/13
17
2.1.4 内容效度与表面效度
• 表面效度（Face validity）: 表面看起来 测验内容与测验目的的一致性程度。
–市井或通俗测验多有高的表面效度，但它不 能保证测量的正确性。
• 提高表面效度可以起到“包装”的作用 • 对表面效度的要求
–最高水平测验：高；典型行为测验：低
2020/8/13
22
效标污染
• 效标污染(criterion contamination ) ：一 般指由于评定者知道其预测源分数而使 效标“纯度”降低的情况(Anastasi, 1988)
–预测源的知识
–评定偏差
–团体特征偏差
• 好的效标应是适当的、可信的和无偏见
的（Thorndike, 1949)
• 基本前提：测验试题应为所欲测内容或行为 范围之代表性样本（representative sample）。
• 主要用于建构或评价成就测验或职业测验
2020/8/13
13
• 需要考虑的基本方面：
–测验内容范围：应能确切涵盖所界定对象之范围 –测验题目的代表性：每个试题应与所界定内容或
行为范围有适度相关；试题分配应能反映范围内 各种变项或成分所应占的比重
–保证测验本身结构、要求受测者对试题做出反应 的方式
202–0/8/1保3 证有一定的题量
14
2.1.2 内容效度的估计步骤
• 评估内容效度的基本过程： • （一） 详细描述内容范围
–课程内容、教育目标以及各类题目所占比例
• （二） 明确每一个测验项目，即每一道题 所测的内容范围
• （三）在内容范围和结构方面对测验项目 与全测验作比较
– 服用某种特殊药物，可以减轻焦虑；
– 患有某种精神病的人，他们的焦虑程度会比普通人高。
2020/8/13
40
2.3.3 结构效度的估计方法
（一）测验内方法：主要通过测验内部构造来分析测 验的结构效度
• 内容效度——可以作为结构效度的证据 • 被试解答测题时的反应过程——看是否测到要测
的结构 • 测验的同质性——内部一致性方法
• 1966《教育与心理测验的标准和指南》 （美国心理学会、美国教育研究学会） ： 效标关联 (criterion-related or empirical)、构 想 、内容
2020•/8/13单一效度：测验结果的有效性
10
2. 传统的三种效度类型
2020/8/13
11
传统的效度的种类
• 证明一个测验是有效的(validation)，必须 保证在以下三方面均是有效的：
• SI2>=0
• 效度：同时受到随机误 差和系统误差(systematic
• rxy<= rxx
error)两方面的影响。
• 信度是效度的必要而非充分
条件 2020/8/13
8
例子：三个算术测验的比较
SX2
Test 1
Sv2
SI2
SE2
Test 2 Sv2
Test 3
2020/8/13
Sv2
SI2 SE2
SI2 SE2
9
1.4 效度概念的演变趋势
• 早期：测验成绩与效标的相关
• 20世纪4、50年代：四类效度
–内容效度(content validity)、构想效度 (construct validity)、预测效度(predictive validity) 和同时效度(concurrent validity)
的标准差
2020/8/13
29
估计的标准误的应用：估计真正效标分的变化范围
• 某能力倾向测验的效标的标准差是15，测验和效标
的相关是0.50，那么从该测验估计等级水平的标准
误是多少？如果某学生预测的效标得分是50，那么
实际获得的效标分数有68％的可能落在哪个区间范
围内？
2020/8/13
30
3. 效标关联效度在人事选拔中的应用： 预期表( empirical expectancy table)
2020/8/13
23
2.2.3 两种效标关联效度
• 预测效度(predictive validity)：
–预测未来 –他将来会患焦虑症吗？
• 同时效度(concurrent validity)：
–诊断现状 –他患有焦虑症吗？
• 二者的重要差别：进 行测验（即预测源） 与进行效标测量之间 的时间
• 不同时间=预测效度
Βιβλιοθήκη Baidu
• 3.命中率：当使用测验进行决策时，决策的正命中
率和总命中率可以作为效度的指标。
2020/8/13
26
总命中率＝命中人数/总人数
正2020命/8/13中率=被录取的成功者/录取人数
27
2.2.5 效标关联效度的实际应用问题
• 1. 统计的显著性
样本量对相关系数显 著性的影响
2020/8/13
相关显著性与样本量之间 的关系（p < .05 水平）
2020/8/13
• 优势：可行性、易行性
• 二者的差别
–表面上：时间长短
–实质上：对样本代表性的
要求
25
2.2.4 效标关联效度的估计方法
• 1. 相关法: 计算测验分数与效标的相关系数。
• 2.区分法：根据效标上的成绩将被试分为好、坏两 组，那么，这些组在预测分数上应该有显著差异。 如果存在显著差异，说明测验的预测效度高。
策 N 正确 错误
拒绝 拒绝
2020/8/13
决策的可能结果 32
泰勒－罗赛尔预期表
2020/8/13
33
2020/8/13
34
增益效度
增益效度（incremental validity）：由于 应用测验而在决策中提高的效度。
2020/8/13
35
例子：
• 假设你是一家公司的人事部经理。有100 个人申请某一职位。根据以往公司招聘 员工的资料，你了解到申请该职位的平 均成功率为60%。现在你手头上有个针 对该职位的测验，效度为0.7，而因额度 限制，你只能招收30人。
2020/8/13
15
例：
1、 内容范围：10以内加减法运算
内容分类：A.运算类型 B.运算范围
1）加法
2）减法
运算结果≤10
各类的相对重要性
<10 =10 >10 加法 40% 10% 0
减法 50% 0 0
2、分析每一测验题的内容、结构。
2020/8/13
16
2.1.3 内容效度的估计方法
• 方法： –专家评判 问题：缺乏数量化指标 –经验方法 –前测－学习－再测
2020/8/13
41
内部一致性方法
• 人格测验常用
–题目分数与总分相关 –分测验与总分相关
注：这种考察方法一般只能根据结果推论出测验是测单
一特质还是多种特质的，对于测验效度的贡献比较有限， 只是结构效度高的必要条件，需要作进一步的研究才能 确定测验所测构想。
2020/8/13
3
1. 效度概念及其演变趋势
2020/8/13
4
1.1 什么是效度
• 效度：是一个测验能够测量其所要测量 的东西的程度(the extent or degree to which the test measures what it was designed to measure)。
2020/8/13
31
4. 测验的效用问题
• 基础率（base rate）:未经选择的人群总 体中具有欲选特征的人数百分比 .
• 录取率（selective ratio）:从申请者中选
择出的人数的比例 • 切割线的确定
测验成绩 低高
(cutting - off score )
决 Y 错误 正确 接纳 接纳
• 或测验使用者的预定目的与实测结果相 吻合的程度。
–这个测验测什么？ –测得有多准？
2020/8/13
5
效度的性质
• 效度是针对测验结果的 • 效度是针对某种特定的测验目的的
–尺子可以用来度量长度，但不能用来度量重 量，即便每次度量的结果都完全一样。
–16PF是用来测人格的，如果那来测智力的话， 就缺乏效度 。