第五章 测量效度
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
根据：rxy2=SV2/SX2、rxx=ST2/SX2、 ST2=SV2+SI2 可得：rxy2=rxx-SI2/SX2 因为SI2>0，所以 rxy2<rxx
效度的评估
内容效度
含义、应用范围、与表面效度相 区分、确定方法 重点
效标关联效度
含义、观念效标、效标测量、种 类、作用、确定步骤、估计方法
探索性因素分析（EFA） 验证性因素分析（CFA）
影响测量效度的因素
测验的长度
测验的实施过程
测量的信度
样本的代表性
效标的性质
影响效度的因素——测验的长度
测验的长度影响测验的效度。
测验长度与效度的关系：
rnxy
1 rxx n rxx
rxy
rxx为原测验信度，rxy为原测验效度系数 n为倍数，rnxy为新测验的效度系数
01
02 03 04
测验内部寻找证据法
测验之间寻找证据法
考察测验的实证效度法
多特质多方法矩阵法
05
因素分析法
构想效度的估计方法——测验内部寻找证据法
考察测验的内容效度。有些测验对所测内容或行
为范围的定义或解释类似于理论构想的解释。
分析被试的答题过程。 通过计算测验的同质性信度。测验同质只是结构
细目表对照。
③ 制定评定量表，考查题目对内容范围的覆盖率、判断
题目难度与能力要求之间的差异、各种题目数量和分 数比例以及题目形式的适当性。
双向细目表例
内容效度的确定方法——复本法
从同一内容中抽两套独立的平行测验对一批被试
施测。
两次相关高说明有较高的内容效度（除非两个测
验偏向同一个方面）；相关低，则两个测验中至 少有一个缺乏内容效度。
所占的比率。灵敏度指所有真正符合要求的人能 被测验鉴别出来的人数的比率。确认度指所有不 合要求的人能被测验正确淘汰的人数的比率。
当基础率较低时，选用灵敏度高的测验比较有效。
当基础率较高时，选用确认度高的测验比较有效。
实证效度的估计方法
功利率 使用测验所带来的好处应大大高于使用测验所耗
费的时间、精力和经费。
合计 300 9700 10000
答案
正命中率=240/310=0.7742
负命中率=9630/9690=0.9938
总命中率=（240+9630）/10000=0.9870 基础率=300/10000=0.0300 灵敏度=240/300=0.8000 确认度=9630/9700=0.9928
难点
构想效度
含义、应用范围、特点、估计方 法
内容效度的含义
内容效度是指一个测验实际测到的内容与所要测
量的内容之间的吻合程度。
估计一个测验的内容效度就是确定该测验在多大
程度上代表了所要测量的行为领域。通常包括欲 测的知识范围，以及该范围内各知识点所要求掌
握的程度两个方面。
内容效度的应用范围
相关法 计算测验分数与效标测量的相关系数。
积差相关、等级相关、二列相关、四分相关等。
分组检验法 被试接受测验后，工作一段时间，根据工作成绩
好坏分成两组，分析两组被试原先分数的差异。
练习：效标关联效度的估计计算
例1：用一套学业能力测验对某校初一15名学生施测， 其测验得分列在下表中。为了研究该学业能力测验 的效度，收集了这15名学生的期末考试成绩也在下
练习：效标关联效度的估计计算
例2：研究者编制了一个学术能力倾向测验，向20名 被试施测，并且以是否考上大学为效标，结果如下 表所示（0表示未考上，1表示考上）。试估计该测 验的效度。
答案
用点二列相关公式 rpbi =
rpbi=0.60
X p -X q St
pq
，St=3.324，
效标关联效度的估计方法
练习：效标关联效度的估计计算
例3：某智力测验对儿童鉴定的结果如下。请分别用
正命中率、负命中率和总命中率以及基础率、灵敏 度和确认度的方法估计该智力测验的效度。
表5.1 某智力测验对1万名儿童鉴定的结果
测量鉴定为弱智 测量确认为正常 真正弱智 真正正常 合计 240 70 310 60 9630 9690
难点
构想效度
含义、应用范围、特点、估计方 法
效标关联效度的含义
效标关联效度是指一个测验对处于特定情境中的
个体的行为进行估计的有效性。
被估计的行为是检验测验效度的外在标准，即效
标。它是独立于测验并可以从实践中直接获得的 我们所感兴趣的行为。
观念效标和效标测量
我们感兴趣的行为往往是一个观念上的东西，即
内容效度的确定方法——再测法
在被试接受某种知识的学习之前进行一次测验，
在学习该知识之后再做同样的测验。
如果后测成绩显著优于前测成绩，说明该测验对
这部分内容而言具有较高的内容效度。
效度的评估
内容效度
含义、应用范围、与表面效度相 区分、确定方法 重点
效标关联效度
含义、观念效标、效标测量、种 类、作用、确定步骤、估计方法
例4：表格里的相关系数各代表什么？
表5.2 多种特质-多种方法矩阵法 方法1 方法2 A1 B1 C1 A2 B2 C2 A3
A1 B1 C1 A2 B2 C2 A3 B3 C3
特质
方法3 B3
C3
方法1
方法2
方法3
构想效度的估计方法——因素分析法
因素分析法是一种分析观察数据之间的相关矩阵
的统计分析技术。
只是新测验效度较高的必要非充分条件。
构想效度的估计方法——考察测验的实证效度法
若测验有实证效度，可从效标的性质与种类来推
论结构效度。
a. 根据效标把人分为两类，考察其得分的差异。 b. 根据测验得分把人分为高分组和低分组，考察这
两组人在所测特质方面是否确有差异。
构想效度的估计方法——多特质多方法矩阵法
当外行人认为某个测验能有效地测得某种心理特
质时，该测验就被认为有较高的表面效度。
最佳行为测验要求有较高的表面效度；其他测验
希望表面效度低。
内容效度的确定方法
01 02
专家评定法
克伦巴赫统计分析方法
03
再测法
内容效度的确定方法——专家评定法
请专家对测验题目与原定内容范围吻合程度作判断。 ① 明确欲测内容的范围，包括知识范围和能力要求。 ② 确定每个题目所测的内容，与测验编制者所列的双向
内容提要
1 2 3 4 5
效度的含义 效度与信度的关系 效度的评估 影响效度的因素
提高效度的方法
效度的含义
效度是指一个测验或量表实际能测出其所要测的
心理特质的程度。
在测量理论中，效度被定义为：在一列测量中，
与测量目的有关的真实变异数与总变异数的比率。 即rxy2=SV2/SX2，rxy2为效度，rxy为效度系数。
练习：测验长度与效度的关系
例5：已知rxx=0.31，rxy=0.42，若希望把效度系数 提高到0.65和0.70，则测验长度要增加几倍？
答案
用 rnxy
1 rxx
rxy n rxx
rnxy=0.65，n=6.4≈7；
rnxy=0.70，n=13.8≈14
提高测量效度的方法
观念效标。
对效标进行表达的一个数字或等级即是效标测量。 同一个观念效标有多个效标测量。 在心理与教育测量工作中，常用的效标有：学业
成就、等级评定、临床诊断、专门的训练成绩、
实际的工作表现、对团体的区分能力等。
效标关联效度的种类及作用
根据效标搜集时间的差异，分为同时效度和预测
效度。
效标资料与测验分数同时收集，即同时效度。用
效度的评估
内容效度
含义、应用范围、与表面效度相 区分、确定方法 重点
效标关联效度
含义、观念效标、效标测量、种 类、作用、确定步骤、估计方法
难点
构想效度
含义、应用范围、特点、估计方 法
构想效度的含义及应用范围
结构效度是指一个测验实际测到所要测量的理论
结构和特质的程度。
它是指测验分数能够说明心理学理论的某种结构
表51某智力测验对1万名儿童鉴定的结果测量鉴定为弱智测量确认为正常合计真正弱智24060300真正正常7096309700合计310969010000答案?正命中率24031007742?负命中率9630969009938?总命中率24096301000009870?基础率3001000000300?灵敏度24030008000?确认度9630970009928重点难点含义应用范围与表面效度相区分确定方法内容效度含义观念效标效标测量种类作用确定步骤估计方法效标关联效度含义应用范围特点估计方法构想效度效度的评估构想效度的含义及应用范围?结构效度是指一个测验实际测到所要测量的理论结构和特质的程度
主要应用于成就测验，成就测验主要是测量被试
掌握某种技能或学习某门课程所达到的程度。
也适用于某些用于选拔和分类的职业测验，测验
内容是实际工作需要的知识和技能。
不适合用于能力倾向测验和人格测验。
内容效度与表面效度相区分
表面效度是外行人对某个测验从表面上看好像是
测某种心理特质的一种现象。
A. 精心编制测验量表，避免出现较大的系统误差。 B. 妥善组织测验，控制随机误差。 C. 创设标准应试情景，让每个被试都能发挥正常水
平。
D. 选择正确的效标，恰当的效标测量，正确使用有
关公式。
命中率（正命中率、负命中ቤተ መጻሕፍቲ ባይዱ和总命中率） 正命中率指测验选出来的人中真正被选对的人数
比率。
负命中率指测验淘汰的人中真正该被淘汰的人数
比率。
总命中率指测验选对的人数和淘汰对的人数之和
与总人数之比。
实证效度的估计方法
基础率、灵敏度和确认度 基础率指符合筛选要求的群体在整个人群总体中
相容效度和区分效度方法的综合运用。
a. 若用多种极不相同的方法测量同一种心理特质所
得的相关系数很高，说明相容效度高。
b. 若用多种极为相似的方法测量不同心理特质所得
的相关系数很低，说明区分效度高。
c. 若用多种极为相似的方法测量同一种心理特质所
得的相关系数很高，说明信度高。
练习：结构效度的估计
效度高的必要条件。
构想效度的估计方法——测验之间寻找证据法
相容效度法。考察新编测验与某个已知的能够有
效测量相同特质的测验之间的相关，若两者相关 较高，则说明新测验有较高的效度。
区分效度法。考察新编测验与某个已知的能有效
测量不同特质的旧测验间的相关，若两者相关较
高，则说明新测验效度不高。两测验间相关不高
效度的含义
效度是一个相对的概念： 1. 效度相对于一定的测量目的； 2. 心理测量只能达到某种程度上的准确性。 效度是测量的随机误差和系统误差的综合反映。 判断一个测量是否有效要从多方面搜集证据。
效度与信度的关系
根据公式SX2=SV2+SI2+SE2,
I. 信度高是效度高的必要而非充分的条件。 II. 测验的效度受它的信度制约。
表中。试估计学业能力测验的效度。
答案
用
rXX =
N X iYi X i Yi
i 1 i 1 i 1
n
n
n
n N X Xi i 1 i 1
n 2 i
2
n N Yi Yi i 1 i 1
n 2
2
，rXY=0.72
于诊断现状。
效标资料是在测验之后根据实际工作成绩确定的，
即预测效度。用于预测某个个体将来的行为。
效标关联效度的确定步骤
A. 明确观念效标 B. 确定效标测量 C. 考察测验分数与效标测量的关系
实证效度的估计方法
01
02 03 04
相关法
分组检验法
命中率
灵敏度和确认度
05
功利率
实证效度的估计方法
或特质的程度。
适用范围：主要用于智力测验、人格测验等。
构想效度的特点
1. 结构效度的大小首先取决于事先假定的心理特质
理论。
2. 当实际测量的资料无法证实理论假设时，并不一
定表明该测验结构效度不高。
3. 结构效度是通过对测量内容的选择的证据累计起
来确定的，不是靠单一数量指标描述的。
构想效度的估计方法
效度的评估
内容效度
含义、应用范围、与表面效度相 区分、确定方法 重点
效标关联效度
含义、观念效标、效标测量、种 类、作用、确定步骤、估计方法
探索性因素分析（EFA） 验证性因素分析（CFA）
影响测量效度的因素
测验的长度
测验的实施过程
测量的信度
样本的代表性
效标的性质
影响效度的因素——测验的长度
测验的长度影响测验的效度。
测验长度与效度的关系：
rnxy
1 rxx n rxx
rxy
rxx为原测验信度，rxy为原测验效度系数 n为倍数，rnxy为新测验的效度系数
01
02 03 04
测验内部寻找证据法
测验之间寻找证据法
考察测验的实证效度法
多特质多方法矩阵法
05
因素分析法
构想效度的估计方法——测验内部寻找证据法
考察测验的内容效度。有些测验对所测内容或行
为范围的定义或解释类似于理论构想的解释。
分析被试的答题过程。 通过计算测验的同质性信度。测验同质只是结构
细目表对照。
③ 制定评定量表，考查题目对内容范围的覆盖率、判断
题目难度与能力要求之间的差异、各种题目数量和分 数比例以及题目形式的适当性。
双向细目表例
内容效度的确定方法——复本法
从同一内容中抽两套独立的平行测验对一批被试
施测。
两次相关高说明有较高的内容效度（除非两个测
验偏向同一个方面）；相关低，则两个测验中至 少有一个缺乏内容效度。
所占的比率。灵敏度指所有真正符合要求的人能 被测验鉴别出来的人数的比率。确认度指所有不 合要求的人能被测验正确淘汰的人数的比率。
当基础率较低时，选用灵敏度高的测验比较有效。
当基础率较高时，选用确认度高的测验比较有效。
实证效度的估计方法
功利率 使用测验所带来的好处应大大高于使用测验所耗
费的时间、精力和经费。
合计 300 9700 10000
答案
正命中率=240/310=0.7742
负命中率=9630/9690=0.9938
总命中率=（240+9630）/10000=0.9870 基础率=300/10000=0.0300 灵敏度=240/300=0.8000 确认度=9630/9700=0.9928
难点
构想效度
含义、应用范围、特点、估计方 法
内容效度的含义
内容效度是指一个测验实际测到的内容与所要测
量的内容之间的吻合程度。
估计一个测验的内容效度就是确定该测验在多大
程度上代表了所要测量的行为领域。通常包括欲 测的知识范围，以及该范围内各知识点所要求掌
握的程度两个方面。
内容效度的应用范围
相关法 计算测验分数与效标测量的相关系数。
积差相关、等级相关、二列相关、四分相关等。
分组检验法 被试接受测验后，工作一段时间，根据工作成绩
好坏分成两组，分析两组被试原先分数的差异。
练习：效标关联效度的估计计算
例1：用一套学业能力测验对某校初一15名学生施测， 其测验得分列在下表中。为了研究该学业能力测验 的效度，收集了这15名学生的期末考试成绩也在下
练习：效标关联效度的估计计算
例2：研究者编制了一个学术能力倾向测验，向20名 被试施测，并且以是否考上大学为效标，结果如下 表所示（0表示未考上，1表示考上）。试估计该测 验的效度。
答案
用点二列相关公式 rpbi =
rpbi=0.60
X p -X q St
pq
，St=3.324，
效标关联效度的估计方法
练习：效标关联效度的估计计算
例3：某智力测验对儿童鉴定的结果如下。请分别用
正命中率、负命中率和总命中率以及基础率、灵敏 度和确认度的方法估计该智力测验的效度。
表5.1 某智力测验对1万名儿童鉴定的结果
测量鉴定为弱智 测量确认为正常 真正弱智 真正正常 合计 240 70 310 60 9630 9690
难点
构想效度
含义、应用范围、特点、估计方 法
效标关联效度的含义
效标关联效度是指一个测验对处于特定情境中的
个体的行为进行估计的有效性。
被估计的行为是检验测验效度的外在标准，即效
标。它是独立于测验并可以从实践中直接获得的 我们所感兴趣的行为。
观念效标和效标测量
我们感兴趣的行为往往是一个观念上的东西，即
内容效度的确定方法——再测法
在被试接受某种知识的学习之前进行一次测验，
在学习该知识之后再做同样的测验。
如果后测成绩显著优于前测成绩，说明该测验对
这部分内容而言具有较高的内容效度。
效度的评估
内容效度
含义、应用范围、与表面效度相 区分、确定方法 重点
效标关联效度
含义、观念效标、效标测量、种 类、作用、确定步骤、估计方法
例4：表格里的相关系数各代表什么？
表5.2 多种特质-多种方法矩阵法 方法1 方法2 A1 B1 C1 A2 B2 C2 A3
A1 B1 C1 A2 B2 C2 A3 B3 C3
特质
方法3 B3
C3
方法1
方法2
方法3
构想效度的估计方法——因素分析法
因素分析法是一种分析观察数据之间的相关矩阵
的统计分析技术。
只是新测验效度较高的必要非充分条件。
构想效度的估计方法——考察测验的实证效度法
若测验有实证效度，可从效标的性质与种类来推
论结构效度。
a. 根据效标把人分为两类，考察其得分的差异。 b. 根据测验得分把人分为高分组和低分组，考察这
两组人在所测特质方面是否确有差异。
构想效度的估计方法——多特质多方法矩阵法
当外行人认为某个测验能有效地测得某种心理特
质时，该测验就被认为有较高的表面效度。
最佳行为测验要求有较高的表面效度；其他测验
希望表面效度低。
内容效度的确定方法
01 02
专家评定法
克伦巴赫统计分析方法
03
再测法
内容效度的确定方法——专家评定法
请专家对测验题目与原定内容范围吻合程度作判断。 ① 明确欲测内容的范围，包括知识范围和能力要求。 ② 确定每个题目所测的内容，与测验编制者所列的双向
内容提要
1 2 3 4 5
效度的含义 效度与信度的关系 效度的评估 影响效度的因素
提高效度的方法
效度的含义
效度是指一个测验或量表实际能测出其所要测的
心理特质的程度。
在测量理论中，效度被定义为：在一列测量中，
与测量目的有关的真实变异数与总变异数的比率。 即rxy2=SV2/SX2，rxy2为效度，rxy为效度系数。
练习：测验长度与效度的关系
例5：已知rxx=0.31，rxy=0.42，若希望把效度系数 提高到0.65和0.70，则测验长度要增加几倍？
答案
用 rnxy
1 rxx
rxy n rxx
rnxy=0.65，n=6.4≈7；
rnxy=0.70，n=13.8≈14
提高测量效度的方法
观念效标。
对效标进行表达的一个数字或等级即是效标测量。 同一个观念效标有多个效标测量。 在心理与教育测量工作中，常用的效标有：学业
成就、等级评定、临床诊断、专门的训练成绩、
实际的工作表现、对团体的区分能力等。
效标关联效度的种类及作用
根据效标搜集时间的差异，分为同时效度和预测
效度。
效标资料与测验分数同时收集，即同时效度。用
效度的评估
内容效度
含义、应用范围、与表面效度相 区分、确定方法 重点
效标关联效度
含义、观念效标、效标测量、种 类、作用、确定步骤、估计方法
难点
构想效度
含义、应用范围、特点、估计方 法
构想效度的含义及应用范围
结构效度是指一个测验实际测到所要测量的理论
结构和特质的程度。
它是指测验分数能够说明心理学理论的某种结构
表51某智力测验对1万名儿童鉴定的结果测量鉴定为弱智测量确认为正常合计真正弱智24060300真正正常7096309700合计310969010000答案?正命中率24031007742?负命中率9630969009938?总命中率24096301000009870?基础率3001000000300?灵敏度24030008000?确认度9630970009928重点难点含义应用范围与表面效度相区分确定方法内容效度含义观念效标效标测量种类作用确定步骤估计方法效标关联效度含义应用范围特点估计方法构想效度效度的评估构想效度的含义及应用范围?结构效度是指一个测验实际测到所要测量的理论结构和特质的程度
主要应用于成就测验，成就测验主要是测量被试
掌握某种技能或学习某门课程所达到的程度。
也适用于某些用于选拔和分类的职业测验，测验
内容是实际工作需要的知识和技能。
不适合用于能力倾向测验和人格测验。
内容效度与表面效度相区分
表面效度是外行人对某个测验从表面上看好像是
测某种心理特质的一种现象。
A. 精心编制测验量表，避免出现较大的系统误差。 B. 妥善组织测验，控制随机误差。 C. 创设标准应试情景，让每个被试都能发挥正常水
平。
D. 选择正确的效标，恰当的效标测量，正确使用有
关公式。
命中率（正命中率、负命中ቤተ መጻሕፍቲ ባይዱ和总命中率） 正命中率指测验选出来的人中真正被选对的人数
比率。
负命中率指测验淘汰的人中真正该被淘汰的人数
比率。
总命中率指测验选对的人数和淘汰对的人数之和
与总人数之比。
实证效度的估计方法
基础率、灵敏度和确认度 基础率指符合筛选要求的群体在整个人群总体中
相容效度和区分效度方法的综合运用。
a. 若用多种极不相同的方法测量同一种心理特质所
得的相关系数很高，说明相容效度高。
b. 若用多种极为相似的方法测量不同心理特质所得
的相关系数很低，说明区分效度高。
c. 若用多种极为相似的方法测量同一种心理特质所
得的相关系数很高，说明信度高。
练习：结构效度的估计
效度高的必要条件。
构想效度的估计方法——测验之间寻找证据法
相容效度法。考察新编测验与某个已知的能够有
效测量相同特质的测验之间的相关，若两者相关 较高，则说明新测验有较高的效度。
区分效度法。考察新编测验与某个已知的能有效
测量不同特质的旧测验间的相关，若两者相关较
高，则说明新测验效度不高。两测验间相关不高
效度的含义
效度是一个相对的概念： 1. 效度相对于一定的测量目的； 2. 心理测量只能达到某种程度上的准确性。 效度是测量的随机误差和系统误差的综合反映。 判断一个测量是否有效要从多方面搜集证据。
效度与信度的关系
根据公式SX2=SV2+SI2+SE2,
I. 信度高是效度高的必要而非充分的条件。 II. 测验的效度受它的信度制约。
表中。试估计学业能力测验的效度。
答案
用
rXX =
N X iYi X i Yi
i 1 i 1 i 1
n
n
n
n N X Xi i 1 i 1
n 2 i
2
n N Yi Yi i 1 i 1
n 2
2
，rXY=0.72
于诊断现状。
效标资料是在测验之后根据实际工作成绩确定的，
即预测效度。用于预测某个个体将来的行为。
效标关联效度的确定步骤
A. 明确观念效标 B. 确定效标测量 C. 考察测验分数与效标测量的关系
实证效度的估计方法
01
02 03 04
相关法
分组检验法
命中率
灵敏度和确认度
05
功利率
实证效度的估计方法
或特质的程度。
适用范围：主要用于智力测验、人格测验等。
构想效度的特点
1. 结构效度的大小首先取决于事先假定的心理特质
理论。
2. 当实际测量的资料无法证实理论假设时，并不一
定表明该测验结构效度不高。
3. 结构效度是通过对测量内容的选择的证据累计起
来确定的，不是靠单一数量指标描述的。
构想效度的估计方法