心理测量学 第五章 效度(用)

（三）经处理后再测法
通过在一项教学或训练计划实行 的前后两次对一组人施测某一项测验， 可以了解这项测验的内容效度。如果 两次施测的分数差别较明显，可以认 为这个测验与这项教学或训练计划的 内容有较紧密的联系，是这部分内容 的一个代表性样本。
（四）系统比较

评价内容效度最常用的方法是由有关 专家对测验题目与测验所涉及的内容总体 的符合性进行判断，即定性的方法，而不 是定量的方法。将测验所涉及的内容总体 进行细分，由专家们对各个部分进行系统 比较，可以大大地提高这种定性判断的准 确性。
2. 方差比例。根据效度定义，效度是有效 分数方差在所得分数方差中所占比例。这只 是一种理论概念，在实际的效度系数的计算 中，效度分数的平方可以解释为在效标分数 的方差中可以用测验分数来解释的百分比，
r XY
2

S YX SY
2
2

r XY =效度系数
S YX
2
SY
2
=由测验所决定的效标分数方差 =效标分数方差
（二）二型之间的相关
克伦巴赫提出，内容效度可由一组人 在独立取自同样总体的两个测验复本上得 分的相关作数量估计。如相关高，至少其 中有一个内容效度高。
这种方法中的问题是：当相关很低时，无法确定究 竟是哪一个测验的内容效度缺乏，只好二者均放弃。 当相关高时，并不能肯定测验具有内容效度，因为 可能两个测验在取样上具有相同的偏差。这种方法可以 作为考察内容效度的一种手段，还应该伴随其它方法， 提高内容效度评价的有效性。
t
X
s
X
a 2
n s
1 S s n a 1 S a
2
ns na 2

ns na nsna

80 . 25 57 15 212 . 56 13 308 16 14 2 16 14 16 14
=3.964
(三) 取舍正确性 运用测验的目的是为决策提供依据，是 为了提高正确决定的比例和减少错误决定的 比例。因此，评价一个测验的效度的方法之 一就是计算正确决定的比例，即计算取舍正 确性。
假定有30个人参加了一个测验，其中22人及格，8人不及格。 后这30人又进行了半年的工作实践。根据工作实践，有 16人成 功，有14人不成功。求总 命中率？ 成功 14 2 不成功 8 6
及格 不及格
Pct
14 6 14 8 2 6
0 . 73
在许多情况下，决策人只对录用者的命中率 感兴趣，对于未被录用者的命运并不关心， 这时候，计算正命中率更为适用，正命中率 （ P pc ）是预测成功的人之中实际成功的人 数比例：
4．预测误差 当我们知道了效度系数以后，可以根据下式 去预测一个人的有效分数的臵信区间。即
SE S Y 1 r XY
2
一个人有效分数95%的臵信区间为
ˆ ˆ Y 1 . 96 SE Y Y 1 . 96 SE
（二）组间比较
确定效度的另一个途径是测验的分数是否可以区分以 效标行为水平所定义的不同的群体。在例1中，如果 普通高校中评定学生期未数学成绩的方法不是五分制， 而是“及格”和“不及格”，那么，效标行为水平就 将学生分成了及格与不及格两组，如果两组之间在测 验分数上有明显的差异，那么，可以认为测验是有效 的，即测验可以对效标分数的高低进行区分，否则， 则可以认为测验是无效的。

效标 成功
失败
测验 成功 正确录取（A） 错误录取（B） 失败 错误拒绝（C） 正确拒绝（D） 在上表中，A、D可以称为命中，B、C可以 称为失误。 表示正确取舍率的一个指标是总命中率 （Pct ），即命中数目与总决定数目的比例：
Pct
命中 命中 失误

A D A B C D
第三节
效标关联效度
一、效标和效标关联效度 二、效标关联效度的计算 三、影响效标关联效度的因素
第三节 效标关联效度
一、效标和效标关联效度
效标关联效度是指一个测验对个体行为预
测时的有效性。 例如：用大学入学测验——大学学习成绩 大学入学测验是预测源
作为证明预测源有效性的标准叫效标 大学入学测验 技术工人选拔测验 飞行源选拔测验
b YX r XY SY S
X

ˆ y =预测的效标分数
r XY =相关系数
S
X

见附件3
b YX =从X预测Y的回归系数
=测验标准差 =效标标准差 SY a =效标分数轴上的截距 a= y b YX X
如果例1中的测验成绩是高考成绩，效标成 绩是大学中的学年各科平均成绩，那么，我 们可以建立根据高考成绩预测大学成绩的回 归方程式：

例3 如果将60分定为及格线，根据效标成绩将例1 中的一组考生分为及格组和不及格组，则两组人的 测验成绩的统计参数为：
及格组
X
i
=80.25
X
a
S S =212.56
2
n s =16
n a =14
不及格组
=57
S a =308
2
用t 检验看两组在测验成绩平均分数上是否存在显 著差异：
二、效度的种类
对于效度可以从多种方面进行分类。根据美 国心理学会颁布的“教育和心理测验的标 准”，效度被划分为 内容效度（content validity） 效标关联效度（criterion-related validity） 概念效度（construct validity）
第二节 内容效度
第五章
效 度
廖凤林
第一节
效度概述
效度是测验的有效性的指标。 我们可以从真分数理论的角度来考虑效度问题。我 们曾将一个人的测验得分看成是他的真分数与随机 误差分数之和，即 X=T+E 我们可以进一步将一个人的真分数看成是与测验目 的有关的有效分数和与测验目的无关的系统误差分 数之和。即 T=V+SE
上式表明，测验分数的方差可以分成三个部分：有效分数方差、 系统误差分数方差和随机误差分数方差。 图示如下：
SV
2
S SE
2
S RE
2
SX
2
定义 效度为有效分数方差与测验所得分数方差
的比值，即效度系数
r XY SV
2
SX
2
r XY =效度系数 由于效度既要排除随机误差，也要排除系统误差， 所以效度永远小于信度。

取舍正确性指标的计算 要求测验分数和效标分数都是二分的，如 果不是二分的，就要将分数划分成“成功” 与“失败”两组。这样，比较测验分数和效 标分数，即比较预测结果和实际结果可以得 到预测成功而且实际上成功（正确录取）， 预测成功而事实上不成功（错误录取），预 测失败而事实上成功（错误拒绝），预测失 败而事实上失败（正确拒绝）四个组，如下 表：
功利率计算方法
功利率的计算方法是：
Bi=B-C-S Bi=功利率。
B是指雇用后证明是成功的工人所造成的平均经济利润，这应 是工人产品产值减去他的工资、训练费用、原料和机器损耗、 设备准修等费用，更精细的计算还要考虑到福利保险费用及对 其他工人的影响等。 C是指雇佣一个不成功的工人所造成的经济损失，这包括训练 费用和重新雇用其他工人的费用 S是测验费用，包括测验编制（或购买）、测验组织以及有关事 项的费目。
效标效度的分类
根据效标资料的收集时间，效标关联 效度又可以分为同时效度和预测效度。
预测效度:效标资料需要经过一定的 时间距离之后才能收集到的效度。招 生、招工、职业选择测验的效标关联 效度均属于预测效度。 预测效度反映了测验对效标行为的预 测程度。所要回答的问题是：某人会 获得某种能力吗？某人会得精神病吗？
同时效度: 效标资料与测验同时收集的效
度叫。例如，在进行智力测验的同时，可以 收集受测者的在校成绩，老师、同学对该受 测人的评价等资料，并以这些资料作为一种 效标来考察这项智力测验的有效性。
二、效标关联效度的检验
（一）效度系数 测验分数与效标测量之间的相关系数可以作为一种 效度指标，称为效度系数，效度系数的计算包括下 列程序： 1. 确定一个适当的研究团体。 2. 对这个团体施测测验。 3. 将这个团体放臵一定的条件下接受观察。 4. 收集效标资料。 5. 计算测验分数与效标分数之间的相关。
三、影响效标关联效度的因素
（一）样本 这种影响来自两个方面：一是样本的含量，二是样 本的代表性。 （二）基础率 基础率是经选择的总体中具有某种与测验目的有关 的特质的人数比例。极高与极低的基础率，运用测 验都是得不偿失的。 （三）录取率 录取率是根据测验选拔出的人数与全体受测者的比 例。录取率越低，选拔的有效性越高。录取率越高， 错误选择的可能性越大。
对于例1，我们可以认为，由于 r XY =
2
（0.882）2=0.78，所以，数学成绩（效标 分数）的方差的78%可以用测验分数来解释。
3.预测效标 如果我们已经计算出测验成绩与效标成 绩之间的相关系数，即效度系数，我们就可 以得到从测验成绩预测效标成绩的回归方程 式：
ˆ y a b yX X
P pc
正确录取人数 录取总人数百度文库

A AB
对于上题中的数据，正命中率为：
P pc 14 14 8 14 22 0 . 64
（四）功利率 对测验的进一步的评价就是确定测验是否能 够带来实际的经济效益，这在选拔工人和职 员中非常重要。评价实际效益的指标为功利 率。计算测验的功利率的条件是对测验编制 和实施的费用，对测验所产生的经济效益进 行核算。
例1 为了考察高等教育自学考试数学试卷的 效度，有关单位在自学高考的高等数学考试 之后，请30名考生参加了某重点大学的高等 数学结业考试。这些考生在两次考试上的成 绩如下表。 计算自学高考数学试卷成绩与普通大学数学 考试成绩之间的相关系数：见附件1
例2 某工厂考虑采用一项考试作为招收工 人的依据。为了检验这项考试的效度，对 20名新工人施测考试之后，让他们工作 了一年，并根据其工作各方面表现进行综 合评定。这20名工人的考试成绩和工作 评定成绩如表。见附件2
一、定义：测验题目取样的适当性称为内容 效度。例如 二、提高内容效度的条件： 1 要定义测验所代表的内容范围 2 采用系统取样方法。 三、对内容效度的评价（或检验） 对于内容效度较难进行数量化的评价，通常 可以结合具体情况选用某种方法。
（一）与总体的相关
当测验内容所涉及的总体比较明确且数量有 限，能够对一组人施测总体题目时，可以比 较一组人在测验上的表现与总体上的表现， 计算二者相关，看二者是否有较高的一致性。 若一致性较高，则测验有较好的内容效度。 由于测验内容所涉及的总体往往数量很大， 难以全部施测，所以，此种方法只有在个别 情况下才能考虑。
除了积差相关外，还有二列及点二列相关
对于效度系数，可以做四种解释，即效度系数 包含着四种含义： 1. 比较意义。对于某一特定的目，例如，选拔 可以达到最高产量的职工，我们有时会面临几 种可供选择的测验，通过计算效度系数和进行 比较，我们可以选择对于这一目的最有效的测 验。例如，如果测验A的效度系数为0.60，测 验B的效度系数为0.50，那么，我们就可以选择 测验A作为我们的预测依据。
为了将系统误差与随机误差相区别，我们将系统误差（System Error)记为SE，将随机误差（Random Error）记为 RE，V 为有 效分数，这样一个人的测验得分即为： X=V+SE+RE 对于一组人的测验分数，相应于上式即有：
S X S V S SE S RE
2 2 2 2
b YX r XY
sY sX
0 . 882
20 . 699 19 . 79
0 . 923

a=57.5-0.923×69.4=-6.56 Yˆ =-6.56+0.923X
如果我们已知一组人的测验得分，我们可以 根据上式得到他们的效标成绩平均值的预测 值： X=76时， Yˆ =-6.56+0.923×76=63.6 X=55时， Yˆ =-6.56+0.923×88=74.7 预测值不是一个确定值，只是一个估计值， 可以被理解为所有获得某一测验分数者的平 均效标分数值。就是说，所有在测验上得76 分的人的效标分数的平均分为63.6，在例1 中，测验中实际得76分的人的效标平均分为 59.5，测验得88分的人的效标平均分为79.5。