人员素质测评质量分析

rxr
SV 2 SX2
其中，rxr 为测评效度；
S
为2 有效方差；
V
S
为2 总分方差。
X
效度的性质
实际上效度指的是“测评结果的效 度”，是指测评结果的准确性程度，而 并不是指测评本身。也反映了测评结果 对测评目标的体现程度。
二、如何评估人员测评的效度
（一）内容效度
1、内容效度是指测评内容取样是否反 映测评的目标，适用于测评对象。
2．常见的确定构想效度的指标
（1）发展变化
（2）与其他测评的相关
（3）因素分析
因素分析是分析行为资料内部关系、结构 特性的一种统计技术。
（4）内部一致性
如果测评的所有题目被验证为具有很高的 内部一致性，说明它们都是关于同一内容的， 属于同一种构想。
用来考察内部一致性的方法主要有三种：
1）考察总分数较高和较低两类人在各
也可以采用弗拉纳根公式直接计算分半信
度：
rxx
21
Sa2 Sb2 Sx2
Sa2与Sb2为两个分测评分数的方差；Sx2为总分方差。
2）同质性信度
同质性是指所有测评题目测评的只是单一 特质或内容，表现为所有测评题目得分的一致 性。乐观情绪特质和外向特质、预测和决策、 监督与控制等都是不太容易区分的。
如果需要在一个测评中测评不同的内容， 就应该将测评设计为几个分测评，每个分测评 测评一种内容。例如，16PF人格测评就是包含 16个分量表的测评，每个分量表只对一种人格 特质进行测评。
·依据理论框架，推演出各种有关测评成绩 的假设；
·以逻辑和实证的方法来验证假设，根据累 积材料决定这种理论是否能恰当地解释现有材 料；如果不能做出恰当解释，则应该修正上述 假设，直到能做出恰当的解释为止。
如：创造力测评构想效度。以测评分数与 根据创造力的心理学理论观察被试行为所做出 的判断做相关分析。
它是以两个测评复本（功能等值但题目内 容不同）来测评同一群体，然后求得应试者在 这两个测评上得分的相关系数（积差相关）。 复本信度的高低反映了这两个测评复本在内容 上的等值性程度。两个等值的测评互为复本。
3．内部一致性信度
内部一致性信度主要反映的是测评内部题 目之间的关系，考察测评的各个题目是否测评 了相同的内容或特质。
• 总体分布与水平
总体分布指测评结果在各水平层次上的 分布情况，总体水平一般指对测评结果 集中量的分析。
• 区分性与差异性
测评工具的区分性是指把不同水平的被测 者区分开来的程度，测评区分性一般通过 测评结果差异性的分析来揭示。
• 项目独立性
在能力测评中，常常需要项目之间有一定 的独立性。所谓独立性即非相关性或低相 关性。独立性的分析一般采用项目间分数 的相关系数揭示，根据实际得分分布是否 均匀，可以分别采用rφ系数法和列联表χ² 检验法。
第四节 其他指标的分析
• 客观性
测评的客观性由测评方法的客观性与测 评者的客观性两方面构成
1）分半信度
分半信度系数是通过将测评分成两半，计 算这两半测评之间的相关性而获得的信度系数。
分半法经常会低估信度，必须进行修正。斯 皮尔曼一布朗公式可以估计增长或缩短一个测 评对其信度系数的影响，用这个公式进行修正 的前提条件为：两半测评的方差相等。
分半法中的斯皮尔曼一布朗修正公式为：
rxx
2rhh 1 rhh
同时效度的效标材料可以和测评分数差不 多同时搜集。
同时效度多用于诊断现在的状态，预测效 度多预测未来的结果。
如：1）“某人成功了吗？”
2）“某人会成功吗？”
2．效标和效标测评
效标是衡量测评有效性的参照标准。
把效标转化为某种可以操作的测评指标， 称为效标测评。
效标可以细分为观念效标（即效标的实质 概念内容）和效标测评（即效标的具体度量方 法）。例如，对于筛选销售人员的观念效标是 “销售工作的成功” ，而效标测评是“年销 售量” 。
如果评分者在三人以上，而且又采用等级 记分时，就需要用肯德尔和谐系数来求评分者 信度。其公式为：
N
2
W
S 1 K2 N3 N
N i1
Ri2
Ri
i1
N
1 K2 N3 N
12
12
其中，K为评分者人数，N为被评定的人数 或答卷数；Ri为评分者给某人（或某一答卷） 评分之和。
S
N i1
r'xx rxSx'x/Sx 1r2xxS'x/Sx2
其中,r'xx 为估计的信度；r为xx取样的信度；SSxX为
取样团体的标准差； Sx ' 为估计团体（取样的
总体）的标准差。
3)不同团体间能力水平的差异
2.测评的长度
信度还会受测评长度（即题目的多 少）的影响。一般来说，测评越长，信 度值越高。
在人员测评中，对信度系数进行确定通常有 以下两方面的作用：
1．解释真实分数与实得分数的相关性
总的方差（即标准差的平方的缩略语）中 有多少比例是由真实分数的方差决定的。
2．说明可以接受的信度水准
一般的能力与成就测评的信度系数在 0．90以上；人格、兴趣等测评的信度系数通 常在0．80－0.85之间。 rxx＜0．70时，不能 用测评对个人作评价，也不能在团体间作比较；
如，一个数学推理能力测评与数学课成绩 的相关就是会聚效度；而该测评与阅读理解能 力测评的相关显著低，就是区分效度。
三、影响效度的因素 测评本身带来的影响因素
1．测评题目的质量 2．实施测评时的于扰因素 3．被试的影响因素 4．测评的长度 样本团体的性质 效标的性质 如果其他条件相同，所测评的行为或心理 特质与效标行为或特质越相似，效度系数就越 高。
N x y x• y
N • x2 x2•N • y2 y2
N为两次测评结果数据配对总数；x被分析的测
评结果；y为重复测评得到的结果。在进行重测 信度的评估时，还应注意以下两个重要问 题：
1）重测信度一般只反映由随机因素导致的 变化，而不反映被试行为的长久变化。
2）不同行为受随机误差的影响不同。
2.复本信度又称等值性系数。
第十一章 素质测评的质量分析
目录
• 效度 • 信度 • 项目分析 • 其他分析方法
第一节 效度
测评的效度就是指测评的有效性，即能测 评到所要测评目标的程度。效度是评价测评好 坏、选择测评的重要标准之一。
效度的作用比信度的作用更为重要。强调 测评目标、工具与测评对象的统一。
一、人员测评的有效性
效度的理论定义：与测评目标有关的真实 分数方差与总分方差的比率。 公式：
的被测者人数与总人数之比；
➢ 当项目为观察评定量表中的指标时，适合度即 所有被测得分平均值与指标满分值之比。
• 项目区分度
又称鉴别力，指项目得分对被试实际能力 或心理特质水平的区分能力或鉴别力，也 即项目得分的高低与被试实际能力或心理 特质水平高低的一致性程度。项目区分度 的计算方法主要有相关分析法（包括积差 相关法、二列相关法和点二列相关法）、 极端组法（鉴别度指数、临界比）和因素 分析法
当rxx＞0．70时，可用于团体间比较；rxx＞ 0．85时，可用于鉴别个人情况。
三、 如何评估人员测评的信度
1.重测信度又称为稳定性系数
用同一测评，在不同时间对同一群体施测
两次，这两次测评分数的相关系数即为重测 系数。一个测评的重测信度越高，说明测评 的结果越一致、越可靠。积差相关公式：
r
常用的同质性信度计算方法是库德—理查 逊估计方法。计算公式有库德—理查逊20号公 式（简称（KR20）和21号公式（KR21）。
下面是KR20公式：
rKR 20
n
n
1
1
n
Pi qi
i 1
Sx2

其中n为测评题目数，p i 为通过i 题的人数比例；
qi为未通过该题的人数比例；pi qi =1; n Pi q i i1
它是
真实分数标准差与实得分数标准差的比率。
其中，rxr 有时也称为信度指数，它是真实分 数标准差与实得分数标准差的比率。
方差：即每个被测评者得分与其算术平均
数差的平方和与总个数之商。公式：
Sx2
2
xx N
标准差公式： Sx
2
xx N
还可通过分析个人分数再测时的变化（误 差）来考察信度。两次测评分数的差异越大， 信度就越低。
二是影响稳定性的原因：什么因素造成了这 种差异；这些影响的相对作用有多大。
二、 信度的作用
信度高低的指标通常以相关系数表示，称 为信度系数。信度系数一般是同一样本所得的 两组资料的相关，在理论上表示为实得分数与 真实分数相关的平方。信度系数公式：
rxx
rxr2
ST2 SX2
其中： rxr
ST SX
3.测评的难度
测评的难度也会对信度产生影响。 如果一个测评的难度太低，出现天花板 效应；如果难度太大，出现地板效应，
第三节 项目分析
项目适合度 在素质测评中，项目不仅仅是试题，更多的
是一些咨询问题或观察评定点（指标），它们 无难易之分，适合度指的是被测者行为符合项 目测评标准的程度。
➢ 当项目为试题时，适合度即难度； ➢ 当项目是问卷中的问题时，适合度即所有选对
题目上通过率的大小 ，如果通过率低，应 淘汰或修改。
2）计算题目与总分的相关，如未达显著水 准，应予淘汰。
3）求分测评与总分的相关。各分测评与总 分有显著相关，如果不是，则应予删除。
（5）会聚效度和区分效度
会聚效度：测评与测评相同特质或构想等 理论上有关的变量高相关；
区分效度：测评与测评不同特质或构想等 理论上无关的变量低相关。
其中，rhh为两半测评的相关系数，rxx为估 计或修正后的信度。