信度和效度测量

则用Cronbach的系数，它表示问卷(量表)测量结果总变异中由不同被试
者导致的比例占多少,即:

k

m
s2 Xj

1 j1
k 1 sX2




其中，sX2 j为所有受访者第j问项答案的方差;sX2为所有受访者、所有问项
答案的方差; k为问项题目总数。
Cronbach’s α系数越大表示问卷项目间相关性越好, 内部一致性信度越高。 一般而言,α大于0. 8 表示内部一致性极好,α在0. 6 ～ 0. 8 表示较好,而低于 0. 6 表示内部一致性较差。在实际应用上,Cronbach’s α值至少要大于0. 5 , 最好能大于0. 7 (Nunnally ,1978) 。
Kappa 系数大于0. 75 表示重测信度很好, 在0. 4 ～ 0. 75 表示较好,而低 于0. 4 表示较差。如果结果显示某个问卷(量表)项目的Kappa 系数低于0. 4 , 则要考虑修改或删除该项目。
重测信度——ICC系数
对于连续变量，可采用Ronald Fisher(1954)提出的ICC (Intraclass Correlation Coefficient )系数来测量：
效标关联效度
效标关联效度是指问卷(量表)测量结果和效度标准( 被假设或定义为有效的某种外在标准)之间的一致 程度。
根据效度标准获取的时间可分为:同时效度和预测 效度。同时效度和预测效度的大小直接反映了问卷 (量表)效标关联效度的高低。
同时效度
(1)同时效度(Concurrent Validity) ,即同时在研究对 象中进行测评和效度标准测量得到的结果之间的相 关程度,其效度系数通常较低,多在0. 20～0. 60之间, 很少超过0. 70 ,一般以0. 4～0. 8 之间较理想。
内容效度
在招聘和甄选过程中，通常涉及内容效度和效标关 联效度。内容效度是指测评内容反映测量目标(如 知识、技能和行为等)的程度。一个测验要具备较 好的内容效度必须满足以下两个条件： 一、要确定好内容范围，并使测验的全部项目均在 此范围内(抽样效度)。它既可以是具体知识或技能 ，也可以是复杂行为。 二、测验项目应是已界定的内容范围的代表性样本( 表面效度)。也即选出的项目能包含所测的内容范 围的主要方面，并且使各部分项目所占比例适当。
重测信度——kappa系数
重测信度反映两次测量结果的相关程度。对于分类变量，可
采用Cohen's kappa系数来测量：
Kappa系数：k pa pe 1 pe
其中pa是两次观测的实际一致率，pe是两次观测的期望一致率。
以右表为例：
pa 20 15 / 50 0.7
信度主要分为四大类： 重测信度(Test-retest Reliability) 复本信度(Alternate-form Reliability) 内部一致性系数(Internal Consistency Reliability) 评分者信度(Scorer Reliability)
效度(Validity)
T
它反映测试的准确性(accuracy)，即在多大程度上 测量了想要测的内容。
信度和效度的关系
可以证明：
举例来说
总而言之，信度和效度相互排斥又相互依存；没有信度就 不可能有效度；没有效度，信度就毫无意义；高信度可能 带来低效度；高效度也可能带来低信度。
信度分类及计算
从表中数字可以看出，工人的考试成绩愈高其产量也愈高 ，二者之间的联系程度较一致，rPearson=0.691；并不算太高 ，这可能由于它们之间的关系并不是线性的。
如果分别按考试成绩和产量高低变换成等级(见上表第3、4
列)，则可以计算它们之间的斯皮尔曼等级相关系数为1。
计算斯皮尔曼等级相关系数可以将数据变换成等级以后用
HRM量化技术研究
授课教师：谭远发 授课进度：信度与效度测量 2011-9-19
主要内容
测量理论 信度 效度 信度与效度的关系 信度与效度的分类及Stata计算 信度与效度的影响因素 提高信度与效度的途径
测量理论
信度(Reliability)
正如很多教科书所说：信度是指测试方法不受随机误差干扰的程度，反映 测试结果的一致性和稳定性(consistency, and stability)。
(1)同一评价者对各被评对象无相同等级评定时：
r kandall-1
n i 1

2 i

1 n
(
n i 1
i
)2
1 k 2 (n3 n)
12
i为每个被评对象所得到的等级之和；n为被评价对象数量；k为评价者数量。
(2)同一评价者对各被评对象有相同等级评定时：
rkandall-2
算连续变量的重测信度时，应采用rFisher系数更准确。
一般来说, ICC 大于0. 75 表示极好, ICC 在0. 6 ～0. 75 表示较好。
Stata命令： For rpearson corr var1 var2
For rFisher loneway var1 var2
复本信度
复本信度是指用母本和复本两次等值测评结果的一致性程 度。它的计算与重测信度相似，即计算母本和复本测评数 据的相关性。当测评结果为分数或数值时，用rPearson法或 rFisher计算；当测评结果为等级或名次时，用斯皮尔曼等级 相关系数 (Spearman Rank Correlation)。这些方法的适用性 和差异见下表：

1 n 1
n i 1

xi1 x p sp

xi2 sp
xp

x p

1 2n
n
( xi1 xi2 )
i 1
s
2 p

1 2n 1
n i 1
( xi1
xp )2

n i 1
( xi2

x
p
)
2

ቤተ መጻሕፍቲ ባይዱ
两种相关系数的本质区别在于均值和方差计算不同。在计
Stata命令：
For rCronbach alpha var1 var2
评分者信度—— Kendall系数
当评分者为两人时，评分者信度是通过对同一组被 试测评分数之间的相关系数来鉴定，可使用积差相
关(rPearson,rFisher) 法或等级相关法(rspearman rank)。
当评分者为两人以上，并用等级计分(其他形式的 分数要转化为等级)，则用肯德尔和谐系数来测量 评分者信度。
原有的相关系数公式计算，也可以先算出每一对样本的等
级之差di，结合样本量n；再用下列公式计算：
n
6 di2
rSpearman Rank

1
i1
n(n2
1)
上例中由于等级完全一致，所有di = 0，所以r-spearman rank =1 。
Stata命令：
For r-spearman rank spearman var1 var2
pe

25 30 50 50

25 50
20 50
0.3 0.2 0.5
A
B 好 坏 合计 好 20 5 25
k pa pe 0.7 0.5 0.4
1 pe
1 0.5
坏 10 15 25 合计 30 20 50
将上表恢复为原始数据集后，采用Stata的kappa命令可得如下结果：
分析效标关联效度的通常作法是对问卷(量表)测量 结果与有效标准进行相关分析,相关系数越大表示 问卷(量表)的效标关联效度越好,一般认为相关系数 在0. 4～0. 8 比较理想。
内部一致性系数——折半信度
内部一致性系数反映调查问卷(量表)各个问项(项目)间相关的程度,这些问项
应该反映同一独立概念的不同侧面。它通常采用折半信度测量。具体办法是：
将问卷（量表）中所有项目分为对等的两部分，然后计算两部分的相关系数,
即折半信度rh。然后，据此推算整个问卷(量表)信度：
rSpearmanBrown
应聘者
根据右表可知：n=6,k=6
评等级 一 二 三 四 五
六
6
6
i 126;

2 i

3192
i1
i1
面试官
A
3
12
5
4
6
rkandall-1

n i1

2 i

1 n
(
n i1
i
)2
1 k2(n3 n)
3192 1 1262

6
1 62(63 6)
0.87
例如：在招聘应届毕业生时，可将应聘大学生的面 试和笔试综合分数与其在校综合测评成绩(效标)进 行相关性分析。
预测效度
(2)预测效度(Predictive Validity) ,它是指问卷(量表) 测量结果经过一段时间后与未来实际结果予以相关 性分析,两者之间的吻合程度。
例如：对于被录用者，可以将招聘测试分数与一段 时间(半年或一年)之后的工作业绩考核结果进行比 较。若这些人的工作绩效和招聘测试分数呈现密切 相关关系时，说明招聘方法是有效的，可以推广到 人员甄选与选拔中去。

n
i 1
1 [k 2 (n3 12

2 i

1 n
(
n i 1
i
)2
kn
n) k
(ti3j
j1 i1
tij )]
i , n, k与上面相同；tij为第j个评价者对第i个被评对象所评结果中的相同等级数量。
Stata命令：
For rKendall ktau var1 var2
例题： 6名面试考官对6名应聘者的综合素质进行了测评，评 分经等级转换如下表所示，试分析评分者信度。
通
常 的
rP earson

1 n 1
n i1

xi sx
x



yi sy
y

相
关
x

1 n
n
x
i
,
s
2 x
i1

1 n
n
(xi x )2
i1
系数：y
1 n
n i1
y
i
,
s
2 y

1 n
n
(yi y )2
i1
rFisher
B C D
12
12
E
2
13
4
5
6
3
21
5
4
6
4
12
6
3
5
3
12
6
4
5
F
4
21
5
3
6
i
19 8 11 31 23 34

2 i
361 64 121 961 529 1156
例题： 3名面试考官对6名应聘者的综合素质进行了测评，评 分经等级转换如下表所示，试分析评分者信度。
根据右表可知：n=6,k=3
n
6
i 63;

2 i

791.5
i 1
i 1
应聘者 评等级 A
rkandall-2

n
i 1
1 [k 2(n3 12

2 i

1 n
(
n) k
n
i 1 k
j 1
i )2
n
(ti3j
i 1
tij )]
面试官
甲
1
乙
2
791.5 1 632
效度分类及计算
信度主要分为三大类： 内容效度(Content Validity)
抽样效度(Sampling Validity) 表面效度(Face Validity) 效标关联效度(Criterion-Related Validity) 同时效度(Concurrent Validity) 预测效度(Predictive Validity) 构思效度(Construct Validity) 收敛效度(Convergent Validity) 区分效度(Discriminant Validity)
确定测验内容效度常用的方法是由专家对测验项目 与所涉及的内容范围进行符合性判断，这是一种定 性分析的方法。
这个效度产生的过程是：首先进行职务分析，确定 完成该职位任务所需进行的工作，需具备的技能和 能力；其次，确定衡量这些特征的测试题目。最后 ，请相关领域专家就这些测试题目是否涵盖了有效 地内容进行评估和筛选。

6
0.85 丙
1.5
1 32 (63 6) 3[(23 2) (23 2) (23 2)]
12
i
4.5
BCD
4 2.5 5 315 3 1.5 4 10 5 14
E
F
6 2.5
6
4
5.5 5.5
17.5 12

2 i
20.25 100 25 196 306.25 144

2rh rh 1
通常地，前半部分问卷和后半部分问卷的方差不相等，Flanagan将其拓展为：
rFlanagan
2[1
sa2 sb2 s2
ab
]
其中sa2，sb2，sa2b分别为前半部分、后半部分和整个问卷(量表)的方差。
内部一致性系数——Cronbach系数
当问卷(量表)的问项(项目)总数为奇数，无法分成为对等的两部分时,