测量的信度

心理测量
2. 估计同质性信度的方法 分半法 α系数 库德-理查逊方法
分半法
含义：分半信度 (Split-half 一致性程度。 计算： 确定分半方法 计算两半相关系数 利用公式校正
reliability ）
：将一个测验
分成对等的两半后，所有被试在这两半上所得分数的
21
22
心理测量
心理测量
W 12
K
2
R R / N N N K n n / 12
2 i 2 i 2 3
45
46
心理测量
心理测量
小结：
重测信度：估计测验中跨时间的一致性 复本信度：估计测验中跨形式的一致性 内在一致性信度：估计测验中跨项目或两个分 半测验的一致性 评分者信度：估计测验中跨评分者的一致性
信度只是一个理论构念，由于真分数无法 直接获得，只能估计。估计信度的方法取 决于你认为误差是什么。 重测信度 复本信度 同质性信度 评分者信度 误差来源 时间 内容 内容 评价者/观察者
7
（一）重测（test-retest）信度
1.定义及计算：
用同一个测验对同一组被试在不同时间施测两次所得 结果的一致性程度，其大小等于同一组被试在两次测 验上所得分数的皮尔逊积差相关系数。又称稳定性信 度、再测信度、施测—再施测信度、跨时间一致性。
2 KS X X (K X ) 2 ( K 1) S X
GO
BACK1
31
BACK2
32
心理测量
心理测量
3.内在一致性信度的适用范围
1 ）内在一致性信度适用于同质性测验，而 不适用于异质性测验。 2）不适用于速度测验。
被试 M N O P Q
表2 100题纯速度测验的结果
做题总数 50 84 54 36 28 奇数题正确数 25 42 27 18 14 偶数题正确数 25 42 27 18 14
2．使用的前提条件
1）施测所用的两个复份必须是真正平行的测 验（即A、B卷） 2）被试要有条件接受两个测验
注意排除施测顺序的影响 在报告结果时，应报告两次施测的间隔、及 在此间隔内被试的有关经历。
17 18
3
2014/11/1
心理测量
心理测量
稳定性与等值性（Stability and Equivalent）信度
E
4
2014/11/1
心理测量
心理测量
满足等值性时,使用
不满足等值性时,使用
α 系数或克伦巴赫(Cronbach)公式
斯皮尔曼－布朗公式
(Spearman-Brawn)
弗 拉 南 根 (Flanagan) 公式 S2 S2 rxx 2(1 a 2 b ) Sx 卢伦（Rulon）公式
R
i
2 i
=14+7+13+18+8+3=63 =142+72+132+182+82+32=811
R
W=
由题意知 K=3, N=6, 将上述值代入公式有:
12 811 63 2 / 6 32 6 3 6



=0.95
• 如在评定中有相同的等级时，用下式校正。其中n为相同等级的个 数
心理测量 首先计算测验总分的方差
S t2 =
ΣSi2=
X
N
2 t
再计算各题方差的总和
Xt = N
2
1979 97 = 19.44 5 5
2
107 47 31 38 74 90 212 15 2 112 12 2 18 2 20 2 5 52
13
14
心理测量
心理测量 复本信度的计算举例
施测Ａ型 最短时距 相关系数 施测Ｂ型
10名学生创造力的复本测验结果
A X1 B C D E F G H I J
20 20
19 20
18 19
18 16
17 16
16 17
14 12
12 11
12 13
10 9
图2 复本信度图式
X2
15
16
心理测量
心理测量
（三）内部一致性信度（internal consistency） 1. 定义 : 指的是测验内容的一致性或测验内
部所有题目的一致性（项目同质性）程度。 又称同质性(homogeneity ) 信度。
如果两个复本测验是相距较长一段时
间分两次施测的，同一组被试施测结 果的一致性程度 。
19
20
心理测量
a(
K Si2 ) )(1 K 1 S t2
=
7 0.81 0.82 0.79 0.83 0.85 0.76 0.77 1 7 1 14.00
=0.70
BACK
29 30
5
2014/11/1
心理测量
心理测量 表4.4 初一学生地理成绩测验内在一致性信度系数计算表
测验所测的特质必须是稳定的。 遗忘与练习的效果基本上相互抵消。
11
12
2
2014/11/1
心理测量
心理测量
（二）复本(alternate-form, Equivalent)信度
两次施测期间被试的学习效果没有差别。
1.定义及计算：
用两个平行测验（同一测验的两个复份） 在相距最短时间内测量同一组被试所得结 果的一致性程度，其大小等于同一组被试 在两个复本测验上所得分数的皮尔逊积差 相关系数。又叫等值性信度，跨形式的一 致性。
5 6
rxx
数的平方。
2 ST 2 SX
rxx 1
2 SE 2 SX
信度是一个被测团体的真分数与实得分数的相关系
2 rXX rTX
信度是一个测验X（A卷）与它的任意一个平行测验 X（B卷）的相关系数。
rXX p xx '
1
2014/11/1
心理测量
心理测量
二、信度种类及估计方法
信度（Reliability）:测量结果的一致性、可 靠性程度。
信度系数(Reliability Coefficient)：描述 测量信度的数量指标，以相关系数来表示。
3 4
心理测量
心理测量
信度是一个被测团体的真分数的变异数与实得分数 的变异数之比。
对信度定义需注意
信度指数与信度系数的关系。信度的取值范围在 0（不可信）到1（完全可信）之间。 信度是指测量工具所获得结果的可靠性，而非工 具本身。 每一个信度的估计值，仅指某一特定方面的一致 性，而非泛指一般的一致性。 信度的估计是完全采用统计方法的。
43 44
心理测量
心理测量
如有A、B、C三位专家给6位应聘者的面试评分，结 果如下，试求评分者信度。
A 1 2 3 4 5 6 75 90 81 60 84 96 B 66 72 63 60 75 90 C 45 60 54 42 63 66 1 2 3 4 5 6 A 5 2 4 6 3 1 B 4 2 5 6 3 1 C 5 3 4 6 2 1 Ri 14 7 13 18 8 3
39 40
心理测量
心理测量
例1：扔硬币
扔两个完全一样的硬币。根据常识我们知道，每个字 或头朝上的概率为50%。
例子1：掷硬币
硬币 1 头 头
.25
字
.25 .5
也 就 是 说 ， 两 个 硬 币 字 或 头 都 朝 上 的 概 率 各 为 50%*50%=25%。 两个硬币出现完全一样的概率（字都朝上和头都朝上 ）为25%+25%=50%
库德(Kuder) -理查逊(Richardson)方法
Ｋ－Ｒ20公式（仅适用于以1、0记分） 2 K S X pi qi rKK ( ) 2 K 1 SX
GO
Ｋ－Ｒ21公式（适用于以1、0记分，各题难度近似）
rKK
K pi qi K (1 ) 2 K 1 SX
rKK
.03 .84 .13 .16 .16 .94 .81
2. 计算
如是两个评分者，则采用积差相关或等级相 关的方法。
.84
者1 不通过
.03
如果是多个评分者，则采用肯德尔和谐系数 来估计。
W 12
R R
2 i
2
K2 N3 N

i

/N
Kappa= (P观测值-P几率)/(1- P几率) =(.94-(.84*.84+.16*.16))/(1-(.84*.84+.16*.16)） =(.94-.7312)/(1-.7312)=.2088/.2688=.78
8
心理测量
心理测量 重测信度的计算举例
施测 时间间隔 相关系数 再施测
10名学生幸福感调查的两次施测分数
A X1 16 15 B 15 16 C 13 14 D 13 12 E 11 10 F 10 9 G 10 11 H 9 8 I 8 6 J 7 7
图1 重测信度图式
X2
9
10
心理测量
心理测量
2.使用前提条件
35
36
6
2014/11/1
心理测量
心理测量
评分者信度（rater agreement)
奥运会比赛：跳水，体操等项目的评分 比如，对于心理测量这门课教学的评价 你的评定：5，4，5，3，4 我的评定：3，2，3，1，2
R=1
诊断一样性
张三和李四分别对200名有情绪问题的人进行临床诊 断。他们按照三个类别对每个做出诊断。即躁郁症， 抑郁症和焦虑症
= 11.20
将有关数据代入α 系数公式,则
a(
6 11.20 )(1 ) 6 1 19.44
= 0.51
27
28
心理测量
心理测量
某态度量表共7题，100个被试在各题上得分的方差分 别是 0.81, 0.82, 0.79, 0.83, 0.85, 0.76, 0.77, 测验总分的方差为14.00，试求该量表的α 系数。
BACK
33 34
心理测量
心理测量
内部一致性问题
速度测验与最高水平测验
所有内部一致性指标都高估速度测验的信度 只能用再测信度和复本信度
（四）评分者信度的估计
1.定义：
多个评分者给一组测验结果评分， 所得分数之间的一致性程度。
测验组的异质性(heterogeneity)
计算各组的信度 全距限制效应(restriction of range effect)
抑郁
10 .05 28 .14 12 .06 50 .25
焦虑
4 .02 10 .05 6 .03 20 .10 120 .60 60 .10 20 .10 200 1.00
Kappa= (P观测值-P几率)/(1- P几率)
观察到的超出偶然的部分
最大可能超出偶然的部分
总一样性=(106+28+6)/200=140/200=.70
rXX
rKK
2 roe 1 roe
a(
K S i2 ) )(1 K 1 S x2
Kr XX 1 ( K 1)rXX
rtt 1
2 Sd S t2
25
例
26
心理测量 表4.5 6 个论文题目测验内在一致性信度系数计算表
学生 1 A B C D E 总和 平方和 3 6 1 6 5 21 107 2 4 3 3 2 3 15 47 题目(K=6) 3 3 4 1 2 1 11 31 4 2 5 2 1 2 12 38 5 1 4 4 5 4 18 74 6 4 6 4 3 2 19 90 总分 Xt 17 28 15 19 17 97 X2t 289 784 225 361 289 197 9
我 们 的 评 定 一 致 (consistent) 吗 ？ 一 样 吗 (agreement)
37 38
心理测量
心理测量
诊断结果(N=200)
李四 躁郁 躁郁 张三 抑郁 焦虑
106 .53 22 .11 2 .01 130 .65
卡帕系数(kappa)
评分者的一样性高于或超出期望的几率水平吗？
41
硬币 2 字
.25 .5Baidu Nhomakorabea.25 .5 .5 .50
Kappa= (P观测值-P几率)/(1- P几率) =（.5-(.5*.5+.5*.5))/(1-(.5*.5+.5*.5)=0/.5=0
42
7
2014/11/1
心理测量
心理测量
例子2：94%的教学一样性评价
评价 通过 通过 评价者 2 不通过
2014/11/1
心理测量
第十讲 测量的信度
黄飞 博士
华中师范大学心理学院
主要内容
一、测量信度的定义和种类 二、信度的估计 三、影响信度的因素 四、测量的标准误
1
2
心理测量
心理测量
学习目标
掌握信度概念 掌握信度的几种估计方法 掌握影响测量信度的主要因素 了解信度的应用
一、信度（Reliability）定义
例 奇偶分半法
如一个学生对10道题回答为（正确答案标记为＋，错 误答案标记为－）：
表4.3 5名被试测验结果
被试 A 3.－ 8.－ 4.＋ 9.＋ 5.＋ 10.－ B C D 奇数题得分 3 5 5 3 4 偶数题得分 2 5 4 4 5
BACK
23 24
1.＋ 6.－
2.＋ 7.－
这个学生的总分为5分，3个奇数题正确，2个 偶数题正确。