3-测量与评价信度
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
7不如把钱用于改善生活， 8能显示了社会主义优越性，
9 有些铺张浪费， 10对会后经济感到忧虑， 11集资增加了人民负担， 12能展现安定团结改革成就。
用裂半法计算出rhh=0.6352，rtt=0.7769。 检验一致可靠性的具体操作步骤如下（以北京地区 1220人回答上述“态度量表”为例）
例如，中国修订《韦氏儿童智力量表手册
（C-WISC）》(戴海崎,1999)中就重测信度进行 了如下说明： （1）受试者情况——6~16岁城市儿童151名， 农村儿童74名，各年龄儿童分布较为均匀； （2）时间间隔——2~7周； （3）相关系数——城市：0.59~0.86， 农村0.59~0.81。 检验稳定可靠性的操作步骤如下（以某班 30 名学生 立定跳远为例）：
第一次
通过 5（ a） 第 不通过 二 通过 20（c） 次 不通过 20（b） 5（d） 25(b+d)
小计
25（a+b） 25（c+d） N=(a+b+c+d)
小计
Ф= 0.6**
25（a+c）
X2=NФ2 =18, X20.01(df=1)=6.63 < X2
df=(r-1)(c-1)=1
第一次
稳定可靠性 一致可靠性 等价可靠性
（一）稳定可靠性
Definition: internal-consistency reliability指在 两个不同的时间内(时间间隔可长可短)， 在相同的测量条件下，重复同一测量结果 的一致性程度。 也叫重测信度（test-retest reliability）、复测 信度、再测信度等。 一般以“测验—再测验”（或“重测法‖） 的形式进行。 估价方法？
rxx=2[1-(Sa.Sa+Sb.Sb)/(Sx.Sx)]
Sa、Sb：受试者在两半个测验上的得分 的标准差 Sx: 全体受试者整个测验得分的标准差
（八）卢仑（Rulon）公式
(当裂半法在两半测验分数的方差 不等时用)
rxx=1-Sd .Sd/(Sx.Sx)]
Sd：同一组受试者在两半测验上得
分之差的标准差 Sx : 全体受试者整个测验得分的 标准差
（Correlation coefficient）
—分析相关系数r（即可靠性系数） — r 趋向于0，说明？ — r 趋向于1，说明什么？
（5）举例（For example)
(二)裂半法（Split –half reliability estimate）
（1）测量长度（Test length)： 测量次数或组数 （2）使用范围：一次完整测验中的多次 （偶数次）测量数据 （3）适用条件：一般不适合事实式问卷，适用 于态度量表（累加的李克量表，即围绕某 个主题进行多种正、反面的陈述，由被调 查者对陈述作出选择） （4）方法：裂半法——奇数次数据与偶 数次数据相关（Odd-even split）
积差相关法（通过SPSS）计算出rhh=0.544（P<0.01），
经斯皮尔曼—布朗公式校正得rtt=0.704。
斯皮尔曼—布朗公式 rk k =k.r11 / [1+(k-1)rkk ]
斯皮尔曼—布朗公式 特例（ k=2）
rt t =2 rhh / (1+rhh )
（5）取值形式：
MAX、MIN、Md、∑、MEAM？
or decrease systematically)
(3) 计算公式（Calculating formula）：
某班28名学生两次立定跳远的成绩记录
第一次(X) 第二次(Y) 第一次(X) 第二次(X) 第一次(X) 第二次(Y) 第一次(X) 第二次(y) 1 2.13 2.15 8 2.25 2.22 15 2.23 2.25 22 2.15 2.12 2 2.24 2.18 9 2.14 2.19 16 2.24 2.28 23 2.24 2.18 3 2.32 2.30 10 2.18 2.12 17 2.32 2.30 24 2.22 2.18 4 2.22 2.25 11 2.30 2.28 18 2.12 2.15 25 2.26 2.27 5 2.04 2.06 12 2.23 2.19 19 2.08 2.03 26 2.20 2.20 6 2.08 2.11 13 2.19 2.14 20 2.04 2.10 27 2.15 2.15 7 2.11 2.15 14 2.12 2.16 21 2.21 2.25 28 2.02 2.06
（G.F.Kuder & M.W.Richardson）
rkR20=[k/(k-1)][1-∑pq/(S.S)]
K：测验题目数 P：各题答对人数的% Q：各题答错人数的% S：各受试者各题目得分之和 的标准差 (用于二分法计分项目)
rkR21=1-[0.8M/(K-M)]/[k.(S.S)]
K：测验题目数 M：各人总分的平均数 S：个人总分的标准差
（九）列联系数法
（参见北京体育大学学报，2000,(2):218 （电算法参见SPSS的cross-tab方法） Ф= |bc-ad |/ [(a+b)(a+c)(d+c)(d+b)]0.5 ----- (2×2列联表，四格表)
12
或C=[X2/(X2+N)]0.5 ------------（R×C列联表）
差 优 1 2 5 36 44 良 1 2 7 5 15 中 3 18 2 3 26 差 8 4 2 1 15
小计
13 26 16 45 100
第 二 次
中 良 优 小计
C=0.687** df=(r-1)(c-1)=9
X2=89.51 X20.01(df=9)=21.66 < X2
三、可靠性分类
第一、应根据不同的测量对象和测量内容，确定适 宜的时间间隔，避免因过长或过短时间引起的误差。 第二、两次测量应该是独立（或完整）的。 不但要求两次测量的条件相同，如第一次测量是测 三次取最佳值，那么第二次测量也应如此； 而且，经过一定的时间间隔，不应该有学习训练效 应、不应过于疲劳，否则两次成绩的相关系数就失去 了可靠性的意义。 第三、同样的重复测量，由于间隔时间不同，它可以 有不同的重测信度；不同的样本含量，也可以有不同 的重测信度。因此在报告重测信度时，要说明时间间 隔、样本量以及样本的有关情况。
Source of Variance Sum of Sq DF
Mean F Sq 4.46 2.35 6.84 2.16 3.03
P
ReCo-
Between People Within People
Between Measures
Residual Total
106.99 117.33 13.68 103.65 224.32
某班18名同学选择题(40分)得分情况
奇数题 偶数题 奇数题 偶数题 1 15 13 10 17 16 2 14 16 11 14 12 3 10 14 12 18 17 4 18 19 13 18 13 5 13 12 14 15 16 6 20 18 15 15 18 7 13 13 16 12 16 8 17 16 17 10 13 9 15 10 18 11 10
第三讲 测量的可靠性（信度）
一、可靠性（reliability）概述 （一）可靠性的一般定义： 是指测量结果的可信程度或一致性程度。 X=T+E r =T/X=（X-E）/X=1-E/X （E=0、r =？） （X=E、r =？） （ r 的取值范围？）
（二）可靠性的理论定义： 可靠性乃是真值的方差(S2T)与实测值方 差（ S2X ）之比。 S2X = S2T+ S2E r = S2T / S2X =（S2X― S2E）/ S2X =1― S2E / S2X
（6）计Байду номын сангаас公式：
积差相关法+ “斯皮尔曼—布朗”公式 （Spearman-Brown Prophecy Formula）
（7）举例（For Example）
A班30名学生立定跳远，每人跳6次。 （请写出估算信度系数的操作步骤）
(三)方差分析法
（Variance Analysis， Intra-class Correlation）
（2）举例(for instance)： 次数 3 6 12 倍数 K=1 K=？ k=? 可靠性系数 r11=0.80 r22=? r44=?
（3）特点(characteristics)？ 测量的可靠性随测量长度的增加而 上升 （4）作用(function)？
调节测量长度，使测验简单易行
（五）库德· 理查森法
本例采用SPSS10.0进行计算，步骤是： 进入SPSS—— 定义变量X、Y—— 输入数据—— 点击analyse—— 选择correlation—— 点击bivariate—— 选择X、Y入variable框—— 点击ok—— 阅读计算结果。
（4）信度估价的操作步骤：
—测得28人A测验的第一次数据（X列） —测得28人A测验的第二次数据（Y列） —以积差相关法计算X、Y列的相关系数r
（三）可靠性的统计定义： 测量的可靠性是指在相同的测量条件下， 对一批受试者使用相同测量手段，重复 测量结果的一致性。
The reliability of a test refers to the dependability of scores, their relative freedom from error.
12 8 6 7 23 4 6 6
13 6 6 6 24 6 3 7
14 5 4 6 25 8 4 6
SPSS具体操作步骤是： 进入SPSS—— 定义三个变量—— 输入数据—— 点击analyse—— 选择scale—— 点击reliability analysis —— 选择X、Y入items框—— 点击ok—— 阅读计算结果
1 2 3 4 5 6 7 8 9 10 11 5 9 3 7 9 7 3 6 7 9 3 6 8 4 5 2 3 4 4 6 7 4 5 7 3 5 9 7 3 8 7 8 4 15 16 17 18 19 20 21 22 4 4 8 8 5 6 5 6 7 5 7 4 5 3 6 8 5 5 6 6 5 5 8 4
二、可靠性的估价方法
（一）积差相关法 （二）方差分析法 （三）裂半法 （四）斯皮尔曼—布朗公式
(一) 积差相关法
（Pearson Product-Moment Correlation， or Inter－class Correlation)
(1) 适用范围：两组连续型的观测数 (2) 不适用于：两组系统递增或递减 的数据(If two trial scores increase
（六）克郎巴哈（Cronbach，也称α系数法) α=[K/(K-1)][1-∑(Si.Si)/∑(ST.ST)] K：测验题目数 Si ：每题各受试者得分的标准差 ST：每个受试者所得总分的标准差 （可用于非二分法计分的项目）
（七）弗朗拉根（Flanagan）公式
(当裂半法在两半测验分数的方差不等时用)
24 50 2 48 74
3.2 0.051 0.52
作业：写出用三种方法估价A班50学生立定 跳远的信度的操作步骤。
(四)―斯皮尔曼—布朗”公式
（Spearman-Brown Prophecy Formula
（1）公式（Formula）：K为测量次数增加的倍数
rk k =k.r11 / [1+(k-1)rkk ]
（二）一致可靠性 Definition:
stability reliability 指在同一
时间内，在相同的测量条件下，多次重 复同一测量结果的一致性程度。 也称裂半信度（split-half reliability）、分半 信度、折半信度。 估价方法？
例：有研究在 ( 柯惠新 ,2000) 亚运会期间对北京地区 1220 人进行了对亚运会的态度调查，态度量表中包 括了12个问题，它们是： 1能提高国际声望， 2我感到自豪， 3财政困难不该举办， 4影响我也没有关系， 5能振奋民族精神， 6能带来经济效应，
（1）适用范围：多次重复测量的数据 （2）鉴别误差来源：（Source of error） （3）计算公式 (Formula)： （4）举例 (For example)
B班30名学生100米跑，每人3次
（要求写出估算的操作步骤）
某班25名同学篮球罚球次数统计表
第一次 第二次 第三次 第一次 第二次 第三次
9 有些铺张浪费， 10对会后经济感到忧虑， 11集资增加了人民负担， 12能展现安定团结改革成就。
用裂半法计算出rhh=0.6352，rtt=0.7769。 检验一致可靠性的具体操作步骤如下（以北京地区 1220人回答上述“态度量表”为例）
例如，中国修订《韦氏儿童智力量表手册
（C-WISC）》(戴海崎,1999)中就重测信度进行 了如下说明： （1）受试者情况——6~16岁城市儿童151名， 农村儿童74名，各年龄儿童分布较为均匀； （2）时间间隔——2~7周； （3）相关系数——城市：0.59~0.86， 农村0.59~0.81。 检验稳定可靠性的操作步骤如下（以某班 30 名学生 立定跳远为例）：
第一次
通过 5（ a） 第 不通过 二 通过 20（c） 次 不通过 20（b） 5（d） 25(b+d)
小计
25（a+b） 25（c+d） N=(a+b+c+d)
小计
Ф= 0.6**
25（a+c）
X2=NФ2 =18, X20.01(df=1)=6.63 < X2
df=(r-1)(c-1)=1
第一次
稳定可靠性 一致可靠性 等价可靠性
（一）稳定可靠性
Definition: internal-consistency reliability指在 两个不同的时间内(时间间隔可长可短)， 在相同的测量条件下，重复同一测量结果 的一致性程度。 也叫重测信度（test-retest reliability）、复测 信度、再测信度等。 一般以“测验—再测验”（或“重测法‖） 的形式进行。 估价方法？
rxx=2[1-(Sa.Sa+Sb.Sb)/(Sx.Sx)]
Sa、Sb：受试者在两半个测验上的得分 的标准差 Sx: 全体受试者整个测验得分的标准差
（八）卢仑（Rulon）公式
(当裂半法在两半测验分数的方差 不等时用)
rxx=1-Sd .Sd/(Sx.Sx)]
Sd：同一组受试者在两半测验上得
分之差的标准差 Sx : 全体受试者整个测验得分的 标准差
（Correlation coefficient）
—分析相关系数r（即可靠性系数） — r 趋向于0，说明？ — r 趋向于1，说明什么？
（5）举例（For example)
(二)裂半法（Split –half reliability estimate）
（1）测量长度（Test length)： 测量次数或组数 （2）使用范围：一次完整测验中的多次 （偶数次）测量数据 （3）适用条件：一般不适合事实式问卷，适用 于态度量表（累加的李克量表，即围绕某 个主题进行多种正、反面的陈述，由被调 查者对陈述作出选择） （4）方法：裂半法——奇数次数据与偶 数次数据相关（Odd-even split）
积差相关法（通过SPSS）计算出rhh=0.544（P<0.01），
经斯皮尔曼—布朗公式校正得rtt=0.704。
斯皮尔曼—布朗公式 rk k =k.r11 / [1+(k-1)rkk ]
斯皮尔曼—布朗公式 特例（ k=2）
rt t =2 rhh / (1+rhh )
（5）取值形式：
MAX、MIN、Md、∑、MEAM？
or decrease systematically)
(3) 计算公式（Calculating formula）：
某班28名学生两次立定跳远的成绩记录
第一次(X) 第二次(Y) 第一次(X) 第二次(X) 第一次(X) 第二次(Y) 第一次(X) 第二次(y) 1 2.13 2.15 8 2.25 2.22 15 2.23 2.25 22 2.15 2.12 2 2.24 2.18 9 2.14 2.19 16 2.24 2.28 23 2.24 2.18 3 2.32 2.30 10 2.18 2.12 17 2.32 2.30 24 2.22 2.18 4 2.22 2.25 11 2.30 2.28 18 2.12 2.15 25 2.26 2.27 5 2.04 2.06 12 2.23 2.19 19 2.08 2.03 26 2.20 2.20 6 2.08 2.11 13 2.19 2.14 20 2.04 2.10 27 2.15 2.15 7 2.11 2.15 14 2.12 2.16 21 2.21 2.25 28 2.02 2.06
（G.F.Kuder & M.W.Richardson）
rkR20=[k/(k-1)][1-∑pq/(S.S)]
K：测验题目数 P：各题答对人数的% Q：各题答错人数的% S：各受试者各题目得分之和 的标准差 (用于二分法计分项目)
rkR21=1-[0.8M/(K-M)]/[k.(S.S)]
K：测验题目数 M：各人总分的平均数 S：个人总分的标准差
（九）列联系数法
（参见北京体育大学学报，2000,(2):218 （电算法参见SPSS的cross-tab方法） Ф= |bc-ad |/ [(a+b)(a+c)(d+c)(d+b)]0.5 ----- (2×2列联表，四格表)
12
或C=[X2/(X2+N)]0.5 ------------（R×C列联表）
差 优 1 2 5 36 44 良 1 2 7 5 15 中 3 18 2 3 26 差 8 4 2 1 15
小计
13 26 16 45 100
第 二 次
中 良 优 小计
C=0.687** df=(r-1)(c-1)=9
X2=89.51 X20.01(df=9)=21.66 < X2
三、可靠性分类
第一、应根据不同的测量对象和测量内容，确定适 宜的时间间隔，避免因过长或过短时间引起的误差。 第二、两次测量应该是独立（或完整）的。 不但要求两次测量的条件相同，如第一次测量是测 三次取最佳值，那么第二次测量也应如此； 而且，经过一定的时间间隔，不应该有学习训练效 应、不应过于疲劳，否则两次成绩的相关系数就失去 了可靠性的意义。 第三、同样的重复测量，由于间隔时间不同，它可以 有不同的重测信度；不同的样本含量，也可以有不同 的重测信度。因此在报告重测信度时，要说明时间间 隔、样本量以及样本的有关情况。
Source of Variance Sum of Sq DF
Mean F Sq 4.46 2.35 6.84 2.16 3.03
P
ReCo-
Between People Within People
Between Measures
Residual Total
106.99 117.33 13.68 103.65 224.32
某班18名同学选择题(40分)得分情况
奇数题 偶数题 奇数题 偶数题 1 15 13 10 17 16 2 14 16 11 14 12 3 10 14 12 18 17 4 18 19 13 18 13 5 13 12 14 15 16 6 20 18 15 15 18 7 13 13 16 12 16 8 17 16 17 10 13 9 15 10 18 11 10
第三讲 测量的可靠性（信度）
一、可靠性（reliability）概述 （一）可靠性的一般定义： 是指测量结果的可信程度或一致性程度。 X=T+E r =T/X=（X-E）/X=1-E/X （E=0、r =？） （X=E、r =？） （ r 的取值范围？）
（二）可靠性的理论定义： 可靠性乃是真值的方差(S2T)与实测值方 差（ S2X ）之比。 S2X = S2T+ S2E r = S2T / S2X =（S2X― S2E）/ S2X =1― S2E / S2X
（6）计Байду номын сангаас公式：
积差相关法+ “斯皮尔曼—布朗”公式 （Spearman-Brown Prophecy Formula）
（7）举例（For Example）
A班30名学生立定跳远，每人跳6次。 （请写出估算信度系数的操作步骤）
(三)方差分析法
（Variance Analysis， Intra-class Correlation）
（2）举例(for instance)： 次数 3 6 12 倍数 K=1 K=？ k=? 可靠性系数 r11=0.80 r22=? r44=?
（3）特点(characteristics)？ 测量的可靠性随测量长度的增加而 上升 （4）作用(function)？
调节测量长度，使测验简单易行
（五）库德· 理查森法
本例采用SPSS10.0进行计算，步骤是： 进入SPSS—— 定义变量X、Y—— 输入数据—— 点击analyse—— 选择correlation—— 点击bivariate—— 选择X、Y入variable框—— 点击ok—— 阅读计算结果。
（4）信度估价的操作步骤：
—测得28人A测验的第一次数据（X列） —测得28人A测验的第二次数据（Y列） —以积差相关法计算X、Y列的相关系数r
（三）可靠性的统计定义： 测量的可靠性是指在相同的测量条件下， 对一批受试者使用相同测量手段，重复 测量结果的一致性。
The reliability of a test refers to the dependability of scores, their relative freedom from error.
12 8 6 7 23 4 6 6
13 6 6 6 24 6 3 7
14 5 4 6 25 8 4 6
SPSS具体操作步骤是： 进入SPSS—— 定义三个变量—— 输入数据—— 点击analyse—— 选择scale—— 点击reliability analysis —— 选择X、Y入items框—— 点击ok—— 阅读计算结果
1 2 3 4 5 6 7 8 9 10 11 5 9 3 7 9 7 3 6 7 9 3 6 8 4 5 2 3 4 4 6 7 4 5 7 3 5 9 7 3 8 7 8 4 15 16 17 18 19 20 21 22 4 4 8 8 5 6 5 6 7 5 7 4 5 3 6 8 5 5 6 6 5 5 8 4
二、可靠性的估价方法
（一）积差相关法 （二）方差分析法 （三）裂半法 （四）斯皮尔曼—布朗公式
(一) 积差相关法
（Pearson Product-Moment Correlation， or Inter－class Correlation)
(1) 适用范围：两组连续型的观测数 (2) 不适用于：两组系统递增或递减 的数据(If two trial scores increase
（六）克郎巴哈（Cronbach，也称α系数法) α=[K/(K-1)][1-∑(Si.Si)/∑(ST.ST)] K：测验题目数 Si ：每题各受试者得分的标准差 ST：每个受试者所得总分的标准差 （可用于非二分法计分的项目）
（七）弗朗拉根（Flanagan）公式
(当裂半法在两半测验分数的方差不等时用)
24 50 2 48 74
3.2 0.051 0.52
作业：写出用三种方法估价A班50学生立定 跳远的信度的操作步骤。
(四)―斯皮尔曼—布朗”公式
（Spearman-Brown Prophecy Formula
（1）公式（Formula）：K为测量次数增加的倍数
rk k =k.r11 / [1+(k-1)rkk ]
（二）一致可靠性 Definition:
stability reliability 指在同一
时间内，在相同的测量条件下，多次重 复同一测量结果的一致性程度。 也称裂半信度（split-half reliability）、分半 信度、折半信度。 估价方法？
例：有研究在 ( 柯惠新 ,2000) 亚运会期间对北京地区 1220 人进行了对亚运会的态度调查，态度量表中包 括了12个问题，它们是： 1能提高国际声望， 2我感到自豪， 3财政困难不该举办， 4影响我也没有关系， 5能振奋民族精神， 6能带来经济效应，
（1）适用范围：多次重复测量的数据 （2）鉴别误差来源：（Source of error） （3）计算公式 (Formula)： （4）举例 (For example)
B班30名学生100米跑，每人3次
（要求写出估算的操作步骤）
某班25名同学篮球罚球次数统计表
第一次 第二次 第三次 第一次 第二次 第三次