心理测量学第三章误差及检验

误差变异的来源
时间取样 内容取样 时间与内容取样 内容取样 内容的一致性 评分者间的差异
友情提示
实际上，有多少种误差的来源，就有多少 种信度估计的方法。一般来说，一个测验 哪种误差大，就应该用哪种误差估计。有 时一个测验需要几种信度估计。
操作演练
假设对100个六年级学生以两个月的时间间隔先 后施测一个创造力测验的A/B两个复本，所得的 等值与稳定性系数为0.70。我们还根据 被试对每个复本的反应计算出分半信度为0.80. 同时,我们将另一个评分者随机抽取50份卷子另 外评分，得到评分者信度为0.92。 然后，我们对这这三种方法所产生的误差变异进 行分析。
试
测 验 经 验
对
练 习 效 应
象
反 应 倾 向
生 理 变 因
经典测验理论 信度概念 信度的评估方法
信度系数的应用
影响信度的因素
一、经典测验理论
成熟 标志 20世纪50年代 Gulliksen 《心理测验理论》 三大 支柱 基本假设 信度 效度
考研题
Classical Test Theory（CTT）
二、信度的定义
信度指的是测量结果的稳定性程度（或一致性程度）。
真分数方差与观测分数方差的比值
rXX
S S
2 T 2 X
信度是反映测量中随机误差大小的指标。
三、 信度评估的方法
重测信度
复本信度
信度 内部一致性 信度 评分者信度 分半信度 同质性信度
（一）重测信度（Test-retest reliability）
基本假设与真分数
1、真分数
测验所得 未加工
理论定义 真正特质水平
操作定义 无数次测量结果的均值
经典测验理论（CTT）假定：
观察分数（X）与真分数（T）之间 是一种线性关系，并只相差一个随机误差 （E）。 即： X=T＋E
关于测量误差还有如下假设：
（ 1 ）如果对一个人测量无数次，其误差之和为 0 ，平均 误差为0。 （2） 误差与真分数相互独立，相关为0。 （3）一个团体的平均真分数等于该团体中所有被试实得 分数的平均值。 （4）对于一个团体来说，实得分数、真分数、和测量误 差之间有如下关系：
● 复本编制好后，应再测一次，以确保等值。
使用条件
第一，前提是有复本测验。 第二，被试有条件接受两个测验(时间和经费等)。 第三,报告结果时要报告两次测验的间隔及有关经历 .
评价
优点
代表性增强，信度更准 一定程度避免练习、记忆效应
不足
编制复本难 影响积极性 触类旁通
重测信度与复本信度有何异同？
含义 两等值测验 最短时间内 对同组对象 施测结果r
等值 性
程序
误差 内容 取样
A卷
最 短 时 距
B卷
复本等值的条件
● 各测验测量的是同一种心理特质；
● 各测验具有相同的内容和形式；
● 各测验的题目不应重复；
● 各测验题目数量相等；各测验难度和区分度大体相同； ● 各测验的分数分布（标准差和平均数）大体相同；
（二）样本特征
1、样本团体异质性的影响
特点
样本越异质，分数分布越广，有可能高估信度。
2、样本团体平均能力水平的影响
特点:
团体平均水平太高或太低，分布变窄，可能低估信度.
选择测验时应注意
取样团体的变异性和能力水平 建立信度的团体与欲测团体是否一致
（三）测验难度
一般趋势
测验太难或太易,分数范围缩小,降低信度.
难度与题型
简答题：P=0.5时，X为0～100，信度最高。 学绩测验选择题的理想平均难度（洛德） 五择一：0.70 四择一：0.74 三择一：0.77 是非题：0.85
（四）时间间隔 智力的时间变化
间隔期 信度系数
同日或次日
1年 2～2.5年 5年 9年
校正方法
斯皮尔曼 -布朗公式 弗拉南根公式 卢尤公式
方差相等时
方差不等时
使用条件
测验只能施测一次或没有复本的情况下使用. 当一个测验无法分成对等的两半时不宜使用.
2、同质信度（Homogeneity raliability）
同质性 题目间的内部一致性
克龙巴赫 系数
各类 题型
类型
库-理信度
测验类型 成套成就测验 学术能力测验 成套倾向性测验 客观人格测验 兴趣问卷 态度量表 低 .66 .56 .26 .46 .42 .47 中 .92 .90 .88 .85 .84 .79 高 .98 .97 .96 .97 .93 .98
各种信度系数相应误差变异的来源
信度系数的类型
再测信度 复本信度（连续施测） 复本信度（间隔施测） 分半信度 同质性信度 评分者信度
3、误差的来源
三层面模式
测量 工具
测试对象
施测 过程
1．测验题目取样不当
测 量 工 具
２．测验题目格式不妥 3．测题的难度不当 4．测题或指导语用语不当
5．测验时限过短
．．．．．．
施
测 试 环 境 测 试 时 间
测
主 试 因 素
过
程
意 外 干 扰 评 分 记 分
测
应 试 动 机 测 验 焦 虑
二值 记分
（四）评分者信度（Scorer raliability）
含义 评分者评分的一致性
方法
2评分者
rXY
2个以上者 肯德尔和谐系数
附：确定信度的可接受水平
典型测验的一般标准
测验类型 最低标准
标准化测验
人格测验
0.90
0.80-0.85
非标准化测验
0.60-0.85
典型测验的信度高低水平
2、误差的种类
系统误差

随机误差




随机误差与系统误差的比较
类型 产生原因 特点 方向和大小上 完全随机 效能
影响 一致 性 不影 响一 致性
指 标
信 度 效 度
随机 不易控制的 误差 偶然因素
影 响 准 系统 恒定、有规 稳定地存在于每 确 性 次测量中 误差 律的因素
小结与问题
跨时间 一致性 试题之间 有何关系？
跨形式 一致性
（三）内部一致性信度
含义 测验 各题间 一致性
题目 一致 性
同质性 信度
类型
分半 信度
1、分半信度（Split-half raliablity）
奇偶题 分半
难易：低高 两半相似： M、S 项目组间相关 分布常态
两半相关：rhh 校 正：rnn
考研题
五、影响信度的因素
测验长度
样本特征
测验难度
时间间隔
（一）测验长度
含义
测验试题的数量
特点

测验越长，试题取样越恰当， 测验越长，猜测性越小。
长度与信度的关系
krXX rnn 1 k 1rXX
rnn 1 rXX k rXX 1 rnn
含义 同一测验 同组对象 前后测2次 相关系数 程序 误差
A卷
一 定 时 距 太短 练习效应 记忆效应
时间
太长 身心变化
稳定 性
A卷
Βιβλιοθήκη Baidu
使用条件
第一，所测的心理特性必须是稳定的。 第二，遗忘和练习的效果基本上相互抵消。 第三，所测心理特质在两次施测的间隔时间内 没有获得更多的学习和训练。 第四,报告结果时要报告两次测验的间隔及有 关经历.
重测
复本 内部一致性：分半、同质性 评分者
测验条件、样本性质及估计方法不同,信度不同.
评价
优点 省力、省时 测量属性相同 提供随时间变化的资料 不足
时间间隔长短
★ 时间间隔越长，重测信度越低；
★ 时间间隔视测验目的、性质、被试 特点而定； ★ 年幼儿童，间隔要小；年长成人，间隔可长；
★ 智力测验间隔不能太短，成就测验不能太长；
★ 一般间隔时间不超过6个月。
（二）复本信度（Alternate-form raliability）
一个假想测验的变异数分析
信度类型 误差变异数 误差变异来源 时间和内容取样
复本信度(间隔) 1-0.70=0.30
分半信度 上述两者差异 评分者信度
误差变异总和 真实变异
1-0.80=0.20
内容取样
0.30-0.20=0.10 时间取样 1-0.92=0.08 评分者差异
0.20+0.10+0.08=0.38 1-0.38=0.62
RXX为原测验的信度. RNN为测验长度增加后测验的信度. K为改变后的测验长度与原来长度之比.
例2-16：某测验有40题，信度0.65， 若增至120题，信度会是多少？
rnn 0.85
例2-17：某测验有30题，信度0.75， 试问要达到多少题才能使信度达到0.90？
k 3, n 90
几点说明
1.有多少种误差,就有多少种估计信度的方法. 2.上面介绍的各种计算方法仅适用于常模参照测验. 3.标准参照测验的信度问题必须以概化理论为依据. 4.不同类型的测验，信度的要求是不一样的. 5.用不同方法估计的信度也会有所差异.
本章小结
理论假设： X=T＋E； S² X = S² T ＋S² E 信度：测量结果的稳定性(一致性)程度. 类型
0.90～0.95
0.85 0.80 0.75～0.80 0.78
年龄的时间变化
年龄越低，信度越低
间隔六年，rXX的变化 第一次 4 9 11 第二次 10 15 17 rXX 0.73 0.87 0.92
思考
如何提高测量的信度?
适当增加测验的长度; 使测验项目的难度分布接近正态; 努力提高试题的区分度; 选取适当的被试团体; 主试严格执行测验规程; ……
第三章 测量的误差及检验
第一节 测量的误差及其来源 第二节 测量的信度 第三节 测量的效度
第一节 测量的误差及其来源
◆ 误差的定义 ◆ 误差的种类 ◆ 误差的来源
1、误差的定义
测量 因素 测量 结果
考研题
与测量目的无关 不准确 或不一致
误差:与测验目的无关的因素所导致的测验结果不一致或不准确的现象.
四、信度系数的应用
1、评价测验
2、解释分数
（1）个人测验分数的误差
SE S X 1 RXX
（X-1.96SE）≥T≤（X+1.96SE）
（2）两种测验分数的比较(差异的标准误)
2 SEd SE12 SE2
SEd S 2 rxx ryy
所得结果与1.96SE(0.05水平)进行比较,即可得出两个测验的差异是否显著.
S S S
2 X 2 T
2 E
随机误差
在一次测验中，一个团体的实测分数的变 异数是由与测量目的有关的变异数、稳定但 出自无关来源的变异数和偶然但出自无关来 源的变异数所决定的。
S S S
2 X 2 T
2 E
S S S
2 T 2 V 2 X 2 V
2 I 2 I 2 E
S S S S