第七章 研究工具性能的测定

1. 信度是效度的必要前提 ◦ 高信度不能代表高效度 ◦ 低信度则可以肯定低效度
2. 效度是信度的必然保证 ◦ 有效度的工具一定有信度 ◦ 有信度的工具未必有效度
······· ·
·· ·· · ·· ·· ·
高信度、高效度
·
·
·
·
· ··
翻译和应用国外量表的原则：
1.不偏离原文的原意 2.适合中国的文化特点 3.译后的量表具有较好的信度和效度
的高低。相关系数在0～1之间，越接近1，
说明重测信度越高。
例： 人格问卷重测数值表
研究对象 1 2 3 4 5 6 7
8 9 10
第一次测试（X） 第二次测试（Y）
23
27
44
38
35
37
53
49
44
46
26
28
32
34
28
25
38
34
39
36
第一次测试和第二次测试数据间的相 关系数即为人格问卷的重测信度。
常用于测定研究工具的等同性 评定者间信度测量方法：
不同评定者使用相同工具同时观察，计算观察者 们的观察结果之间的相关系数。
复本信度测量方法：
将两种不同形式的工具同时对一群对象测试，然 后计算两次工具得分的相关系数。
1.通常通过预试验测试研究工具的信度 2.报告研究工具的信度时，不仅要报告信度系数，还
计算如下：
r ( X X )(Y Y )
XY
X
• n
Y
(X X )2 (Y Y )2
[
X
2
( X
n
)2
][
Y
2
(Y
n
)
2
]
X ：第二次测试10名研究对象各得分之和
：第Y一次测试10名研究对象各得分平方之和
：第二次测试10名研究对象各得分平方之和
1. 两次测量之间的间隔时间 （1）时间的间隔要足够长，使第一次测量
方法：从内容上检查工具的性质
内容效度可用内容效度指数(CVI)来 表示。
具体做法如下: 请3-10位专家，5位较为合适;专家 的选择应与研究工具所涉及的领域有关;请专家对 每一个项目应用4分制方法给予评价。其中：
“1”代表该项目与研究内容一点都不相关；
“2”代表该项目必须经过修改否则不能和研究 内容相关次或多次测定同一研究
对象所得结果的一致程度。 常表示研究工具的稳定性。一致程度
越高，重测信度越高，研究工具的稳定性 越好。
重 测
信 计算方法：
度
使用研究工具对研究对象施行第一次
测试,间隔一段时间后使用同一工具对同一
研究对象进行重测，然后计算两次资料的
相关系数，该系数反映研究工具重测信度
“3”代表该项目和研究内容相关但是仍需要小 改动；
“4”代表该项目与研究内容非常相关。
当I-CVI 值达到0.78或以上， S-CVI/Ave值 达到0.90或以上，即可认为研究工具具有比 较好的内容效度。
定义：反映研究工具与其他测量标准之
间的关系。
分类： 同时效度
预测效度
同时效度：测量研究工具与现有标准之间
计算：根据重测信度中列出的公式计算r系数
由于测验条目越多，信度系数越高，因此需
要使用Spearman-Brown公式校正。
计算研究工具中所有项目间的平均相关 程度，反映研究工具的内在一致，避免了折 半信度计算的缺点。
系数值在0-1之间，越接近1，研究工具 的内在一致性越好，信度越好。
是Cronbach’α的一种特殊形式，用 来反映研究工具的内在一致性。适用于二 分制的研究工具，如回答“是”或“否”、 “正确”或“错误”。
翻译 翻译
回译 回译
检译 检译
的相关关系。
预测效度：测量工具作为未来事情预测指
标的有效程度。
同时效度和预测效度的主要区别： 时间差异
定义：
反映工具与其所依据的理论或概念框架 的相吻合程度。
该工具到底在测量什么？
结 构 效 度
因子分析法
.
探索性 因素分析
验证性 因素分析
结
构
效
评价：
度
结构效度是目前最为严谨的一种 建立和测量研究工具效度的方法，也 是最为复杂的效度研究方法。
念的理解，尽其判断能力之所及来断定工 具是否恰当。属于一种直觉判断。
方法：从表面上检查工具的性质
缺点:
1. 缺少实际证据证明工具一定有效。 2. 对工具的效度用“有或无”反映，未
体现程度。
定义：根据理论基础及实际经验对工具是
否反映了所要测量的变量、包括足够项目 而且有恰当的内容分配比例等所作出的判 断。有时也称专家效度。
应报告是何种信度，信度系数是如何计算的。 3.一般认为，研究工具重测信度和内部一致性信度系
数最小应大于0.7，0.9以上非常好。而评分者信度和 复本信度一般应达到0.9以上。
定义：某一研究工具能真正反映它所期望研
究的概念的程度。
计算效度的方法：
表面效度
内容效度
结构效度
效标关联效度
定义: 由评估人根据自己对所要测量的概
掌握信度的概念和分类 掌握效度的概念和分类 掌握信度与效度的关系 熟悉信度测量方法 熟悉效度的建立和测量的方法 熟悉国外量表翻译的基本步骤
一、基本概念：
定义：使用研究工具所获得的结果的
一致程度或准确程度。
稳定性 内在一致性
等同性
用同一工具两次或多次测定同一研究对 象，所得结果的一致程度。一致程度越高， 工具的稳定性越好。
2）对性质不稳定的问题，如情感、态度、 知识等进行测量，则不宜使用重测信度来表 示研究工具的信度如何。
定义：将一种工具对一群人使用一次，将
每个人的结果分数按工具中各项目分成两组， 计算两组分数的相关系数。
常用来反映研究工具的内在一致性
折
方法: 前后折半法
半 信
奇偶折半法
度
缺点: 不同的折半方法会导致不同的结果
对第二次测量的结果不会造成影响； （2）在客观情况未发生改变时进行；
2. 测量环境的一致 尽量保证测量环境的一致，如相同的测试
者、相同的测量程序、相同的测量时间、相同 的测量环境等。
3. 工具所测量的变量的性质： 1）对性质相对稳定的问题，如个性、价值
观、生活质量等进行测量，适宜用重测信度 来表示研究工具的信度如何；
内在一致性
组成研究工具的各项目之间的同质性 和内在相关性。内在相关性越大或同质性越 好，工具的内在一致性越好，信度越高。
等同性
不同观察者使用相同工具测量相同对象 时所得结果的一致程度，常使用评定者间信 度来表示。
稳定性测量 内在一致性测量 等同性测量
重测信度
折半信度 Cronbach’α系数
KR-20值