第七章 研究工具性能的测定
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
的高低。相关系数在0～1之间，越接近1，
说明重测信度越高。
例： 人格问卷重测数值表
研究对象 1 2 3 4 5 6 7
8 9 10
第一次测试（X） 第二次测试（Y）
23
27
44
38
35
37
53
49
44
46
26
28
32
34
28
25
38
34
39
36
第一次测试和第二次测试数据间的相 关系数即为人格问卷的重测信度。
计算如下：
r ( X X )(Y Y )
XY
X
• n
Y
(X X )2 (Y Y )2
[
X
2
( X
n
)2
][
Y
2
(Y
n
)
2
]
X ：第二次测试10名研究对象各得分之和
：第Y一次测试10名研究对象各得分平方之和
：第二次测试10名研究对象各得分平方之和
1. 两次测量之间的间隔时间 （1）时间的间隔要足够长，使第一次测量
掌握信度的概念和分类 掌握效度的概念和分类 掌握信度与效度的关系 熟悉信度测量方法 熟悉效度的建立和测量的方法 熟悉国外量表翻译的基本步骤
一、基本概念：
定义：使用研究工具所获得的结果的
一致程度或准确程度。
稳定性 内在一致性
等同性
用同一工具两次或多次测定同一研究对 象，所得结果的一致程度。一致程度越高， 工具的稳定性越好。
念的理解，尽其判断能力之所及来断定工 具是否恰当。属于一种直觉判断。
方法：从表面上检查工具的性质
缺点:
1. 缺少实际证据证明工具一定有效。 2. 对工具的效度用“有或无”反映，未
体现程度。
定义：根据理论基础及实际经验对工具是
否反映了所要测量的变量、包括足够项目 而且有恰当的内容分配比例等所作出的判 断。有时也称专家效度。
翻译 翻译
回译 回译
检译 检译
两个或多个既熟悉原量表语言又有较好汉 语功底的翻译者将国外量表翻译成中文；
注意直译与意译结合，使更适合中国文化 特点；
多个翻译版本进行集体讨论后形成中文版 本的量表。
请语言功底好、对源量表不知情的一位或多 位翻译者将翻译成中文的量表再翻译回去；
将原量表与回译后的量表进行细致比较和分 析，找出不同的部分，并对中文版的相应内 容进行修改；
评定者间信度 复本信度
定义: 用同一工具两次或多次测定同一研究
对象所得结果的一致程度。 常表示研究工具的稳定性。一致程度
越高，重测信度越高，研究工具的稳定性 越好。
重 测
信 计算方法：
度
使用研究工具对研究对象施行第一次
测试,间隔一段时间后使用同一工具对同一
研究对象进行重测，然后计算两次资料的
相关系数，该系数反映研究工具重测信度
的相关关系。
预测效度：测量工具作为未来事情预测指
标的有效程度。
同时效度和预测效度的主要区别： 时间差异
定义：
反映工具与其所依据的理论或概念框架 的相吻合程度。
该工具到底在测量什么？
结 构 效 度
因子分析法
.
探索性 因素分析
验证性 因素分析
结
构
效
评价：
度
结构效度是目前最为严谨的一种 建立和测量研究工具效度的方法，也 是最为复杂的效度研究方法。
方法：从内容上检查工具的性质
内容效度可用内容效度指数(CVI)来 表示。
具体做法如下: 请3-10位专家，5位较为合适;专家 的选择应与研究工具所涉及的领域有关;请专家对 每一个项目应用4分制方法给予评价。其中：
“1”代表该项目与研究内容一点都不相关；
“2”代表该项目必须经过修改否则不能和研究 内容相关；
对第二次测量的结果不会造成影响； （2）在客观情况未发生改变时进行；
2. 测量环境的一致 尽量保证测量环境的一致，如相同的测试
者、相同的测量程序、相同的测量时间、相同 的测量环境等。
3. 工具所测量的变量的性质： 1）对性质相对稳定的问题，如个性、价值
观、生活质量等进行测量，适宜用重测信度 来表示研究工具的信度如何；
计算：根据重测信度中列出的公式计算r系数
由于测验条目越多，信度系数越高，因此需
要使用Spearman-Brown公式校正。
计算研究工具中所有项目间的平均相关 程度，反映研究工具的内在一致，避免了折 半信度计算的缺点。
系数值在0-1之间，越接近1，研究工具 的内在一致性越好，信度越好。
是Cronbach’α的一种特殊形式，用 来反映研究工具的内在一致性。适用于二 分制的研究工具，如回答“是”或“否”、 “正确”或“错误”。
应报告是何种信度，信度系数是如何计算的。 3.一般认为，研究工具重测信度和内部一致性信度系
数最小应大于0.7，0.9以上非常好。而评分者信度和 复本信度一般应达到0.9以上。
定义：某一研Leabharlann Baidu工具能真正反映它所期望研
究的概念的程度。
计算效度的方法：
表面效度
内容效度
结构效度
效标关联效度
定义: 由评估人根据自己对所要测量的概
2）对性质不稳定的问题，如情感、态度、 知识等进行测量，则不宜使用重测信度来表 示研究工具的信度如何。
定义：将一种工具对一群人使用一次，将
每个人的结果分数按工具中各项目分成两组， 计算两组分数的相关系数。
常用来反映研究工具的内在一致性
折
方法: 前后折半法
半 信
奇偶折半法
度
缺点: 不同的折半方法会导致不同的结果
“3”代表该项目和研究内容相关但是仍需要小 改动；
“4”代表该项目与研究内容非常相关。
当I-CVI 值达到0.78或以上， S-CVI/Ave值 达到0.90或以上，即可认为研究工具具有比 较好的内容效度。
定义：反映研究工具与其他测量标准之
间的关系。
分类： 同时效度
预测效度
同时效度：测量研究工具与现有标准之间
常用于测定研究工具的等同性 评定者间信度测量方法：
不同评定者使用相同工具同时观察，计算观察者 们的观察结果之间的相关系数。
复本信度测量方法：
将两种不同形式的工具同时对一群对象测试，然 后计算两次工具得分的相关系数。
1.通常通过预试验测试研究工具的信度 2.报告研究工具的信度时，不仅要报告信度系数，还
修改后的中文版进行表面效度检验。
寻找一定数量的既懂中文又懂源语言的样本对两 种语言版本的量表进行作答，计算不同语言版本 的量表得分的相关性。相关程度越高，表示两种 版本的等同性越好。
使用中文版本进行预试验，检测中文版量表的内 在一致性，并了解量表文字是否易于理解和符合 中国人的表达习惯。
内在一致性
组成研究工具的各项目之间的同质性 和内在相关性。内在相关性越大或同质性越 好，工具的内在一致性越好，信度越高。
等同性
不同观察者使用相同工具测量相同对象 时所得结果的一致程度，常使用评定者间信 度来表示。
稳定性测量 内在一致性测量 等同性测量
重测信度
折半信度 Cronbach’α系数
KR-20值
1. 信度是效度的必要前提 ◦ 高信度不能代表高效度 ◦ 低信度则可以肯定低效度
2. 效度是信度的必然保证 ◦ 有效度的工具一定有信度 ◦ 有信度的工具未必有效度
······· ·
·· ·· · ·· ·· ·
高信度、高效度
·
·
·
·
· ··
翻译和应用国外量表的原则：
1.不偏离原文的原意 2.适合中国的文化特点 3.译后的量表具有较好的信度和效度
说明重测信度越高。
例： 人格问卷重测数值表
研究对象 1 2 3 4 5 6 7
8 9 10
第一次测试（X） 第二次测试（Y）
23
27
44
38
35
37
53
49
44
46
26
28
32
34
28
25
38
34
39
36
第一次测试和第二次测试数据间的相 关系数即为人格问卷的重测信度。
计算如下：
r ( X X )(Y Y )
XY
X
• n
Y
(X X )2 (Y Y )2
[
X
2
( X
n
)2
][
Y
2
(Y
n
)
2
]
X ：第二次测试10名研究对象各得分之和
：第Y一次测试10名研究对象各得分平方之和
：第二次测试10名研究对象各得分平方之和
1. 两次测量之间的间隔时间 （1）时间的间隔要足够长，使第一次测量
掌握信度的概念和分类 掌握效度的概念和分类 掌握信度与效度的关系 熟悉信度测量方法 熟悉效度的建立和测量的方法 熟悉国外量表翻译的基本步骤
一、基本概念：
定义：使用研究工具所获得的结果的
一致程度或准确程度。
稳定性 内在一致性
等同性
用同一工具两次或多次测定同一研究对 象，所得结果的一致程度。一致程度越高， 工具的稳定性越好。
念的理解，尽其判断能力之所及来断定工 具是否恰当。属于一种直觉判断。
方法：从表面上检查工具的性质
缺点:
1. 缺少实际证据证明工具一定有效。 2. 对工具的效度用“有或无”反映，未
体现程度。
定义：根据理论基础及实际经验对工具是
否反映了所要测量的变量、包括足够项目 而且有恰当的内容分配比例等所作出的判 断。有时也称专家效度。
翻译 翻译
回译 回译
检译 检译
两个或多个既熟悉原量表语言又有较好汉 语功底的翻译者将国外量表翻译成中文；
注意直译与意译结合，使更适合中国文化 特点；
多个翻译版本进行集体讨论后形成中文版 本的量表。
请语言功底好、对源量表不知情的一位或多 位翻译者将翻译成中文的量表再翻译回去；
将原量表与回译后的量表进行细致比较和分 析，找出不同的部分，并对中文版的相应内 容进行修改；
评定者间信度 复本信度
定义: 用同一工具两次或多次测定同一研究
对象所得结果的一致程度。 常表示研究工具的稳定性。一致程度
越高，重测信度越高，研究工具的稳定性 越好。
重 测
信 计算方法：
度
使用研究工具对研究对象施行第一次
测试,间隔一段时间后使用同一工具对同一
研究对象进行重测，然后计算两次资料的
相关系数，该系数反映研究工具重测信度
的相关关系。
预测效度：测量工具作为未来事情预测指
标的有效程度。
同时效度和预测效度的主要区别： 时间差异
定义：
反映工具与其所依据的理论或概念框架 的相吻合程度。
该工具到底在测量什么？
结 构 效 度
因子分析法
.
探索性 因素分析
验证性 因素分析
结
构
效
评价：
度
结构效度是目前最为严谨的一种 建立和测量研究工具效度的方法，也 是最为复杂的效度研究方法。
方法：从内容上检查工具的性质
内容效度可用内容效度指数(CVI)来 表示。
具体做法如下: 请3-10位专家，5位较为合适;专家 的选择应与研究工具所涉及的领域有关;请专家对 每一个项目应用4分制方法给予评价。其中：
“1”代表该项目与研究内容一点都不相关；
“2”代表该项目必须经过修改否则不能和研究 内容相关；
对第二次测量的结果不会造成影响； （2）在客观情况未发生改变时进行；
2. 测量环境的一致 尽量保证测量环境的一致，如相同的测试
者、相同的测量程序、相同的测量时间、相同 的测量环境等。
3. 工具所测量的变量的性质： 1）对性质相对稳定的问题，如个性、价值
观、生活质量等进行测量，适宜用重测信度 来表示研究工具的信度如何；
计算：根据重测信度中列出的公式计算r系数
由于测验条目越多，信度系数越高，因此需
要使用Spearman-Brown公式校正。
计算研究工具中所有项目间的平均相关 程度，反映研究工具的内在一致，避免了折 半信度计算的缺点。
系数值在0-1之间，越接近1，研究工具 的内在一致性越好，信度越好。
是Cronbach’α的一种特殊形式，用 来反映研究工具的内在一致性。适用于二 分制的研究工具，如回答“是”或“否”、 “正确”或“错误”。
应报告是何种信度，信度系数是如何计算的。 3.一般认为，研究工具重测信度和内部一致性信度系
数最小应大于0.7，0.9以上非常好。而评分者信度和 复本信度一般应达到0.9以上。
定义：某一研Leabharlann Baidu工具能真正反映它所期望研
究的概念的程度。
计算效度的方法：
表面效度
内容效度
结构效度
效标关联效度
定义: 由评估人根据自己对所要测量的概
2）对性质不稳定的问题，如情感、态度、 知识等进行测量，则不宜使用重测信度来表 示研究工具的信度如何。
定义：将一种工具对一群人使用一次，将
每个人的结果分数按工具中各项目分成两组， 计算两组分数的相关系数。
常用来反映研究工具的内在一致性
折
方法: 前后折半法
半 信
奇偶折半法
度
缺点: 不同的折半方法会导致不同的结果
“3”代表该项目和研究内容相关但是仍需要小 改动；
“4”代表该项目与研究内容非常相关。
当I-CVI 值达到0.78或以上， S-CVI/Ave值 达到0.90或以上，即可认为研究工具具有比 较好的内容效度。
定义：反映研究工具与其他测量标准之
间的关系。
分类： 同时效度
预测效度
同时效度：测量研究工具与现有标准之间
常用于测定研究工具的等同性 评定者间信度测量方法：
不同评定者使用相同工具同时观察，计算观察者 们的观察结果之间的相关系数。
复本信度测量方法：
将两种不同形式的工具同时对一群对象测试，然 后计算两次工具得分的相关系数。
1.通常通过预试验测试研究工具的信度 2.报告研究工具的信度时，不仅要报告信度系数，还
修改后的中文版进行表面效度检验。
寻找一定数量的既懂中文又懂源语言的样本对两 种语言版本的量表进行作答，计算不同语言版本 的量表得分的相关性。相关程度越高，表示两种 版本的等同性越好。
使用中文版本进行预试验，检测中文版量表的内 在一致性，并了解量表文字是否易于理解和符合 中国人的表达习惯。
内在一致性
组成研究工具的各项目之间的同质性 和内在相关性。内在相关性越大或同质性越 好，工具的内在一致性越好，信度越高。
等同性
不同观察者使用相同工具测量相同对象 时所得结果的一致程度，常使用评定者间信 度来表示。
稳定性测量 内在一致性测量 等同性测量
重测信度
折半信度 Cronbach’α系数
KR-20值
1. 信度是效度的必要前提 ◦ 高信度不能代表高效度 ◦ 低信度则可以肯定低效度
2. 效度是信度的必然保证 ◦ 有效度的工具一定有信度 ◦ 有信度的工具未必有效度
······· ·
·· ·· · ·· ·· ·
高信度、高效度
·
·
·
·
· ··
翻译和应用国外量表的原则：
1.不偏离原文的原意 2.适合中国的文化特点 3.译后的量表具有较好的信度和效度