第六章研究工具性能的测定
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
系数最小应大于0.7，0.9以上非常好。而评分者信 度和复本信度一般应达到0.9以上。 4、不是所有的工具都需报告三性。（人格、满意度 ）
第二节 效度（validity ）
定义：某一研究工具能真正反映它所期望
研究的概念的程度(疾病易感性)。
计算效度的方法：
表面效度
内容效度
结构效度
效标关联效度
1、表面效度(face validity)
等同性
不同评定者使用相同工具同时测量相同 对象时，评定者间的一致程度；或大致相同 两个研究工具同时被用于研究对象，工具的 一致程度。
二、信度的计算方法
稳定性测量 内在一致性测量 等同性测量
重测信度
折半信度 Cronbach’α系数
KR-20值
评定者间信度 复本信度
1、重测信度(test-retest reliability)
5、I-CVI≥0.78；S-CVI/Ave≥0.9
定义: 用同一工具两次或多次测定同一研究
对象所得结果的一致程度。常表示研究工 具的稳定性的大小。一致程度越高，重测 信度越高，研究工具的稳定性越好。
重
测
计算方法：
信
度
使用研究工具对研究对象施行第一次测
试,间隔一段时间后使用同一工具对同一研究
对象进行重测，然后计算两次资料的相关系
数，该系数反映研究工具重测信度的高低。
定义: 由评估人根据自己对所要测量的概
念的理解，尽其断断能力之所及来断定工 具是否恰当。属于一种直觉判断。
方法：从表面上检查工具的性质
表 面 效 度
缺点:
1. 缺少实际证据证明工具一定有效。
2. 对工具的效度用“有或无”反映，未
体现程度。
2、内容效度(content validity)
定义：根据理论基础及实际经验对工具是
1. 两次测量之间的间隔时间：2~3周（举例）
（1）使第一次测量对第二次测量的结果不 会造成影响；
（2）在客观情况未发生改变时进行； 2. 测量环境的一致
尽量保证测量环境的一致，如相同的测试 者、相同的测量程序、相同的测量时间、相 同的测量环境等
重
测
3. 工具所测量的变量的性质：
信 度
1）对性质相对稳定的问题，如个性、价值
常用来反映研究工具的内在一致性
折 半 信 度
方法: 前后折半法
奇源自文库折半法
缺点: 不同的折半方法会导致不同的结果
计算：根据重测信度中列出的公式计算r系数
，再使用Spearman-Brown公式校正。
3、Cronbach’α系数
计算研究工具中所有项目间的平均相关 程度，反映研究工具的内在一致，避免了折 半信度计算的缺点。
相关系数在0～1之间，越接近1，说明重测信
度越高。
例： 人格问卷重测数值表
研究对象 1 2 3 4 5 6 7
8 9 10
第一次测试（X） 第二次测试（Y）
23
27
44
38
35
37
53
49
44
46
26
28
32
34
28
25
38
34
39
36
第一次测试和第二次测试数据间的相关 系数即为人格问卷的重测信度。
公式如下：
r (XX)(YY)
XYXn•Y
(XX)2(YY)2 [X2(nX)2][Y2( nY)2]
：第一次测试10名研究对象各得分之和
X ：第二次测试10名研究对象各得分之和
：第 一Y 次测试10名研究对象各得分平方之和
X 2 ：第二次测试10名研究对象各得分平方之和
Y2
使用重测信度需考虑的问题（简单、直观）
内在一致性
组成研究工具的各项目之间的同质性 和内在相关性。内在相关性越大或同质性越 好，工具的内在一致性越好，信度越高。
大学生生活满意度
您对自己学习成绩的满意程度如何？ 您对自己形象和表现的满意程度如何？ 您对自己同学和朋友关系的满意程度如何？ 您对自己身体健康状况的满意程度如何？ 您对国家医保政策的满意程度如何？
一致程度或准确程度
信度的三个主要特征
稳定性 内在一致性
等同性
研究者（评定）-问卷-人群
可信前提-问卷1（内在一致性，水果） A-问卷1-间隔时间-问卷1（稳定性；重 测信度） A-问卷1和问卷1”（复本信度）-等同性 ABCD-问卷1（评定者间信度）-等同 性
稳定性
用同一工具两次或多次测定同一研 究对象，所得结果的一致程度。一致程 度越高，工具的稳定性越好。
观、生活质量等进行测量，适宜用重测信度
来表示研究工具的信度如何；
2）对性质不稳定的问题，如情感、态度、 知识等进行测量，则不宜使用重测信度来表 示研究工具的信度如何。
（一定要交代测量过程及间隔时间）
2、折半信度(split-half reliability)
定义：将一种工具对一群人使用一次，将
每个人的结果分数按工具中各项目分成两组 ，计算两组分数的相关系数。
不同评定者使用相同工具同时观察，计 算观察者们的观察结果之间的相关系数（洗 手15/20）。
复本信度测量方法：
将两种不同形式的工具同时对一群对象测 试，然后计算两次工具得分的相关系数。
研究工具信度的基本要求
1、通常通过预试验测试研究工具的信度 2、报告研究工具的信度时，不仅要报告信度系数，
还应报告是何种信度，信度系数是如何计算的。 3、一般认为，研究工具重测信度和内部一致性信度
第六章研究工具性能 的测定
研究工具：是指研究人员针对某个 概念或是变量收集资料所采用的工 具。
问卷或量表（选择原则、编制原则 ）
工具好不好？
主要内容
信度（可信） 效度（有效、针对性；感冒腹泻药） 国外量表翻译和性能测定
第一节 信度（reliability)
一、基本概念：
定义：是指使用研究工具所获得的结果的
否反映了所要测量的变量、包括足够项目 而且有恰当的内容分配比例等所作出的判 断。有时也称专家效度。
方法：从内容上检查工具的性质
内
容
效
实施要求：
度
1、专家人数3-10人，以5人较合适（奇数）
2、专家的选择应与研究工具所涉及的领域 有关
3、两次评议时间最好间隔10-14天
内
容
效
实施要求：
度
4、内容效度指数CVI是最基本的评估内容效 度的方法。
系数值在0-1之间，越接近1，研究工具 的内在一致性越好，信度越好。
4、KR-20值
是Cronbach’α的一种特殊形式，用来 反映研究工具的内在一致性。适用于二分 制的研究工具，如回答“是”或“否”、 “正确”或“错误”。
5、评定者间信度和复本信度
常用于测定研究工具的等同性 评定者间信度测量方法：
第二节 效度（validity ）
定义：某一研究工具能真正反映它所期望
研究的概念的程度(疾病易感性)。
计算效度的方法：
表面效度
内容效度
结构效度
效标关联效度
1、表面效度(face validity)
等同性
不同评定者使用相同工具同时测量相同 对象时，评定者间的一致程度；或大致相同 两个研究工具同时被用于研究对象，工具的 一致程度。
二、信度的计算方法
稳定性测量 内在一致性测量 等同性测量
重测信度
折半信度 Cronbach’α系数
KR-20值
评定者间信度 复本信度
1、重测信度(test-retest reliability)
5、I-CVI≥0.78；S-CVI/Ave≥0.9
定义: 用同一工具两次或多次测定同一研究
对象所得结果的一致程度。常表示研究工 具的稳定性的大小。一致程度越高，重测 信度越高，研究工具的稳定性越好。
重
测
计算方法：
信
度
使用研究工具对研究对象施行第一次测
试,间隔一段时间后使用同一工具对同一研究
对象进行重测，然后计算两次资料的相关系
数，该系数反映研究工具重测信度的高低。
定义: 由评估人根据自己对所要测量的概
念的理解，尽其断断能力之所及来断定工 具是否恰当。属于一种直觉判断。
方法：从表面上检查工具的性质
表 面 效 度
缺点:
1. 缺少实际证据证明工具一定有效。
2. 对工具的效度用“有或无”反映，未
体现程度。
2、内容效度(content validity)
定义：根据理论基础及实际经验对工具是
1. 两次测量之间的间隔时间：2~3周（举例）
（1）使第一次测量对第二次测量的结果不 会造成影响；
（2）在客观情况未发生改变时进行； 2. 测量环境的一致
尽量保证测量环境的一致，如相同的测试 者、相同的测量程序、相同的测量时间、相 同的测量环境等
重
测
3. 工具所测量的变量的性质：
信 度
1）对性质相对稳定的问题，如个性、价值
常用来反映研究工具的内在一致性
折 半 信 度
方法: 前后折半法
奇源自文库折半法
缺点: 不同的折半方法会导致不同的结果
计算：根据重测信度中列出的公式计算r系数
，再使用Spearman-Brown公式校正。
3、Cronbach’α系数
计算研究工具中所有项目间的平均相关 程度，反映研究工具的内在一致，避免了折 半信度计算的缺点。
相关系数在0～1之间，越接近1，说明重测信
度越高。
例： 人格问卷重测数值表
研究对象 1 2 3 4 5 6 7
8 9 10
第一次测试（X） 第二次测试（Y）
23
27
44
38
35
37
53
49
44
46
26
28
32
34
28
25
38
34
39
36
第一次测试和第二次测试数据间的相关 系数即为人格问卷的重测信度。
公式如下：
r (XX)(YY)
XYXn•Y
(XX)2(YY)2 [X2(nX)2][Y2( nY)2]
：第一次测试10名研究对象各得分之和
X ：第二次测试10名研究对象各得分之和
：第 一Y 次测试10名研究对象各得分平方之和
X 2 ：第二次测试10名研究对象各得分平方之和
Y2
使用重测信度需考虑的问题（简单、直观）
内在一致性
组成研究工具的各项目之间的同质性 和内在相关性。内在相关性越大或同质性越 好，工具的内在一致性越好，信度越高。
大学生生活满意度
您对自己学习成绩的满意程度如何？ 您对自己形象和表现的满意程度如何？ 您对自己同学和朋友关系的满意程度如何？ 您对自己身体健康状况的满意程度如何？ 您对国家医保政策的满意程度如何？
一致程度或准确程度
信度的三个主要特征
稳定性 内在一致性
等同性
研究者（评定）-问卷-人群
可信前提-问卷1（内在一致性，水果） A-问卷1-间隔时间-问卷1（稳定性；重 测信度） A-问卷1和问卷1”（复本信度）-等同性 ABCD-问卷1（评定者间信度）-等同 性
稳定性
用同一工具两次或多次测定同一研 究对象，所得结果的一致程度。一致程 度越高，工具的稳定性越好。
观、生活质量等进行测量，适宜用重测信度
来表示研究工具的信度如何；
2）对性质不稳定的问题，如情感、态度、 知识等进行测量，则不宜使用重测信度来表 示研究工具的信度如何。
（一定要交代测量过程及间隔时间）
2、折半信度(split-half reliability)
定义：将一种工具对一群人使用一次，将
每个人的结果分数按工具中各项目分成两组 ，计算两组分数的相关系数。
不同评定者使用相同工具同时观察，计 算观察者们的观察结果之间的相关系数（洗 手15/20）。
复本信度测量方法：
将两种不同形式的工具同时对一群对象测 试，然后计算两次工具得分的相关系数。
研究工具信度的基本要求
1、通常通过预试验测试研究工具的信度 2、报告研究工具的信度时，不仅要报告信度系数，
还应报告是何种信度，信度系数是如何计算的。 3、一般认为，研究工具重测信度和内部一致性信度
第六章研究工具性能 的测定
研究工具：是指研究人员针对某个 概念或是变量收集资料所采用的工 具。
问卷或量表（选择原则、编制原则 ）
工具好不好？
主要内容
信度（可信） 效度（有效、针对性；感冒腹泻药） 国外量表翻译和性能测定
第一节 信度（reliability)
一、基本概念：
定义：是指使用研究工具所获得的结果的
否反映了所要测量的变量、包括足够项目 而且有恰当的内容分配比例等所作出的判 断。有时也称专家效度。
方法：从内容上检查工具的性质
内
容
效
实施要求：
度
1、专家人数3-10人，以5人较合适（奇数）
2、专家的选择应与研究工具所涉及的领域 有关
3、两次评议时间最好间隔10-14天
内
容
效
实施要求：
度
4、内容效度指数CVI是最基本的评估内容效 度的方法。
系数值在0-1之间，越接近1，研究工具 的内在一致性越好，信度越好。
4、KR-20值
是Cronbach’α的一种特殊形式，用来 反映研究工具的内在一致性。适用于二分 制的研究工具，如回答“是”或“否”、 “正确”或“错误”。
5、评定者间信度和复本信度
常用于测定研究工具的等同性 评定者间信度测量方法：