研究工具性能的测定

工具效度的方法，也是最为复杂的效度研究方法。
信度和效度关系
1、信度是效度的必要前提

高信度不能代表高效度

低信度则可以肯定低效度
2、效度是信度的必然保证


有效度的工具一定有信度
有信度的工具未必有效度
· · · · · · · ·
· · · · · · · · · ·
高信度、低效度
高信度、高效度
实施要求：
1、专家人数3-10人，以5人较合适 2、专家的选择应与研究工具所涉及的领 域有关 3、两次评议时间最好间隔10-14天
内 容 效 度
3、效标关联效度 （criterion-related validity)
定义：
反映研究工具与其他测量标准之间的关系。
分类： 同时效度
预测效度
效 标 效 度 同时效度：测量研究工具与现有标准之间的相关
关系。
预测效度：测量工具作为未来事情预测指标的有
效程度。
同时效度和预测效度的主要区别：
时间差异
4、结构效度(construction validity) 定义：
反映工具与其所依据的理论或概念框架的相
吻合程度。
方法
因素分析法
结 构 效 度
. 探索性 因素分析
验证性 因素分析
结 构 效 度
评价：
结构效度是目前最为严谨的一种建立和测量研究

注意直译与意译结合，使更适合中国文化特点； 多个翻译版本进行集体讨论后形成中文版本的量表。
2、回译

请语言功底好、对源量表不知情的一位或多位翻译者
将翻译成中文的量表再翻译回去；

将原量表与回译后的量表进行细致比较和分析，找出
不同的部分，并对中文版的相应内容进行修改；

修改后的中文版进行表面效度检验。
4、KR-20值
是Cronbach’α 的一种特殊形式，用来反映
研究工具的内在一致性。适用于二分制的研究
工具，如回答“是”或“否”、“正确”或
“错误”。
5、评定者间信度和复本信度
常用于测定研究工具的等同性
评定者间信度测量方法： 不同评定者使用相同工具同时观察，计算观察者们的 观察结果之间的相关系数。


2.效度的概念、类型。
3 .信度与效度的关系与区别。

4. 重测信度、折半信度、评定者间信度、复本
信度的概念与意义。

5.表面效度、内容效度、效标关联效度、结构效 度的概念与意义。
等同性
稳定性
用同一工具两次或多次测定同一研究 对象，所得结果的一致程度。一致程度
越高，工具的稳定性越好。
内在一致性
组成研究工具的各项目之间的同质性
和内在相关性。内在相关性越大或同质性越 好，工具的内在一致性越好，信度越高。
等同性
不同评定者使用相同工具同时测量相同
对象时，评定者间的一致程度；或大致相同 两个研究工具同时被用于研究对象，工具的 一致程度。
2
2

X Y XY n
2 ( X ) 2 ( Y ) [ X ][ Y ] n n 2 2
X
Y X Y
2
：第一次测试10名研究对象各得分之和 ：第二次测试10名研究对象各得分之和 ：第一次测试10名研究对象各得分平方之和 ：第二次测试10名研究对象各得分平方之和
第二节 效度（validity）
定义：某一研究工具能真正反映它所期望研究的概念的
程度。
计算效度的方法：
表面效度 结构效度 内容效度 效标关联效度
1、表面效度(face validity)
定义: 由评估人根据自己对所要测量的概念的理解，尽
其断断能力之所及来断定工具是否恰当。属于一种直觉
判断。
方法：从表面上检查工具的性质
二、信度的计算方法
稳定性测量 重测信度 内在一致性测量 等同性测量
折半信度 评定者间信度 Cronbach’α 系数 KR-20值 复本信度
1、重测信度(test-retest reliability)
定义: 用同一工具两次或多次测定同一研究对象所得
结果的一致程度。 常表示研究工具的稳定性。一致程度越高，重测 信度越高，研究工具的稳定性越好。
3、检译

寻找一定数量的既懂中文又懂源语言的样本对两 种语言版本的量表进行作答，计算不同语言版本
的量表得分的相关性。相关程度越高，表示两种
版本的等同性越好。

使用中文版本进行预试验，检测中文版量表的内 在一致性，并了解量表文字是否易于理解和符合 中国人的表达习惯。
思考题：

1. 信度的概念、类型及主要特征。
计算方法：
使用研究工具对研究对象施行第一次测试,间隔一段
重 测 信 度
时间后使用同一工具对同一研究对象进行重测，然后
计算两次资料的相关系数，该系数反映研究工具重测 信度的高低。相关系数在0～1之间，越接近1，说明重 测信度越高。
例： 人格问卷重测数值表
研究对象 第一次测试（X） 第二次测试（Y）
3、Cronbach’α系数
计算研究工具中所有项目间的平均相关程度， 反映研究工具的内在一致，避免了折半信度计算
的缺点。
系数值在0-1之间，越接近1，研究工具的内 在一致性越好，信度越好。
K S (1 2 ) K 1 S
2 i
K为整个调查表的条目数，Si 为第i个条 目得分的方差，S为整个调查表得分的方差。
复本信度测量方法：
将两种不同形式的工具同时对一群对象测试，然后计 算两次工具得分的相关系数。
研究工具信度的基本要求
1、通常通过预试验测试研究工具的信度 2、报告研究工具的信度时，不仅要报告信度系数，还应 报告是何种信度，信度系数是如何计算的。 3、一般认为，研究工具重测信度和内部一致性信度系数 最小应大于0.7，0.9以上非常好。而评分者信度和复本 信度一般应达到0.9以上。
2
源自文库
使用重测信度需考虑的问题
1. 两次测量之间的间隔时间 （1）使第一次测量对第二次测量的结果不会造成影响； （2）在客观情况未发生改变时进行； 2. 测量环境的一致 尽量保证测量环境的一致，如相同的测试者、相同的 测量程序、相同的测量时间、相同的测量环境等
重 测 信 度
3. 工具所测量的变量的性质： 1）对性质相对稳定的问题，如个性、价值观、 生活质量等进行测量，适宜用重测信度来表示研 究工具的信度如何； 2）对性质不稳定的问题，如情感、态度、知识 等进行测量，则不宜使用重测信度来表示研究工 具的信度如何。
· · · · ·
· ·
低信度、低效度
第三节 国外量表的翻译和应 用过程的性能测定
翻译和应用国外量表的原则： 1、不偏离原文的原意 2、适合中国的文化特点 3、译后的量表具有较好的信度和效度
翻译国外量表的步骤：
翻译
回译
检译
翻译
回译
检译
1、翻译

两个或多个既熟悉原量表语言又有较好汉语功底的 翻译者将国外量表翻译成中文；
2、折半信度(split-half reliability)
定义：将一种工具对一群人使用一次，将每个人的
结果分数按工具中各项目分成两组，计算两组分数的
相关系数。
常用来反映研究工具的内在一致性
折 半 信 度
方法: 前后折半法 奇偶折半法 缺点: 不同的折半方法会导致不同的结果 计算：根据重测信度中列出的公式计算r系 数，再使用Spearman-Brown公式校正。
研究工具性能的测定
教学目标
掌握效度的概念和分类 掌握信度的概念和分类 熟悉计算信度的方法 熟悉建立和测量效度的方法 了解国外量表的翻译步骤
第一节 信度（reliability)
一、基本概念：
定义：使用研究工具所获得的结 果的一致程度或准确程度
信度的三个主要特征
稳定性
内在一致性
表 面 效 度
缺点:
1. 缺少实际证据证明工具一定有效。
2. 对工具的效度用“有或无”反映，未 体现程度。
2、内容效度(content validity)
定义：
根据理论基础及实际经验对工具是否反映了所要测 量的变量、包括足够项目而且有恰当的内容分配比
例等所作出的判断。有时也称专家效度。
方法： 从内容上检查工具的性质
1
2 3 4 5 6 7 8
23
44 35 53 44 26 32 28
27
38 37 49 46 28 34 25
9
10
38
39
34
36
第一次测试和第二次测试数据间的相关 系数即为人格问卷的重测信度。 公式如下：
r
( X X )(Y Y ) (X X ) (Y Y )