提高信度与效度的方法

若用变异表示测量结果的信度，理论上应有
rXX
2 T 2 X
或
2
2 E rXX 1 2 X
式中 T 表示真实分数的方差； 2 X 表示实得分数的方差； 2 E 表示误差的方差。
信度包含两层含义： 一是相同的个体在不同时间，以相同的测 量工具测量，或以复本测量，或在不同的情景 下测量，是否能得到相同的结果，即测量结果 是否随时间和地点等因素而变化； 二是能否减少随机误差对测验结果的影 响，从而能够反映测量工具所要测量的真实情 况，即测量结果是否具有稳定性、可靠性和可 预测性。一个好的测量工具必须是稳定可靠 的，且多次测量结果应前后一致。
（3）问卷的内容尽量同质
内容同质的问卷，要求答卷者具有 相同的能力、知识和技能。因而为了提 高问卷的信度，问卷的内容应尽量保持 同质。
（4）测验的时间要充分 一份问卷应保证绝大多数答卷者在 规定的时间内能完成测验。当答卷者不 能从容地回答所有题目时，问卷的得分 就不能反映答卷者的真实情况。
（5）测验的程序要统一
二
误差的分类
误差( error)是指对事物某一特征的度量值偏 离真实值的部分，即测定值与真实值之差，样 本统计量与总体参数之差。
X T B E
实测值 真实值 系统误差 测量误差
二
误差的分类
1. 抽样误差 抽样误差（sample error） ：由于抽样 造成的样本指标与总体指标之间及各样本 指标之间的差异。与测量的优劣没有必然 的联系，进行信度和效度分析时，可以忽 略抽样误差。
2.
复本信度
复本信度法是让同一组被调查者一次填答 两份问卷复本，计算两个复本的相关系数。复 本信度法要求两个复本除表述方式不同外，在 内容、格式、难度和对应题项的提问方向等方 面要完全一致，而在实际调查中，很难使调查 问卷达到这种要求，因此采用这种方法者较少。
2. 复本信度（alternate form reliability） 复本通常是根据相同的设计说明分别独立 编制的两个平行问卷，即题目不同但是内容相似 的两份问卷。复本信度也叫等值性系数 （coefficient of equivalence）。两个复本间 隔一定时间或同时施于同一答卷者所得分数的相 关系数就是复本信度。
2. 系统误差（systematic error）
系统误差是指由于偏倚（使测量结果系统 地偏离真值， bias）产生的错误结果，与 随机误差不同，可校正和消除。
3. 随机测量误差
随机测量误差（random measurement error） 是指在测量过程中，即使消除了系统误差， 但由于各种偶然因素的影响也会造成对同一 个体的多次测量结果的不一致，测量结果发 生的偏差往往不具有方向性。信度主要受随 机测量误差的影响，
三、信度的种类及计算
信度主要分为四大类： 重测信度(Test-retest Reliability) 复本信度(Alternate-form Reliability) 内部一致性信度(Internal Consistency Reliability) 评分者信度(Scorer Reliability)
第一节 信度分析方法
一、信度的概念
信度（Reliability）即可靠性，是指根据测量工 具所得到的测量结果的一致性或稳定性，反映客观 事物被测特征真实程度的度量指标。一般而言，两 次或两个测量的结果愈是一致，则误差愈小，所得 的信度愈高。
信度(reliability)又称稳定性或精确度。用 以反映在相同条件下，对同一客观事物测量若 干次，测量结果的相互符合程度或一致程度， 说明数据的可靠性。当使用同一测量工具重复 测量某一客观事物时所得结果的一致程度越 高，则该测量工具的信度就越高。
X T B E
实测值 真实值 系统误差 测量误差
信度是用估计测量误差大小的尺度，来说明 测量结果中测量误差所占的比例。 信度可定义为真实分数(true score)的方差 与测量实得分数(observed score) 的方差之比 ，当实得分数变异可以全部由真实分数的变异解 释时，测量误差就是0，这时测量结果的信度为 1。
5. Cronbach’s α信度系数
Cronbach α信度系数是目前最常用的 信度系数，其计算公式为：
k 2 i K 1 i 1 2 K 1 T
i2 为第i题得分 其中，K为量表中题项的总数， 2 的题内方差， T 为全部题项总得分的方差。
p q
i i
p 的人数占总答卷人数的比例，pi可视为该题的难 度，qi=1-pi 。式中n为问卷包含的题项总数.
2 X `为问卷测验总得分的方差， i表示答对该题
5. Cronbach’s α信度系数
Cronbach’s α系数是Cronbach于 1951年创立的，用于评价问卷的内部一 致性。α系数取值在0到1之间，α系数 越高，信度越高，问卷的内部一致性越好。 Cronbach’s α系数不仅适用于两级记分 的问卷，还适用于多级计分的问卷。
四、 影响信度的因素 被试方面 主试方面 施测情景方面 测量工具方面 两次施测的时间间隔
提高信度的方法 问卷的信度越高，受到人、时、地、 物的干扰就越低，其所能反应事实或让 人相信的程度越高，因此在问卷实施前 如何有效提高信度是问卷测验成败的关 键。通常提高问卷信度的方法为：
（1）适当延长问卷的长度
问卷题目要统一，指导语、回答问 题的方式、分收试卷的方法和问卷测验 的时间等都要统一，这些是问卷有较高 信度的基本保证。
例1 世界卫生组织生存质量测定量表简表 (WHOQOL-BREF)包含24个问题条目,从生 理、心理、社会关系和环境领域考察个人 的生存质量。量表的结构见表1。使用量表 对47名患者进行调查，试对环境领域进行 信度分析。环境领域包含8个条目，各个条 目的内容，平均得分和方差等列于表2.
3. 分半信度
分半信度是将调查项目分为两半，计算两半得 分的相关系数，进而估计整个量表的信度。分 半信度属于内在一致性信度，测量的是两半题 项得分间的一致性。这种方法一般不适用于事 实式问卷（如年龄与性别无法相比），常用于 态度、意见式问卷的信度分析。在问卷调查 中，态度测量最常见的形式是5级李克特 （Likert）量表。
表1 WHOQOL-BREF量表的结构
Ⅰ. 生理健康领域 1. 疼痛与不适 2. 精力与疲倦 3. 睡眠与休息 4. 行动能力 5. 日常生活能力 6. 对药物及医疗手段的依赖性 7. 工作能力 Ⅱ. 心理领域 8. 积极感受 9. 思想、学习记忆和注意力 10．自尊 11．身材与相貌 12．消极感受 13．精神依托、宗教、个人信仰 Ⅲ. 社会关系领域 14．个人关系 15．所需社会支持的满足程度 16．性生活 Ⅳ. 环境领域 17．自由、人身安全和社会安全保障 18．住房环境 19．经济来源 20．医疗服务与社会保障：享有程度与质量 21．获取新信息、知识、技能的机会 22．休闲娱乐活动的参与机会与参与程度 23．环境条件（污染、噪声、交通、气候） 24．交通条件 总的健康状况与生存质量
三、 信度的种类及计算方法与评价
信度主要是指测量工具是否精准(precision)。 信度分析涉及了问卷测量结果的一致性和稳定 性，其目的是如何控制和减少随机误差。 信度指标多以相关系数表示，大致可分为三类： 稳定系数（跨时间的一致性），等值系数（跨形式 的一致性）和内在一致性系数（跨项目的一性）。
3. 分半信度
使用分半信度评价信度时，应注意：一是问卷 题项所测的应是同一种特质；二是如果量表中 含有反意题项，应先将反意题项的得分作逆向 处理，以保证各题项得分方向的一致性。三是 然后将全部题项按奇偶或前后分为尽可能相等 的两半，计算二者的相关系数（rhh，即半个量 表的信度系数），最后用斯皮尔曼-布朗 （Spearman-Brown）公式：
第2讲
信度与效度分析方法
根据调查目的设计的调查问卷是一种测量工具 。其质量高低对调查结果的真实性、适用性等具有 决定性的作用。为了保证问卷具有较高的可靠性和 有效性。在形成正式问卷之前，应当对问卷进行试 测，并对试测结果进行信度和效度分析，根据分析 结果筛选问卷题项，调整问卷结构，从而提高问卷 的信度和效度。 调查问卷的信度和效度分析绝非赘疣蛇足，而 是研究过程中必不可少的重要环节。信度和效度分 析的方法包括逻辑分析和统计分析。
低信度:α<0.35, 中信度:0.35<α<0.70, 高信度： 0.70<α 一般地，问卷的α系数在0.8以上该问卷 才具有使用价值。 Cronbach‘s α值皆达0.85以上，表明 问卷信度良好。
6.评分者信度（inter-scorer reliability）
考察评分者信度的方法为，随机抽取相当 份数的问卷，由两位评分者按记分规则分别给 分；然后根据每份问卷的分数计算相关系数， 就得到评分者信度。评分者信度也可以是一位评 分者两次评分的相关系数。如果是多个评分者或 一位评分者两次以上的评分，可采用肯德尔和谐 系数和Kappa系数。肯德尔和谐系数用于等级资 料，Kappa系数用于定性资料。
5. Cronbach’s α信度系数
从公式中可以看出，α系数评价的是 量表中各题项得分间的一致性，属于内在一 致性x信度系数。这种方法适用于态度、意 见式问卷（量表）的信度分析。
α系数有以下性质： （1）α系数是所有可能的分半信度的平均 值； （2）α系数是估计信度的最低限度； （3）当问卷计分为二分名义变量时，即答案 为0或1，α系数与KR20值相同，即库德-理 查森信度公式是克隆巴赫的α系数的一个特 例。
缺点：
如复本编制不容易，易出现 顺序效应，受练习的影响； 复本信度只能反应问卷内容 所造成的误差，无法反应答卷者本 身所造成的误差等。
3. 分半信度 (split-half reliability)
分半信度常用在不可能进行重复调查的情 况下。其计算方法是将调查的条目分成两半， 计算这两半测量结果的相关系数r，又称分半信 度系数，以此为标准来衡量整个量表的信度。
重测信度的计算方法
( X )(Y ) n
2பைடு நூலகம்
r (
XY ( X ) X
2
n
)(Y
2
(Y ) n
2
)
1. 重测信度
（2）对两次重复测试结果进行两个相关样本 差异的统计检验，如果差异有统计学意义， 则认为测量工具的信度低，否则，信度高。
1. 重测信度
重测信度法特别适用于事实式问卷，如性别、 出生年月等在两次施测中不应有任何差异，大多数 被调查者的兴趣、爱好、习惯等在短时间内也不会 有十分明显的变化。如果没有突发事件导致被调查 者的态度、意见突变，这种方法也适用于态度、意 见式问卷。由于重测信度法需要对同一样本试测两 次，被调查者容易受到各种事件、活动和他人的影 响，而且间隔时间长短也有一定限制，因此在实施 中有一定困难。
1. 重测信度
重测信度是指用同样的测量工具，对同一组被 调查者间隔一定时间重复测试，两次测试结果的相 关程度。重测信度可以通过两种途径进行考察： （1）计算两次测试结果的相关系数，如果经过 统计检验，相关关系有统计学意义，则认为测量 工具的信度高，否则信度低。也有人提出，测量 工具的重测信度可以接受的标准是两次测试的相 关系数在0.7以上。
2rhh ru 1 rhh
求出整个量表的信度系数（ru）。
4.库得─理查森信度 (Kuder─Richardson)
库德-理查森信度适用于计算“对或错”的是非 题的同质性信度，其是计算所有可能的分半信度 的平均数。最有代表性的计算公式是库德-理查 n 森公式:
rKR20
S
n i 1 (1 ) 2 n 1 SX
问卷题目较多，其在一定程度上排除了偶 然因素的影响，从而提高了问卷的信度。 但是问卷长度的增加与问卷的信度的增加 并不总是成正比的，当信度系数较小时，延长 问卷长度，问卷的信度系数增加较大；而当信 度系数较大时，延长问卷长度对信度系数的影 响就较小。
（2）问卷的难度适中
当问卷题目难度太大时，问卷得分普遍过 低；当问卷题目难度太小时，问卷得分普遍较 高。问卷题目太难或太易都会使问卷得分差异 减小，使实得分数方差减小，从而降低了问卷 的信度。
问卷（量表）测量中的测量误差通常来源于 两个方面： 一是产生于问卷（量表）测量过程中的误 差，称为测量误差（measurement Error），也称 为随机误差（random error）； 二是由问卷（量表）的结构质量造成的误 差，称为系统误差（system Error）。
measurement Error reliability system Error validity