调查问卷的信度与效度分析
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
（1）理论正确，解释清楚。问卷内容要适 合问卷测验的目的，题目要清楚明了，易于 理解，问卷的排列要由易到难，题目的难度 和区分度要合适；
（2）操作规范以减少误差；
（3）控制系统误差。它主要包括仪器不准， 题目和指导语有暗示性，答案安排不当(被 试可以猜测)等, 控制这些因素可以降低系 统误差, 提高效度；
6.效度的评价
如果满足以下5个条件就可以认为问卷有 效：
（1）问卷有内容效度和结构效度； （2）在问卷制定阶段应当请有关人员提出意
见，供修正和提高内容效度； （3）问卷经过反复使用证明了其可靠性；（
4）如果有标准存在，应以标准为准； （5）无标准时可由判别效度代替。
7.提高问卷效度的方法
效度是指问卷测验的准确性， 即测验能够反映所要测量特性的程度. 其包括两个方面的含义： 一是问卷测验的目的； 二是问卷对测量目标的测量精确度和真实性。 效度是一个具有相对性、连续性、间接性的 概念。
在测量理论中，效度被定义为在一系列测 量中，与测量目的有关的真变异数 ( 即有效变 异 ) 与总变异数之比：
摘 要 目的：探讨调查问卷的可靠 性。方法：对武警十五支队201名战士， 作心理卫生自评90项调查问卷资料，利 用SAS软件编程，计算Alpha可靠性系数， 进行可靠性分析。结果：有6项被剔除
达到要求后，α=0.973569，当使用标 准化数据时，α=0.974102。结论：利
用可靠性分析，可以从调查问卷表的数 据中，提取真实的、可靠性的成分。
调查问卷的信度与效度分析
一、why
效度？
信度？
1.误差公理
误差(error)是指对事物某一特征的度量
值偏离真实值的部分，即测定值与真实值之
差，样本统计量与总体参数之差。
没有一项研究推论能够达到百分之百的 真实。 No study is free of errors, the inferences are never perfectly valid.
可以运用t检验对先后两次问卷结果平 均分数进行差异性检验。若差异有统计学 意义，说明问卷是有效的；若差异无统计 学意义，说明问卷是无效的。
(4)判别效度
判别效标也称为辨别效标，是 指运用相同的问卷测定不同特质和 内涵，测量结果之间不应有太大的 相关性。
(5)聚合效度
聚合效度也称为收敛效度，是指 运用不同测量方法测定同一特质所 得结果的相似程度，即对同一特质 的两种或多种测定方法间应有较高 的相关性。
0.9742
I87 31.9250 1277.1481 0.6231
0.9736
I88 32.0500 1282.9718 0.6057
0.9737
J89
32.2000 1304.1641 0.0000
0.9741
I90 32.1750 1302.7122 0.1250
0.9741
一般地，在做问卷的敏感性分析时，
常用的确定结构效度的方法有：
(1)根据文献、前人研究结果、实际经验等建 立假设性理论建构； (2)对问卷题目进行分析。主要是分析问卷的 内容，答卷者对题目所作的反应，问卷题 目的同质性以及分项目之间的关系来判断 问卷的结构效度； (3)根据建构的假设性理论编制适当的问卷； (4)计算与同类权威问卷的相关; (5)以统计检验的实证方法去考查问卷是否能 有效解释所欲建构的特质。
抽样误差（sample error） ：由 于抽样造成的样本指标与总体指标 之间的差别。
（2）系统误差（systematic error）
是由于偏倚（使研究结果按照一个方 向偏离总体）产生的错误结果，可校正和 消除。
(3) 过失误差 是由于科研设计错误，或实 验者的主观片面、粗心大意引起的误差。必 须避免和剔除！
Scale if item deleted:去掉当前题目整个问卷的 描述统计量，即敏感性分析，包括以下内容： Scale Mean if Item Deleted:去掉当前题目问卷 合计分的均数；
Scale Variance if Item Deleted: 去掉当前题目 问卷合计分的方差；
rx2y
S
2 v
S
2 x
r2xy 表示测量的效度系数，Sv2 代表有效
变异数，Sx2 代表总变异数。
1.信度分析的意义
信度的定义
信度是用估计测量误差大小的尺度，来说明问 卷测验结果中测量误差所占的比率。
信度可定义为真实分数的方差与测验实得 分数 的方差之比，当实得分数变异可以全部 由真实分数的变异解释时，测验误差就是0， 这时问卷测验的信度为
0.9745
I7
31.9000 1279.0667 0.5320
0.9737
H8
31.5750 1255.1224 0.7590
0.9733
B9
31.2750 1259.2301 0.6572
0.9735
…………………………………………………………………..
E86
31.1750 1272.8147 0.3764
0.9736
E2
31.7500 1253.6282 0.8027
0.9732
B3
31.8250 1261.0712 0.7408
0.9734
A4
31.7500 1259.7821 0.7557
0.9733
D5
31.7000 1278.2667 0.3872
0.9740
C6
31.8250 1300.0455 0.0596
2．问卷的结构效度的分析
问卷的结构效度的评价较为复
杂，可用各个题目与量表各银子的相
关分析和因子分析方法来反映。
（1）利用相关分析评价问卷的结构 效度
从菜单选择Analyze →Scale
→Reliability
Analysis…→Item(输入问卷的各条
目或各因子包含的条目)
→Statistics弹出信度分析统计量对
问卷测验中测量误差通常来源于两个方 面：
一是产生于问卷测验过程中的误差，称 为测量误差（measurement Error），也称 为随机误差（random error）；
二是由问卷的结构质量造成的误差，称 为系统误差（system Error）。
二、what
效度 信度
2、效度的定义
话框 →Inter-Item → √
Correlations → OK
（2）利用因子分析评价问卷结构效度
因子分析不仅能够评价量表结 构的相合性，还可以用共性变异 （共性方差）与总变异之比作为结 构效度的衡量指标。结构效度的分 析最好使用证实性因子分析，它较 探索性因子分析更能说明问题。
执行Analyze → Data Reduction → Factor … ,弹出“Factor Analysis” 对话框:
单击Descriptives…→ Statistics → √ Initial Solution → Correlation Matrix → √ KMO and Bartlett’s test of sphericity → Continue
How
三、调查问卷的信度
3.信度的分类
信度研究的是问卷测验结果的可靠性与 稳定性，可以从不同的角度来评价：
若用表示问卷测验的信度，理论应有
rXX
S
2 X
式 表SS中示TX22 实ST得或2 表分示r数X真X的实方1分差数SS；XE2的2 方差；
S
2 E
表示误差的方差。
三、How
3.1 调查问卷的效度检验 3.2 调查问卷的信度检验
How
三、调查问卷的效度检验
3.常用的效度指标
确定一个问卷效度的方法，通常是以 答卷者的问卷得分和另一个效度标准求相 关，以其相关系数的大小来表示效度。如 果相关系数高，则该问卷的效度就高。
Corrected Item-Total Correlation: 当前题目得 分与去掉当前题目问卷合计分的Pearson相关系数；
Squared Multiple Correlation:以当前题目为因 变量，其它所有题目为自变量求得的决定系数R2； Alpha if Item Deleted: 去掉当前题目后问卷的 Cronbach α系数。
（4）样本适宜且要预防流失。重视问卷 调查的回收率。样本容量一般不应低于 30；
（5）适当增加问卷的长度。增加问卷的 长度既可提高问卷的信度，也可以提高 问卷的效度，但增加问卷的长度对信度 的影响大于对效度的影响；
（6）排除无关因素干扰。认清并排除足 以混淆或威胁结论的无关干扰变量。
spss效度分析实例
3．效标效度
效标效度也称为准则关联效度、
经验效度、统计效度。效标效度是说明
问卷得分与某种外部准则（效标）间的
关联程度，用问卷测量得分与效度准则
之间的相关系数表示。
一般估计效标效度的主要方法有：
（1）相关法，即求某问卷分数与效标间 的相关，所得结果即效标效度。
（2）区分法，即看问卷分数是否可以区 分由效标所划分的团体。
二是统计分析法，即从同一内容总体 中抽取两套问卷，分别对同一组答卷者进 行测验, 两种问卷的相关系数就可用来估 计问卷的内容效度。
计算某个问题与去掉此问题后总得分 的相关性情况，分析是否需要被剔除（敏 感性分析）。
(2)结构效度
结构效度又称构想效度，是指问卷 对某一理论概念或特质测量的程度，即 某问卷测验的实际得分能解释某一特质 的程度。如果我们根据理论的假设结构， 通过问卷测验得到答卷者实际分数，经 统计检验，结果表明问卷能有效解释答 卷者该项特质，则说此问卷具有良好的 结构效度。
内容效度的评价主要通过经验判 断进行，通常考虑3方面的问题：
其一是项目所测量的是否真属于 应测量的领域；
其二是测验所包含的项目是否覆 盖了应测领域的各个方面；
其三是测验题目的构成比例是否 恰当。
常用的内容效度的评价方法有两种：
一是专家法，即请有关专家对问卷题 目与原来的内容范围是否符合进行分析,作 出判断，看问卷题目是否较好地代表了原 来的内容。
误差公理：实验结果都会有误差，误差
自始至终存在于一切科学实验的过程之中。
2.误差的种类(types of error)
（1）随机误差（random error） 随机误差是由不确定原因引起的，不可避
免和消除。 其偏离总体的方向不能确定。包 括随机测量误差和抽样误差。
随机测量误差（random measurement error） ：没有固定的倾 向，可使多次观测结果有大有小。
可以将“Alpha if Item Deleted”值，作
为调整题目的一个重要参考依据。
如果“Alpha if Item Deleted”值越大 ，其相对应的题目越应是首先考虑调整的题 目。从本次问卷结果敏感性分析可以看出， 量表的各个题目的“Alpha if Item Deleted”值均在0.97左右变化，且变化的 幅度很小。所以，就 “Alpha if Item Deleted”值这项指标看量表各题目均可以 保留，无需调整。这个结果可能与研究者所 采用的SCL-90量标是一个经典量表有关。
一般常用的效度指标有内容效度、结 构效度。
(1)内容效度
内容效度是指问卷内容的贴切性和代表
性,即问卷内容能否反应所要测量的特质，能
否达到测验目的，较好地代表所欲测量的内
容和引起预期反应的程度。内容效度常以题
目分布的合理性来判断，属于命题的逻辑分
析，所以，内容效度也称为“逻辑效度” 、
“内在效度”、“循环效度”。
（2）输出结果
SCL90各条目的敏感性分析结果:
Item
Scale
Scale Corrected
Mean Variance Item-
Alpha
if Item if Item
Total
if Item
Deleted Deleted Correlation Deleted
A1
31.7250 1272.7173 0.6397
例2 对例1中的问卷测验结果进行 效度分析
1．问卷的敏感性（可靠性）分析
（1）操作过程
从菜单选择Analyze → Scale → Reliability Analysis…→ Item（输入 问卷的各条目或各因子包含的条目）→ 单击“Statistics”按钮，弹出信度分析 统计量对话框 → Descriptives for: → √ Scale if item deleted →OK
（2）操作规范以减少误差；
（3）控制系统误差。它主要包括仪器不准， 题目和指导语有暗示性，答案安排不当(被 试可以猜测)等, 控制这些因素可以降低系 统误差, 提高效度；
6.效度的评价
如果满足以下5个条件就可以认为问卷有 效：
（1）问卷有内容效度和结构效度； （2）在问卷制定阶段应当请有关人员提出意
见，供修正和提高内容效度； （3）问卷经过反复使用证明了其可靠性；（
4）如果有标准存在，应以标准为准； （5）无标准时可由判别效度代替。
7.提高问卷效度的方法
效度是指问卷测验的准确性， 即测验能够反映所要测量特性的程度. 其包括两个方面的含义： 一是问卷测验的目的； 二是问卷对测量目标的测量精确度和真实性。 效度是一个具有相对性、连续性、间接性的 概念。
在测量理论中，效度被定义为在一系列测 量中，与测量目的有关的真变异数 ( 即有效变 异 ) 与总变异数之比：
摘 要 目的：探讨调查问卷的可靠 性。方法：对武警十五支队201名战士， 作心理卫生自评90项调查问卷资料，利 用SAS软件编程，计算Alpha可靠性系数， 进行可靠性分析。结果：有6项被剔除
达到要求后，α=0.973569，当使用标 准化数据时，α=0.974102。结论：利
用可靠性分析，可以从调查问卷表的数 据中，提取真实的、可靠性的成分。
调查问卷的信度与效度分析
一、why
效度？
信度？
1.误差公理
误差(error)是指对事物某一特征的度量
值偏离真实值的部分，即测定值与真实值之
差，样本统计量与总体参数之差。
没有一项研究推论能够达到百分之百的 真实。 No study is free of errors, the inferences are never perfectly valid.
可以运用t检验对先后两次问卷结果平 均分数进行差异性检验。若差异有统计学 意义，说明问卷是有效的；若差异无统计 学意义，说明问卷是无效的。
(4)判别效度
判别效标也称为辨别效标，是 指运用相同的问卷测定不同特质和 内涵，测量结果之间不应有太大的 相关性。
(5)聚合效度
聚合效度也称为收敛效度，是指 运用不同测量方法测定同一特质所 得结果的相似程度，即对同一特质 的两种或多种测定方法间应有较高 的相关性。
0.9742
I87 31.9250 1277.1481 0.6231
0.9736
I88 32.0500 1282.9718 0.6057
0.9737
J89
32.2000 1304.1641 0.0000
0.9741
I90 32.1750 1302.7122 0.1250
0.9741
一般地，在做问卷的敏感性分析时，
常用的确定结构效度的方法有：
(1)根据文献、前人研究结果、实际经验等建 立假设性理论建构； (2)对问卷题目进行分析。主要是分析问卷的 内容，答卷者对题目所作的反应，问卷题 目的同质性以及分项目之间的关系来判断 问卷的结构效度； (3)根据建构的假设性理论编制适当的问卷； (4)计算与同类权威问卷的相关; (5)以统计检验的实证方法去考查问卷是否能 有效解释所欲建构的特质。
抽样误差（sample error） ：由 于抽样造成的样本指标与总体指标 之间的差别。
（2）系统误差（systematic error）
是由于偏倚（使研究结果按照一个方 向偏离总体）产生的错误结果，可校正和 消除。
(3) 过失误差 是由于科研设计错误，或实 验者的主观片面、粗心大意引起的误差。必 须避免和剔除！
Scale if item deleted:去掉当前题目整个问卷的 描述统计量，即敏感性分析，包括以下内容： Scale Mean if Item Deleted:去掉当前题目问卷 合计分的均数；
Scale Variance if Item Deleted: 去掉当前题目 问卷合计分的方差；
rx2y
S
2 v
S
2 x
r2xy 表示测量的效度系数，Sv2 代表有效
变异数，Sx2 代表总变异数。
1.信度分析的意义
信度的定义
信度是用估计测量误差大小的尺度，来说明问 卷测验结果中测量误差所占的比率。
信度可定义为真实分数的方差与测验实得 分数 的方差之比，当实得分数变异可以全部 由真实分数的变异解释时，测验误差就是0， 这时问卷测验的信度为
0.9745
I7
31.9000 1279.0667 0.5320
0.9737
H8
31.5750 1255.1224 0.7590
0.9733
B9
31.2750 1259.2301 0.6572
0.9735
…………………………………………………………………..
E86
31.1750 1272.8147 0.3764
0.9736
E2
31.7500 1253.6282 0.8027
0.9732
B3
31.8250 1261.0712 0.7408
0.9734
A4
31.7500 1259.7821 0.7557
0.9733
D5
31.7000 1278.2667 0.3872
0.9740
C6
31.8250 1300.0455 0.0596
2．问卷的结构效度的分析
问卷的结构效度的评价较为复
杂，可用各个题目与量表各银子的相
关分析和因子分析方法来反映。
（1）利用相关分析评价问卷的结构 效度
从菜单选择Analyze →Scale
→Reliability
Analysis…→Item(输入问卷的各条
目或各因子包含的条目)
→Statistics弹出信度分析统计量对
问卷测验中测量误差通常来源于两个方 面：
一是产生于问卷测验过程中的误差，称 为测量误差（measurement Error），也称 为随机误差（random error）；
二是由问卷的结构质量造成的误差，称 为系统误差（system Error）。
二、what
效度 信度
2、效度的定义
话框 →Inter-Item → √
Correlations → OK
（2）利用因子分析评价问卷结构效度
因子分析不仅能够评价量表结 构的相合性，还可以用共性变异 （共性方差）与总变异之比作为结 构效度的衡量指标。结构效度的分 析最好使用证实性因子分析，它较 探索性因子分析更能说明问题。
执行Analyze → Data Reduction → Factor … ,弹出“Factor Analysis” 对话框:
单击Descriptives…→ Statistics → √ Initial Solution → Correlation Matrix → √ KMO and Bartlett’s test of sphericity → Continue
How
三、调查问卷的信度
3.信度的分类
信度研究的是问卷测验结果的可靠性与 稳定性，可以从不同的角度来评价：
若用表示问卷测验的信度，理论应有
rXX
S
2 X
式 表SS中示TX22 实ST得或2 表分示r数X真X的实方1分差数SS；XE2的2 方差；
S
2 E
表示误差的方差。
三、How
3.1 调查问卷的效度检验 3.2 调查问卷的信度检验
How
三、调查问卷的效度检验
3.常用的效度指标
确定一个问卷效度的方法，通常是以 答卷者的问卷得分和另一个效度标准求相 关，以其相关系数的大小来表示效度。如 果相关系数高，则该问卷的效度就高。
Corrected Item-Total Correlation: 当前题目得 分与去掉当前题目问卷合计分的Pearson相关系数；
Squared Multiple Correlation:以当前题目为因 变量，其它所有题目为自变量求得的决定系数R2； Alpha if Item Deleted: 去掉当前题目后问卷的 Cronbach α系数。
（4）样本适宜且要预防流失。重视问卷 调查的回收率。样本容量一般不应低于 30；
（5）适当增加问卷的长度。增加问卷的 长度既可提高问卷的信度，也可以提高 问卷的效度，但增加问卷的长度对信度 的影响大于对效度的影响；
（6）排除无关因素干扰。认清并排除足 以混淆或威胁结论的无关干扰变量。
spss效度分析实例
3．效标效度
效标效度也称为准则关联效度、
经验效度、统计效度。效标效度是说明
问卷得分与某种外部准则（效标）间的
关联程度，用问卷测量得分与效度准则
之间的相关系数表示。
一般估计效标效度的主要方法有：
（1）相关法，即求某问卷分数与效标间 的相关，所得结果即效标效度。
（2）区分法，即看问卷分数是否可以区 分由效标所划分的团体。
二是统计分析法，即从同一内容总体 中抽取两套问卷，分别对同一组答卷者进 行测验, 两种问卷的相关系数就可用来估 计问卷的内容效度。
计算某个问题与去掉此问题后总得分 的相关性情况，分析是否需要被剔除（敏 感性分析）。
(2)结构效度
结构效度又称构想效度，是指问卷 对某一理论概念或特质测量的程度，即 某问卷测验的实际得分能解释某一特质 的程度。如果我们根据理论的假设结构， 通过问卷测验得到答卷者实际分数，经 统计检验，结果表明问卷能有效解释答 卷者该项特质，则说此问卷具有良好的 结构效度。
内容效度的评价主要通过经验判 断进行，通常考虑3方面的问题：
其一是项目所测量的是否真属于 应测量的领域；
其二是测验所包含的项目是否覆 盖了应测领域的各个方面；
其三是测验题目的构成比例是否 恰当。
常用的内容效度的评价方法有两种：
一是专家法，即请有关专家对问卷题 目与原来的内容范围是否符合进行分析,作 出判断，看问卷题目是否较好地代表了原 来的内容。
误差公理：实验结果都会有误差，误差
自始至终存在于一切科学实验的过程之中。
2.误差的种类(types of error)
（1）随机误差（random error） 随机误差是由不确定原因引起的，不可避
免和消除。 其偏离总体的方向不能确定。包 括随机测量误差和抽样误差。
随机测量误差（random measurement error） ：没有固定的倾 向，可使多次观测结果有大有小。
可以将“Alpha if Item Deleted”值，作
为调整题目的一个重要参考依据。
如果“Alpha if Item Deleted”值越大 ，其相对应的题目越应是首先考虑调整的题 目。从本次问卷结果敏感性分析可以看出， 量表的各个题目的“Alpha if Item Deleted”值均在0.97左右变化，且变化的 幅度很小。所以，就 “Alpha if Item Deleted”值这项指标看量表各题目均可以 保留，无需调整。这个结果可能与研究者所 采用的SCL-90量标是一个经典量表有关。
一般常用的效度指标有内容效度、结 构效度。
(1)内容效度
内容效度是指问卷内容的贴切性和代表
性,即问卷内容能否反应所要测量的特质，能
否达到测验目的，较好地代表所欲测量的内
容和引起预期反应的程度。内容效度常以题
目分布的合理性来判断，属于命题的逻辑分
析，所以，内容效度也称为“逻辑效度” 、
“内在效度”、“循环效度”。
（2）输出结果
SCL90各条目的敏感性分析结果:
Item
Scale
Scale Corrected
Mean Variance Item-
Alpha
if Item if Item
Total
if Item
Deleted Deleted Correlation Deleted
A1
31.7250 1272.7173 0.6397
例2 对例1中的问卷测验结果进行 效度分析
1．问卷的敏感性（可靠性）分析
（1）操作过程
从菜单选择Analyze → Scale → Reliability Analysis…→ Item（输入 问卷的各条目或各因子包含的条目）→ 单击“Statistics”按钮，弹出信度分析 统计量对话框 → Descriptives for: → √ Scale if item deleted →OK