调查问卷的信度与效度

ppt
29
在测量理论中，效度被定义为在一系列测量中，
与测量目的有关的真变异数 ( 即有效变异 ) 与总
变异数之比：
rx2y

S
2 v
S
2 x
r2xy 表示测量的效度系数，Sv2 代表有效 变异数，Sx2 代表总变异数。
ppt
30
确定一个问卷效度的方法，通常是以 答卷者的问卷得分和另一个效度标准求相 关，以其相关系数的大小来表示效度。如 果相关系数高，则该问卷的效度就高。
获得各相关方面的认可 预先测试及修订 准备问卷 实施
培训可能会占用你一些的时间和精力， 但是想要调研的准确和真实，对于访问 实施相关方面的培训必不可少！
• 问卷的印刷或编程
• 调研实施
• 调研说明：给代理公司明确的项目调研目的，配额， 时间，访问条件，抽样说明，访问要求等文字化的说 明
• 访问员培训说明：访谈要点，接触方式，配额，工作 记录表（接触情况，复核情况）
Reliability and Validity
ppt
19
误差(error)是指对事物某一特征的度量 值偏离真实值的部分，即测定值与真实值之 差，样本统计量与总体参数之差。
没有一项研究推论能够达到百分之百的 真 实 。 No study is free of errors, the inferences are never perfectly valid.
抽样误差（sample error） ： 由于抽样造成的样本指标与总体 指标之间的差别。
ppt
22
是由于偏倚（使研究结果按照一个方 向偏离总体， bias）产生的错误结果，可 校正和消除。
(3) 过失误差（gross error)是由于科研 设计错误，或实验者的主观片面、粗心大意 引起的误差。必须避免和剔除！
其三是测验题目的构成比例是否 恰当。
ppt
33
常用的内容效度的评价方法有两种：
一是专家法，即请有关专家对问卷题 目与原来的内容范围是否符合进行分析,作 出判断，看问卷题目是否较好地代表了原 来的内容。
二是统计分析法，即从同一内容总体 中抽取两套问卷，分别对同一组答卷者进 行测验, 两种问卷的相关系数就可用来估 计问卷的内容效度。
建议
ppt
3
问卷设计
问卷内容
问卷形式
要收集 的信息
问题的 类型
问题的 内容
问题的 语言
问题的 顺序
问题的 编码
问卷版 面布局
预调研
修改及定 稿
ppt
4
ppt
5
确定调研目的、来源和局限 确定数据收集方法 确定问题回答形式 确定问题的用词
确定问卷的流程和编排 评价问卷和编排
获得各相关方面的认可 预先测试及修订 准备问卷 实施
• 通话记录
ppt
17
ppt
18
Main Content
一、 Questionnaire Validity 二、 Example of Validity 三、 Questionnaire Reliability 四、 Example of Reliability 五、 The correlation between
问卷的准确性或称为有效性是用问卷 的效度加以刻划的，它反映了对问卷的系 统误差的控制程度。
ppt
28
效度是指问卷测验的准确性，即测验 能够反映所要测量特性的程度.
其包括两个方面的含义：一是问卷测 验的目的；二是问卷对测量目标的测量精 确度和真实性。效度是一个具有相对性、 连续性、间接性的概念。
• 调研目标确认后，要考虑从谁那里获得数据。也就是要明确 访问的对象，不同的访问对象回答哪些不同的问题。
• 调研局限包括来自被访者、访问员、预算、时间等。
ppt
7
确定调研目的、来源和局限 确定数据收集方法 确定问题回答形式 确定问题的用词
确定问卷的流程和编排 评价问卷和编排
获得各相关方面的认可 预先测试及修订 准备问卷 实施
ppt
23
问卷测验中测量误差通常来源于两个方 面：
一是产生于问卷测验过程中的误差，称 为测量误差（measurement Error），也称 为随机误差（random error）；
二是由问卷的结构质量造成的误差，称 为系统误差（system Error）。
measurement Error
ppt
1
ppt
2
询问目标
应答者的信息
问卷 访问实施
问卷在询问调研过 程中起到了非常重 要的翻译作用，是 关键工具。
数据采集和录入
数据处理
数据分析
调研结果
问卷的作用 在需要对受访人进行
询问的市场调研中： 提供了标准化和统一
化的数据收集程序 保证每个受访者看到
或听到相同的文字和 问题 保证访问人员的问题 询问一致 ……
• 调研需求一般来自市场部经理、品牌经理或新产品开发部门， 因为在决策过程中所需信息不足而发起。调研目的要提供委 托方的所需的市场信息，帮助他们解答市场疑惑。因此，前 期的沟通要充分、问题确认清晰。
• 调研目标确认后，要考虑从谁那里获得数据。也就是要明确 访问的对象，不同的访问对象回答哪些不同的问题。
• 询问原因 • 描述感受 • 补充 • 开放式问题的提问规范 • 追问（三次） • 逐字记录 • 归类和编码
优点： 信息丰富 封闭题的补充 了解受访者的真实反应
缺点： 不容易处理 编码费时费力 容易受访问人员的影响 容易忽略内向的受访者
封闭题 • 封闭题的作用
• 了解不同类型的分布 • 找到主要特征 • 量化程度和评价
1.甄别部分
2.以非敏感、并能引起兴趣的问题开始
3.先问一般问题 4.需要思考的问题放中间
主体问卷 • 逻辑关系 • 不同类型用户 的区分 • 跳转提示
5.敏感问题放在主体问卷的后面
6.人口统计学信息
ppt
11
确定调研目的、来源和局限 确定数据收集方法 确定问题回答形式 确定问题的用词
确定问卷的流程和编排 评价问卷和编排
深度访问 街头拦截
不同类型的访 问方法对应的 问卷形式有很
大差异
面访
定点拦截
ຫໍສະໝຸດ Baidu
入户访问
神秘顾客访问 电话访问
ppt
8
确定调研目的、来源和局限 确定数据收集方法 确定问题回答形式 确定问题的用词
确定问卷的流程和编排 评价问卷和编排
获得各相关方面的认可 预先测试及修订 准备问卷 实施
开放题 •开放式问题的作用
辑效度” (logical validity)、“内在效度
（intrinsic Validity）”、“循环效度
（circular validity）”。
ppt
32

内容效度的评价主要通过经验判 断进行，通常考虑3方面的问题：
其一是项目所测量的是否真属于 应测量的领域；
其二是测验所包含的项目是否覆 盖了应测领域的各个方面；
确定问卷的流程和编排 评价问卷和编排
获得各相关方面的认可 预先测试及修订 准备问卷 实施
1.用词必须清楚 • 说明调查 • 描述清晰，统一的基准和指代，不要使被访问人的回答建立 在他自己的理解之上 • 避免专业词汇 • 每个受访问人代表独立的参考构架 • 避免一个句子中出现两种以上的问题
2.避免引导式的问题
4.问卷样式要统一 • 公司标志，封面 • 统一的格式 • 字体字号的一致
4.敏感•问选题择放项在不主要体跨问两卷个的页后面面 • 着重标志
ppt
12
确定调研目的、来源和局限 确定数据收集方法 确定问题回答形式 确定问题的用词
确定问卷的流程和编排 评价问卷和编排
获得各相关方面的认可 预先测试及修订 准备问卷 实施

误差公理：实验结果都会有误差，误差
自始至终存在于一切科学实验的过程之中。
ppt
20
（1）随机误差（random error） 随机误差是由不确定原因引起的，不可避
免和消除。 其偏离总体的方向不能确定。包 括随机测量误差和抽样误差。

ppt
21
随机测量误差（random measurement error） ：没有固定的倾 向，可使多次观测结果有大有小。
ppt
26
效度（validity）通常是指问卷的 有效性和正确性，亦即问卷能够测量出 其所欲测量特性的程度。
对于一个标准测验来说，效度比信 度更为重要。
27
ppt
效度是问卷调查研究中最重要的特征， 问卷调查的目的就是要获得高效度的测量 与结论，效度越高表示该问卷测验的结果 所能代表要测验的行为的真实度越高，越 能够达到问卷测验目的，该问卷才正确而 有效。
一般常用的效度指标有内容效度、结构 效度。
ppt
31

内容效度是指问卷内容的贴切性
（relevance）和代表性
（representativeness）,即问卷内容能否反
应所要测量的特质，能否达到测验目的，较好
地代表所欲测量的内容和引起预期反应的程度。
内容效度常以题目分布的合理性来判断，属于
命题的逻辑分析，所以，内容效度也称为“逻
• 试访和修订
• 研究员亲自试访问，获得亲身体会
• 执行人员对于陌生受访者的访问，获得现场实施方面 的反馈意见
• 时间和预算允许的范围内，最好进行预调研，了解全 面实施后的总体情况
ppt
16
确定调研目的、来源和局限 确定数据收集方法 确定问题回答形式 确定问题的用词
确定问卷的流程和编排 评价问卷和编排
ppt
13
确定调研目的、来源和局限 确定数据收集方法 确定问题回答形式 确定问题的用词
确定问卷的流程和编排 评价问卷和编排
获得各相关方面的认可 预先测试及修订 准备问卷 实施
ppt
14
确定调研目的、来源和局限 确定数据收集方法 确定问题回答形式 确定问题的用词
确定问卷的流程和编排 评价问卷和编排
计算某个问题与去掉此问题后总得分 的相关性情况，分析是否需要被剔除（敏 感性分析）。
ppt
34
结构效度又称构想效度，是指问卷 对某一理论概念或特质测量的程度，即 某问卷测验的实际得分能解释某一特质 的程度。如果我们根据理论的假设结构， 通过问卷测验得到答卷者实际分数，经 统计检验，结果表明问卷能有效解释答 卷者该项特质，则说此问卷具有良好的 结构效度。
reliability
system Error
validity

ppt
24
The validity of a questionnaire
25
ppt
The question of validity is how far can we be sure that a measure really does reflect the concept to which it is supposed to be referring.
优点： 操作方便，便于数据处理 无倾向，不受被访问人的 性格影响 不受访问人员的影响
• 封闭题的提问规范
缺点：
• 避免引导 • 选项要尽量全面 • 描述简单清晰 • 单选和多选的设计要慎重
必须进行预先的研究 选项范围的确定 容易产生次序误差 访问程序要规范 必须对访问人员培训
ppt
9
确定调研目的、来源和局限 确定数据收集方法 确定问题回答形式 确定问题的用词
获得各相关方面的认可 预先测试及修订 准备问卷 实施
ppt
15
确定调研目的、来源和局限 确定数据收集方法 确定问题回答形式 确定问题的用词
确定问卷的流程和编排 评价问卷和编排
获得各相关方面的认可 预先测试及修订 准备问卷 实施
• 内部确认，获得其他同事的意见和建议 • 委托方确认，获得客户的反馈，必要的时候进行讲解
获得各相关方面的认可 预先测试及修订 准备问卷 实施
1.问卷时间是否过长 • 面访控制在30分钟以内 • 电话访问控制在15分钟以内 • 深度访问控制在1小时左右
2.是否回答了研究目标所需的问题，问题是否必要
3.不同类型问卷的形式和外观 • 面访：提示卡 • 电话访问：访问员注意事项和CATI用问卷的形式要强 调跳转关系 • 深度访问中问卷的样式不重要，对于访问人员的要求 很高
3.考虑被访问人的回答能力 • 认知和感受的关联 • 记忆内容和时间效应
4.考虑被访问人的回答意愿 • 第三人称方式提问 • 对等误差表达
ppt
10
确定调研目的、来源和局限 确定数据收集方法 确定问题回答形式 确定问题的用词
确定问卷的流程和编排 评价问卷和编排
获得各相关方面的认可 预先测试及修订 准备问卷 实施
• 调研局限包括来自被访者、访问员、预算、时间等。
ppt
6
确定调研目的、来源和局限 确定数据收集方法 确定问题回答形式 确定问题的用词
确定问卷的流程和编排 评价问卷和编排
获得各相关方面的认可 预先测试及修订 准备问卷 实施
• 调研需求一般来自市场部经理、品牌经理或新产品开发部门， 因为在决策过程中所需信息不足而发起。调研目的要提供委 托方的所需的市场信息，帮助他们解答市场疑惑。因此，前 期的沟通要充分、问题确认清晰。