市场调查方法与技术第6章

三、认知访谈法
❖ 局限性
▪ 得到的是定性信息 ▪ 依赖受访者的口头报告 ▪ 依赖于非标准化的访谈过程,可靠度还有待进一步评估
本章结构
1. 前测试问卷评估法 2. 预调查和行为编码法 3. 信度与效度分析
预调查和行为编码法
❖ 预调查测试
▪ 正式开展调查之前进行的小规模“演习”,是问卷设计流程中的重要 环节,目的是对可行性标准和认知标准进行评估
▪ 根据两份问卷的测量结果的相关系数计算问卷信度 ,该种信度称为交错信度。
▪ 该种方法要求两份问卷在题数、形式、内容以及难 度、鉴别度等方面都要一致。
二、信度评估
❖ 用SPSS进行交错法评估信度的操作：
▪ 选择【分析】→【相关】→【双变量】，将变量选 入【变量】框，再勾选相应的相关系数选项。如果 是连续型变量，则勾选【Pearson】相关系数；如 果是分类型变量，【Spearman】等级相关系数。 最后点击【确定】按钮。
第6章 调查问卷的测试与评估
本章结构
1. 前测试问卷评估法 2. 预调查和行为编码法 3. 信度与效度分析
前测试问卷评估法
❖ 专家评审法 ❖ 受访者焦点小组法 ❖ 认知访谈法
一、专家评审法
❖ 研究内容角度
▪ 问卷问题是否符合研究目的,是否满足研究者的需求
❖ 受访者认知角度
▪ 问题的措辞、结构、顺序以及回答的选项等,标出引起 歧义的词语、含糊不清的概念以及回答困难的题目
二、信度评估
❖ 信度评估 ▪ 重复检验法 ▪ 交错法 ▪ 折半法 ▪ 内部一致性
二、信度评估
❖重复检验法(test-retest reliability)
▪ 通过同一测量手段对同一群受访者前后测量两次, 再根据两次测量的相关系数测度信度
▪ 例如,对一群人进行问卷调查后,隔一段时间再用同 一份问卷对同一群受访者进行调查,两次测量结果 之间的相关系数就反映问卷的信度
一、对访员和受访者的行为进行编码
❖ 受访者和访员行为问题编码的可能原因
问题 访员读题有误 打断 访员追问(或不适当的答案)
要求澄清
可能问题 措辞不流畅 访员发现冗余或不合语境的措辞 在提问时发现有漏词 题干后面有多余的从句 受访者没有意识到还会有回答选项 题意不清 含糊、未定义的术语 含糊的回答任务 题序混乱,受访者无法回忆起前面的回答选项 含糊、未定义的术语 含糊的回答任务 题序欠佳,因此受访者无法回忆起回答选项
三、认知访谈法
❖ 追问探寻法
▪ 理解阶段:请问您在回答本题时认为生活费都包括哪些 项目?
▪ 记忆检索阶段:请问您是如何计算出结果,是按年计算、 按月计算还是按天计算乘以30,抑或是其他方法？
▪ 筛选判断:请问您认为旅游费用包含在生活费中吗?您觉 得您的记忆准确吗？
▪ 做出回答:您是否确定您的回答呢?如果10分表示完全 确定,0分表示完全不确定,请问您给出几分？
▪ 优点是可以提供有关测量结果是否随时间而变异的 资料
▪ 缺点是受时间和经费的限制,现实中往往难以实现
二、信度评估
❖ 用SPSS进行评估重测信度的操作：
▪ 当变量是数值型变量或顺序变量时，选择【分析】 →【度量】→【可靠性分析】，将变量选入【项目 】框。点击【统计量】按钮，勾选【类内相关系数 】，点击【继续】。最后点击【确定】按钮。
▪ 当变量是分类型变量时，选择【分析】→【描述统 计】→【交叉表】，将两次的变量分别选入【行】 框和【列】框。点击【统计量】按钮，勾选【 Kappa】，点击【继续】。最后点击【确定】按钮 。
二、信度评估
❖交错法(alternate-form reliability)
▪ 指研究者设计两份问卷,每份使用不同的问题,但测 量的是同一个属性,让同一群受访者回答
❖ 主要用于问卷设计初期的问题评审
二、受访者焦点小组法
▪ 如询问人们观看艺术表演的频率，受访者不确定偶遇的艺术表演 是否属于“观看艺术表演”，很难给音乐活动进行分类
❖ 明确受访者对调查主题和相关概念的理解
▪ 询问去年观看古典音乐表演的情况,以及对古典音乐表演的理解
❖ 了解受访者在该主题使用的相关术语,检查问题的 用词和描述是否有歧义、模糊、不准确的情况
❖ 收集受访者的回答信息进行定量分析 ❖ 收集访员和受访者反馈的关于调查和问卷的信息,比如印
刷错误、错误的跳答指示等
一、对访员和受访者的行为进行编码
❖ 访问行为编码表样例
A.访员读题
B.访员重复问题 C.访员追问 D.受访者打断 E.受访者要求澄清
F.受访者回答
1.正确
2.访员读题时稍做改动,但没有改变题意。例如访员漏读了“这个”
二、访员的问题评价表
❖ 访员的问题评价表样例
问题编号
Q1 Q2 Q3 Q4 Q5 Q6 Q7
逐字读题 有困难 A B A A C A A
受访者有 理解问题
A A B A C A A
受访者有 作答困难
A A A A B B A
其他问题 (请注明)
备注
本章结构
1. 前测试问卷评估法 2. 预调查和行为编码法 3. 信度与效度分析
▪ 请参与讨论者提供一些观看古典音乐表演的例子。讨论哪些算古 典音乐,哪些不算古典音乐。
❖ 了解受访者回答问题的主观意愿和难度
三、认知访谈法
❖ 由访问者根据设计的问题对有偿志愿者进行一对 一个人访谈,探索性地了解受访者对问题的理解并 试图了解他们组织答案的过程
❖ 有声思维法
▪ 你是怎么得出这个答案的? ▪ 告诉我你是怎么想的? ▪ 你在回答问题前犹豫了一会,当时在想什么? ▪ 你觉得这个问题回答起来比较容易还是困难,为什么?
信度和效度分析
❖ 前面介绍的问卷评估方法不能反映被识别出来的 问题对数据质量和调查估计结果的量化影响，本 节将介绍如何通过信度和效度来评价问卷设计质 量，尤其是对量表的评价。
一、信度和效度
❖ 信度（Reliability）是指问卷调查结果的一致性、 稳定性、可靠性。
❖ 效度(Validity)是指问卷能否真正测量到所要测量 的东西，也就是能否达到测量的目的，是否正确 衡量了研究者所要了解属性的程度。
3.访员读题时做了较大改动,改变了题意。例如访员没有按要求读出选项
1.没有
2.他追问技术获得答案
0.没有
1.受访者在读完问题前就给出答案 1.受访者不知道词意,要求澄清
0.没有 0.没有
1.给出适当回答
2.给出高质量回答
3.给出不适当回答
4.回答不知道 5.拒绝回答