市场调查的质量控制与评估
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
— 88 —
quation Model) 等技术 , 通过检验与数据的相符水平 , 对 包括多个不同变量的总体测量方法的质量进行判断 。 四 、抽样设计误差
1. 抽样框误差 抽样框确定的准确是保证样本质量的前提 , 造成抽 样框误差的原因一般是丢失了目标总体单位 , 或包含非 目标总体单位 。抽样框的质量可以用抽样框完备度这一 指标估计 , 抽样框完备度越高 , 抽样框质量越好 , 越有 利于降低误差 。 2. 抽样方法误差 抽样方法的选择对调查结果的质量高低有着决定性 的作用 。各种抽样方法大致可以归结为两类 : 等概率抽 样与非等概率抽样 。等概率抽样包括简单随机抽样 、阶 段随机抽样 、分层随机抽样 、系统抽样 、整群抽样等 , 非等概率抽样包括随意抽样 、配额抽样 、方便或偶遇抽 样 、立意抽样或判断抽样 、雪球抽样等 。 等概率抽样的调查结果可以推断总体参数 , 而且可 以做出精确的抽样误差估计 , 具有较高的外在效度 , 因 而具有较高的使用价值 。非等概率抽样结果则不能进行 精确的抽样误差计算 , 外在效度较低 , 所以不具有推断 总体参数的价值 , 使用时应该特别谨慎 。在可能的情况 下 , 应该尽量采用等概率抽样方法 , 只有在受到客观条 件限制 , 无法进行等概率抽样的情况下才采用非等概率 抽样方法替代 。 由于不适当的抽样方法而导致调查结果失败的最著 名案例要算美国《文摘》杂志 1936 年对总统选举进行预 测的调查 , 这次调查用了 200 万份问卷 , 可以说是一个 巨型样本 。调查结果预测候选人兰登会获胜当选总统 , 结果当选的却是罗斯福 。造成这次调查失败的原因就在 于抽样方法的不当 。这次调查是根据电话簿和汽车登记 簿确定样本名单的 , 由于当时美国处于经济萧条时期 , 电话和汽车的拥有率并不很高 , 因此得到的是一个非等 概率样本 , 这是导致调查失败的根本原因 。可见如果抽 样方法不当 , 样本数量再大也不能保证调查结果的正确 。 3. 无回收样本偏倚 较低的回收率也是产生偏差的主要原因 , 其危害不 在于减少了样本的容量 , 样本容量问题可以通过增大设 计的样本容量而很容易地得到解决 , 较低的回收率的危 害在于有可能造成样本的偏倚 。因为无回收不是一个随 机过程 , 对于不同的研究项目 , 无回收样本会有各自不 同的分布形态 (Oppenheim , 1996) 。一个随机样本如果无 回收率过高 , 那么实际上就成了非随机样本了 , 也就降 低了调查结果的外在效度 , 因此在调查实施过程中应该 尽量降低无回收率 。 影响回收率的因素很多 , 如访谈员的素质 , 调查内 容的敏感程度 , 调查方法的适合程度 , 目标群体的特征 等等 。但在其他各种条件相同的情况下 , 给调查对象提 供一定价值的礼品或货币报酬无疑可以降低拒访率 。因 此这方面的投入是十分必要的 , 不能一味地追求降低成 本而忽略这方面的投入 , 以免影响调查的质量 。
通过计算 Cronbachπsα系数可以对变量组的信度进行 评估 , 该系数的取值范围在负无穷大和 + 1 之间 , 越接近 + 1 表明变量组的信度越高 。如果为负数 , 表明存在着反 向记分的变量 , 应该进行编码分数转换 , 然后从新的计 算 。如果系数较低 , 表明该组变量所测量的并不是同一 个概念 , 因此必须重新对其进行调整 。
另外根据具体情况 , 其他一些对建构效度进行检验 的方法也是可以采用的 , 如模式匹配 ( Pattern Matching) 方法 。这种方法较 MTMM 方法更为实用 , 因为它不需要 同时采用多种测量方法 。模式匹配方法还可以对某项调 查研究所包含的各个部分做出总体的建构效度评估 , 而 不仅仅局限于对某一特定概念测量的效度评估 。
测量误差可以说是调查误差的最主要来源 , 概念操 作化的不准确 , 问题文字表述的不清楚 , 不适当的测量 方法造成的偏差等都是调查误差的重要来源 。
设计测量工具 (如调查问卷 、量表等) 首先要对概
— 87 —
© 1995-2005 Tsinghua Tongfang Optical Disc Co., Ltd. All rights reserved.
第 23 卷 第 2 期 2004 年 4 月
工业技术经济
Vol123 , No12 总第 132 期
市场调查的质量控制与评估
苗兴状
〔摘 要〕 分析了存在于市场调查各个环节的误差 , 阐述了对决定调查质量的各种效度和信度进 行检验的方法 , 提出了对具体市场调查项目的综合质量进行定量评估的量表 。
市场调查研究的误差就是在这一理论 ———经验 ——— 理论的转化过程中产生的 , 无论是从理论到经验的操作 化过程 , 还是从经验到理论的归纳过程都存在着大量的 产生偏差的机会 , 这些偏差的大小是通过效度和信度来 衡量的 , 可见市场调量的质量就体现在效度和信度两个 方面 , 提高市场调查的质量实质就是设法提高调查的效 度和信度 。
对于调查的建构效度的判断也是必需的 。是否具有 足够的建构效度是衡量一项调查研究是否具有价值的关 键 , 它决定了是否可以从测量得到的具体数据上升为一 般性的结论 。对建构效度的检验包括了对聚合效度和判 别效度两个方面的检验 。如果测量同时采用了多种不同 的方 法 , 那 么 还 可 以 采 用 多 变 量 —多 方 法 矩 阵 MTMM (Multi2trait Multi2method) 对建构效度进行检验 , 当然这种 方法施行起来难度更大了 , 因为要求采用多种测量方法 , 成本会更高 , 不过有时可以采用其修正的方法 。
在调查方案总体设计阶段 , 首先应该明确地界定分 析的基本单位 , 根据不同的研究目的 , 分析单位的差别 很大 , 大到一个地区 、国家 , 也可以是一个组织 , 小到 个人或个人的某一方面或某一特定的阶段 。市场调查的 分析单位是个人的情况很多 , 尤其是在消费者研究中 , 但有时也以家为分析单位 。确定明确的分析单位是保证 调查质量的前提 , 例如我们研究住房消费与收入的相关 程度 , 如果以家庭为分析单位一般会得到比以个人为分 析单位更高的相关 。
提高测量效度和信度的有效办法是使用多重变量测 量方法 , 即用多个变量对同一概念进行测量 。因为单一 变量往往具有较大的特异性 , 与所测量的概念相关程度 较低 , 而且可能与其他概念有更密切的联系 , 所以容易 形成较大的测量误差 (Churchill , 1979) 。采用多重变量可 以使由于单一变量的特异性造成的偏差互相抵消 , 从而 达到均衡 。对于变量的选择 , 如果使用陈述分拣排序技 术 (Q2sort technology) , 通过因子分析 , 无疑会大幅度地 提高效度和信度 。
除了建构效度 , 还应该对准则效度及其相关的如预 测效度进行检验 , 看利用得到的结果是否可以有效地预 测外部变量 。此项评估的前提是能够准确地确定与所测 量的变量存在明确的逻辑关系的外部变量 , 这在某些项 目的研究中是很困难的 。
如果能够采用某种确证方法对调查结果进行确证 , 那么对所使用的测量方法会有更大的把握 。如可以采用 基于对协方差的分析的结构方程模型 SEM ( Structural E2
〔关键词〕 市场调查 效度 信度 质量 评估
随着我国经济的市场化程度的不断提高 , 竞争日趋 激烈 , 企业经营过程中必须更加准确地把握市场动态 , 因而对市场调查的依赖程度越来越高 。但由于市场调查 包含了调查设计 、抽样方法确定 、调查实施 、统计分析 等较多的环节 , 所以更容易出现质量问题 , 即使是在开 展市场调查时间较长 , 技术比较成熟的一些西方国家 , 调查质量仍然是一个棘手的问题 。例如 Cote 和 Buckley 曾 经对 64 个调查研究项目进行分析 , 发现可以被所测量的 变量解 释 的 实 际 观 测 方 差 不 足 50 % ( Cote & Buckley , 1987) 。所以他们告戒 , 在仅仅根据经验资料进行理论推 断时应特别谨慎 , 除非对搜集数据的方法的合理性有充 分的把握 (Cote & Buckley , 1988) 。
Selltiz 等给测量方法的效度下的定义为 : 一种测量方 法所测出的分数的差异反映出所要测量的特征上的真正 区别 , 而不 是 反 映 恒 定 的 或 偶 然 的 误 差 ( Selltiz 1976) 。 这里包含了两个方面的含义 , 首先是测量方法实际上正 在测量的的确就是所要测量的概念 , 而不是别的什么 ;
第 23 卷 第 2 期 2004 年 4 月
工业 132 期
念进行操作化 , 也就是将抽象的概念具体化为可以进行 测量的操作定义 , 这一过程包含了涉及到表面效度和内 容效度的误差 , 也就是对概念的操作化是否准确 。提高 对概念把握的准确程度 , 需要尽可能多地参考已有的相 关理论研究文献 , 听取该研究领域专家的意见 , 最好能 够采用德尔菲法 (Delphi) 。
© 1995-2005 Tsinghua Tongfang Optical Disc Co., Ltd. All rights reserved.
其次是该概念可以得到准确的测量 , 而不会产生太大的 误差 。
D. 贝利给信度 ( reliability) 下的定义是 : 信度就是 测量前后的一致性 。Goetz 等认为信度就是一项研究在多 大程度上具有可重复性 ( Goetz & LeCompte , 1984) 。例如 对某个被试的某种态度进行前后两次测量 , 如果该被试 的态度并没有发生变化 , 那么如果所用的量表是具有较 高信度的 , 两次得到的结果应该是相同的 , 可见信度实 际上也就是测量方法在时间上的稳定性 。一种测量手段 只有具有较高的信度 , 其结果才具有参考价值 。 二 、调查方案总体设计误差
如果 可 能 的 话 , 最 好 使 用 测 试 ———再 测 试 ( test2 retest) 方法对信度进行验证 , 这种方法需 使用同一测量 工具对同一被试对象在不同的时间进行两次测量 , 如果 两次测量的结果具有较高的相关度 , 表明该测量方法具 有较高的信度 。该方法由于各种客观条件的限制 , 实行 起来经常有一定的困难 , 而且时间间隔要把握适度 。
如果分析单位不是个人而是组织 , 那么确定合适的 被访对象就成为一个很重要的问题 , 如果选择了该组织 中对其信息掌握不全面或对该组织可能怀有偏见的人为 被访者 , 那么得到的数据会有较大的偏差 。所以应该尽 量选择组织中对其了解比较全面而且没有明显的理由对 其组织抱有偏见的成员为被访对象 。
另外对于同一种现象的研究 , 多种并行的研究方法 和多种数据来源的使用可以明显地提高研究的效度和信 度 (Borg & Gall , 1989 ; LeCompte & Goetz , 1982) , 例如使 用问卷调查数据的同时使用从文献获得的统计数据 , 使 用访问调查法的同时使用观察法等 。在研究方案的设计 中 , 只要条件允许 , 应考虑同时采用多种研究方法 。 三 、测量工具设计误差
鉴于这种情况 , 有必要对市场调查过程中各个环节 的误差及质量控制问题进行一些探讨 , 并探索如何对一 项已经完成的调查项目的质量进行定量的评估 。 一 、效度与信度 : 市场调查质量的核心
市场调查作为一种特定的经验研究方法包括了两个 层面 , 即操作化的经验层面和作为待检验的理论建构层 面 。调查的实质是通过对理论层面的抽象概念的可操作 化 , 通过特定的测量方法取得经验数据 , 然后对取得的 经验数据进行整理分析 , 根据分析结果使理论假设得到 证实或修正 。可见市场调查研究是一个从理论层面到经 验层面 , 再从经验层面回到理论层面的过程 , 因为调查 如果只停留在经验层面 , 其指导市场行为的价值就很小 , 尤其是在解释性研究中 , 最终必须回到理论层面 。
quation Model) 等技术 , 通过检验与数据的相符水平 , 对 包括多个不同变量的总体测量方法的质量进行判断 。 四 、抽样设计误差
1. 抽样框误差 抽样框确定的准确是保证样本质量的前提 , 造成抽 样框误差的原因一般是丢失了目标总体单位 , 或包含非 目标总体单位 。抽样框的质量可以用抽样框完备度这一 指标估计 , 抽样框完备度越高 , 抽样框质量越好 , 越有 利于降低误差 。 2. 抽样方法误差 抽样方法的选择对调查结果的质量高低有着决定性 的作用 。各种抽样方法大致可以归结为两类 : 等概率抽 样与非等概率抽样 。等概率抽样包括简单随机抽样 、阶 段随机抽样 、分层随机抽样 、系统抽样 、整群抽样等 , 非等概率抽样包括随意抽样 、配额抽样 、方便或偶遇抽 样 、立意抽样或判断抽样 、雪球抽样等 。 等概率抽样的调查结果可以推断总体参数 , 而且可 以做出精确的抽样误差估计 , 具有较高的外在效度 , 因 而具有较高的使用价值 。非等概率抽样结果则不能进行 精确的抽样误差计算 , 外在效度较低 , 所以不具有推断 总体参数的价值 , 使用时应该特别谨慎 。在可能的情况 下 , 应该尽量采用等概率抽样方法 , 只有在受到客观条 件限制 , 无法进行等概率抽样的情况下才采用非等概率 抽样方法替代 。 由于不适当的抽样方法而导致调查结果失败的最著 名案例要算美国《文摘》杂志 1936 年对总统选举进行预 测的调查 , 这次调查用了 200 万份问卷 , 可以说是一个 巨型样本 。调查结果预测候选人兰登会获胜当选总统 , 结果当选的却是罗斯福 。造成这次调查失败的原因就在 于抽样方法的不当 。这次调查是根据电话簿和汽车登记 簿确定样本名单的 , 由于当时美国处于经济萧条时期 , 电话和汽车的拥有率并不很高 , 因此得到的是一个非等 概率样本 , 这是导致调查失败的根本原因 。可见如果抽 样方法不当 , 样本数量再大也不能保证调查结果的正确 。 3. 无回收样本偏倚 较低的回收率也是产生偏差的主要原因 , 其危害不 在于减少了样本的容量 , 样本容量问题可以通过增大设 计的样本容量而很容易地得到解决 , 较低的回收率的危 害在于有可能造成样本的偏倚 。因为无回收不是一个随 机过程 , 对于不同的研究项目 , 无回收样本会有各自不 同的分布形态 (Oppenheim , 1996) 。一个随机样本如果无 回收率过高 , 那么实际上就成了非随机样本了 , 也就降 低了调查结果的外在效度 , 因此在调查实施过程中应该 尽量降低无回收率 。 影响回收率的因素很多 , 如访谈员的素质 , 调查内 容的敏感程度 , 调查方法的适合程度 , 目标群体的特征 等等 。但在其他各种条件相同的情况下 , 给调查对象提 供一定价值的礼品或货币报酬无疑可以降低拒访率 。因 此这方面的投入是十分必要的 , 不能一味地追求降低成 本而忽略这方面的投入 , 以免影响调查的质量 。
通过计算 Cronbachπsα系数可以对变量组的信度进行 评估 , 该系数的取值范围在负无穷大和 + 1 之间 , 越接近 + 1 表明变量组的信度越高 。如果为负数 , 表明存在着反 向记分的变量 , 应该进行编码分数转换 , 然后从新的计 算 。如果系数较低 , 表明该组变量所测量的并不是同一 个概念 , 因此必须重新对其进行调整 。
另外根据具体情况 , 其他一些对建构效度进行检验 的方法也是可以采用的 , 如模式匹配 ( Pattern Matching) 方法 。这种方法较 MTMM 方法更为实用 , 因为它不需要 同时采用多种测量方法 。模式匹配方法还可以对某项调 查研究所包含的各个部分做出总体的建构效度评估 , 而 不仅仅局限于对某一特定概念测量的效度评估 。
测量误差可以说是调查误差的最主要来源 , 概念操 作化的不准确 , 问题文字表述的不清楚 , 不适当的测量 方法造成的偏差等都是调查误差的重要来源 。
设计测量工具 (如调查问卷 、量表等) 首先要对概
— 87 —
© 1995-2005 Tsinghua Tongfang Optical Disc Co., Ltd. All rights reserved.
第 23 卷 第 2 期 2004 年 4 月
工业技术经济
Vol123 , No12 总第 132 期
市场调查的质量控制与评估
苗兴状
〔摘 要〕 分析了存在于市场调查各个环节的误差 , 阐述了对决定调查质量的各种效度和信度进 行检验的方法 , 提出了对具体市场调查项目的综合质量进行定量评估的量表 。
市场调查研究的误差就是在这一理论 ———经验 ——— 理论的转化过程中产生的 , 无论是从理论到经验的操作 化过程 , 还是从经验到理论的归纳过程都存在着大量的 产生偏差的机会 , 这些偏差的大小是通过效度和信度来 衡量的 , 可见市场调量的质量就体现在效度和信度两个 方面 , 提高市场调查的质量实质就是设法提高调查的效 度和信度 。
对于调查的建构效度的判断也是必需的 。是否具有 足够的建构效度是衡量一项调查研究是否具有价值的关 键 , 它决定了是否可以从测量得到的具体数据上升为一 般性的结论 。对建构效度的检验包括了对聚合效度和判 别效度两个方面的检验 。如果测量同时采用了多种不同 的方 法 , 那 么 还 可 以 采 用 多 变 量 —多 方 法 矩 阵 MTMM (Multi2trait Multi2method) 对建构效度进行检验 , 当然这种 方法施行起来难度更大了 , 因为要求采用多种测量方法 , 成本会更高 , 不过有时可以采用其修正的方法 。
在调查方案总体设计阶段 , 首先应该明确地界定分 析的基本单位 , 根据不同的研究目的 , 分析单位的差别 很大 , 大到一个地区 、国家 , 也可以是一个组织 , 小到 个人或个人的某一方面或某一特定的阶段 。市场调查的 分析单位是个人的情况很多 , 尤其是在消费者研究中 , 但有时也以家为分析单位 。确定明确的分析单位是保证 调查质量的前提 , 例如我们研究住房消费与收入的相关 程度 , 如果以家庭为分析单位一般会得到比以个人为分 析单位更高的相关 。
提高测量效度和信度的有效办法是使用多重变量测 量方法 , 即用多个变量对同一概念进行测量 。因为单一 变量往往具有较大的特异性 , 与所测量的概念相关程度 较低 , 而且可能与其他概念有更密切的联系 , 所以容易 形成较大的测量误差 (Churchill , 1979) 。采用多重变量可 以使由于单一变量的特异性造成的偏差互相抵消 , 从而 达到均衡 。对于变量的选择 , 如果使用陈述分拣排序技 术 (Q2sort technology) , 通过因子分析 , 无疑会大幅度地 提高效度和信度 。
除了建构效度 , 还应该对准则效度及其相关的如预 测效度进行检验 , 看利用得到的结果是否可以有效地预 测外部变量 。此项评估的前提是能够准确地确定与所测 量的变量存在明确的逻辑关系的外部变量 , 这在某些项 目的研究中是很困难的 。
如果能够采用某种确证方法对调查结果进行确证 , 那么对所使用的测量方法会有更大的把握 。如可以采用 基于对协方差的分析的结构方程模型 SEM ( Structural E2
〔关键词〕 市场调查 效度 信度 质量 评估
随着我国经济的市场化程度的不断提高 , 竞争日趋 激烈 , 企业经营过程中必须更加准确地把握市场动态 , 因而对市场调查的依赖程度越来越高 。但由于市场调查 包含了调查设计 、抽样方法确定 、调查实施 、统计分析 等较多的环节 , 所以更容易出现质量问题 , 即使是在开 展市场调查时间较长 , 技术比较成熟的一些西方国家 , 调查质量仍然是一个棘手的问题 。例如 Cote 和 Buckley 曾 经对 64 个调查研究项目进行分析 , 发现可以被所测量的 变量解 释 的 实 际 观 测 方 差 不 足 50 % ( Cote & Buckley , 1987) 。所以他们告戒 , 在仅仅根据经验资料进行理论推 断时应特别谨慎 , 除非对搜集数据的方法的合理性有充 分的把握 (Cote & Buckley , 1988) 。
Selltiz 等给测量方法的效度下的定义为 : 一种测量方 法所测出的分数的差异反映出所要测量的特征上的真正 区别 , 而不 是 反 映 恒 定 的 或 偶 然 的 误 差 ( Selltiz 1976) 。 这里包含了两个方面的含义 , 首先是测量方法实际上正 在测量的的确就是所要测量的概念 , 而不是别的什么 ;
第 23 卷 第 2 期 2004 年 4 月
工业 132 期
念进行操作化 , 也就是将抽象的概念具体化为可以进行 测量的操作定义 , 这一过程包含了涉及到表面效度和内 容效度的误差 , 也就是对概念的操作化是否准确 。提高 对概念把握的准确程度 , 需要尽可能多地参考已有的相 关理论研究文献 , 听取该研究领域专家的意见 , 最好能 够采用德尔菲法 (Delphi) 。
© 1995-2005 Tsinghua Tongfang Optical Disc Co., Ltd. All rights reserved.
其次是该概念可以得到准确的测量 , 而不会产生太大的 误差 。
D. 贝利给信度 ( reliability) 下的定义是 : 信度就是 测量前后的一致性 。Goetz 等认为信度就是一项研究在多 大程度上具有可重复性 ( Goetz & LeCompte , 1984) 。例如 对某个被试的某种态度进行前后两次测量 , 如果该被试 的态度并没有发生变化 , 那么如果所用的量表是具有较 高信度的 , 两次得到的结果应该是相同的 , 可见信度实 际上也就是测量方法在时间上的稳定性 。一种测量手段 只有具有较高的信度 , 其结果才具有参考价值 。 二 、调查方案总体设计误差
如果 可 能 的 话 , 最 好 使 用 测 试 ———再 测 试 ( test2 retest) 方法对信度进行验证 , 这种方法需 使用同一测量 工具对同一被试对象在不同的时间进行两次测量 , 如果 两次测量的结果具有较高的相关度 , 表明该测量方法具 有较高的信度 。该方法由于各种客观条件的限制 , 实行 起来经常有一定的困难 , 而且时间间隔要把握适度 。
如果分析单位不是个人而是组织 , 那么确定合适的 被访对象就成为一个很重要的问题 , 如果选择了该组织 中对其信息掌握不全面或对该组织可能怀有偏见的人为 被访者 , 那么得到的数据会有较大的偏差 。所以应该尽 量选择组织中对其了解比较全面而且没有明显的理由对 其组织抱有偏见的成员为被访对象 。
另外对于同一种现象的研究 , 多种并行的研究方法 和多种数据来源的使用可以明显地提高研究的效度和信 度 (Borg & Gall , 1989 ; LeCompte & Goetz , 1982) , 例如使 用问卷调查数据的同时使用从文献获得的统计数据 , 使 用访问调查法的同时使用观察法等 。在研究方案的设计 中 , 只要条件允许 , 应考虑同时采用多种研究方法 。 三 、测量工具设计误差
鉴于这种情况 , 有必要对市场调查过程中各个环节 的误差及质量控制问题进行一些探讨 , 并探索如何对一 项已经完成的调查项目的质量进行定量的评估 。 一 、效度与信度 : 市场调查质量的核心
市场调查作为一种特定的经验研究方法包括了两个 层面 , 即操作化的经验层面和作为待检验的理论建构层 面 。调查的实质是通过对理论层面的抽象概念的可操作 化 , 通过特定的测量方法取得经验数据 , 然后对取得的 经验数据进行整理分析 , 根据分析结果使理论假设得到 证实或修正 。可见市场调查研究是一个从理论层面到经 验层面 , 再从经验层面回到理论层面的过程 , 因为调查 如果只停留在经验层面 , 其指导市场行为的价值就很小 , 尤其是在解释性研究中 , 最终必须回到理论层面 。