大数据与市场研究

大数据与市场研究

数据分析挖掘微信公众号：datadw关注行业，乐在分享。

大数据这个概念近来一直受到关注。大数据并非一个确切的概念，这个概念一方面指数据体量巨大，超出一般电脑所处理数据量几个级别；另一方面也指处理的数据类型多样化，远远超出传统数据格式和分析工具能处理的范畴。也有观点指大数据是指不用抽样方法得到的数据。在这篇文章中，我从社会学科研究方式发展的角度来阐述大数据的影响，以及大数据和市场研究的相互关系。

第一次数据化的影响–定性研究和定量研究

市场研究是一门应用社会学的学科，一个基本的分类就是定性研究和定量研究。简单地说，定量研究一定有数字分析，定性研究没有数字分析。大多数研究人员也各自站队为定量研究人员和定性研究人员。我们先来讨论一下这样划分的本质是什么。

在几乎所有社会科学的学科中，最一开始的数据都是非数字的。比如，我们去做问卷调查询问被访者，你家有汽车吗？如果有，我们打一个勾。在把这些答案转化为数据之后，我们可以计算有多少比例的被访者有汽车等等。这个把非数字的信息数字化的过程，我们称之为数据化。这个过程在本质上同把声音数字化和图像数字化的过程并没有区别。

因此，数据的本质都是定性的。研究人员可以选择直接处理定性数据，也可以选择多走一步数据化后处理定量数据。没有哪一种方法在本质上更好。事实上，两种方式都产生了伟大的研究。（由于篇幅限制，这里不举例说明了。）

但在现实中不容否认的是，定量研究似乎享受更高的社会地位。在西方各个社会学科定量研究发展的初期，定量研究常常和具备高级数量分析技巧的和相应工作语言的年轻博士挂钩，定量研究被认为是未来，校园里许多年老的教授和研究者困惑不已并感受到压力。许多大学都大力投资来支持定量研究，Departments of Government被改名为Departments of Political Sciences,Departments of Speech被改名为Departments of Communication,即便名字没改，研究的内容已经发生变化了，社会学科转向定量研究的风潮可见一斑。那个时候年轻学者对数据的兴趣和痴迷不低于今日。归其原因，一方面由于测量理论的发展，许多研究主体数据化，定量研究从科学发展的浪潮中受益了；另一方面电脑的发展也促成了这个变化。

当电脑开始在美国大学变得不那么神秘的60年代初期，它们是不适合社会科学研究的，电脑的应用是围绕着物理科学来进行的。物理科学通常要求在很小的数据量上进行非常复杂的运算，而社会科学通常的数据量很“大”。那个时候物理科学可以拿到很多的资助，所以大部分软件和程序都是围绕物理科学开发的。直到60年代末期才出现比较强大的为社会科学研究而设计的分析软件。

70年代末的个人计算机的出现让社会科学定量研究看到了普及的希望。微型化的、能支付的起的电脑已经足够强大，可以做很多常规分析，但是它们不能处理“大”数据。碰到大的数据样本，只能手动的去计算，直到八十年代的微型电脑内存技术有了革命性的变化。新型电脑不仅能进行大样本的简单处理和分析，而且能进行复杂的运算，比如因子分析，最小空间分析等等。一个定量研究者和一台微型电脑所做的分析，就能轻易超过以前一个团队和一个机房才能做的分析。

于是，微型电脑给定量研究带来了我们所能看见的明显优势。然而，微型电脑给定性研究也带来了同样的优势，只是我们不太注意罢了。比如，以前我们做定性研究访问的时候，一般就是记笔记。现在我可以带着我的个人电脑现场记录，也可以轻松地剪辑录像仔细解读。当我们写定性报告的时候，现在可以很轻松的检索信息，旁引博证，插入图片等，还可以轻松的把文字和其它信息挪动。互联网也使得远程图书馆发展起来，对定性研究的帮助也是一日千里。

你或许觉得电脑在定性研究上的应用比起定量研究来太苍白了，但是我们仔细想一想，电脑对定量研究的贡献不也是让研究者轻松地去做过去能做但很费时费力的分析工作吗？

虽然性质相同，但定性研究和定量研究其实有自己不同的优势和劣势，他们完美的互补。一个好的研究人员应该对定性和定量都不陌生，当碰到实际问题的时候，应该能同时考虑定性和定量的选择。定性和定量都需要特殊的训练，现实中一个人精力和时间是有限的，我们也总想擅长点什么，所以偏向定性或定量就顺理成章了。但我们必须警惕专业化中潜伏的危险：定量人员会经常把统计分析的表面结果当成一切，定性人员也会经常把观点当成观察，把感觉当成发现。

时间已经证明，定性方法并没有被淹没在数据化的浪潮中。相反，定性方法和定量方法在生活中处处体现，他们或者平行或者交叉，不可分离。我们可以用数字形容汽车的速度，但不能用数字描述一个孩子的可爱。另一方面，我们知道一个人的捐赠大小是不足以测量一个人善心的，但是他们之间也不是没有关系；我们知道有高度不代表你能打篮球中锋，但没有高度你是万万不行的。定性和定量，你中有我，我中有你。

如果我们把六、七十年代数据化带给社会学科研究方法的变化¾定量研究和定性研究的分野和发展，看作是第一次数据化浪潮冲击的话，那么大数据将会给社会科学研究方式带来第二次冲击。

大数据及其分析

如今大数据带给我们社会科学研究者的两难境地就如同以前数据化带给定性研究者的两难境地一样。一方面，稍微一点想象，所有事物都可能转化为数据形式，并且给我们带来冲击。把世间万物转化为数据的需求来源于人类测量、记录和分析世界的渴望（舍恩伯格和库克耶2013）。另一方面，我们面对大数据，却缺少分析大数据的思路、方法、甚至工具。所以不奇怪的是现在的很多社会学

科研究者采取抽样的方式来分析大数据。

过去定量研究的一个关键支柱是抽样理论。过去由于获得数据的昂贵，我们倾向于用最少的数据量获得最多的信息，抽样省时省力省钱；而且由于技术分析手段的局限性，我们也只能处理分析“小数据”。那如何保证抽样的结果能比较客观的代表总体呢？依据所研究的问题，满足随机抽样（经典抽样）或最优抽样的标准，就能最大限度的保证精确性。抽样理论实际上获得了巨大成功，成为现代社会、现代测量领域的支柱。

抽样数据相比全体数据是在不可收集和分析全部数据的情况下的选择。在数据成本越来越低的时代，促使我们来使用样本数据的经济原因已经被撼动。另外，样本数据的成功取决于抽样的随机性，但在抽样的实际工作中保证随机性是非常困难的。我们市场研究的同事都知道，当前无论采用什么方法做抽样，比如电话，入户，街头拦截等等，有一系列的操作上的障碍使你无法保证样本的随机性。祝建华教授在一次讨论中提到，如果抽样的对象很复杂，比如“网络”，那么根本找不到一个最优抽样的判断标准，更不可能奢求以抽样求得的小网络能反映大网络的情况。

另一个我们不主张使用样本数据来研究大数据的理由是，样本数据会给我们的分析方法带来困惑和障碍。举个例子，我们做回归分析的时候，变量之间的多元共线性是一个严重干扰我们估计Beta的因素。但是当样本扩大到非常大的时候，这个影响趋于零。这一点无论是通过模拟数据还是真实数据都得到了验证。我们有文章在AMA的会议上发表。

样本数据一旦收集完成，它的应用就相应的缺乏延展性。比如，我们难以或者不可以重新分析这些数据以验证计划之外的想法；当我们的分析单位越来越小的时候，样本数据的错误率变得越来越高，因为落到一个分析单位上的样本量越来越小；样本数据常常不能帮助我们完成对异常或小概率事件的分析，而发现和预测这些小概率事件常常是数据分析的一个重要目的。

那么，大数据研究的目的是什么呢？通常在社会科学领域中，我们的研究目的是发现和验证事物之间的因果关系，然而发现和分析因果关系是非常困难的一项任务。例如一个14岁的初中学生跳楼了，是什么原因导致他这种行为呢？媒体对其他青少年相似行为的报导？社会大环境所致？学校功课的压力？家庭不和睦？个人心理状态？和同学吵架之后的过激念头导致？……我们可以列出上百种可能的因素，因为社会现象之复杂，各种事物之间确实有存在着千丝万缕的联系。我们当然很容易说这些因素都有可能是原因，也可以简而化之说学校压力是主因，但这些表述对我们没有任何价值。

因果关系的成立是有一系列严格条件的。在各社会学科研究中，我们通常从建立假设开始，然后进行实验设计和抽样，通过对比检验，这个假设或者成立或者被推翻。所建立的假设通常来源于定性研究、理论、其它研究或者灵感。即便假设成立，因为抽样的原因和其它因素，也要明确其适用范围，整个过程费时费力。美国著名社会学家厄尔•芭比博士曾经指出，社会科学研究结果的最佳表述