大数据,统计学

大数据时代需要重视统计学

我们现在要开始重视大数据，要重视统计学，因为在数据足够大了之后，我们突然发现一切社会现象到最后都有统计规律，它不像物理学那样可以准确的去描述因果的关系，它从本质上来说就是一个统计的规律。统计学学好了，你再去学别的都战无不胜，因为一切社会现象到最后都是一个统计规律。

为什么要强调统计学呢，因为我们的认知能力中最差的是统计思维。人的大脑有一些功能优良得超过我们的想象，比如我们的语言能力。著名的语言学家乔姆斯基曾说，其实语言不是你学来的，语言是你天生就会的，因为语言太复杂了，要是从出生再学语言根本学不会，等你出生的时候，你的大脑里头已经预装了一套操作系统，语言的操作系统。所以语言我们是天生就会的。

还有，比如我们察言观色的能力，也是天生就会的。但有，一些是我们不会的。一位得诺贝尔经济学的心理学家写过一本书，《思考快与慢》。里面就讲到，我们有很多思维是靠直觉的快思维，这是我们几万年、几十万年、几百万年的自然演化，然后给我们留下来的，就是第六感觉。当你觉得可能有危险的时候，你就会跑掉。但是呢，我们另外一套操作系统是用来做逻辑推理以及进行统计分析的，装得很烂，所以我们天生缺的是逻辑推理能力和统计思维能力。

所以，在大数据的时代，我们最需要补的，其实是我们认知能力中最差的统计思维。如果有在学校的学生，我建议统计学这门课要好好地上。

“大数据”何以成为热门词汇？

为什么突然之间，大数据变成了一个最热门的词汇？

首先是由于IT革命。IT革命之后，我们有了很多处理数据的能力，对计算机数据的处理能力、存储的能力和计算的能力不断的提高。人类储存信息量的增长速度比世界经济增长的速度要快4倍，而且这还是在金融危机爆发之前的世界经济增长的速度。而计算机数据处理能力的增长速度，比世界经济增长的速度要快9倍。

其次，能够被数据化的东西越来越多。最早的时候是数字可以被数据化，所以我们有了阿拉伯的计数，后来又出现了二进位，再后来我们发现文字也可以处理成数据，然后我们发现又图像也可以处理成数据。我不知道欧美同学会《时代大讲堂》位置在哪里，我就赶紧上网查一查地图，方位也可以被数据化；你用微信、微博，跟朋友在网上交流，说明你的社会关系也会被数据化。

所以这就是为什么现在要谈大数据，因为可处理的东西太多了。而当你能够被数据化的东西越来越多。当你能够拿到的数据越来越多时，就跟原来不一样了。原来的统计学得有一个抽样，因为你不可能拿到整体，因为整体太多了，而且无法去计算。而现在，当存储能力无限扩大，处理数据的计算能力不断的进步，致使现在我们所处理的往往不是一个样本数据，而是一个整体的数据。所以这个时候，有很多原来想都不能想的事情，现在你可以去做。

大数据时代的三个规律

规律一：知其然而不必知其所以然外行打败内行

我先讲一个案例就是葡萄酒。葡萄酒怎么品酒？过去是靠品酒方面的专家。他会先闻一闻，什么味道、什么香味，然后看看是不是挂杯，最后告诉你，这个酒大

概是什么庄园的，什么年份的。但是，当品酒师在品新酒时，因为葡萄酒真正的品质还没有形成，所以这个时候，他的鉴定是永远靠不住的。另外，当一个品酒师的声誉越来越高时，由于要照顾到自己声誉，他不敢做大胆的判断。

普林斯顿大学有一个经济学家也很喜欢收藏葡萄酒，他就想能不能自己预测出这一年这个地方的葡萄酒的品质如何？然后他就开始去找来很多数据，最后得到了一个秘诀。葡萄酒的品质跟跟冬天的降雨量、生长期的平均气温、收获季节的降雨量、土壤的成分等等这些因素有关。1989年，葡萄酒刚刚下来，他说今年的葡萄酒是世纪佳酿，1990年他又做出预测，说今年的葡萄酒比1989年的更好。连续两年说是世纪佳酿，一般的品酒师都不敢这么评，但是最后事实证明他说的完全正确。

第二个案例，怎么寻找潜在的棒球球星？著名的财经作家麦克刘易斯写的书《Moneyball》，后来拍成电影叫《点球成金》，讲到一个球队教练遇到了一个经济学家，他们用很另类的办法，实际上就是用数据，把每一个选手的场上记录拿过来，用数据去找，看谁是好的球星，这跟传统的行规完全不一样，但是后来非常成功。

我们原来讲，要知其然，还要知其所以然。但是现在大数据时代，你可以知其然，不一定非要知其所以然。如果你去问普林斯顿大学的教授，为什么这个酒好？到底是什么香味？酒回甘是什么？他也不知道。但是他能够知其然，他能够做出来判断。为什么呢，很可能是我们原来的认知里头，我们执意去要寻找一些线性的、双边的直接因果关系。但是很可能万物之间的联系比我们想象中的要复杂，他可能是非线性的，可能是多元的。所以出问题的不是数据，出问题的是我们原来的

认知模式。怎么办？一个办法，退而求其次，你可能要先去寻找相关关系，然后再去找是否有因果关系。

规律二：彻底的价格歧视商家比你更了解你自己

有一个机构，专门做信用卡的刷卡记录。他们攒了大量的数据之后，拿这些数据做分析，最后找到很多很奇怪的规律。比如，你是否离婚与你信用卡上的还款记录和你驾驶车辆出车祸的概率有关系。比如在大数据时代大家可能会听到的一个比较有名的例子，就是沃尔马最早的时候发现很多奇怪的规律，比如尿布和啤酒的销售量是有相关关系的。

这俩东西怎么会联在一起？市场调查人员最后发现，往往当有新生的小孩之后，买尿布的任务就给新爸爸。尽管新生的宝贝的出来他的贡献也没有多少，但是他有一种自豪感，他去买了尿布时，为了庆祝，他会顺手去买啤酒。如果你在尿布的旁边就直接摆上啤酒，啤酒的销量就会提高。还有一个店，专门卖母婴用品的部门搜集顾客的信息去研究。比如说研究什么时候你可能会怀孕，你可能会买更多的母婴用品，而营养品会增加，或者一些没有香味的洗发剂，最后就可以预测潜在的客户到底是谁。

所以大数据时代，动摇了我们原来的方法论。

有一个赌场，进去之后会刷卡，而你的基本信息全都在这个磁卡上面。包括国籍、性别、年龄等等全就掌握。他有一个庞大的数据库，可以算出每个人的痛苦点，

即如果输钱超过了这个痛苦点，从此之后再也不来这个赌场。而赌场最好的办法是在你快要达到痛苦点之前叫你住手。

所以当你快要到达那个痛苦点的时候，你的旁边就会突然出现一个年轻貌美的公关经理，说先生玩得很累了吧，要不要休息一下，我们这个赌场刚请了一个法国大厨会做非常好的法国大餐，你很幸运，你被选我们的幸运顾客，请你和太太一起去享用免费的法国大餐！很好，但你不要忘了，当你享受到你觉得物超所值的服务时，往往就是你的最后一分钱被别人榨完了！包括信用卡调整额度，很可能也是在大数据的基础之上自动调整额度。

那这个带来了一个变化。原来经济学讲到，商家不能搞价格歧视，不是因为道义上不能，而是由于在过去商家很难对不同的顾客，进行价格歧视，你必须要定统一的价格。但这是过去的规律，在大数据的时代，这个规律被彻底颠覆。在大数据的时代，商家可以精准的针对每一个个体的消费者定价，把你最后的一分钱全部榨干，因为他比你自己更了解你的行为。你都不知道你的车可能要去保养了，他就已经给你发消息；你自己都不知道，身体已经处于亚健康状态需要去旅游放松，旅行社马上就会给你打电话。你说它怎么会这么了解我的心，大数据在帮他的忙。会用大数据的商家都是偷心者，都会把你的心偷走，他可以精准的定价。

规律三：打破专家的信息优势病人给医生解惑

那我们接着再讲一个案例，电视连续剧《豪斯医生》的医学顾问是纽约时报的一个专栏作家。他是倡导寻证医学的一个代表人物。寻证医学就是根据证据来治病。过去看病时，要先研究病理学，然后再研究治疗办法，而且有很多是一代一代口