大数据改变思维方式

大数据改变思维方式

——读《大数据时代:生活、工作与思维的大变革》

大数据是最近开始受人们关注和讨论的话题，大数据这个新概念一出现就受到了人们极大的热捧。互联网开启了新的生活方式，带给了人们极大的便利，计算机技术的发展为收集和分析大量的数据提供了可能，在互联网时代每浏览一个网页，每敲击一下键盘，都能变成为大数据的一部分。维克托·尔耶·舍恩伯格在《大数据时代:生活、工作与思维的大变革》中明确指出，大数据时代最大的转变就是，放弃对因果关系的渴求，而取而代之关注相关关系。也就是说只要知道“是什么”，而不需要知道“为什么”。这颠覆了千百年来人类的思维惯例，对人类的认知和与世界交流的方式提出了全新的挑战。

第一个思维变化：不是随机样本，而是全体数据。《大数据时代》一书提醒读者，随着计算机技术的进步，得到并分析大数据成为可能，大数据较之以往的统计样本就是全数据，大数据有几个特征，首先是规模大，比如说YouTube、Facebook，每天在数据处理、数据存储量能远超过历史的数据，所以规模大是其基本特征；第二个特征就是种类繁多。除了传统数据库、数据仓库处理的结构化数据以外，其实很多半结构化，甚至是说非结构化的数据在大数据处理当中都变成非常重要的原材料。尤其是像话音、视频、文本等等，这些原来并不是机器所能识别处理的。而在大数据时代这是基本要求；第三个特征就是处理速度要提高。传统上来说分析型系统某种意义上是一个非实时、后台型的系统，但是现在很多应用它实际上要求联机分析、在线分析，对于实时性要求就会有很大提高。这带来了观察和分析事物的角度变化，例如SWIFT是全球最大的支付平台，在该平台上的每一笔交易都可以进行大数据的分析。他们可以预测一个经济体的健康性和增长性。比如，该公司现在为全球性客户提供经济指数，这又是一个大数据服务。

第二个思维变化：不是精确性，而是混杂性。大数据的简单算法是一种统计学的逻辑，这个如同热力学的分析模式，热力学并不关心具体的分子运动，而是关心温度、体积、压强之间的宏观联系，只有真正理解了大数据基于统计学的思维方式，才能理解它的独特优势和局限。这种方式可以解决以往技术无法解决的大范围、实时性和并行处理等问题，并带来新的洞见，它用概率说话，并不是就细节较真。这个观念是，希望先解决80%的趋势问题，然后慢慢精细化。另外，大数据的一大优点就是数据可以被重复使用。比方说这家公司实时车辆交通数据采集商A，该公司目前有1亿个手机端用户。A可以帮助你开车，避开堵车，为司机呈现路的热量图，红的就表面堵车。如果只提供数据，这个产品没什么特色，但值得一提的是，A并没有用交警的数据，这个软件的每位用户在使用过程中会给服务器发送实时数据，比如走的多快，走到哪里，这样每个客户都是探测器。这里还有更大的秘密，A可以重复使用数据。比如它了解到周末堵车时，哪里有堵车哪里有更好的销售，他们就可以把这样的数据提供给投资公司，投资公司根据这些数据对零售业再投资，这样的服务以前是从来不存在的。

第三个思维变化：不是因果关系，而是相互关系。大数据关注“是什么”，而不是“为什么”，这符合中国人长久以来的思维习惯，并不追求其内在的原理，机理，而重点关注它的结果和趋势，就像人们使用计算机一样，不必在意计算机的工作原理，内部的电路分布，只需要输入指令，就能得到想要的结果。经常网购的人会更容易体会。很多电商网站的推荐引擎具备这种能力，它能够在顾客购物的时候，推荐顾客喜欢的其他物品，顾客可能不知道“为什么”，其实网站也不在乎“为什么”。但是网站根据成千上万甚至上亿人的统计学分析，就可以发现“关联物”，或者说大数据更擅长通过统计分析人类所不能感知的关联，并建议人采取行动。这个革命式的思维非同小可，以前“啤酒+尿布”的数据仓库故事需要数据整理、清洗转换和专家建模挖掘，其采购行为的关联性可能被Hadoop等算法轻易的发现。上述方式由于分析门槛低，已经成为一种常见的工具，并衍生大数据的云服务的商业模式，成

为企业可以购买的“分析即服务”（Analytics as a Services）。

大数据时代是信息社会运作的必然结果，而借由它，人类的信息社会更上一个台阶。农业社会人们以土地为核心资源，工业时代转为能源，信息社会则将变更为数据。谁掌握数据，以及数据分析方法，谁就将在这个大数据时代胜出，无论是商业组织，还是国家文明。