拥抱大数据时代

拥抱大数据时代——机遇与挑战并存

今天要讲的主要内容，大致分为两大部分。第一部分，大数据的概念与特征；第二部分，大数据给我们带来的机遇和挑战。

大数据(Big data)是一个热门话题，也是一个重要的话题。2014年10月29日，李克强总理主持召开国务院常务会议，会议特别强调了要重点推进6大领域消费。其中第一大领域就是扩大移动互联网、物联网等信息消费，提升宽带速度，支持网购发展和农村电商配送。加快健康医疗、企业监管等大数据应用。

今年的《政府工作报告》也强调，要制定“互联网+”行动计划，推动移动互联网、云计算、大数据、物联网等与现代制造业结合，促进电子商务、工业互联网和互联网金融健康发展。

一、大数据的概念与特征

那么大数据究竟是什么呢？“数据”又是什么意思？在日常的概念当中，我们认为数据就是数字，这点没错，但是数据也可以是文字、图像或者声音。

究竟什么是大数据？目前还没有统一的定义。大数据，常常被人提起，但几乎又是人人都说不明白的。但说不明白，我们还是要勉强地说一说。我这里列了十多种大数据的定义，供大家参考。

第一种，所谓大数据，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。

第二种，大数据是指无法在一定时间内，用传统数据库这个软件工具对其内容进行一个抓取、管理和处理的一个数据集合。

第三种，大数据是需要新处理模式，才能具有更强决策力、洞察发现力、流程优化能力的海量高增长率和多样化的信息资产。

第四种，大数据是大交易数据（你购买的时候，各种交易的数据），大交互数据（你在网上聊天的数据）和大数据处理的总称。

第五种，大数据是经济增长的新边界。

第六种，大数据是收集以及处理海量数据的一种机制，而且在这个过程中，能进行一些结果的利用。

第七种，大数据是信息化社会无形的生产资料。

第八种，大数据就是数据变得在线了，过去其实也有很多数据，但是那些数据没有在线。

第九种，大数据是一个金矿，是取之不尽、用之不竭的金矿。

第十种，大数据是一座全景敞视监狱。大多数的网民，在互联网中，都是无意识的状态，丝毫没有注意到第三只眼，时时刻刻在盯着自己、跟踪自己。我们时刻都暴露在第三只眼之下，亚马逊监视着我们的购物习惯，谷歌监视着我们的网页浏览习惯，而微博似乎什么都知

道，不仅窃听了我们心中的他（她），还对我们的社交关系网了然于胸。伴随着互联网的发展，整个社会俨然成了一个全景敞视的监狱。当然，大数据时代的全景敞视监狱，不论是监视者和被监视者，以及监视方式都发生了极大的变化，但是它的基本原理并没有变，都是被监视。

那么，大数据究竟是什么呢？我们一起来概括一下。它是跨越关联的海量数据分析所产生的决策流程、商业模式、科学范式、生活方式和观念形态上颠覆性变化的总和。

比如，同一个用户，大数据会关联起他的网上浏览记录、手机通讯关系、电子商务网站购物记录等。另外，同一个地点，大数据可以关联起你手机的移动轨迹，车载GPS的移动数据，以及顺丰物流的递送数据，智慧城市的建筑信息等等。

大数据引起了决策流程、商业模式、科学范式、生活方式和观念形态上的颠覆性变化。在过去数据匮乏的时代，我们依赖抽样数据、局部数据和片面数据，甚至在无法获得数据的时候，纯粹依靠经验、理论和假设去发现新知识和进行决策，在大数据时代，这些都会发生很大的变化。

现在，越来越多的科学新发现和商机都依赖于对全面完整的数据的收集和利用，而过去形成的思维观念和行为模式是获得新科学发现和商机的阻碍因素。因此，决策人的思维和行为模式有必要重塑，这将对社会产生深远的影响。

大数据带来思维变革，也就是说不是过多地去关注因果关系，而是关注相关关系。极端地说法就是，只要知道是什么就够了，没必要去问那么多为什么。在大数据时代，我们不必非得知道现象背后的原因，而是要让数据自己发声。从操作方式开始，大数据改变了人类探索世界的方法，这是大数据带来思维变革。

大数据带来了商业变革，那就是数据化，一切皆可以量化。量化一切，这是数据化的核心。当文字、方位、声音等都变为数据的时候，数据就会有很多很多。大数据带来的商业变革很有价值，它是取得不尽、用之不竭的。可以把大数据比作是金矿，可以进行数据再利用。数据我用了，我还可以给你用，不像衣服，我自己穿了，别人就不能穿。

大数据带来了管理的变革，是责任与自由并举的信息管理。根据人们对隐私的不同态度，可以把人大致分为三类：有的人对隐私不隐私无所谓，对此不甚在意；有的人是隐私的实用主义者，你给他好处，他就出卖他的信息；还有一种人有隐私的洁癖，什么隐私都不想让人知道，一切都要处于保密状态。

大数据带来了管理的变革，大数据开发的根本目的是以数据分析为基础，帮助人们做出更明智的决策，优化企业和社会运转。所以有人评论说，大数据是一场管理的革命，大数据时代的决策不能仅凭经验，而要靠“数说”，也就是“按数据说话”。

因此，大数据想要真正发挥作用，还要改善我们的管理模式，需要管理方式、架构与大数据技术、工具相适配。

另外，我们还有一道很难迈过的坎，就是科学范式的转换。随着大数据的出现，研究领域产生了一种被称为数据密集型科学的新型研究范式，这个范式以数据为中心来实施科学研究，新的科学发现依赖于对海量数据的收集和分析处理。

我介绍下科学范式，第一范式主要以观察和实验为主；第二种范式偏重理论总结和理性概括；第三种范式是以模拟为主的计算；第四种范式是以数据为中心和驱动的，是基于对海量数据的处理和分析来发现新的知识。当然，科学范式并不是以其中一种代替另外一种，而是共同构成了现代科学方法的统一体。

大数据有哪些特征呢？一种说法认为，大数据具有4V特点。1、Volume（大量）；2、Variety（多样）；3、Velocity（高速）；4、Value（价值）。

1、Volume（大量）

数据计量的基本单位是Byte，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、DB、NB，它们按照进率1024（2的十次方）来计算，比如1ZB=1024EB。

根据IDC监测，全球在2010年正式进入ZB时代，全球数据量大约每两年翻一番，这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量。预计到2020年，全球将总共拥有35ZB的数据量，相较于2010年，数据量将增长近30倍。

阿里集团透露，在阿里数据平台事业部的服务器上，攒下了超过100PB已处理过的数据，等于104857600个GB，相当于4万个西雅图中央图书馆，580亿本藏书。阿里巴巴之所以能够杀到美国去，与它的数据量超大有很大的关系。

现在，数据存储器的体量越来越小，容量越来越大，价格却越来越便宜。十年前，一个移动硬盘，大概是20G容量，比手机还大，但是今天我用的这个小U盘，容量是35G，价格也低了好多。现在，六百美元你就可以买到一个硬盘，它可以储存下这个世界所有的音乐。

有一家单位让我给几个年轻人作辅导，说想知道对方家里的家底如何，其实你可以利用大数据，问问他有多少数据资产，大概就能知道他家里条件好坏。家里条件好的，那小孩从小各种照片，各种录像，那肯定家庭条件不错。有些孩子找对象，想知道对方家里的经济条件，但又不好意思直接问，我给你出个主意，你可以问问他家的大数据有多少。

世界现有的92%的数据恰恰就是在过去两年中产生的，数据在呈几何级数地增长。大数据时代，数据爆炸性增长，各种社交网络，移动网络和各种智能终端，各种各样的设备都产生很多的大数据。所以大数据的特点是数据量特别的大，这是第一个特点。

2、Variety（多样）

第二个特点是多元、多样。U盘、光盘、打印机、电脑都产生了很多数据，并且这些数据的格式还不一样，数据源也是各种各样的，谷歌、Twitter、Facebook产生很多的数据。

3、Velocity（高速）

第三个特征是速度，增长速度特别快，处理速度也要求更快。

以存储1PB的数据为例，即使带宽（网速）能达到1G/s，且电脑的容量足够且24小时运行，要将1PB的数据存入电脑也需要12天。大数据通过云计算，可以实现将12天才能存储完毕的数据在20分钟之内完成。

4、Value(价值)

大数据能做一个预言家。谷歌和推特都曾用大数据，提前7天到一个月，在2009年准确预测当年的流感趋势。

什么是大数据？我们回过头来看一看，巨大的数据量，体量大，数据类型多，商业价值高，处理速度快，这是关于大数据的基本概念和特征。

二、大数据时代，是机遇还是挑战？

大数据，大战略。美国联邦政府认为，数据是一项有价值的国家资本，应对公众开放而不是把它禁锢在政治体制内。作为大数据的策源地和创新引领者，美国大数据发展一直走在全球最前面，早已进行大数据的布局，涉及庞大而复杂的数据。我们通过斯诺登事件，就能明显感觉这一点。

美国把大数据视为强化美国竞争力的关键因素之一，把大数据研究和生产计划提高到国