对大数据的心得体会

对大数据的心得体会

早在XX年，人类制造的信息量有史以来第一次在理论上超过可用存储空间总量，近几年两者的剪刀差越来越大。XX年，全球数字规模首次达到了“ZB”级别。XX年，淘宝网每天在线商品数超过8亿件。XX年底，中国手机网民超过

6亿户。随着互联网、移动互联网、传感器、物联网、社交网站、云计算等的兴起，我们这个社会的几乎所有方面都已数字化，产生了大量新型、实时的数据。无疑，我们已身处在大数据的海洋。有两个重要的趋势使得目前的这个时代与之前有显著的差别：其一，社会生活的广泛数字化，其产生数据的规模、复杂性及速度都已远远超过此前的任何时代；其二，人类的数据分析技术和工艺使得各机构、组织和企业能够以从前无法达到的复杂度、速度和精准度从庞杂的数据中获得史无前例的洞察力和预见性。

大数据是技术进步的产物，而其中的关键是云技术的进步。在云技术中，虚拟化技术乃最基本、最核心的组成部份。计算虚拟化、存储虚拟化和网络虚拟化技术，使得大数据在数据存储、挖掘、分析和应用分享等方面不仅在技术上可行，在经济上也可接受。

在人类文明史上，人类一直执着探索我们处的世界以及人类自身，一直试图测量、计量这个世界以及人类自身，试图找到隐藏其中的深刻关联、运行规律及终极答案。大数据

以其人类史上从未有过的庞大容量、极大的复杂性、快速的生产及经济可得性，使人类第一次试图从总体而非样本，从混杂性而非精确性，从相关关系而非因果关系来测量、计量我们这个世界。人类的思维方式、行为方式及社会生活的诸多形态正在开始发生新的变化。或许是一场革命性、颠覆性的变化。从这个意义上讲，大数据不仅是一场技术运动，更是一次哲学创新。

1 大数据的概述

大数据的概念

大数据是指那些超过传统数据库系统处理能力的数据。它的数据规模和转输速度要求很高，或者其结构不适合原本的数据库系统。为了获取大数据中的价值，我们必须选择另一种方式来处理它。

数据中隐藏着有价值的模式和信息，在以往需要相当的时间和成本才能提取这些信息。如沃尔玛或谷歌这类领先企业都要付高昂的代价才能从大数据中挖掘信息。而当今的各种资源，如硬件、云架构和开源软件使得大数据的处理更为方便和廉价。即使是在车库中创业的公司也可以用较低的价格租用云服务时间了。

对于企业组织来讲，大数据的价值体现在两个方面：分析使用和二次开发。对大数据进行分析能揭示隐藏其中的信息，例如零售业中对门店销售、地理和社会信息的分析能提

升对客户的理解。对大数据的二次开发则是那些成功的网络公司的长项。例如Facebook通过结合大量用户信息，定制出高度个性化的用户体验，并创造出一种新的广告模式。这种通过大数据创造出新产品和服务的商业行为并非巧合，谷歌、雅虎、亚马逊和Facebook，它们都是大数据时代的创新者。

大数据的三层关系

第一层关系：数据与机器的关系。大数据纪元刚开始，产业界碰到的第一个核心问题就是“大”的问题。做了几十年的数据仓库甚至海量并行处理的数据库都不能处理那么大的数据，怎么办？需要范式切换。主要有三个方面，新型的数据与机器关系当中的第一条就是重新考虑架构与算法，重新考虑舍得，有舍才能得，天下没有免费的午餐，所以必须要舍弃一些，得到一些新的。必须舍弃贵族化的高端小型机和UNIX服务器，得到平民化的更大量的X86服务器。通过这样一种可横向、可水平扩展服务器处理每两年翻番的数据量的挑战。第二个舍得是舍弃硬件的可靠性和可用性，得到软件的可靠性和可用性。这也就是谷歌三大论文以及Hadoop的核心重点。第三个舍得是舍弃传统数据库的强一致性，获得更放松一致性、可扩展架构，如NoSQL。第四个舍得是传统算法强调非常严格的精确性，现在要放弃一些精确性，通过近似、采样这种方式来获得更好的扩展性。

最早大数据的处理范式是Mapreduce的批量处理，英特尔慢慢有其他的需求，实时的流处理、多迭代的处理、图计算、即时查询等等新的范式百花齐放，最后万法归宗。刚才王斌老师将讲的SAP的HANA本身就是数据管理和分析的融合，现在非常流行的Hadoop之后的SPARK，就是把前面的各种范式进行了融合。

存储与内存的消长，大数据第一个要解决把数据存储下来，后来发现要把它放到大的内存里进行处理，获得实时性，接着在存储和内存之间现在又出现了闪存，有闪存化甚至全闪存的存储，也有闪存化的内存，把所有的计算在闪存里面处理，已经被微软、Facebook等等大量使用。大家可以预期，两年以后出现新的非易失性的闪存，它的速度可能要比闪存快几百倍，和内存相似，这又会极大地颠覆数据与机器的关系。

第二层关系：数据与人的关系。主要是价值的觉醒，如果数据不能产生价值它可能是负面资产。数据怎么能够给人带来价值？我们介绍一下它的价值维度，把它映射到二维的时空象限里，用六个关键词来描述它。第一是“Volume”，两个关键词，小数据见微对个人进行刻划，大数据知著能够了解宏观规律，它是空间概念，同时也是时间概念，数据刚刚产生的时候，它的个性化价值、见微的价值最大，而随着时间的推移，它渐渐退化到只有集合价值。第二是Velocity，

时间轴的原点是当下实时价值，副轴是过往，正轴是预测未来，如果知道知前后就能够做到万物的皆明。第三是Variety，多源异质的数据，能够过滤噪声、查漏补缺、去伪存真，就是辩讹。还有晓意，能够从大量的非结构化数据中获得语意，从而能够使机器窥探人的思维境界，这六个价值维度怎么去实现？主要是两部分人，一是数据科学家要洞察数据，另外一个是终端用户和领域专家要去解读数据并利用数据。首先看洞察数据，数据科学，人和机器作用发生了消长，讲个例子，机器学习大家觉得是机器的问题，其实人在里面起到很重要的作用，尤其是机器学习是模型加特征，而特征工程是一个人力工程，你要有经验非常丰富的特征团队去死磕特征，找出更好、更多的特征，才能够使机器学习的效果更好。但是现在深度学习这些新技术出来，能够用机器学习特征，能够在大量非结构化数据中找到丰富的信息维度用特征表达出来，这远远超出了人的能力。大家知道黑客帝国描述了一个场景，人脑袋后面插一个插头，给机器提供营养，我可能不会那么悲观，但是像这样的互动关系以一种更良性的方式出现了，现在人的一言一行、社交行为、金融行为都已经成为机器的养料、机器的数据，使得机器获得更好的洞察。

终端用户需要更好地、更傻瓜化的分析工具和可视化工具，两年前我去参加大数据的会，基本上都是Hadoop和NoSQL 现在大家参加大数据会可以看到清一色的分析工具和可视