先进性技术专题讲座报告_大数据云计算及分布式

大数据、云计算及分布式浅析

——先进性技术专题报告

目录

1 大数据 (3)

1.1数据挖掘(Data Mining) (4)

1.2机器学习(Machine Learning) (5)

2云计算 (6)

2.1 虚拟技术 (7)

3分布式 (8)

3.1分布式数据库 (8)

摘要：大数据(big data science)和云计算(cloud computing)是当今信息时代下，最具发展前景的热门领域，无疑是信息工业革命中的又一次令人兴奋的技术浪潮，该领域的迅猛发展将会在相关的项目领域带来概念以及技术上的颠覆性改变，同时也会对人类的生活方式和对信息的认知模式带来巨大的冲击。分布式(distributed system)的发展为大数据与云计算在技术上奠定了实现的基础，大数据的处理分析需要庞大的计算能力，云计算为此提供强有力的支持，而云计算的本质就是分布式系统，将无数在空间上分离的计算机资源汇聚到一起，形成一个巨大的资源池，用户根据自己的需要从中获取所需的云平台资源，这一过程运用到了虚拟化技术(virtualization),将无数物理上隔离的并且计算能力有限的计算机虚拟化成了一个计算能力相当可观的资源池，对于用户而言这些物理计算机是透明的，他们只需要关心自己实际获取到的资源。事实上这也正是阿里巴巴在去IOE化过程中应用的技术，采用开源软件在水平方向上进行拆分和分布式部署，具有很强的实际参考意义。

1 大数据

大数据由巨型数据集组成，这些数据集大小常超出人类在可接受时间下的收集、庋用、管理和处理能力。大数据的大小经常改变，截至2012年，单一数据集的大小从数太字节（TB）至数十兆亿字节（PB）不等。

在一份2001年的研究与相关的演讲中，麦塔集团（META Group，现为高德纳）分析员道格·莱尼（Doug Laney）指出数据增长的挑战和机遇有三个方向：量（Volume，数据大小）、速（Velocity，数据输入输出的速度）与多变（Variety，多样性），合称“3V”或“3Vs”。高德纳与现在大部分大数据产业中的公司，都继续使用3V来描述大数据。高德纳于2012年修改对大数据的定义：“大数据是大量、高速、及/或多变的信息资产，它需要新型的处理方式去促成更强的决策能力、洞察力与最优化处理。”另外，有机构在3V之外定义第4个V：真实性（Veracity）为第四特点。

大数据必须借由计算机对数据进行统计、比对、解析方能得出客观结果。美国在2012年就开始着手大数据，奥巴马更在同年投入2亿美金在大数据的开发中，更强调大数据会是之后的未来石油。

大数据，或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的形式的信息。在总数据量相同的情况下，与个别分析独立的小型数据集（data set）相比，将各个小型数据集合并后进行分析可得出许多额外的信息和数据关系性，可用来察觉商业趋势、判定研究质量、避免疾病扩散、打击犯罪或测定实时交通路况等；这样的用途正是大型数据集盛行的原因。

截至2012年，技术上可在合理时间内分析处理的数据集大小单位为艾字节（exabytes）。在许多领域，由于数据集过度庞大，科学家经常在分析处理上遭遇限制和阻碍；这些领域包括气象学、基因组学、神经网络体学、复杂的物理模拟，以及生物和环境研究。这样的限制也对网络搜索、金融与经济信息学造成影响。数据集大小增长的部分原因来自于信息持续从各种来源被广泛收集，这些来源包括搭载感测设备的移动设备、高空感测科技（遥感）、软件

记录、相机、麦克风、无线射频辨识（RFID）和无线感测网络。自1980年代起，现代科技可存储数据的容量每40个月即增加一倍；截至2012年，全世界每天产生2.5艾字节（2.5×1018字节）的数据。

大数据几乎无法使用大多数的数据库管理系统处理，而必须使用“在数十、数百甚至数千台服务器上同时平行运行的软件”。大数据的定义取决于持有数据组的机构之能力，以及其平常用来处理分析数据的软件之能力。“对某些组织来说，第一次面对数百GB的数据集可能让他们需要重新思考数据管理的选项。对于其他组织来说，数据集可能需要达到数十或数百兆字节才会对他们造成困扰。”

随着大数据被越来越多的提及，有些人惊呼大数据时代已经到来了，2012年《纽约时报》的一篇专栏中写到，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。但是并不是所有人都对big data感兴趣，有些人甚至认为这是商学院或咨询公司用来哗众取宠的buzzword，看起来很新颖，但只是把传统重新包装，之前在学术研究或者政策决策中也有海量数据的支撑，大数据并不是一件新兴事物。

1.1数据挖掘(Data Mining)

数据挖掘（Data mining），又译为资料探勘、数据挖掘、数据采矿。它是数据库知识发现（英文：Knowledge-Discovery in Databases，缩写：KDD）中的一个步骤。数据挖掘一般是指从大量的数据中自动搜索隐藏于其中的有着特殊关系性（属于Association rule learning）的信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。

数据挖掘有以下这些不同的定义：

“从数据中提取出隐含的过去未知的有价值的潜在信息”

“一门从大量数据或者数据库中提取有用信息的科学。”

尽管通常数据挖掘应用于数据分析，但是像人工智能一样，它也是一个具有丰富含义的词汇，可用于不同的领域。它与KDD的关系是：KDD是从数据中辨别有效的、新颖的、潜在有用的、最终可理解的模式的过程；而数据挖掘是KDD通过特定的算法在可接受的计算效率限制内生成特定模式的一个步骤。事实上，在现今的文献中，这两个术语经常不加区分的使用。

数据挖掘的方法包括监督式学习、非监督式学习、关系分组（Affinity Grouping，作关系性的分析）与购物篮分析（Market Basket Analysis）或者称为关联规则分析、聚类（Clustering）与描述（Description）。监督式学习包括：分类、估计、预测。

数据挖掘是因为海量有用数据快速增长的产物。使用计算机进行历史数据分析，1960年代数字方式采集数据已经实现。1980年代，关系数据库随着能够适应动态按需分析数据的结构化查询语言发展起来。数据仓库开始用来存储大量的数据。

因为面临处理数据库中大量数据的挑战，于是数据挖掘应运而生，对于这些问题，它的主要