大数据、云计算、数据中心发展趋势简介

大数据、云计算、数据中心发展趋势简介

随着社会的进步和信息技术的融合发展，人类已经进入了数据爆炸的时代，对数据价值的认知和利用也正发生着根本性的改变。人们将不再满足于获取数据预先定义的价值，借助先进的工具和手段，汇集多来源、多类型的数据，开展深入分析和综合研究后，期望获取更多新的价值发现。“大数据”现象的出现正是人们应用新兴技术对数据价值再认知和再发掘的不断尝试。

云计算的核心是业务模式，本质是数据处理技术。数据是资产，云计算为数据资产提供了保管、访问的场所和渠道。如何盘活数据资产，使其为企业决策服务，是大数据的核心议题，也是云计算必然的升级方向。但目前云计算在安全和标准方面还不成熟，与企业实际应用有一定的差距。云计算数据中心作为目前大多数企业应用云计算技术的主要途径，在今后的企业信息化建设中将发挥主要功效，效益明显，其建设标准、规范以及对传统灾备模式的影响值得持续关注和深入研究。

一、大数据

1、大数据定义及其特征

大数据的概念最早于20世纪90年代提出，根据维基百科定义，是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理、处理的数据集合。从产业的角度，常常把这些数据与采集它们的工具、平台、分析系统等一起被称为大数据。在2012年瑞士达沃斯世界经济论坛上，大数据是框定的主题之一，该论坛发表的报告《大数据，大影响》中提出，数据已经成为一种新型的经济资产，就像货币或者黄金一样。需要特别指出的是，大数据和海量数据是有区别的：大数据包含了海量数据的含义，而且在内容上超越了海量数据，简言之，大数据等于“海量数据+复杂类型的数据”。

总结起来，大数据的特征主要体现为大量化、多样性、快速化、价值化和复杂性（简称“4V+1C”）：（1）数据体量大（Volume）。从GB、TB级跃升到PB（1PB=1024TB）乃至EB（1EB=1024PB）级别。到目前为止，人类生产的所有印刷材料的数据量是200PB，而历史上全人类说过的所有的话的数据量大约是5EB；（2）数据类型繁多（Variety）。被分为结构化数据、半结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据，超过80%的

数据都是非结构化数据，如视频监控数据、流媒体数据、RFID感应数据等；（3）价值密度低（Value）。单条数据并无太多价值，但庞大的数据中蕴含着巨大的价值。数据价值密度的高低与数据总量的大小成反比。如何通过强大的机器算法更迅速地完成数据的价值“提纯”，是目前大数据背景下亟待解决的难题；（4）处理速度快（Velocity）。这是大数据区分于传统数据挖掘最显著的特征。如物联网每秒都在采集数据，微博内容随时都在更新，处理速度达到每小时10TB或更高；（5）复杂程度高（Complexity）。综合以上四个方面特征，对数据的处理和分析更加艰巨、更加复杂。

2、大数据相关技术

Hadoop是Apache开源组织的一个分布式计算框架，是Map Reduce的第一个开源实现，被认为是应对大数据难题的利器。Hadoop可以在大量廉价的硬件设备组成的集群上运行应用程序，为应用程序提供一组稳定可靠的接口，旨在构建一个具有高可靠性和良好扩展性的分布式系统。内存计算是一个软硬件结合体，能够提供高性能的数据查询功能，将数据库直接装入内存运算，减少了数据交换时间，大大提高了数据的处理能力，使用户可以直接对大量实时业务

数据进行查询和分析。随着内存价格的下降，下一代的内存计算时代即将来临。NoSQL是Not Only SQL 的缩写，不一定遵循传统数据库的一些基本要求，相比传统数据库，叫它分布式数据管理系统更贴切，数据存储更简化更灵活，重点被放在了分布式数据管理上，用以满足对数据库高并发读写的需求；对海量数据的高效率存储和访问的需求；对数据库的高可扩展性和高可用性的需求。此外，微软、IBM、Oracle、SAS等公司也都提出了大数据相关解决方案。

3、企业应具备的大数据能力

经过对大数据特点与应用现状，我们发现对大数据的价值发现将依赖于以下三个基础能力：（1）全面获取数据的能力。发掘数据价值的基础是对海量异构数据的全面获取，包括从专业系统、生产系统、管理系统中直接获取数据、从油田、炼厂、管道、加油站的各类传感器采集数据、从互联网络、智能终端等实时收集数据，完善的数据收集和优化的数据存储管理体系，将能为数据价值发掘提供更为广阔的空间，在提高价值发现概率的同时降低数据存储成本。（2）高效处理数据的能力。发掘数据价值的保障是具备高效的数据处理技术，通过借助先进的数据建模分析工具、可扩展的并行计算能力和灵活的数据交互展示平台，

数据价值研究人员建立复杂的数学算法模型，并快速完成所需的大量的计算任务，并以最便于观察和分析的形式展示出来，将能够缩短数据研究周期，提升价值发现的效率。（3）综合研究数据的能力。发掘数据价值的核心在于提高数据分析和研究的水平，能够从“大数据”中找到问题、发现规律、不断得到新的价值发现。对其研究将不再是单个部门能够胜任的工作，需要相关行业专家、业务人员与技术人员的共同参与，尤其需要数据科学家、数据分析师等专业人才，通过不断丰富业务分析与优化工具、行业模型、方法论，持续拓展数据应用空间，发掘数据应用潜力，实现高水平的数据整合应用。

为发挥出上述能力的最大效能，还应建立综合、高效的“大数据”价值发掘的协作平台，实现跨地域、跨部门、跨学科的内外部专家团队密切合作，形成科学的价值发掘研究模式。

二、云计算与数据中心

1、基本概述

云计算是网格计算、分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡等传统计算机和网络技术融合发展的产物，具有如下特征：弹性服