大数据与云计算

大数据与云计算

大数据与云计算

刘亚文

（西北农林科技大学信息工程学院软件工程141）

摘要：云计算是当今计算机领域最热门的话题,大数据时代的发展趋势和用户需求迫使研宄者们前赴后继地投身这一领域.这是充满挑战的时代,也是充满机遇的时代,突破了网络发展的这一质变过程,计算机学界势必迎来一个更加辉煌的时代.对于广大用户而言,云计算带来的服务将会大大提高工作效率和质量,提高生活品质,为人们幸福生活做出贡献.

关键词：云计算；大数据；数据分析；

一、引言

以2011年5月麦肯锡发布《大数据的下一个前沿：创新、竞争和生产力》为起点，大数据概念开始持续发酵。2012年，大数据从技术

出，而不是像昔日更多凭借经验和直觉。IBM和麦肯锡的研究都表明，应用大数据的企业确实呈现出明显竞争优势，如收入增长更快。大数据对企业竞争力的影响主要表现在客户洞察、营销规划、产品创新、物流管理、流程优化、人力资源管理、风险控制等七个方面。

对于个人，大数据将对人们的衣、食、住、行、健康、娱乐等都将产生深刻的影响。比如借助戴在手臂上或装在口袋里的各种传感器，你的血压、心跳、情绪等多种体征信息被实时传送到远程健康平台，系统会根据你当天的运动量、饮食、心情、工作等情况给你最佳的锻炼和调节建议。总之，大数据的战略意义和对社会的重大影响已毋庸置疑，它有望开启继互联网、物联网之后有一个新的时代——大数据时代即将到来。

三、云计算简介

正如维克托教授所说，大数据的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，绝大部分都隐藏在表面之下。而发掘数据价值、征服数据海洋的“动力”就

是云计算。

1.1 云计算的概念

由于云计算是由不同的企业和研究机构同步推进的技术，所以关于云计算的定义有很多，至今并没有一个公认的定义和标准。结合国际 20 位专家的定义，Ian Foster 定义云计算为一个由规模经济驱动的大型分布式计算模型，在该模型中，抽象的、虚拟化的、动态可伸缩的并可管理的计算资源、存储资源、平台和服务构成了一个资源池。资源池中的资源通过互联网，按需提供给池外的用户。

归纳的云计算定义为：云是由易于使用的虚拟资源构成的一个巨大资源池，包括硬件资源、部署平台以及相应的服务。根据不同的负载，这些资源可以动态地重新配置，以达到一个最理想的资源使用状态。资源池中的资源是按需付费的，服务提供商通过服务等级协议（Service Level Agreement，SLA）保证用户的服务质量。综合其他资料，可以将云计算归纳为：云计算以虚拟化技术为核心，虚拟化技术将共享的硬件和软件资源抽象化成一个统一的资源池，通过互联网这个载体，

向用户按需地提供所需的资源。其特点在于多用户共享、大数据处理与大数据存储。

云计算严格地来说并不是一种真正新的技术，而是并行计算（Parallel Computing，PC）等计算模式的进一步演进。由于云计算的主要标准和方案是由企业推进的，也可以说云计算是分布式计算模型的商业实现。

1.2 云计算的特点和优势

云计算作为分布式计算的优势：

(1). 分布式系统的最大优势就是因为其具有比集中式系统更好的性能价格比，用户花少量的钱就能获得高效能计算。由于“云”的特殊容错措施可以采用极其廉价的节点来构成云，“云”的自动化集中式管理使大量企业无需负担日益高昂的数据中心管理成本，“云”的通用性使资源的利用率较之传统系统大幅提升，因此用户可以充分享受“云”的低成本优势。 (2). 多数应用本身就是分布式的。如工业企业应用，管理部门和现场不在同一个地方的应用。

(3). 虚拟化。云计算支持用户在任意位置、

使用各种终端获取应用服务。所请求的资源来自“云”，而不是固定的有形的实体。应用在“云”中某处运行，但实际上用户无需了解、也不用担心应用运行的具体位置。只需要一台笔记本或者一个手机，就可以通过网络服务来实现我们需要的一切，甚至包括超级计算这样的任务。(4). 高可靠性。冗余不仅是生物进化的必要条件，而且也是信息技术。现代分布式系统具有高度容错机制，控制核反应堆主要采用分布式来实现高可靠性。

(5). 通用性。云计算不针对特定的应用，在“云”的支撑下可以构造出千变万化的应用，同一个“云”可以同时支撑不同的应用运行。

(6). 可扩展性。添置一台性能更高的大型机，或者添置一台性能相同的大型机的费用都比添加几台 PC 的费用高得多。

(7). 高度灵活性。能够兼容不同硬件厂商的产品，兼容低配置机器和外设而获得高性能计算。

云计算在存储领域的发展趋势和优势：(1). 用户不必为文件存储硬件投入任何前期的费用。

(2). 主机服务提供商

会维护用户文件服务器的安全和更新问题。

(3). 方便的控制访问权限和文件资源管理。

四、大数据与云计算的关系

近几年来，云计算受到学术界和工业界的热捧，随后，大数据横空出世，更是炙手可热，经常有人把大数据和云计算相提并论。那么，大数据和云计算之间是什么关系呢？

大数据与云计算确实有一些相同之处。它们都是为数据存储和处理服务的，都需要占用大量的存储和计算资源，而且大数据用到的海量数据存储技术、海量数据管理技术、MapReduce等并行处理技术也都是云计算的关键技术。但是，大数据与云计算也有很多方面的差异。云计算的目的是通过互联网更好地调用、扩展和管理计算及存储资源和能力，以节省企业的IT部署成本，其处理对象是IT资源、处理能力和各种应用。云计算从根本上改变了企业的IT架构，产业发展的主要推动力量是存储及计算设备的生产厂商和拥有计算及存储资源的企业。而大数据的目的是充分挖掘海量数据中的信

息，发现数据中的价值，其处理对象是各种数据。大数据使得企业从“业务驱动”转变为“数据驱动”，从而改变了企业的业务架构，其直接受益者不是IT 部门，而是业务部门或企业CEO，产业发展的主要推动力量是从事数据存储与处理的软件厂商和拥有大量数据的企业。因此，不难发现云计算和大数据实际上是工具与用途的关系，即云计算为大数据提供了有力的工具和途径，大数据为云计算提供了很有价值的用武之地。而且，从所使用的技术来看，大数据可以理解为云计算的延伸[4] 。大数据若与云计算相结合，将相得益彰，互相都能发挥最大的优势。云计算能为大数据提供强大的存储和计算能力，更加迅速地处理大数据的丰富信息，并更方便地提供服务；而来自大数据的业务需求，能为云计算的落地找到更多更好的实际应用。当然大数据的出现也使得云计算会面临新的考验。

五、结束语

大数据技术的运用前景是十分光明的。当前，我国正处在全面建成小康社会征程中，工业化、信息化、城镇化、