云计算和大数据基础知识12296

精心整理

云计算与大数据基础知识

一、云计算是什么?

云计算就是统一部署的程序、统一存储并由相关程序统一管理着的数据！

云计算cloudcomputing是一种基于因特网的超级计算模式，在远程的数据中心里，成千上万台电脑和服务器连接成一片电脑云。因此，云计算甚至可以让你体验每秒超过10万亿次的运算能力，拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据中心，按自己的需求进行运算。

二、

三、

1

);软件2

任一资源节点异常宕机，都不会导致云环境中的各类业务的中断，也不会导致用户数据的丢失。这里的资源节点可以是计算节点、存储节点和网络节点。而资源动态流转，则意味着在云计算平台下实现资源调度机制，资源可以流转到需要的地方。如在系统业务整体升高情况下，可以启动闲置资源，纳入系统中，提高整个云平台的承载能力。而在整个系统业务负载低的情况下，则可以将业务集中起来，而将其他闲置的资源转入节能模式，从而在提高部分资源利用率的情况下，达到其他资源绿色、低碳的应用效果。

3、支持异构多业务体系

在云计算平台上，可以同时运行多个不同类型的业务。异构，表示该业务不是同一的，不是已有的或事先定义好的，而应该是用户可以自己创建并定义的服务。这也是云计算与网格计算的一个重要差异。

4、支持海量信息处理

云计算，在底层，需要面对各类众多的基础软硬件资源;在上层，需要能够同时支持各类众多的异构的业务;

而具体到某一业务，往往也需要面对大量的用户。由此，云计算必然需要面对海量信息交互，需要有高效、稳定的海量数据通信/存储系统作支撑。

5、按需分配，按量计费

按需分配，是云计算平台支持资源动态流转的外部特征表现。云计算平台通过虚拟分拆技术，可以实现计算资源的同构化和可度量化，可以提供小到一台计算机，多到千台计算机的计算能力。按量计费起源于效用计算，在云计算平台实现按需分配后，按量计费也成为云计算平台向外提供服务时的有效收费形式。

四、云计算按运营模式分类

1、公有云

公有云通常指第三方提供商为用户提供的能够使用的云，公有云一般可通过Internet使用，可能是免费或成本低廉的。

烦。B

2

3

五、

六、

1、传统的IT部署架构是“烟囱式”的，或者叫做“专机专用”系统。

图2传统IT基础架构

这种部署模式主要存在的问题有以下两点：

硬件高配低用。考虑到应用系统未来3～5年的业务发展，以及业务突发的需求，为满足应用系统的性能、容量承载需求，往往在选择计算、存储和网络等硬件设备的配置时会留有一定比例的余量。但硬件资源上线后，应用系统在一定时间内的负载并不会太高，使得较高配置的硬件设备利用率不高。

整合困难。用户在实际使用中也注意到了资源利用率不高的情形，当需要上线新的应用系统时，会优先考虑部署在既有的基础架构上。但因为不同的应用系统所需的运行环境、对资源的抢占会有很大的差异，更重要的是考虑到可靠性、稳定性、运维管理问题，将新、旧应用系统整合在一套基础架构上的难度非常大，更多的用户往往选择新增与应用系统配套的计算、存储和网络等硬件设备。

这种部署模式，造成了每套硬件与所承载应用系统的“专机专用”，多套硬件和应用系统构成了“烟囱式”

部署架构，使得整体资源利用率不高，占用过多的机房空间和能源，随着应用系统的增多，IT资源的效率、扩展性、可管理性都面临很大的挑战。

2、云计算基础架构

图3云计算基础架构

云基础架构在传统基础架构计算、存储、网络硬件层的基础上，增加了虚拟化层、云层：

虚拟化层：大多数云基础架构都广泛采用虚拟化技术，包括计算虚拟化、存储虚拟化、网络虚拟化等。通过虚拟化层，屏蔽了硬件层自身的差异和复杂度，向上呈现为标准化、可灵活扩展和收缩、弹性的虚拟化资源池;

云层：对资源池进行调配、组合，根据应用系统的需要自动生成、扩展所需的硬件资源，将更多的应用系统通过流程化、自动化部署和管理，提升IT效率。

相对于传统基础架构，云基础架构通过虚拟化整合与自动化，应用系统共享基础架构资源池，实现高利用率、

构建

七、

1

2

如：

3

（1

（2

（3

（4

（5

八、

具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。

从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

大数据需要特殊的技术，以有效地处理大量的数据。适用于大数据的技术，包括大规模并行处理数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

九、大数据的特征

大数据特征定义为4V，即规模性（Volume）、高速性（Velocity）、多样性（Variety）和价值性（Value）。

1.规模性（Volume）

数据巨大的数据量以及其规模的完整性，非结构化数据规模比结构化数据增长快，数据的存储量和产生量巨大，数据具有完整性。

2.高速性（Velocity）

实时分析产生的数据流以及大数据。现实中对数据的实时性要求较高，能够在第一时间抓到事件发生的信息。当有大量数据输入或必须做出反应时能够迅速对数据进行分析。

3.多样性（Variety）

多样性指有多种途径来源的关系型和非关系型数据。有很多不同的形式，除了简单的文本分析外，还可以对机器数据、图像、视频、点击流以及其他任何可用的信息进行分析。利用大数据多样性的原理就是：保留一切对你有用的你需要的信息，丢弃那些你不需要的信息。发现那些有关联的数据，加以收集、分析、加工，使其变成可以利用的信息。

4.

十、

1

2

3

4

十一、

工业大数据是指在工业领域信息化应用中所产生的大数据。随着信息化与工业化的深度融合，信息技术渗透到了工业企业产业链的各个环节，条形码、二维码、RFID、工业传感器、工业自动控制系统、工业物联网、ERP、CAD/CAM/CAE/CAI等技术在工业企业中得到广泛应用，尤其是互联网、移动互联网、物联网等新一代信息技术在工业领域的应用，工业企业也进入了互联网工业的新的发展阶段，工业企业所拥有的数据也日益丰富。工业企业中生产线处于高速运转，由工业设备所产生、采集和处理的数据量远大于企业中计算机和人工产生的数据，从数据类型看也多是非结构化数据，生产线的高速运转则对数据的实时性要求也更高。因此，工业大数据应用所面临的问题和挑战并不比互联网行业的大数据应用少，某些情况下甚至更为复杂。

工业大数据应用将带来工业企业创新和变革的新时代。通过互联网、移动物联网等带来的低成本感知、高速移动连接、分布式计算和高级分析，信息技术和全球工业系统正在深入融合，给全球工业带来深刻的变革，创新企业的研发、生产、运营、营销和管理方式。这些创新不同行业的工业企业带来了更快的速度、更高的效率和更高的洞察力。