华为云计算与大数据

2015/8/9
11
CETC
Cloud computing
目 录
一、华为云计算
二、华为的大数据Fra Baidu bibliotek理
CETC
Cloud computing
华为的大数据处理
华为认为的大数据挑战
华为提出了大数据整体架构，并总结出当前面临6方面挑战：云存储 、大数据技术、E2E的媒体云、虚拟桌面、HTML5和高性能计算（HPC）。
2015/8/9
2
CETC
Cloud computing
华为云计算
云计算是商业模式和技术理念的统一
云服务-“按需取用”的商业模式 +
云平台-分布式和并行软件系统
2015/8/9
3
CETC
Cloud computing
华为云计算
华为云计算落地的两个方面
落地 方案
云计算
2015/8/9
4
CETC
Cloud computing
2015/8/9
16
CETC
华为的大数据处理-核心技术 Cloud computing
华为云存储解决方案
华为为公有云和私有云市场构建统一的云存储解决方案(以分布式存 储为主，也可结合虚拟化存储)，由三个层面构成：存储硬件层、存 储平台层和存储服务层。 存储平台层是一套基于DHT的分布式Key-Value存储系统，将大规模的 存储设备资源聚合成一个具有统一视图的、海量的存储空间。 存储服务层基于平台层提供的Key-Value接口，提供多种类型的存储 服务和接口协议，并提供存储服务所需的访问安全机制。 存储硬件层可以是通用的存储服务器，也可以是定制优化的专用硬件 。 华为云存储解决方案实现了多种存储服务的融合和统一。多种存储服 务可以采用一致的接口访问存储引擎，实现存储容量、IO的共享，同 时为各存储服务提供不同的QoS。 华为云存储解决方案在架构上考虑了如下要素：（1）海量的可扩展 性；（2）自组织自管理；（3）强一致性；（4）高性能的块存储服 务；（5）定制优化的低成本、高密度存储硬件
CETC
Cloud computing
目 录
一、华为云计算
二、华为的大数据处理
CETC
Cloud computing
华为云计算
华为云战略定位
华为云定位于运营商和企业的云服务市场，提供私有云、公有 云和混合云解决方案，构建华为“云管端”整体ICT（information and communications technology）解决方案，面向企业、电信运 营商和消费者3大业务领域客户。
2015/8/9
20
CETC
华为的大数据处理-核心技术 Cloud computing
华为E2E媒体云解决方案
华为UVI以统一的架构，将媒体注入、处理、存储、分发推流、分析、管理等 关键能力集于一身，形成“云管端”协同的智能媒体云解决方案。 针对内容生产的多格式/多速率，华为媒体云采用内容智能分片/合并、并行 转码、资源动态调度、硬件加速等技术，同时满足离线与实时的媒体处理需 求，为不同需求的用户提供性价比最优的解决方案；配合降噪与画面增强等 算法，使各种速率/格式的内容达到视频质量最佳；支持内容、语音识别等增 值算法，为搜索推荐等业务提供强大的支撑。 在内容分发领域，华为媒体云以一套融合平台改变烟囱状的网络现状，同时 支持OTT/IPTV/MBB等场景；高性能流化服务器，在功耗降低的同时，较传统 服务器性能提升5～10倍；高效文件系统结合统一缓存（cache）策略等技术 ，在提升命中率的同时，大幅缩减了存储需求；多策略组合的智能内容路由 技术，使用户的请求得到快速响应；智能感知并动态调整推流码率，以确保 画面的流畅体验。
2015/8/9
19
CETC
华为的大数据处理-核心技术 Cloud computing
视频媒体面临的挑战
高清、3D以及超高清，将给视频存储与分发带宽带来十到百倍以上的 增长。 为了适应多终端以及网络有效传输，视频在碎片化的同时，需要被转 化为多种Codec以及上百种的格式/速率，传统的存储与计算方式难以 应对如此巨大的需求。 用户面对海量的视频无从下手，大量存量内容亟待被挖掘。
15
CETC
华为的大数据处理-核心技术 Cloud computing
云存储-需求和挑战
存储海量数据，并提供服务是云存储的主要需求和挑战。 在公有云领域，云存储的主要需求为：低成本和海量伸缩性、存储的 内容为海量的结构化、半结构化数据。其存储方案一般都采用廉价的 x86存储服务器和分布式存储软件（GFS、Dynamo）。 在企业存储市场，以SAN和NAS为主流的存储方案，一般采用双控制器 的专用存储硬件。 公有云和企业存储存在很大差异：现有公有云存储虽然在系统的伸缩 性方面取得突破，但却牺牲一些传统存储的关键特性，如不支持 POSIX接口、不适合大量随机小IO、不适合强一致性等要求；企业存 储系统如果作为云存储平台，其容量、可靠性、性能将无法支撑。
2015/8/9
21
CETC
华为的大数据处理-核心技术 Cloud computing
虚拟桌面（前面提到的桌面云的关键技术）
业界把虚拟桌面场景分为6大类，VDI是最常见的一类，其基本原理是 将所有桌面虚拟机在数据中心进行托管并统一管理，而用户可以通过 瘦客户端，或移动智能终端等类似设备，在局域网/广域网访问，获 得与传统PC一致的用户体验。VDI方案中，用户的桌面应用逻辑及其 存储运行在云端数据中心的虚拟机内，本地只有瘦终端，处理显示、 鼠标键盘事件和本地外设映射，通过远程桌面协议传送显示、事件、 语音和视频等内容。 VDI应用场景非常广泛，包括企业办公、行业应用、家庭娱乐、运营 商营业厅和呼叫中心等。 VDI给用户带来的好处是（1）客户端处理能力要求小，成本低；（2 ） 客户端功耗低，无噪音，符合节能减排要求；（3） 客户端无需 升级维护，降低维护成本；（4） 数据安全保密；（5） 用户移动性 ，随时随地接入虚拟桌面，无需应用安装。
2015/8/9
18
CETC
华为的大数据处理-核心技术 Cloud computing
华为大数据解决方案
在大数据分析方面，华为大数据解决方案将电信领域在高可用、高性 能、易运维、易集成的积累，注入到Apache Hadoop系统中，形成企 业级Hadoop产品，降低企业应用Hadoop技术的难度。华为Hadoop方案 已应用于电信网监测和IPTV内容推荐，并取得良好效果。 另外，在实时数据处理方面，华为大数据解决方案继承电信极高流量 处理能力，基于PC服务器能够完成数百万每秒的事务过滤和处理，已 用于云计算的物理和虚拟机集群监控。
2015/8/9
23
CETC
华为的大数据处理-核心技术 Cloud computing
华为的HTML5和高性能计算云技术和解决方案应该在平安城市项目中 不会强调，主要相关的就是前面提到的云存储、大数据、视频媒体处理 和虚拟桌面这四方面技术和解决方案。
2015/8/9
24
绿色高效的云机房建设
2015/8/9
8
CETC
Cloud computing
华为云计算
提供系列化云硬件平台产品
2015/8/9
9
CETC
Cloud computing
华为云计算
提供云操作系统
2015/8/9
10
CETC
Cloud computing
华为云计算
华为桌面云即SingleCLOUD
指“1个平台+N种应用”的安全解决方案。1个平台即SingleCLOUD，将软件与 某一个具体的服务器分离，这样，所有的软件共享所有的硬件资源，实现“ 软件与硬件的解耦”，实现真正的云计算。 SingleCLOUD云平台，支持“百万级服务器集群、百万T 的存储能力、百T级 网络互连能力”，支撑海量信息的计算和存储，并通过“Zero-Touch的自动 管控”，大大降低运维成本。采用业界主流高性能桌面协议(ICA )提供桌面 云规划设计、部署、验证等系列服务和工具。
2015/8/9 17
CETC
华为的大数据处理-核心技术 Cloud computing
大数据处理技术的趋势与挑战
当前大数据表现为如下两方面主要特征：(1)大数据量 十T级是入门，百T级 PB级已非常常见；(2)响应速度 数据产生的速度越来越快，对于数据中蕴含 信息的提取，以及对于提取信息的反馈，要求越来越快。 由于在数据量和响应速度两个维度的交织，给大数据的处理带来很大的困难 。在过去五到十年，两类技术已经发展起来，针对性地解决上述两个的挑战 。 发源于金融自动交易系统的复杂事件处理（CEP）技术，经过美国若干大学领 先团队的研究及创业公司的工程优化，已走向实用，数百万每秒事件的处理 ，在工程上成为可能。 随着互联网点击流实时处理以及微博等业务的出现，流处理系统发展为分布 式系统。雅虎和Twitter都开源了其流处理系统，这进一步推动了大规模流处 理系统的应用。发源于谷歌的开源系统Hadoop，随着众多公司的加入，已形 成大数据处理的事实标准。来自数据源的原始数据，以及经过流处理再生成 的结果数据，一起再进入Hadoop系统形成一个可供后处理的全量数据处理平 台，已形成经典的大数据处理模式。
华为云计算
华为云平台IDC整体视图
云服务
云平台
2015/8/9
5
CETC
Cloud computing
华为云计算
华为提出的支持智能城市的云平台架构
2015/8/9
6
CETC
Cloud computing
华为云计算
华为提供端到端云解决方案
2015/8/9
7
CETC
Cloud computing
华为云计算
2015/8/9
22
CETC
华为的大数据处理-核心技术 Cloud computing
华为VDI解决方案
华为VDI解决方案包括两大类功能： （1）桌面协议功能，包括：桌面协议框架的服务器和客户端，桌面 显示的服务器和客户端，外设重定向的服务器和客户端，语音重定向 的服务器和客户端，VOIP定制化的服务器和客户端，鼠标重定向到服 务器和客户端，键盘重定向的服务器和客户端，以及多媒体重定向的 服务器和客户端。 （2）桌面管理系统功能，包括：管理服务器，驻留在虚拟机中的桌 面管理代理，驻留在客户端上的终端管理代理，以及提供操作维护界 面的管理控制台。
2015/8/9
13
CETC
Cloud computing
华为的大数据处理
华为大数据整体架构
2015/8/9
14
CETC
Cloud computing
华为的大数据处理
大数据应用领域
视频转码 3D渲染 金融领域计算 天气预测 风洞计算 地质模拟 数据挖掘 仿真 …
2015/8/9