GreenplumHD-Isilon-Hadoop-Solution-tech

ZooKeeper Pig Hive HBase MapReduce HDFS Mahout
3.3.3 0.9.1 0.7.1 0.90.4 0.20.205 0.20.205 0.5
© 版权所有 2012 EMC Corporation。 保留所有权利。
9
Greenplum HD Data Computing Appliance
强大、灵活、可靠的 EMC Hadoop 解决方案 — 技术回顾
采用 EMC Greenplum HD 和 EMC Isilon 构建
© 版权所有 2012 EMC Corporation。 保留所有权利。
1
大数据和 Apache Hadoop 的远大前程
充分利用数据资产，确定主要趋势及新的业 务机会 分析新的信息源，获得优于竞争对手的优势 采用灵活的分析方法，适应业务的发展速度 扩展您的存储和分析平台，应对大数据的庞 大数量和繁杂种类
15
Isilon 存储和 Greenplum HD 企业级分析
无单点故障
– Isilon OneFS 分发 NameNode，以实现高可用性和负载平衡
将企业数据服务融入 Hadoop
– Isilon SnapShotIQ 和 SyncIQ 可提供先进的备份和灾难恢复功能
大数据规模
– Isilon NAS 存储解决方案提供高效的单个文件系统/单个卷，可扩展 至高达 15 PB
© 版权所有 2012 EMC Corporation。 保留所有权利。
11
经过大规模验证并提供全球支持
在 Greenplum Analytics Workbench 上通过了大规模测试
– – – – 包含 1,000 个节点的 24 PB 群集 EMC 及合作伙伴投入了数百万美元的投资 为 EMC 客户降低了风险 获得了合作伙伴产品认证
© 版权所有 2012 EMC Corporation。 保留所有权利。
5
EMC Isilon 概述
横向扩展 NAS 存储解决方案领域经验证的全球领导者 经验证的全球领导者 无可匹敌的产品创新 — 第六代 创新
世界一流的产品 产品和全球服务 产品 服务
强大的技术合作伙伴 技术合作伙伴体系 技术合作伙伴
17
Greenplum HD Data Computing Appliance 软件体系结构及 Isilon
Greenplum
Greenplum Chorus Greenplum Command Center
Hadoop 工具（Pig、Hive、HBase、Mahout 等）
MapReduce 层 可插拔存储层 (HDFS API)
HDFS 协议 Isilon
lsilon OneFS
© 版权所有 2012 EMC Corporation。 保留所有权利。
18
摘要
全面的大数据存储和 Hadoop 分析解决方案 Isilon 是第一款也是唯一一款可本机集成 HDFS 协议的企业级横向扩展 NAS 存储平台 集成大数据存储和分析解决方案，基于 Greenplum HD、Isilon 横向扩展 NAS 和面 向单个供应商解决方案的 EMC 服务
将 HDFS 作为协议
– 可轻松执行读写操作，以及将 Hadoop 操作附加到存储中
© 版权所有 2012 EMC Corporation。 保留所有权利。
14
Isilon 存储和 Greenplum HD 分析的高效性
消除 HDFS 中 3 倍的数据副本
– Isilon OneFS 可实现 80% 的利用率，从而提高存储效率
© 版权所有 2012 EMC Corporation。 保留所有权利。
16
灵活组装
软件
在商用 x86 硬件上打包 Greenplum HD 软件 Isilon 横向扩展 NAS
应用装置
Greenplum HD Data Computing Appliance Isilon 横向扩展 NAS
© 版权所有 2012 EMC Corporation。 保留所有权利。
计算 存储
© 版权所有 2012 EMC Corporation。 保留所有权利。
ቤተ መጻሕፍቲ ባይዱ
13
Isilon 存储和 Greenplum HD 分析的简单性
可减少将数据转移至 Hadoop 的需求
– OneFS 支持通过标准协议（NFS、CIFS、FTP、HTTP、HDFS） 进行数据访问
增强的群集管理
– Greenplum Command Center 可简化对 Hadoop 计算资源的 监视
将快速创新融入 Hadoop
业内最大的 Hadoop 支持团队
– 凝聚了业内最尖端的 Hadoop 人才（来自 Yahoo!、LinkedIn、Talend 等）
© 版权所有 2012 EMC Corporation。 保留所有权利。
12
解决方案概述
全面的大数据存储和分析平台 Isilon 是第一款也是唯一一款可与 HDFS 层本机 集成的企业级横向扩展 NAS 存储平台 Greenplum HD 可提供完整的企业级 Hadoop 应用装置和软件产品 集成大数据存储和分析解决方案，基于 Greenplum HD 和 Isilon 横向扩展 NAS
可插拔存储选项
– 利用同类最佳应用程序，无任何更改
© 版权所有 2012 EMC Corporation。 保留所有权利。
8
Greenplum HD：Hadoop 软件版本
100% 开放源代码 Apache Hadoop 为全球企业提供全天候支持 Greenplum HD 1.1 组件版本：
工具
版本
© 版权所有 2012 EMC Corporation。 保留所有权利。
2
为何选择 Hadoop？
Hadoop 使分析基于更大规模的数据，并且更注重 实效
– 开创理解和运营业务线的新方法
非结构化数据的兴起势头迅猛
– 据估计，五年的企业数据增长率为 650%，其中包含超 过 80% 的非结构化数据（例如，Facebook 每天收集 100 TB）
可单独扩展计算或存储
– 可添加 Greenplum HD 或 Isilon 节点，从而提高性能或增加容量
借助 Greenplum 实现无缝分析访问
– 可将 Hadoop 见解直接融入 Greenplum 数据库，以扩大结构化分析
© 版权所有 2012 EMC Corporation。 保留所有权利。
© 版权所有 2012 EMC Corporation。 保留所有权利。
4
EMC 方法
将 Greenplum 的分析专业技能与 Isilon 的企业存储功能相结合
Isilon：高效的横向扩展存储基础架构，可随您数据的增长而 扩展 Greenplum HD：灵活的分析平台，可深入了解业务情况
结果
能够利用您的数据来更快地做出更好的决定，并且风险更低
业务分析需要新方法
– Apache Hadoop 致力于成为分析和存储大量数据的重 要数据平台 – 增加分析数据库的功能 (Greenplum)
© 版权所有 2012 EMC Corporation。 保留所有权利。
3
传统大数据和 Hadoop 环境中存在的难题
Hadoop 群集中存储和 CPU 资源的利用率低 数据转移和加载进程效率低下 缺少备份和灾难恢复功能
全球第一款高性能专用数据协同处理 Hadoop 应用装置 将 Greenplum 数据库和 Greenplum HD 结合在一个应用装置中
© 版权所有 2012 EMC Corporation。 保留所有权利。
10
Greenplum HD DCA 模块
Greenplum HD DCA 模块
Greenplum HD DCA 模块 软件版本 Hadoop DataNode CPU 内核总数 内存总量 可用容量 （假设 3 倍副本） 规格 Greenplum HD 4 48 192 GB 28 TB
应用程序和工作流整合 行业领先的可靠性和自我修复 能力 简化的管理
© 版权所有 2012 EMC Corporation。 保留所有权利。
7
Greenplum HD 企业级 Hadoop
Apache Hadoop
– 基于最新的可靠版本
企业支持
– EMC 在全球范围内提供全天候支持
经过大规模验证
– EMC 进行了大规模认证
位全球客户，并且客户数量仍在持续攀升 超过 2,100 位全球客户 于 2010 年 12 月 21 日被 EMC 收购 被
© 版权所有 2012 EMC Corporation。 保留所有权利。
6
Isilon 横向扩展存储创新
巨大的可扩展性
– 在单个文件系统中高达 15 PB
无与伦比的性能
– 吞吐量高达 85 GB/s
计算 存储
© 版权所有 2012 EMC Corporation。 保留所有权利。
19