大数据和大分析—EMCHadoop解决方案蕴含巨大商机043027.pptx

16
Hadoop 的技术难题
1
专用存储基础架构
– 仅用于 Hadoop 的一次性架构
2
单点故障
– NameNode
3
缺乏企业数据保护
– 无快照、复制、备份
4
存储效率低
– 3 倍镜像
5
固定可扩展性
– 固定的计算/存储比率
6
手动导入/导出
– 无协议支持
Hadoop DAS 环境
1倍
NameNode
1倍
15
Hadoop 的技术难题
1
专用存储基础架构
– 仅用于 Hadoop 的一次性架构
2
单点故障
– NameNode
3
缺乏企业数据保护
– 无快照、复制、备份
4
存储效率低
– 3 倍镜像
5
固定可扩展性
– 固定的计算/存储比率
6
手动导入/导出
– 无协议支持
Hadoop DAS 环境
NameNode
© 版权所有 2011 EMC Corporation。保留所有权利。
© 版权所有 2011 EMC Corporation。保留所有权利。
2
EMC Isilon 概述
横向扩展 NAS 存储解决方案领域经验证的全球领导者 无可匹敌的产品创新 — 第六代 世界一流的产品和全球服务 强大的技术合作伙伴体系 超过 2,000 个全球客户，并且客户数量仍在持续攀升 于 2010 年 12 月 21 日被 EMC 收购
!!!
!!!
时代已经到来“大数据！ 它真实存在，实 — Gartner 时提供，并且正在改变您 的世界”
!!! “总数据：比大数 据更‘大’”
!!!
!!!
— 451 Group
―IDC
© 版权所有 2011 EMC Corporation。保留所有权利。
6
大数据在活动
• 医疗保健
– 利用历史数据发现更好的治疗方式
— Gartner
时提供，并且正在改变您的 世界”
“总数据：比大数据
!!! 更‘大’”
!!!
— 451 Group
!!!ห้องสมุดไป่ตู้
―IDC
© 版权所有 2011 EMC Corporation。保留所有权利。
5
!!! !!!
“大数据无关乎大小， 而关乎自由度”
大数据 — Techcrunch “发现：‘大数据’比卷 !!! 更卓绝”
• 金融服务
– 数据驱动型银行压力测试和风险分析
• 公用事业
– 机器学习以预测服务中断和防止能源盗窃
© 版权所有 2011 EMC Corporation。保留所有权利。
7
Hadoop 与大数据
© 版权所有 2011 EMC Corporation。保留所有权利。
8
大数据分析的远大前程
利用数据资产确定主要趋势和新商机 分析新信息来源以获得竞争优势 采用灵活的分析方法，适应业务的发展速度 扩展您的存储和分析平台，应对大数据的庞大
数量、快速变化和繁杂种类
© 版权所有 2011 EMC Corporation。保留所有权利。
9
Hadoop 初展锋芒
• 创建于 5-6 年前 • 旨在分析海量非结构化数据的软件平台 • 两个核心组件：
– Hadoop 分布式文件系统 (HDFS)（存储） – MapReduce（计算）
• 目前是大型开放源代码开发社区支持的首要 Apache 项目
© 版权所有 2012 EMC Corporation。保留所有权利。
3
大数据商机
© 版权所有 2011 EMC Corporation。保留所有权利。
4
!!! !!!
“大数据无关乎大小， 而关乎自由度”
— Techcrunch
!!!
!!!
!!!
“发现：‘大数据’比卷 更卓绝”
“大数据！ 它真实存在，实
11
Hadoop 市场演变
HADOOP 概要信息（迄今为止）
先行者和学术机构 应用程序架构师 有远见卓识 开放源代码/社区驱动 构建您自己的服务器、应用程序和 存储基础架构 商用组件 Web 2.0 大学 生命科学
Hadoop 早期采用者
© 版权所有 2011 EMC Corporation。保留所有权利。
Hadoop 的技术难题
1
专用存储基础架构
– 仅用于 Hadoop 的一次性架构
2
单点故障
– NameNode
3
缺乏企业数据保护
– 无快照、复制、备份
4
存储效率低
– 3 倍镜像
5
固定可扩展性
– 固定的计算/存储比率
6
手动导入/导出
– 无协议支持
Hadoop DAS 环境
NameNode
© 版权所有 2011 EMC Corporation。保留所有权利。
大数据与大分析：EMC Hadoop 解决方案蕴含巨大商机
充分发掘大数据的价值
© 版权所有 2011 EMC Corporation。保留所有权利。
1
今天的议程
• 简介 • 大数据商机 • Hadoop 大数据分析 • Hadoop 的技术难题 • 面向企业的 EMC Hadoop 解决方案 • Q+A
– 固定的计算/存储比率
© 版权所有 2011 EMC Corporation。保留所有权利。
10
为什么 Hadoop 很重要
面向超大规模的实用分析方法
– 开创获得洞察见解和发现商机的新方法
旨在应对非结构化数据的增长
– 在未来 5 年内，企业数据将增长到现在的 650% – 此增长中超过 80% 将是非结构化数据
© 版权所有 2011 EMC Corporation。保留所有权利。
Hadoop 早期主流客户
12
Hadoop 市场演变
HADOOP 概要信息（迄今为止）
HADOOP 概要信息（新兴）
先行者和学术机构 应用程序架构师 有远见卓识
开放源代码/社区驱动 构建您自己的服务器、应用程序和 存储基础架构 商用组件
Web 2.0 大学 生命科学
IT 经理和 CIO 数据科学家 业务线
商业发布 全包式解决方案 端到端数据保护
财富 1000 强 金融服务 零售业
Hadoop 早期采用者
© 版权所有 2011 EMC Corporation。保留所有权利。
Hadoop 早期主流客户
13
Hadoop 的技术难题
© 版权所有 2011 EMC Corporation。保留所有权利。
14
1倍
2倍 2倍 3倍
2倍 3倍 3倍
© 版权所有 2011 EMC Corporation。保留所有权利。
17
Hadoop 的技术难题
1
专用存储基础架构
– 仅用于 Hadoop 的一次性架构
2
单点故障
– NameNode
3
缺乏企业数据保护
– 无快照、复制、备份
4
存储效率低
– 3 倍镜像
5
固定可扩展性