企业级大数据整体解决方案架构
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
OGG OGG
ODI Oozie Hive on MR, Tez, Spark
Pig on MR, Tez, Spark
Spark
Hive/HCat, HDFS,HBase
Hive/HCat, HDFS,HBase
Load to XX Big Data SQL
XX DB
SQOOP
Any DW
Data Validation & Cleansing
企业级客户
传统业务数据为主 商业化服务支持 更多精力在业务层面
简化架构 人员少，简化管理和维护
逐步积累和完善
4
企业更需要全面的数据分析
结构化和非结构化结合，平台和工具为主
实时数据流
业务数据 行业数据 & 物联网 & 社交数据
决策行动 探索创新
事件引擎
决策引擎
数据贮藏库 数据工厂
数据仓库
BI 和报表
企业级客户的特点
数据以结构化为主 多年IT建设积累，量>80% 高密度，高价值
开发和维护人员相对有限 聚焦管理和高层次分析
安全和可用性要求 与已有系统的集成 拥抱新数据和新技术，创新但不是颠覆 考虑总体拥有成本和投资回报
Vs
互联网公司构建 大数据平台
新数据为主 开源软件 一切从头组装 技术即价值 大量的人力堆积 失败了推倒重来
可行动的 事件
可行动的 洞察
事件 & 数据
发现实验室
发现信息 输出 & 共享
有价值的 信息
XX大数据解决方案支持企业全数据管理
提供完整，集成和开放的整体解决方案
实时数据流
Stream Explorer
事件引擎
RTD
决策引擎
可行动的 事件
业务数据
行业数据 & 物联网 & 社交数据
OGG/ ODI
决策行动
Metadata Mgmt & Lineage
OEDQ
OEMM
获组分决 取织析策
批量数据收集（ODI）
• 下一代E-LT技术，装载速度比普通工具 快10倍以上
• 支持超过200种不同的数据源和目标数据 库，支持Hadoop平台
• 和其他工具相比总体拥有成本更低 • 对XX数据库提供最佳性能
实时数据同步（OGG）
• 安全管控：XX数据库安全特性扩展到新技术平台，
控制对敏感数据的访问
• 功能丰富：提供从XX数据库复制数据到Hadoop的工
具：Copy to Hadoop；以及通过Hadoop可以直接访问XX 数据库中的数据的工具XX Table Access for Hadoop and Spark
XX Big Data SQL 3.0
获组分决 取织析策
பைடு நூலகம்
• 统一查询数据：跨不同平台：XX数据库，Hadoop 和
NoSQL DB
•保护现有投资：不需要任何修改就可以直接运行XX
SQL查询
• 卓越性能：Hadoop和NoSQL上的智能扫描通过解析和
智能地过滤各自节点数据大幅度提高性能
• 适用广泛：支持用户自建的系统和XX集成化设备；
支持目前主流领先的Hadoop版本
• 最快的数据同步和复制工具 • 无停机，保证事物可靠性 • 支持多种数据源和目标 • 灵活的1对1/1对多/多对1配置 • 最小化影响数据源
HDFS (Files)
Capture Database Transactions and Deliver to Big Data in Real-Time
HBase (NoSQL) Hive / Hive Streaming (SQL)
{MapReduce}
{APIs}
SQL
Cloudera 5.5及更高 Hortonworks 2.3及更高
Database 12C
BDA
Exadata
企业级商务智能平台， 提供广泛的商业智能能 力和企业级的安全性， 可靠性和可扩展性。支 持移动化，可与XX数据 挖掘集成
利用算法和机器学习自 动进行数据挖掘，支持 图形化界面和企业级R 语言
7
XX提供实时/批量大数据收集工具
Logs NoSQL OLTP DB
Flume/Kafka
API/File SQOOP Flume/Kafka
企业级大数据架构整体解决方案
大多数企业现在的数据分析状态
仅仅是BI：结果展现
实时数据流
业务数据 行业数据 & 物联网 & 社交数据
决策行动 探索创新
事件引擎
决策引擎
数据贮藏库 数据工厂
数据仓库
BI 和报表
可行动的 事件
可历行史动或的者 实洞时察结果
事件 & 数据
发现实验室
发现信息 输出 & 共享
有价值的 信息
Capture Trail Pump Route
Deliver
GoldenGate
JMS
Flume & Storm (Streaming) JMS
Kafka (MPP Pub/Sub)
XX DB
Spark Streaming (Machine Learning)
8
XX Big Data SQL实现跨平台统一数据访问
大数据时代互联网公司的数据分析
偏好开源和自己开发
实时数据流
业务数据
行业数据 & 物联 网 & 社交数据
决策行动 探索创新
事件引擎
R 决策引擎
数据贮藏库
Scala 数据工厂
R 数据仓库
R BI 和报表
可行动的 事件
可行动的 洞察
事件
R
& 数据
R
发现实验室
发现信息 输出 & 共享
有价值的 信息
企业级大数据的不同之处
企业级 商务智能平台
BIEE
OAA
Big Data SQL
Cloudera Hadoop/ Hortonworks Hadoop
XX Database
或
X86 服务器
X86 服务器
X86 服务器
X86 服务器
X86 服务器
X86 服务器
或
数据混搭和全新的数据 图形化展示工具，提供 丰富的图表，业务人员 通过拖拽即可实现数据 可视化
发现实验室
发现信息 输出 & 共享
有价值的 信息
XX支持企业快速开启大数据分析之旅
满足企业不同数据格式，不同角色的需求
交互式数据探索和 发现，基于Hadoop， 利用人的经验发现
数据相关性和价值。 快速进行新数据/非
结构化数据分析
数据探索和发现
BDD
灵活可视化工具
Data Visualization
探索创新
Hadoop NoSQL DB
R
XX Database
OAA 内存选件/多租户
地理和图形
数据贮BD藏A库或 自建 数据工厂
数据仓库 Exadata 或 自建
Big data SQL
Data Visualization
BIEE
BI 和报表
可行动的 洞察
事件 & 数据
Big Data Discovery
ODI Oozie Hive on MR, Tez, Spark
Pig on MR, Tez, Spark
Spark
Hive/HCat, HDFS,HBase
Hive/HCat, HDFS,HBase
Load to XX Big Data SQL
XX DB
SQOOP
Any DW
Data Validation & Cleansing
企业级客户
传统业务数据为主 商业化服务支持 更多精力在业务层面
简化架构 人员少，简化管理和维护
逐步积累和完善
4
企业更需要全面的数据分析
结构化和非结构化结合，平台和工具为主
实时数据流
业务数据 行业数据 & 物联网 & 社交数据
决策行动 探索创新
事件引擎
决策引擎
数据贮藏库 数据工厂
数据仓库
BI 和报表
企业级客户的特点
数据以结构化为主 多年IT建设积累，量>80% 高密度，高价值
开发和维护人员相对有限 聚焦管理和高层次分析
安全和可用性要求 与已有系统的集成 拥抱新数据和新技术，创新但不是颠覆 考虑总体拥有成本和投资回报
Vs
互联网公司构建 大数据平台
新数据为主 开源软件 一切从头组装 技术即价值 大量的人力堆积 失败了推倒重来
可行动的 事件
可行动的 洞察
事件 & 数据
发现实验室
发现信息 输出 & 共享
有价值的 信息
XX大数据解决方案支持企业全数据管理
提供完整，集成和开放的整体解决方案
实时数据流
Stream Explorer
事件引擎
RTD
决策引擎
可行动的 事件
业务数据
行业数据 & 物联网 & 社交数据
OGG/ ODI
决策行动
Metadata Mgmt & Lineage
OEDQ
OEMM
获组分决 取织析策
批量数据收集（ODI）
• 下一代E-LT技术，装载速度比普通工具 快10倍以上
• 支持超过200种不同的数据源和目标数据 库，支持Hadoop平台
• 和其他工具相比总体拥有成本更低 • 对XX数据库提供最佳性能
实时数据同步（OGG）
• 安全管控：XX数据库安全特性扩展到新技术平台，
控制对敏感数据的访问
• 功能丰富：提供从XX数据库复制数据到Hadoop的工
具：Copy to Hadoop；以及通过Hadoop可以直接访问XX 数据库中的数据的工具XX Table Access for Hadoop and Spark
XX Big Data SQL 3.0
获组分决 取织析策
பைடு நூலகம்
• 统一查询数据：跨不同平台：XX数据库，Hadoop 和
NoSQL DB
•保护现有投资：不需要任何修改就可以直接运行XX
SQL查询
• 卓越性能：Hadoop和NoSQL上的智能扫描通过解析和
智能地过滤各自节点数据大幅度提高性能
• 适用广泛：支持用户自建的系统和XX集成化设备；
支持目前主流领先的Hadoop版本
• 最快的数据同步和复制工具 • 无停机，保证事物可靠性 • 支持多种数据源和目标 • 灵活的1对1/1对多/多对1配置 • 最小化影响数据源
HDFS (Files)
Capture Database Transactions and Deliver to Big Data in Real-Time
HBase (NoSQL) Hive / Hive Streaming (SQL)
{MapReduce}
{APIs}
SQL
Cloudera 5.5及更高 Hortonworks 2.3及更高
Database 12C
BDA
Exadata
企业级商务智能平台， 提供广泛的商业智能能 力和企业级的安全性， 可靠性和可扩展性。支 持移动化，可与XX数据 挖掘集成
利用算法和机器学习自 动进行数据挖掘，支持 图形化界面和企业级R 语言
7
XX提供实时/批量大数据收集工具
Logs NoSQL OLTP DB
Flume/Kafka
API/File SQOOP Flume/Kafka
企业级大数据架构整体解决方案
大多数企业现在的数据分析状态
仅仅是BI：结果展现
实时数据流
业务数据 行业数据 & 物联网 & 社交数据
决策行动 探索创新
事件引擎
决策引擎
数据贮藏库 数据工厂
数据仓库
BI 和报表
可行动的 事件
可历行史动或的者 实洞时察结果
事件 & 数据
发现实验室
发现信息 输出 & 共享
有价值的 信息
Capture Trail Pump Route
Deliver
GoldenGate
JMS
Flume & Storm (Streaming) JMS
Kafka (MPP Pub/Sub)
XX DB
Spark Streaming (Machine Learning)
8
XX Big Data SQL实现跨平台统一数据访问
大数据时代互联网公司的数据分析
偏好开源和自己开发
实时数据流
业务数据
行业数据 & 物联 网 & 社交数据
决策行动 探索创新
事件引擎
R 决策引擎
数据贮藏库
Scala 数据工厂
R 数据仓库
R BI 和报表
可行动的 事件
可行动的 洞察
事件
R
& 数据
R
发现实验室
发现信息 输出 & 共享
有价值的 信息
企业级大数据的不同之处
企业级 商务智能平台
BIEE
OAA
Big Data SQL
Cloudera Hadoop/ Hortonworks Hadoop
XX Database
或
X86 服务器
X86 服务器
X86 服务器
X86 服务器
X86 服务器
X86 服务器
或
数据混搭和全新的数据 图形化展示工具，提供 丰富的图表，业务人员 通过拖拽即可实现数据 可视化
发现实验室
发现信息 输出 & 共享
有价值的 信息
XX支持企业快速开启大数据分析之旅
满足企业不同数据格式，不同角色的需求
交互式数据探索和 发现，基于Hadoop， 利用人的经验发现
数据相关性和价值。 快速进行新数据/非
结构化数据分析
数据探索和发现
BDD
灵活可视化工具
Data Visualization
探索创新
Hadoop NoSQL DB
R
XX Database
OAA 内存选件/多租户
地理和图形
数据贮BD藏A库或 自建 数据工厂
数据仓库 Exadata 或 自建
Big data SQL
Data Visualization
BIEE
BI 和报表
可行动的 洞察
事件 & 数据
Big Data Discovery