企业大数据解决方案-大数据企业架构分析(PPT 21张)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
大数据企业架构讨论
案例研究：智慧交通
大数据实时处理和分析
目的：提高城市交通的科学管理和组织服务水 平
传感 器
度…… • 射频天线扫 描 • 电子标识 • 压力传感器 • 速度传感器 • 生物传感器 • 温度、湿
业务目标
RFID
• 智能交通数据的有力支撑 • 智能交通公共信息服务的实时传递和快速 反 应的应急指挥 • 智能交通业务联动快速应对变化 • 可视化事件跟踪
摄像 头
头
• 高速拍照 • 高清摄像
挑战
• 近千万辆轿车、轨道交通、快速公交 系统 • 高并发事件及数据流的实时处理 • 海量非结构化大数据的组织与分析
智能交通整体规划架构
信息服务
用户服务
政府
企业
公共
个人
ITS智能交通物联网平台
城市综合信息管理平台
应用层/ 信息处 理
铁路综合管理平台 水运综合管理平台 公共交通运营管理平台 公路可视化综合信息平台 监控 车次号识别 信号
感知层/ 信息采集
交通行业
3
数据是智能交通的核心
源自文库
数据获取
数据传输
数据处理
数据获取
• 低延时 • 高并发的交易 • 高度灵活的数据结构
数据传输
数据处理
• 深度分析 • 敏捷开发 • 高度扩展性 • 实时分析结果
•大吞吐量 •实时准备 •所有的数据源及数据结构
4
Discussion
People. Process. Portfolio.
HDFS
实时分析数据流
历史数据源 实时数据源 计算配置文件 事件处理 规则和结果
外部数据库
黑名单
小型机
Hadoop 集群
历史事务
备份
历史配置文件
RDBMS
实时事务 （基于消息） NOSQL RDBMS
CEP
事务
实时位 置
关联和分析 — 概念图解
HDFS
业务机会 • 行车路线建议 • 信号控制 • 交通流量分析 技术选择 • 将缩减结果集成到关系数据 库 • 构建另一个环境 • 手动关联 架构决策 • 使用集成元数据 • 使用标准 BI 平台 • 最大限度地减少数据移动
Oracle BI
Oracle 大数据机
Oracle 大数据连接器
Oracle Exadata
Oracle Exalytics
•Oracle 大数据机 •Oracle Exalogic •Oracle CEP/Coherence •Oracle SOA Suite •Oracle 大数据连 接器 •Oracle Exadata •Oracle Advanced Analytics •Oracle Exalytics
Discussion
People. Process. Portfolio.
问题
• 请为自己公司/单位设计一个大数据的解决方案。分组讨 论结束之后，每组派一到两个代表上来讲一下这个方案
• • • • • • • A) 公司里存在哪些数据 结构化/多结构化/大小/实 时数据/流式数据 公司是否已经应用了非关系型数据库 B)那些业务考虑引入大数据 C)有了这些大数据，如何设计公司的大数据平台 D)公司数据的问题或者远景 企业的数据架构远景
＠
岳‘.
＿
←.. ’...
。同 ACL1 a:> .a吕.""S<
案例：Facebook数据仓库架构
Hadoop@Facebook
世界上第二大Hadoop集群 用于处理 log 和dimension data Use Case
• 从大量数据中产生每天和每小时的汇总. •在历史数据中执行 ad hoc jobs • 事实上作为一个长期的数据归档 • 根据特定属性来查找log, 可用于维护站点的 一致性，保护用户免受垃圾邮件影响
13
Hadoop Map/Reduce实时分 析 — 真实情况
“With the paths that go through Hadoop [at Yahoo!], the latency is about fifteen minutes. … It will never be true real-time..” (Yahoo CTO Raymie Stata) Hadoop/Hive..Not realtime. Many dependencies. Lots of points of failure. Complicated system. Not dependable enough to hit realtime goals ( Alex Himel, Engineering Manager at Facebook.) "MapReduce and other batch-processing systems cannot process small updates individually as they rely on creating large batches for efficiency,“ (Google senior director of engineering Eisar Lipkovitz)
实时事件处理 — 概念图解
实时
NoSQL
流 （CEP 引擎）
批处理
警报 •BP EL • 移 动 • 信 息板 • 数 据库
业务场景 • 重要车辆监控 • 交通诱导 • 出行者信息 • 技术机遇 • 实时处理大数据量 • 合并历史事务和实时事务 架构决策 • 实时流 • 利用现有分析 • 最大限度地减少数据移动
• Real
time(msec/sec)
• Near
real time(Min/Hours)
雷达测速 GIS 通信 电警 ETC 接处警 卡口 视频监控 事件检测 交通诱导 信号控制 出行者信息系统 智能停车场
车地双向实时无线通信网数传电台
紧急救援 旅行时间 电子站牌
政府专网
CBTC PIS BRT 路径识别 公交调度管理
Internet
网络层/ 信息传输
GPRS/CDMA/3G/Wi-Fi/WiMax光纤TCP/IP
数据仓库
MapReduce
数据库中的 分析
BI 平台与分析
NoSQL
数据集市
实时处理和分析 — 逻辑图解
关键组件
消息流
CEP/SOA Coherenc e
Oracle Exalogic HDFS 和 NoSQL MapReduce
Infini
Band
Oracle Advanced Analytics InfiniBand
案例研究：智慧交通
大数据实时处理和分析
目的：提高城市交通的科学管理和组织服务水 平
传感 器
度…… • 射频天线扫 描 • 电子标识 • 压力传感器 • 速度传感器 • 生物传感器 • 温度、湿
业务目标
RFID
• 智能交通数据的有力支撑 • 智能交通公共信息服务的实时传递和快速 反 应的应急指挥 • 智能交通业务联动快速应对变化 • 可视化事件跟踪
摄像 头
头
• 高速拍照 • 高清摄像
挑战
• 近千万辆轿车、轨道交通、快速公交 系统 • 高并发事件及数据流的实时处理 • 海量非结构化大数据的组织与分析
智能交通整体规划架构
信息服务
用户服务
政府
企业
公共
个人
ITS智能交通物联网平台
城市综合信息管理平台
应用层/ 信息处 理
铁路综合管理平台 水运综合管理平台 公共交通运营管理平台 公路可视化综合信息平台 监控 车次号识别 信号
感知层/ 信息采集
交通行业
3
数据是智能交通的核心
源自文库
数据获取
数据传输
数据处理
数据获取
• 低延时 • 高并发的交易 • 高度灵活的数据结构
数据传输
数据处理
• 深度分析 • 敏捷开发 • 高度扩展性 • 实时分析结果
•大吞吐量 •实时准备 •所有的数据源及数据结构
4
Discussion
People. Process. Portfolio.
HDFS
实时分析数据流
历史数据源 实时数据源 计算配置文件 事件处理 规则和结果
外部数据库
黑名单
小型机
Hadoop 集群
历史事务
备份
历史配置文件
RDBMS
实时事务 （基于消息） NOSQL RDBMS
CEP
事务
实时位 置
关联和分析 — 概念图解
HDFS
业务机会 • 行车路线建议 • 信号控制 • 交通流量分析 技术选择 • 将缩减结果集成到关系数据 库 • 构建另一个环境 • 手动关联 架构决策 • 使用集成元数据 • 使用标准 BI 平台 • 最大限度地减少数据移动
Oracle BI
Oracle 大数据机
Oracle 大数据连接器
Oracle Exadata
Oracle Exalytics
•Oracle 大数据机 •Oracle Exalogic •Oracle CEP/Coherence •Oracle SOA Suite •Oracle 大数据连 接器 •Oracle Exadata •Oracle Advanced Analytics •Oracle Exalytics
Discussion
People. Process. Portfolio.
问题
• 请为自己公司/单位设计一个大数据的解决方案。分组讨 论结束之后，每组派一到两个代表上来讲一下这个方案
• • • • • • • A) 公司里存在哪些数据 结构化/多结构化/大小/实 时数据/流式数据 公司是否已经应用了非关系型数据库 B)那些业务考虑引入大数据 C)有了这些大数据，如何设计公司的大数据平台 D)公司数据的问题或者远景 企业的数据架构远景
＠
岳‘.
＿
←.. ’...
。同 ACL1 a:> .a吕.""S<
案例：Facebook数据仓库架构
Hadoop@Facebook
世界上第二大Hadoop集群 用于处理 log 和dimension data Use Case
• 从大量数据中产生每天和每小时的汇总. •在历史数据中执行 ad hoc jobs • 事实上作为一个长期的数据归档 • 根据特定属性来查找log, 可用于维护站点的 一致性，保护用户免受垃圾邮件影响
13
Hadoop Map/Reduce实时分 析 — 真实情况
“With the paths that go through Hadoop [at Yahoo!], the latency is about fifteen minutes. … It will never be true real-time..” (Yahoo CTO Raymie Stata) Hadoop/Hive..Not realtime. Many dependencies. Lots of points of failure. Complicated system. Not dependable enough to hit realtime goals ( Alex Himel, Engineering Manager at Facebook.) "MapReduce and other batch-processing systems cannot process small updates individually as they rely on creating large batches for efficiency,“ (Google senior director of engineering Eisar Lipkovitz)
实时事件处理 — 概念图解
实时
NoSQL
流 （CEP 引擎）
批处理
警报 •BP EL • 移 动 • 信 息板 • 数 据库
业务场景 • 重要车辆监控 • 交通诱导 • 出行者信息 • 技术机遇 • 实时处理大数据量 • 合并历史事务和实时事务 架构决策 • 实时流 • 利用现有分析 • 最大限度地减少数据移动
• Real
time(msec/sec)
• Near
real time(Min/Hours)
雷达测速 GIS 通信 电警 ETC 接处警 卡口 视频监控 事件检测 交通诱导 信号控制 出行者信息系统 智能停车场
车地双向实时无线通信网数传电台
紧急救援 旅行时间 电子站牌
政府专网
CBTC PIS BRT 路径识别 公交调度管理
Internet
网络层/ 信息传输
GPRS/CDMA/3G/Wi-Fi/WiMax光纤TCP/IP
数据仓库
MapReduce
数据库中的 分析
BI 平台与分析
NoSQL
数据集市
实时处理和分析 — 逻辑图解
关键组件
消息流
CEP/SOA Coherenc e
Oracle Exalogic HDFS 和 NoSQL MapReduce
Infini
Band
Oracle Advanced Analytics InfiniBand