企业大数据项目解决方案_大数据企业架构分析(PPT21张)

历史数据源
外部数据库 黑名单 小型机
历史事务 备份
历史配置文件 RDBMS 事务
实时分析数据流
实时数据源
计算配置文件
事件处理
实时事务 （基于消息）
NOSQL
RDBMS 实时位 置
Hadoop 集群
CEP
规则和结果
HDFS
MapReduce
NoSQL
关联和分析 — 概念图解 业务机会 • 行车路线建议 • 信号控制 • 交通流量分析
大数据企业架构讨论
案例研究：智慧交通
大数据实时处理和分析
目的：提高城市交通的科学管理和组织服务水 平
业务目标
传感
• 压力传感器 • 速度传பைடு நூலகம்器
器
• 生物传感器
• 温度、湿
度……
RFID
• 射频天线扫 描
• 电子标识
• 智能交通数据的有力支撑
• 智能交通公共信息服务的实时传递和快速 反 应的应急指挥 • 智能交通业务联动快速应对变化 • 可视化事件跟踪
• Near real time(Min/Hours)
• Batch(Days..)
实时分析 — 传统的分析应用
People. Process. Portfolio.
实时
NoSQL
批处理
HDFS
实时事件处理 — 概念图解
警报
•BP
EL
•移
动
•信
流
息板
（CEP 引擎）
•数 据库
业务场景 • 重要车辆监控 • 交通诱导 • 出行者信息
• 技术机遇 • 实时处理大数据量 • 合并历史事务和实时事务
架构决策 • 实时流 • 利用现有分析 • 最大限度地减少数据移动
• A) 公司里存在哪些数据 • 结构化/多结构化/大小/实 时数据/流式数据 • 公司是否已经应用了非关系型数据库 • B)那些业务考虑引入大数据 • C)有了这些大数据，如何设计公司的大数据平台 • D)公司数据的问题或者远景 • 企业的数据架构远景
岳‘.
＿
←.. ’...
＠
。同 a:>A.CaL吕1.""S<
Internet
感知层/ 信息采集
交通行业 3
数据是智能交通的核心
数据获取 数据传输 数据处理
数据获取
• 低延时 • 高并发的交易 • 高度灵活的数据结构
数据传输
•大吞吐量 •实时准备 •所有的数据源及数据结构
数据处理
• 深度分析 • 敏捷开发 • 高度扩展性 • 实时分析结果
4
Discussion
•Oracle Exadata •Oracle Advanced Analytics •Oracle Exalytics
Discussion
People. Process. Portfolio.
问题
• 请为自己公司/单位设计一个大数据的解决方案。分组讨 论结束之后，每组派一到两个代表上来讲一下这个方案
Hadoop/Hive..Not realtime. Many dependencies. Lots of points of failure. Complicated system. Not dependable enough to hit realtime goals ( Alex Himel, Engineering
摄像
头
头
• 高速拍照 • 高清摄像
挑战
• 近千万辆轿车、轨道交通、快速公交 系统 • 高并发事件及数据流的实时处理 • 海量非结构化大数据的组织与分析
信息服务
应用层/ 信息处 理
网络层/ 信息传输
用户服务
智能交通整体规划架构
政府
企业
公共
个人
ITS智能交通物联网平台
城市综合信息管理平台
铁路综合管理平台
水运综合管理平台
公路可视化综合信息平台
公共交通运营管理平台
电警
雷达测速
GIS
通信
监控
车次号识别
信号
接处警 交通诱导
卡口
视频监控
ETC
信号控制
事件检测
紧急救援 CBTC 旅行时间 路径识别
PIS BRT
出行者信息系统
智能停车场
电子站牌
公交调度管理
车地双向实时无线通信网数传电台
政府专网
GPRS/CDMA/3G/Wi-Fi/WiMax光纤TCP/IP
Manager at Facebook.)
• Real time(msec/sec)
"MapReduce and other batch-processing systems cannot process small updates individually as they rely on creating large batches for efficiency,“ (Google senior director of engineering Eisar Lipkovitz)
案例：Facebook数据仓库架构
Hadoop@Facebook
世界上第二大Hadoop集群 用于处理 log 和dimension data Use Case
• 从大量数据中产生每天和每小时的汇总. •在历史数据中执行 ad hoc jobs • 事实上作为一个长期的数据归档 • 根据特定属性来查找log, 可用于维护站点的 一致性，保护用户免受垃圾邮件影响
Infini Band
Oracle 大数据机
Oracle 大数据连接器
Oracle Exalogic
Oracle Advanced Analytics
InfiniBand
Oracle Exadata
Oracle BI
Oracle Exalytics
•Oracle 大数据机 •Oracle Exalogic •Oracle CEP/Coherence •Oracle SOA Suite •Oracle 大数据连 接器
13
Hadoop Map/Reduce实时分 析 — 真实情况 “With the paths that go through Hadoop [at Yahoo!], the
latency is about fifteen minutes. … It will never be true real-time..” (Yahoo CTO Raymie Stata)
数据仓库
数据库中的 分析
BI 平台与分析
技术选择
• 将缩减结果集成到关系数据 库 • 构建另一个环境 • 手动关联
数据集市
架构决策 • 使用集成元数据 • 使用标准 BI 平台 • 最大限度地减少数据移动
实时处理和分析 — 逻辑图解
关键组件
消息流
CEP/SOA Coherenc e
HDFS 和 NoSQL MapReduce