大数据整体架构

消息交换
基础设施（服务器、存储、网络、虚拟化、私有云、公有云）1
航班计划
调整工具
战
略
管
关键指标
理
计算工具
……
移动端应用
程序
态
势
事件监控
监
控
舆情定制
……
预测预警
综
态势监控
合
效率评估
ቤተ መጻሕፍቲ ባይዱ
服
路线规划
务
……
2、技术架构
数据源 数据交换平台
结
构 DBAgent 化
数 TextAgent 据
公网
消 息
消
消
接息息
半
实时 查询
Hbase
批量 交互 查询 式
查询 Hive Impala
批量计算引擎 MapReduce
交互 式 内存
内存 数据 挖掘
内存 图计算
Spark SQL
MLLib Graphx
内存计算引擎 Spark
分布式存储引擎 HDFS/YARN
大数据数据处理平台
应用服务平台
MySQL+Redis
统一 元数据
据
实时决策 引擎
治
理
多结构数据存储与管理
多结构原始数据存储 （Raw Data）
融合数据存储 （Integrated Data）
共
分布式分 析与挖掘
享
引擎
和
基础数据区
传统数据存储与管理
整合数据区 通用语义区 数据集市
运
行
环
报表分
境
析与挖 掘引擎
数
据
平
台
数据交换
文件交换
数据库共享
Web services
推荐算法 recommendation Alg
orithm
评估算法 evaluation Algorithm
时序分析 Sequential Algorithm
深度学习 Deep Learing
回归算法 Regression Algorithm
数据计算 Data Process
流处理引擎 Stream
Data Security Management Platform Configuration Management Platform
ZooKeeper Yarn
监 控 及 配 置 管 理 平 台
数 据 安 全 管 理 平 台
非关系型数据库 No Sql
列式数据库 ColuMN DB
数据采集 Data Acquisition
结构化数据 ETL工具
网络爬虫 Web crawler
非结构化文档工具 PDF ALALIB
实时事件侦听 Real-time monitor
语义识别工具 Semantic LIB
数据侦听 Data monitor
基础设施（服务器、存储、网络、虚拟化、私有云、公有云）
应用服务平台
报表\OLAP服务 查询可视化
定制+ECharts 数据挖掘服务 开放平台API
移动服务
数据流
数据规划和 梳理数据源
1、获取外部数据
数据采集 平台
数据清洗
3 数据清洗 2（a）数据存储
4 清洗后的数据存 储
数据中心
2（b）对数据实时 处理
5 数据分析、挖掘
数据实时分析 （流式计算）
3 （b）推送到数据应用端
数据分析
数据挖掘
数据离线分析
6 数据利用
数据应用
3、数据平台
数据分析算法 Algorithm Library
预测算法 prediction Algorithm
增强学习 Q-Learning
关联分析算法 association Algorithm
入缓分
结 LogAgent
控存发
构
制模模
数 Web crawler
模块块
据
块
内网
非 结
Web crawler
构 化
BinAgent
数 据
ApiAgent
XBRL+DataX+K afka
实时流处理平台
流计算引擎 Storm /Spring Stream
统一调度和监控 Zookeeper+oozie+Ganglia
数据挖掘/机器学习 Data Mining
文本搜索
并行计算引擎 （MapReduce/Spark/Storm）
分
资 源 管 理
布 式 协 助 服
务
数据存储 Data Storage
分布式文件系统 HDFS
文档存储 Document Store
内存数据库 In-memory DB
全文检索 Full-text Search
1、整体架构
数据源
航班
航空 器
机场
空域
气象
航空 情报 监控 视频 地空 通话
数据 采集 平台
实时事 件侦听 页面请求 侦听
网络爬虫
Map/ Reduce
Sqoop
API编程
CDC
ETL
数据管理
元数据
数据质量管理 数据传输任务与管理
数据安全
数据标准
数
快数据处理（实时事件）
快数据流处理（Event Processing）引擎