大数据整体架构

消息交换
基础设施（服务器、存储、网络、虚拟化、私有云、公有云）1
航班计划
调整工具
战
略
管
关键指标
理
计算工具
……
移动端应用
程序
态
势
事件监控
监
控
舆情定制
……
预测预警
综
态势监控
合
效率评估
服
路线规划
务
……
2、技术架构
数据源 数据交换平台
结
构 DBAgent 化
数 TextAgent 据
公网
消 息
消
消பைடு நூலகம்
接息息
半
据
实时决策 引擎
治
理
多结构数据存储与管理
多结构原始数据存储 （Raw Data）
融合数据存储 （Integrated Data）
共
分布式分 析与挖掘
享
引擎
和
基础数据区
传统数据存储与管理
整合数据区 通用语义区 数据集市
运
行
环
报表分
境
析与挖 掘引擎
数
据
平
台
数据交换
文件交换
数据库共享
Web services
推荐算法 recommendation Alg
orithm
评估算法 evaluation Algorithm
时序分析 Sequential Algorithm
深度学习 Deep Learing
回归算法 Regression Algorithm
数据计算 Data Process
流处理引擎 Stream
5 数据分析、挖掘
数据实时分析 （流式计算）
3 （b）推送到数据应用端
数据分析
数据挖掘
数据离线分析
6 数据利用
数据应用
3、数据平台（对应6章节数据平台）
数据分析算法 Algorithm Library
预测算法 prediction Algorithm
增强学习 Q-Learning
关联分析算法 association Algorithm
非关系型数据库 No Sql
列式数据库 ColuMN DB
数据采集 Data Acquisition
结构化数据 ETL工具
网络爬虫 Web crawler
非结构化文档工具 PDF ALALIB
实时事件侦听 Real-time monitor
语义识别工具 Semantic LIB
数据侦听 Data monitor
1、整体架构
数据源
航班
航空 器
机场
空域
气象
航空 情报 监控 视频 地空 通话
数据 采集 平台
实时事 件侦听 页面请求 侦听
网络爬虫
Map/ Reduce
Sqoop
API编程
CDC
ETL
数据管理
元数据
数据质量管理 数据传输任务与管理
数据安全
数据标准
数
快数据处理（实时事件）
快数据流处理（Event Processing）引擎
Data Security Management Platform Configuration Management Platform
ZooKeeper Yarn
监 控 及 配 置 管 理 平 台
数 据 安 全 管 理 平 台
入缓分
结 LogAgent
控存发
构
制模模
数 Web crawler
模块块
据
块
内网
非 结
Web crawler
构 化
BinAgent
数 据
ApiAgent
XBRL+DataX+K afka
实时流处理平台
流计算引擎 Storm /Spring Stream
统一调度和监控 Zookeeper+oozie+Ganglia
数据挖掘/机器学习 Data Mining
文本搜索
并行计算引擎 （MapReduce/Spark/Storm）
分
资 源 管 理
布 式 协 助 服
务
数据存储 Data Storage
分布式文件系统 HDFS
文档存储 Document Store
内存数据库 In-memory DB
全文检索 Full-text Search
基础设施（服务器、存储、网络、虚拟化、私有云、公有云）
应用服务平台
报表\OLAP服务 查询可视化
定制+ECharts 数据挖掘服务 开放平台API
移动服务
数据流
数据规划和 梳理数据源
1、获取外部数据
数据采集 平台
数据清洗
3 数据清洗 2（a）数据存储
4 清洗后的数据存 储
数据中心
2（b）对数据实时 处理
实时 查询
Hbase
批量 交互 查询 式
查询 Hive Impala
批量计算引擎 MapReduce
交互 式 内存
内存 数据 挖掘
内存 图计算
Spark SQL
MLLib Graphx
内存计算引擎 Spark
分布式存储引擎 HDFS/YARN
大数据数据处理平台
应用服务平台
MySQL+Redis
统一 元数据