大数据可视化平台建设方案
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
大数据可视化平台建设方案
Contents
目录
1. 大数据平台建设目标 2. 大数据平台规划及架构
智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案
3. 大数据平台建设内容 4. 建设策略及方法
Part 1
大数据平台建设目标 智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案
大数据平台的建设目标
建设内容
建设目的
1
数据集中与整合
资源整合、信息共享、业务协同
形成国家政府数据统一开放平台
2
数据存储与处理
大数据
提高服务能力与水平
智慧小区云服务平台整体解决方案智慧小区云服务平平台台整体解决方案智慧小区云服务平台整体解决方案
3
数据交换与共享
促进创新服务优化管理
4
数据管控与治理
提升决策和风险防范水平 提高社会治理的精准性和有效性
数据库软件平台 数据架构设计 智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小数区据云服模务型平设台整计体解决方案
KingbaseDBCloud — 系统架构
KingbaseDBCloud是顺应大数据和云计算时代 PB级海量数据处理而推出的高性 能、高可用、 高扩展和支持全局事务的并 行分布式云数据库 系统。
支持 OLTP 和 OLAP两种典型应用场景，使党政 军及企业 级应用在处理业务的同时具有大数据 分析 能力,可以有效构建100TB-PB级海量云数据 中心。 智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案
采用Share-Nothing架构，包括负载均衡节点、 协调节点、存储执行节点 和全局事务管理节点 四大组件，每个组件均可以根据实际情况按需添 加。
数
据 分 析
数据 挖掘
多维 分析
灵活 报表
决策 仪
表盘
据 地图 自助 分 分析 分析 析
Ora智cl慧e 小区云服务E平台整体解K决in方gb案a智se慧D小B区C云lo服ud务平台整体解决方案智慧小区云服务平台整体解决方案
T
DB2
L
MangoD
B
MPP
标准应用接口JDBC、ODBC等
数
据
并行
水平分区
配置与变更
系统运维 调度与监控
数据分 析
大数据分析
灾备与恢复
分析决策人员 开发人员 运维人员
安全与审计
通信网络
主机
存储
基础设施
操作系统
数据库
虚拟化
大数据管理平台架构
数据采集
数据交 换
信息共 享
Smartbi dataIn Smartbi Mobile
数据 应用
云平台
业务 数据
数
KingbaseSmartBI
R语言 高级分析
内置数据挖 据
掘算法
处
智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案理
关系表
外部表
结构化数据
数
非结构化数据
据
HDFS
存
储
大数据平台建设内容
统一应用平台 应用架构设计 智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小典区型云服应务用平（台整管体理解决驾方驶案仓、报表系统等）
在KingbaseDBCloud架构基础上，增加对HDFS 文件存储的支持，实现SQL和NoSQL统一访问接 口，同时支持SQL和NoSQL查询处理
KingbaseDBCloud-系统功能
KingbaseDBCloud
数据共享（标准应用接口JDBC、ODBC等）
数
MPP
并行 SQL
水平分区 垂直分区
Part 2
大数据平台规划及架构 智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案
大数据管理平台规划
数据资产管理规划
ห้องสมุดไป่ตู้
信息源
数据资源
数据中心整体架构 数据标准
统一规划与运营
数据管理 元数据
实施路线图规划 数据质量
BIU建设 数据安全
数据采集
数据存储
数据服务
应用功能
系统运维
结构化及非结构化数据 非实时采集
数据共 享
门户 管理驾驶舱
查询/检索
结构化数据仓库
数据交
智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务换平台整体解统决计分方析 案
流数据 实时采集
分析数据集市
数据分 发
预警告警 数据挖掘
体制与机制
规范与流程
非结构化数据 分布式存储集群
xQuery 灵活报表 决策仪表盘 多维分析 地图分析
任务调度
+
统一语义模型
+
+
+
所有 数据源
监控视频
多维数据库
关系数据 库
Nosql数据库
数据仓库
Smartbi绝不是个报表设计器，而是个集成、扩展的平台
直观的图形展现
• 表现形式丰富：内置全国地图（到区县级）、表格、油量图、泡泡图、雷达图 、地图、柱图、饼图、曲线图等丰富的数据展示形式
KingbaseSmartBI — 应用功能体系
所有 访问终端
Smartbi Mobile
Smartbi Office Addin（开发）
Smartbi 信息交付门户（在线报表、报告、仪表盘）
Smartbi dataIn
Smartbi 数据补 录
Smartbi BI处理引擎
智慧小区S3云Drd服K 务平台T3整orod体l 解决方案S智m慧ai r小tb区云服务平台整体解决方案智慧小区云服务平台整体解决方案
ETL架构与工具 数据库软件平台
智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案
金仓ETL流程结构图
智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案
金仓ETL — 全面的数据访问与平台支撑
Oracle
SQL Server
支持符合ODBC/JDBC 接口规范的46种数据库系统
KingbaseES
Sybase
支持主流的国内外操作系统
Windows 系列/Linux系列
DB2
智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云M服y务S平Q台L整体解决方案
Informix Hadoop
大数据平台建设内容
R语言
内置数据 计
SQL
垂直分区
高级分析
挖掘算法 算
……
关系表
外部表
结构化数 据
数
据
非结构化数
存
据HDFS
储
数 据 治 理
数据 安全
数据 质量
数据 标准
元数 据
Part 3
大数据平台建设内容 智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案
大数据平台建设内容
Contents
目录
1. 大数据平台建设目标 2. 大数据平台规划及架构
智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案
3. 大数据平台建设内容 4. 建设策略及方法
Part 1
大数据平台建设目标 智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案
大数据平台的建设目标
建设内容
建设目的
1
数据集中与整合
资源整合、信息共享、业务协同
形成国家政府数据统一开放平台
2
数据存储与处理
大数据
提高服务能力与水平
智慧小区云服务平台整体解决方案智慧小区云服务平平台台整体解决方案智慧小区云服务平台整体解决方案
3
数据交换与共享
促进创新服务优化管理
4
数据管控与治理
提升决策和风险防范水平 提高社会治理的精准性和有效性
数据库软件平台 数据架构设计 智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小数区据云服模务型平设台整计体解决方案
KingbaseDBCloud — 系统架构
KingbaseDBCloud是顺应大数据和云计算时代 PB级海量数据处理而推出的高性 能、高可用、 高扩展和支持全局事务的并 行分布式云数据库 系统。
支持 OLTP 和 OLAP两种典型应用场景，使党政 军及企业 级应用在处理业务的同时具有大数据 分析 能力,可以有效构建100TB-PB级海量云数据 中心。 智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案
采用Share-Nothing架构，包括负载均衡节点、 协调节点、存储执行节点 和全局事务管理节点 四大组件，每个组件均可以根据实际情况按需添 加。
数
据 分 析
数据 挖掘
多维 分析
灵活 报表
决策 仪
表盘
据 地图 自助 分 分析 分析 析
Ora智cl慧e 小区云服务E平台整体解K决in方gb案a智se慧D小B区C云lo服ud务平台整体解决方案智慧小区云服务平台整体解决方案
T
DB2
L
MangoD
B
MPP
标准应用接口JDBC、ODBC等
数
据
并行
水平分区
配置与变更
系统运维 调度与监控
数据分 析
大数据分析
灾备与恢复
分析决策人员 开发人员 运维人员
安全与审计
通信网络
主机
存储
基础设施
操作系统
数据库
虚拟化
大数据管理平台架构
数据采集
数据交 换
信息共 享
Smartbi dataIn Smartbi Mobile
数据 应用
云平台
业务 数据
数
KingbaseSmartBI
R语言 高级分析
内置数据挖 据
掘算法
处
智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案理
关系表
外部表
结构化数据
数
非结构化数据
据
HDFS
存
储
大数据平台建设内容
统一应用平台 应用架构设计 智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小典区型云服应务用平（台整管体理解决驾方驶案仓、报表系统等）
在KingbaseDBCloud架构基础上，增加对HDFS 文件存储的支持，实现SQL和NoSQL统一访问接 口，同时支持SQL和NoSQL查询处理
KingbaseDBCloud-系统功能
KingbaseDBCloud
数据共享（标准应用接口JDBC、ODBC等）
数
MPP
并行 SQL
水平分区 垂直分区
Part 2
大数据平台规划及架构 智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案
大数据管理平台规划
数据资产管理规划
ห้องสมุดไป่ตู้
信息源
数据资源
数据中心整体架构 数据标准
统一规划与运营
数据管理 元数据
实施路线图规划 数据质量
BIU建设 数据安全
数据采集
数据存储
数据服务
应用功能
系统运维
结构化及非结构化数据 非实时采集
数据共 享
门户 管理驾驶舱
查询/检索
结构化数据仓库
数据交
智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务换平台整体解统决计分方析 案
流数据 实时采集
分析数据集市
数据分 发
预警告警 数据挖掘
体制与机制
规范与流程
非结构化数据 分布式存储集群
xQuery 灵活报表 决策仪表盘 多维分析 地图分析
任务调度
+
统一语义模型
+
+
+
所有 数据源
监控视频
多维数据库
关系数据 库
Nosql数据库
数据仓库
Smartbi绝不是个报表设计器，而是个集成、扩展的平台
直观的图形展现
• 表现形式丰富：内置全国地图（到区县级）、表格、油量图、泡泡图、雷达图 、地图、柱图、饼图、曲线图等丰富的数据展示形式
KingbaseSmartBI — 应用功能体系
所有 访问终端
Smartbi Mobile
Smartbi Office Addin（开发）
Smartbi 信息交付门户（在线报表、报告、仪表盘）
Smartbi dataIn
Smartbi 数据补 录
Smartbi BI处理引擎
智慧小区S3云Drd服K 务平台T3整orod体l 解决方案S智m慧ai r小tb区云服务平台整体解决方案智慧小区云服务平台整体解决方案
ETL架构与工具 数据库软件平台
智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案
金仓ETL流程结构图
智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案
金仓ETL — 全面的数据访问与平台支撑
Oracle
SQL Server
支持符合ODBC/JDBC 接口规范的46种数据库系统
KingbaseES
Sybase
支持主流的国内外操作系统
Windows 系列/Linux系列
DB2
智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云M服y务S平Q台L整体解决方案
Informix Hadoop
大数据平台建设内容
R语言
内置数据 计
SQL
垂直分区
高级分析
挖掘算法 算
……
关系表
外部表
结构化数 据
数
据
非结构化数
存
据HDFS
储
数 据 治 理
数据 安全
数据 质量
数据 标准
元数 据
Part 3
大数据平台建设内容 智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案
大数据平台建设内容