基于数据湖架构的时空大数据平台解决方案
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
基于数据湖架构的时空大数据平台解决方案
从数字城市到智慧城市
• 地理信息公共服务平台
陕西、辽宁、云南 安徽、上海、重庆 贵州、湖北、吉林 广西、青海、新疆
省级平台
地市级 平台
福鼎、德化、上杭、永定、古田、广 州市花都区、哈密市伊州区、井冈山 、平罗、铅山、寿宁、泰和、万安、 万年、武夷山、新源、盐池
共享存储：华为NAS5500V3
业主单位：浙江省测绘科学技术研究院
• 开放性定制服务：第三方站点接入，实现第三方站点在GIStack中的交付。 • 时空大数据云平台：地理大数据可视化展示 • 云底层：阿里公有云
一湖 ：时空信息数据湖
数据湖的起源
“三驾马车”论文催生 Hadoop和HBase
2011年，“数据湖”概念的提出， 核心：支持异构数据的汇聚、异构 数据分析框架的融合
云GIS 应用 环境 租用 服务
应用 系统 快速 搭建 服务
数据 共享 交换 服务
大数 据分 析挖 掘服 务
大数 据可 视化 服务
开发 接口 服务
安
云平台运维管理系统
全 保
障
体
数据区
分析处理区
模型算法库
系 、
一湖
多源
异构
数据层 数据 （数据湖） 汇聚
引擎
矢量数据资源池 数
据 管
栅格数据资源池
理
系
实时数据资源池
• 全市所有新建应用系统及非涉密时空大数据平 台，都应部署于统一云计算环境
在IaaS之上建立云GIS PaaS平台
• 依托统一的云计算环境向业务部门用户开放私有的时空数据处理、存储、分析、服务 器集群等GIS软硬件资源服务。
云GIS PaaS平台的建立和使用
• 三个端组成：面向系统管理员、租户管理员、 普通用户，满足市、县多级应用需求。
智慧城市时空大数据平台建设进展
2012 2013 2015
2017 201 9
启动 《关于开展智慧城市时空信息云平台建设试点工作的通知》
指南 《智慧城市时空信息云平台建设试点技术指南》 大纲 《智慧城市时空信息云平台建设技术大纲》 体系 《智慧城市时空信息云平台评价指标体系》 更新 《智慧城市时空大数据与云平台建设技术大纲》（2017版） 推进 《关于加快推进智慧城市时空大数据与云平台建设试点工作的通知》 更新 《智慧城市时空大数据平台建设技术大纲（2019版）》
• 资源池化机制：不同的应用场景分配不同的云 GIS资源池规划；不同的组织账户分配不同的 云GIS资源。
• 多租户隔离机制：GIS计算资源、存储资源安 全隔离。
• 云平台监控策略：不同角色均可以实时监控各 类云GIS资源。
• 云GIS资源交付能力：分钟级交付云GIS资源 ，弹性动态地调整计算资源。
云GIS PaaS平台的建立和使用
传统的Hadoop(HDFS+MapReduce) 的计算存储一体化的方式面临收益上的 瓶颈，大数据框架走向存储和计算分离 的架构
• 云底层：VMware vSphere6.0虚拟化+OpenStack（亿讯） • 现行规模：37个云桌面，5个云集群，7个租户，80个用户数以上。
大规模GIS服务支撑：贵州省国土云
业主单位：衡阳市自然资源和规划局
• 服务方式：市级统一建设的一体化云GIS平台，面向各县级提供云服务。 • 服务类型：01-县级公共平台服务；02-云服务器服务；03-云存储服务；
矢量大数据分析引擎
地表形变监测
标
准
栅格大数据分析引擎
影像变化监测
规 范
实时大数据分析引擎
城市体检
体 系
统 归档数据资源池
业务流引擎
……
一云
基础 设施层
虚拟化/容器
统一云计算中心
软件定义存储
软件定义网络
一云 ：统一的云计算中心
依托统一云计算环境建设的集约模式
• 建立全市统一的云计算中心，面向全市各部门 提供统一的云服务
智慧城市时空大数据平台建设技术大纲（2019版）
• 智慧城市时空大数据平台是基础时空数据、公共管理与公共服务涉及专题信息的“最大公约数”（简称公共专题数 据）、物联网实时感知数据、互联网在线抓取数据、根据本地特色扩展数据，及其获取、感知、存储、处理、共享 、 集成、挖掘分析、泛在服务的技术系统。连同云计算环境、政策、标准、机制等支撑环境，以及时空基准共同组 成 时空基础设施。
区县级 平台
乌鲁木齐、厦门、哈尔滨、抚 顺、葫芦岛、济南、讷河、庆 阳、长春、保定、崇左、大连 、丹东、抚州、阜新、三亚、 衡阳、吉安、嘉峪关、镇江、 金昌、锦州、景德镇、酒泉、 龙岩、满洲里、宁德、石嘴山 、泉州、上饶、梧州、五指山 、银川、鹰潭、遵义
从数字城市到智慧城市
• 时空信息云平台
• 云南省时空信息云平台 • 浙江省时空大数据云平台 • 智慧宁波时空大数据与云平台 • 智慧新余时空大数据与云平台 • 智慧南平时空大数据与云平台 • 智慧南昌时空大数据与云平台 • 智慧济南时空大数据与云平台 • 智慧东莞时空大数据与云平台 • 浦东新区时空大数据与云平台 • ……
04-云GIS集群服务；05-云GIS数据库服务；06-云GIS桌面服务。 • 云底层：VMware vSphere6.0虚拟化+VMware vCloud Director5.5
多类型云GIS资源交付：浙江省时空大数据云平台
业主单位：贵州省自然资源厅
• 硬件规模：3500vCPU，10TB内存，10TB存储； • 服务规模：1000个；站点数10个以上 • 用户规模：测试1000并发 • 云底层：华为FusionCompute虚拟化+ManageOne3.0；
多租户：广东省地理信息公共服务云平台建设
一体化云思想：衡阳市县一体化云平台建设
业主单位：广州地理研究所
• 面向用户：01-诚脉地理咨询；02-珠海市源莱宝网路科技有限公司； 03-广州畅优科技有限公司；04-广州畅宝网科技有限公司；05-广东省 应急研究中心；06-广州地理研究所
• 服务方式：广州地理所统一建设，对各公司部门以租用的方式提供云服 务。
业务模式
应用集成与智能决策
时空信息云服务平台 的搭建
多源异构时空大数据 资源的整合汇聚与一 体化管理
GIS云架构设计与落地
解决方案
N应用
应用服务层
领导决策
城市治理
行业应用
公众生活
时空信息云平台门户
一平台
服 务 平 台 层
服 务 资
时空 信息
源ຫໍສະໝຸດ Baidu
基础
池
服务
定制 化业 务专 题服 务
影像 在线 处理 分析 服务
从数字城市到智慧城市
• 地理信息公共服务平台
陕西、辽宁、云南 安徽、上海、重庆 贵州、湖北、吉林 广西、青海、新疆
省级平台
地市级 平台
福鼎、德化、上杭、永定、古田、广 州市花都区、哈密市伊州区、井冈山 、平罗、铅山、寿宁、泰和、万安、 万年、武夷山、新源、盐池
共享存储：华为NAS5500V3
业主单位：浙江省测绘科学技术研究院
• 开放性定制服务：第三方站点接入，实现第三方站点在GIStack中的交付。 • 时空大数据云平台：地理大数据可视化展示 • 云底层：阿里公有云
一湖 ：时空信息数据湖
数据湖的起源
“三驾马车”论文催生 Hadoop和HBase
2011年，“数据湖”概念的提出， 核心：支持异构数据的汇聚、异构 数据分析框架的融合
云GIS 应用 环境 租用 服务
应用 系统 快速 搭建 服务
数据 共享 交换 服务
大数 据分 析挖 掘服 务
大数 据可 视化 服务
开发 接口 服务
安
云平台运维管理系统
全 保
障
体
数据区
分析处理区
模型算法库
系 、
一湖
多源
异构
数据层 数据 （数据湖） 汇聚
引擎
矢量数据资源池 数
据 管
栅格数据资源池
理
系
实时数据资源池
• 全市所有新建应用系统及非涉密时空大数据平 台，都应部署于统一云计算环境
在IaaS之上建立云GIS PaaS平台
• 依托统一的云计算环境向业务部门用户开放私有的时空数据处理、存储、分析、服务 器集群等GIS软硬件资源服务。
云GIS PaaS平台的建立和使用
• 三个端组成：面向系统管理员、租户管理员、 普通用户，满足市、县多级应用需求。
智慧城市时空大数据平台建设进展
2012 2013 2015
2017 201 9
启动 《关于开展智慧城市时空信息云平台建设试点工作的通知》
指南 《智慧城市时空信息云平台建设试点技术指南》 大纲 《智慧城市时空信息云平台建设技术大纲》 体系 《智慧城市时空信息云平台评价指标体系》 更新 《智慧城市时空大数据与云平台建设技术大纲》（2017版） 推进 《关于加快推进智慧城市时空大数据与云平台建设试点工作的通知》 更新 《智慧城市时空大数据平台建设技术大纲（2019版）》
• 资源池化机制：不同的应用场景分配不同的云 GIS资源池规划；不同的组织账户分配不同的 云GIS资源。
• 多租户隔离机制：GIS计算资源、存储资源安 全隔离。
• 云平台监控策略：不同角色均可以实时监控各 类云GIS资源。
• 云GIS资源交付能力：分钟级交付云GIS资源 ，弹性动态地调整计算资源。
云GIS PaaS平台的建立和使用
传统的Hadoop(HDFS+MapReduce) 的计算存储一体化的方式面临收益上的 瓶颈，大数据框架走向存储和计算分离 的架构
• 云底层：VMware vSphere6.0虚拟化+OpenStack（亿讯） • 现行规模：37个云桌面，5个云集群，7个租户，80个用户数以上。
大规模GIS服务支撑：贵州省国土云
业主单位：衡阳市自然资源和规划局
• 服务方式：市级统一建设的一体化云GIS平台，面向各县级提供云服务。 • 服务类型：01-县级公共平台服务；02-云服务器服务；03-云存储服务；
矢量大数据分析引擎
地表形变监测
标
准
栅格大数据分析引擎
影像变化监测
规 范
实时大数据分析引擎
城市体检
体 系
统 归档数据资源池
业务流引擎
……
一云
基础 设施层
虚拟化/容器
统一云计算中心
软件定义存储
软件定义网络
一云 ：统一的云计算中心
依托统一云计算环境建设的集约模式
• 建立全市统一的云计算中心，面向全市各部门 提供统一的云服务
智慧城市时空大数据平台建设技术大纲（2019版）
• 智慧城市时空大数据平台是基础时空数据、公共管理与公共服务涉及专题信息的“最大公约数”（简称公共专题数 据）、物联网实时感知数据、互联网在线抓取数据、根据本地特色扩展数据，及其获取、感知、存储、处理、共享 、 集成、挖掘分析、泛在服务的技术系统。连同云计算环境、政策、标准、机制等支撑环境，以及时空基准共同组 成 时空基础设施。
区县级 平台
乌鲁木齐、厦门、哈尔滨、抚 顺、葫芦岛、济南、讷河、庆 阳、长春、保定、崇左、大连 、丹东、抚州、阜新、三亚、 衡阳、吉安、嘉峪关、镇江、 金昌、锦州、景德镇、酒泉、 龙岩、满洲里、宁德、石嘴山 、泉州、上饶、梧州、五指山 、银川、鹰潭、遵义
从数字城市到智慧城市
• 时空信息云平台
• 云南省时空信息云平台 • 浙江省时空大数据云平台 • 智慧宁波时空大数据与云平台 • 智慧新余时空大数据与云平台 • 智慧南平时空大数据与云平台 • 智慧南昌时空大数据与云平台 • 智慧济南时空大数据与云平台 • 智慧东莞时空大数据与云平台 • 浦东新区时空大数据与云平台 • ……
04-云GIS集群服务；05-云GIS数据库服务；06-云GIS桌面服务。 • 云底层：VMware vSphere6.0虚拟化+VMware vCloud Director5.5
多类型云GIS资源交付：浙江省时空大数据云平台
业主单位：贵州省自然资源厅
• 硬件规模：3500vCPU，10TB内存，10TB存储； • 服务规模：1000个；站点数10个以上 • 用户规模：测试1000并发 • 云底层：华为FusionCompute虚拟化+ManageOne3.0；
多租户：广东省地理信息公共服务云平台建设
一体化云思想：衡阳市县一体化云平台建设
业主单位：广州地理研究所
• 面向用户：01-诚脉地理咨询；02-珠海市源莱宝网路科技有限公司； 03-广州畅优科技有限公司；04-广州畅宝网科技有限公司；05-广东省 应急研究中心；06-广州地理研究所
• 服务方式：广州地理所统一建设，对各公司部门以租用的方式提供云服 务。
业务模式
应用集成与智能决策
时空信息云服务平台 的搭建
多源异构时空大数据 资源的整合汇聚与一 体化管理
GIS云架构设计与落地
解决方案
N应用
应用服务层
领导决策
城市治理
行业应用
公众生活
时空信息云平台门户
一平台
服 务 平 台 层
服 务 资
时空 信息
源ຫໍສະໝຸດ Baidu
基础
池
服务
定制 化业 务专 题服 务
影像 在线 处理 分析 服务