时空信息云平台与空间大数据
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
荣获中国GIS产业协会颁发的2014年地理信息科技进步 一等奖。
简介
中国首家基于私有云GIS技术搭建的公共服务平台
统一、权威、一站式的基础地理信息共享交换平
台 行业专题数据汇集平台 地理信息应用、开发支撑平台 按需定制的弹性云GIS服务平台
云南省时空信息云平台
全国首个省级时空信息云平台，获得国家局领导的一致 好评。
3
固态硬盘服务器
R720
2
DNS、DC2、
4 机械硬盘服务器 R720 4
Portal、 HM、 Oracle 达梦DB
5
6
机械硬盘服务器 机械硬盘服务器
R730 R730
2
2
合计
28
部署环境（云南省基础地理信息中心）
（2）存储资源 三种物理存储：SSD+SAS混合磁盘阵列，为时空信息云平台提供高性能的动态 存储；使用大容量的SAS阵列，为云平台提供弹性存储能力；本地SAS磁盘，为 云平台提供分布式存储。
− 运用云平台提供的计算、存储能力，无需在本机安装生产软件
− 可支撑几十个作业人员同时进行协同生产
地理国情普查工作
国情普查基本统计分析示范
− 运用Hadoop分布式计算集群进行高效统计 − 与传统方式相比，性能提升近50倍
统计测试数据:
统计对象：居民地与设施(point)、公路 (road)、地表覆盖（area)。 统计单元：行政区、高程带、坡度带 原始数据：5万个土地利用图斑、600个点 对象、800公里公路。 性能测试：原始数据量的10倍、100倍、 1000倍、10000倍。 分别在单机、5节点集群和10节点集群进行 耗时性能对比
总体架构
基于开源的云计算技术 Eucalyptus，基于KVM
虚拟化构建时空信息云
平台，从IaaS、PaaS及 SaaS三个层面为私有云
环境中的国土、测绘、
地环用户提供服务。
技术架构
智慧应用
软件即服务 （SaaS）
政府部门
企业
公众
支撑“n类” 应用
时 空 信 息 云 平 台 技 术 大 纲
服务共享
(A)
(B)
(C)
(D)
地理国情普查工作
国情普查基本统计分析示范
性能对比结果:
图斑数(万个） 0 single 5node 10node 0 0 0
Fra Baidu bibliotek
5 12 25 26
50 112 31 27
500 354 50 43
3000 951 62 48
地理国情普查工作
国情普查影像大数据分发
− 3623幅 − 近20TB
麦肯锡估计位置数据的等级在2009年为PB级，并以每年20%的速度增长
Facebook每天生成300TB以上与位置有关的日志数据
Twitter63261用户30天产生15944084条位置签到记录 淘宝网每天交易数千万笔，约20TB数据，均含有物流位置信息
上海平安城市监控摄像头超过60万只，每天产生的位置监控数据达PB级
一期已完成云南省基础地理信 息中心的IDC建设，国土厅、 地环机房正在建造中，计划于 二期实现联网。
部署环境（云南省基础地理信息中心）
（1）计算资源 − 4个机架 28台X86 服务器（年底前即将新接入20台）
序号
1 2
描述
固态硬盘服务器 固态硬盘服务器
产品名
R720 R720
数量
17 1
用途
NC使用 WARLUS使 用 CC/SC-CLC
广州每日新增城市交通运营数据记录超过12亿，数据量达到150到300GB
基于LBS的应用蓬勃发展
几个地理大数据的例子……
源自GeoQ
我们现在做的事情…
空间数据切片缓存，例如，对于 全省的地理信息数据7-18级切 片。
时间：动辄按月计！
空间统计：被多边形完全包含的地类图 斑，输出矢量要素查询结果（约150万多 边形要素），包括地类面积汇总、地类 变化追溯。
存储网络: 连接NC/SC到SAN和NAS存储, 所有SC和NC 都需要接入到存储网络，使用2个10 网络端 口， 存储网接入交换机做冗余配置. 使用 vlan 30 隔离 Hadoop 集群网络: 所有主数据中心的NC需要加入到hadoop 集 群网络 , 使用vlan 50 隔离
云IDC整体能力
云南省基础地理信息中心 国土厅、地环院信息中心
服务器
存储
网络
服务器
存储
网络
一个云IDC
时空信息云平台
部署环境
云平台部署模式
云南省时空信息云平台将部
署在以下三个不同的中心， 每个中心作为整个云平台的 一个子云区，三个区域通过 1Gbps专用网络进行通讯。 三个区域之间可以共享数据 和镜像。 已完成建设
云GIS数据中心提供一个由计算、存储、网络资源等构成的基础资源池，实现由
GIS桌面、空间数据库、GIS服务器等构成的强大的GIS计算能力。
CPU
408核 857GHz 已用315核
RAM
存储
网络
2.2 TB
240TB
4个万兆交换
已用680G
已用25TB
建设成果
高并发访问能力
资源服务 时空信息云平台
物 理 存 储 总 体 设 计
部署环境（云南省基础地理信息中心）
（3）网络拓扑架构
Management/public 网络
所有Eucalyptus 管理节点都会接入 management和public 网络， 使用10G 网 络接口, 使用vlan 10 隔离
虚拟机私有 网络
所有NC节点需要连接到private 网络，使用 10G 网络接口，使用vlan 100 隔离
简介
中国首个省级时空信息云平台通过国家局验收
建成云南省统一的、权威的时空信息大数据库和
时空信息云平台 更高效地为政府各级部门、企业和社会公众提供 时空信息资源服务，为全省的信息化建设、智慧 城市的建设奠定基础。
云南省时空信息云平台
2014年
立项启动
2015年10月16日 项目通过验收
可研通过评审 2014年4月14日
督监管。
系统演示
总结
云南省时空信息云平台：
− 基于空间云计算，实现了云GIS资源服务的按需、弹性调度
（解决了高并发访问的问题)
− 基于分布式存储、并行处理技术，实现了复杂业务的建模
（解决了密集型大数据存储管理和高性能计算的问题）
− 打破“信息化建设烟囱”，实现IT资源、GIS平台资源的共享
（解决了基础设施资源共享，资源浪费的问题）
− 兼容以往信息化系统建设的成果，实现应用集中管理
（解决了应用系统管理维护的问题）
谢谢大家！~
时空信息云平台与空间大数据
——云南时空信息云平台案例演说
北京捷泰天域信息技术有限公司 李宗倍
2016年8月4日
2015，再次玩儿High~~
从 IT 到 DT，我们进入数据驱动时代！
国家大数据发展战略
五中全会首次明确大数据上升为国家战略：“数据驱动经济” 北京、上海、贵州、杭州等，大数据产业和应用发展已初见 成效
实时 位置识别
建模 UAV/Drone 分布式GIS
2015
Pro
GIStack
一个智能、高效的云GIS管理平台
1. 快速交付云GIS资源 2. 智能化管理云GIS平台 3. 保障业务服务连续性
一体化的 GIS平台交 付
全方位的资 源监控
4大产品能力
按需弹性的 资源调整
实时的故障 修复
凝结云GIS平台管理智慧，只做领跑者
南京市\杭州市公共自行车
公交公司可计算机中借还车辆记录的时间制作频次分布图，利用“大数据”选择调度时间；在各个需要 调度的租赁点安装智能监控系统，及时反映车辆爆满或是空缺的现象；尝试开发移动站点，在需要调度 频次较高的租赁点选择固定时间提供移动站点服务，缓解供需矛盾。
绿色出行，自行车智能优化调度
地理大数据爆发式增长
抚仙湖生态环境动态监测系统
抚仙湖全流域土地利用变化监测
− 1994、1998、2002、2006、2010、2014年份数据
− 原始数据：2万个地表覆盖分类图斑
地质环境信息化示范应用
群测群防管理系统
地质环境一张图系统
地质灾害综合管理系统
地质灾害气象风险预警系统
云南省国土资源电子政务系统迁移
云南省国土资源电子政务系统覆盖全省16地州、129个县的国土部门，承担 着省、州、县三级部门的国土资源业务管理工作，为各级国土资源部门的业 务提供全过程电子化审批和无纸化办公应用；横向上实现厅（局）各业务部 门间的网上协同办公，纵向上为省、州、县三级部门提供涉地、涉矿的联网 审批服务，实现省、州、县三级系统之间数据的上报与下达，以及过程的监
时间：数十小时！
政务信息化
必须建立新一代的应用支撑平台——时空信息云平台！
空间云计算
地理大数据
ArcGIS进阶之路
创新发展持续不断
大数据
地理分析
众包
云计算
矢量切片
Mobile
海量3D
10.4
Pro 1.2
公共设施网络
高级导航
Web 栅格分析
10.3.1 Pro 1.1
Pro 1.0
2016
10.3
案例介绍
中石油A4项目—云GIS平台 中石化云GIS平台 云南省时空信息云平 咸宁市政法委社会管理云GIS平台 上海测绘院云GIS平台 江苏省水利厅地理信息云平台
顺德国土地理信息云平台
广州市南沙区经贸科技和信息化局地理信息云平台 智慧宁波地理信息云平台
……
江苏省测绘地理信息据政务网私有云
服务监控 平台即服务 （PaaS）
个性化定制
地址匹配
业务流建模
时空信息云服务
时空数据服务 空间分析服务 空间处理服务
弹性调度
服务度量
一个时空信息 云平台
时空数据库管理
时空信息数据库
矢量 地名地址 影像 动态时空信息数据 三维
新型产品
一个时空信息 大数据平台
宿主环境
基础实施即服务 （IaaS）
基础设施云环境
GIStack & IaaS
功能架构
云平台案例
云GIS解决方案的应用于近40个用户单位，成功案例覆盖多 个行业。
国土行业：“一张图” 住建部：“智慧城市” 测绘行业：“云共享” “数字城市” “时空信息云” 公安、军方、应急、安监 石油、环保、地震
行业分布
教育
国土 高校 交通 测绘 市政 石油 环保 规划 安监 电力 公安 水利
云
SaaS
服 务
高密集应用能力
云服务
规划
国土
房产
PaaS
务
云服
云南省的地理平台 一个城市的地理平台
县/区
地理信息 云IDC
工商
应急
公安
智慧云南的生态圈 一个数字城市的生态圈
民政
高密集型数据存储能力
时空信息大数据平台 应用服务
高性能计算能力
地理国情普查工作
国情普查生产云
− 实现云南省国情普查数据预处理、质检、建库工作
简介
中国首家基于私有云GIS技术搭建的公共服务平台
统一、权威、一站式的基础地理信息共享交换平
台 行业专题数据汇集平台 地理信息应用、开发支撑平台 按需定制的弹性云GIS服务平台
云南省时空信息云平台
全国首个省级时空信息云平台，获得国家局领导的一致 好评。
3
固态硬盘服务器
R720
2
DNS、DC2、
4 机械硬盘服务器 R720 4
Portal、 HM、 Oracle 达梦DB
5
6
机械硬盘服务器 机械硬盘服务器
R730 R730
2
2
合计
28
部署环境（云南省基础地理信息中心）
（2）存储资源 三种物理存储：SSD+SAS混合磁盘阵列，为时空信息云平台提供高性能的动态 存储；使用大容量的SAS阵列，为云平台提供弹性存储能力；本地SAS磁盘，为 云平台提供分布式存储。
− 运用云平台提供的计算、存储能力，无需在本机安装生产软件
− 可支撑几十个作业人员同时进行协同生产
地理国情普查工作
国情普查基本统计分析示范
− 运用Hadoop分布式计算集群进行高效统计 − 与传统方式相比，性能提升近50倍
统计测试数据:
统计对象：居民地与设施(point)、公路 (road)、地表覆盖（area)。 统计单元：行政区、高程带、坡度带 原始数据：5万个土地利用图斑、600个点 对象、800公里公路。 性能测试：原始数据量的10倍、100倍、 1000倍、10000倍。 分别在单机、5节点集群和10节点集群进行 耗时性能对比
总体架构
基于开源的云计算技术 Eucalyptus，基于KVM
虚拟化构建时空信息云
平台，从IaaS、PaaS及 SaaS三个层面为私有云
环境中的国土、测绘、
地环用户提供服务。
技术架构
智慧应用
软件即服务 （SaaS）
政府部门
企业
公众
支撑“n类” 应用
时 空 信 息 云 平 台 技 术 大 纲
服务共享
(A)
(B)
(C)
(D)
地理国情普查工作
国情普查基本统计分析示范
性能对比结果:
图斑数(万个） 0 single 5node 10node 0 0 0
Fra Baidu bibliotek
5 12 25 26
50 112 31 27
500 354 50 43
3000 951 62 48
地理国情普查工作
国情普查影像大数据分发
− 3623幅 − 近20TB
麦肯锡估计位置数据的等级在2009年为PB级，并以每年20%的速度增长
Facebook每天生成300TB以上与位置有关的日志数据
Twitter63261用户30天产生15944084条位置签到记录 淘宝网每天交易数千万笔，约20TB数据，均含有物流位置信息
上海平安城市监控摄像头超过60万只，每天产生的位置监控数据达PB级
一期已完成云南省基础地理信 息中心的IDC建设，国土厅、 地环机房正在建造中，计划于 二期实现联网。
部署环境（云南省基础地理信息中心）
（1）计算资源 − 4个机架 28台X86 服务器（年底前即将新接入20台）
序号
1 2
描述
固态硬盘服务器 固态硬盘服务器
产品名
R720 R720
数量
17 1
用途
NC使用 WARLUS使 用 CC/SC-CLC
广州每日新增城市交通运营数据记录超过12亿，数据量达到150到300GB
基于LBS的应用蓬勃发展
几个地理大数据的例子……
源自GeoQ
我们现在做的事情…
空间数据切片缓存，例如，对于 全省的地理信息数据7-18级切 片。
时间：动辄按月计！
空间统计：被多边形完全包含的地类图 斑，输出矢量要素查询结果（约150万多 边形要素），包括地类面积汇总、地类 变化追溯。
存储网络: 连接NC/SC到SAN和NAS存储, 所有SC和NC 都需要接入到存储网络，使用2个10 网络端 口， 存储网接入交换机做冗余配置. 使用 vlan 30 隔离 Hadoop 集群网络: 所有主数据中心的NC需要加入到hadoop 集 群网络 , 使用vlan 50 隔离
云IDC整体能力
云南省基础地理信息中心 国土厅、地环院信息中心
服务器
存储
网络
服务器
存储
网络
一个云IDC
时空信息云平台
部署环境
云平台部署模式
云南省时空信息云平台将部
署在以下三个不同的中心， 每个中心作为整个云平台的 一个子云区，三个区域通过 1Gbps专用网络进行通讯。 三个区域之间可以共享数据 和镜像。 已完成建设
云GIS数据中心提供一个由计算、存储、网络资源等构成的基础资源池，实现由
GIS桌面、空间数据库、GIS服务器等构成的强大的GIS计算能力。
CPU
408核 857GHz 已用315核
RAM
存储
网络
2.2 TB
240TB
4个万兆交换
已用680G
已用25TB
建设成果
高并发访问能力
资源服务 时空信息云平台
物 理 存 储 总 体 设 计
部署环境（云南省基础地理信息中心）
（3）网络拓扑架构
Management/public 网络
所有Eucalyptus 管理节点都会接入 management和public 网络， 使用10G 网 络接口, 使用vlan 10 隔离
虚拟机私有 网络
所有NC节点需要连接到private 网络，使用 10G 网络接口，使用vlan 100 隔离
简介
中国首个省级时空信息云平台通过国家局验收
建成云南省统一的、权威的时空信息大数据库和
时空信息云平台 更高效地为政府各级部门、企业和社会公众提供 时空信息资源服务，为全省的信息化建设、智慧 城市的建设奠定基础。
云南省时空信息云平台
2014年
立项启动
2015年10月16日 项目通过验收
可研通过评审 2014年4月14日
督监管。
系统演示
总结
云南省时空信息云平台：
− 基于空间云计算，实现了云GIS资源服务的按需、弹性调度
（解决了高并发访问的问题)
− 基于分布式存储、并行处理技术，实现了复杂业务的建模
（解决了密集型大数据存储管理和高性能计算的问题）
− 打破“信息化建设烟囱”，实现IT资源、GIS平台资源的共享
（解决了基础设施资源共享，资源浪费的问题）
− 兼容以往信息化系统建设的成果，实现应用集中管理
（解决了应用系统管理维护的问题）
谢谢大家！~
时空信息云平台与空间大数据
——云南时空信息云平台案例演说
北京捷泰天域信息技术有限公司 李宗倍
2016年8月4日
2015，再次玩儿High~~
从 IT 到 DT，我们进入数据驱动时代！
国家大数据发展战略
五中全会首次明确大数据上升为国家战略：“数据驱动经济” 北京、上海、贵州、杭州等，大数据产业和应用发展已初见 成效
实时 位置识别
建模 UAV/Drone 分布式GIS
2015
Pro
GIStack
一个智能、高效的云GIS管理平台
1. 快速交付云GIS资源 2. 智能化管理云GIS平台 3. 保障业务服务连续性
一体化的 GIS平台交 付
全方位的资 源监控
4大产品能力
按需弹性的 资源调整
实时的故障 修复
凝结云GIS平台管理智慧，只做领跑者
南京市\杭州市公共自行车
公交公司可计算机中借还车辆记录的时间制作频次分布图，利用“大数据”选择调度时间；在各个需要 调度的租赁点安装智能监控系统，及时反映车辆爆满或是空缺的现象；尝试开发移动站点，在需要调度 频次较高的租赁点选择固定时间提供移动站点服务，缓解供需矛盾。
绿色出行，自行车智能优化调度
地理大数据爆发式增长
抚仙湖生态环境动态监测系统
抚仙湖全流域土地利用变化监测
− 1994、1998、2002、2006、2010、2014年份数据
− 原始数据：2万个地表覆盖分类图斑
地质环境信息化示范应用
群测群防管理系统
地质环境一张图系统
地质灾害综合管理系统
地质灾害气象风险预警系统
云南省国土资源电子政务系统迁移
云南省国土资源电子政务系统覆盖全省16地州、129个县的国土部门，承担 着省、州、县三级部门的国土资源业务管理工作，为各级国土资源部门的业 务提供全过程电子化审批和无纸化办公应用；横向上实现厅（局）各业务部 门间的网上协同办公，纵向上为省、州、县三级部门提供涉地、涉矿的联网 审批服务，实现省、州、县三级系统之间数据的上报与下达，以及过程的监
时间：数十小时！
政务信息化
必须建立新一代的应用支撑平台——时空信息云平台！
空间云计算
地理大数据
ArcGIS进阶之路
创新发展持续不断
大数据
地理分析
众包
云计算
矢量切片
Mobile
海量3D
10.4
Pro 1.2
公共设施网络
高级导航
Web 栅格分析
10.3.1 Pro 1.1
Pro 1.0
2016
10.3
案例介绍
中石油A4项目—云GIS平台 中石化云GIS平台 云南省时空信息云平 咸宁市政法委社会管理云GIS平台 上海测绘院云GIS平台 江苏省水利厅地理信息云平台
顺德国土地理信息云平台
广州市南沙区经贸科技和信息化局地理信息云平台 智慧宁波地理信息云平台
……
江苏省测绘地理信息据政务网私有云
服务监控 平台即服务 （PaaS）
个性化定制
地址匹配
业务流建模
时空信息云服务
时空数据服务 空间分析服务 空间处理服务
弹性调度
服务度量
一个时空信息 云平台
时空数据库管理
时空信息数据库
矢量 地名地址 影像 动态时空信息数据 三维
新型产品
一个时空信息 大数据平台
宿主环境
基础实施即服务 （IaaS）
基础设施云环境
GIStack & IaaS
功能架构
云平台案例
云GIS解决方案的应用于近40个用户单位，成功案例覆盖多 个行业。
国土行业：“一张图” 住建部：“智慧城市” 测绘行业：“云共享” “数字城市” “时空信息云” 公安、军方、应急、安监 石油、环保、地震
行业分布
教育
国土 高校 交通 测绘 市政 石油 环保 规划 安监 电力 公安 水利
云
SaaS
服 务
高密集应用能力
云服务
规划
国土
房产
PaaS
务
云服
云南省的地理平台 一个城市的地理平台
县/区
地理信息 云IDC
工商
应急
公安
智慧云南的生态圈 一个数字城市的生态圈
民政
高密集型数据存储能力
时空信息大数据平台 应用服务
高性能计算能力
地理国情普查工作
国情普查生产云
− 实现云南省国情普查数据预处理、质检、建库工作