时空大数据与云平台之GIS关键技术

3
关键技术二：时空信息云平台之
大数据挖掘与分析
地理分析是GIS的传统强项
桌面
统计
数据探索 聚合
Web端
位置分配
异常检测
支持科学数据
贝叶斯回归(EBK)
基于出现模式的导航
图表
缓冲
集成 在线地图集
插值
分析工具集成
热点
快速地理编码(230+%)
大数据时代呼唤新的计算技术
• 1. 上亿条城市出租车位置记录，如何获取城市的车辆分布状态？ • 2. 国情普查、土地调查等专题数据，如何按照一定的条件进行统计分析？ • 3. 全国高精度DEM、温度光照等栅格数据，如何快速的进行光伏电厂的选址分
时空大数据与云平台关键技术与实现探讨
规则
欢迎你们
1 时空大数据时代
GIS正变得更加智能 与新技术集成
Discover the Digital Twin
Discover Distributed GIS
The Science of Where
通过对人、事、物等与位置有关的各类 时空大数据的汇聚、管理、挖掘、呈现 ，形成对某个地理位置的画像，从而更 智慧的服务于生活、生产等活动
时空大数据库
结构化数据库 非结构化数据库
实时动态数据
无人机快速采集时空大数据
无人机快速采集时空大数据
案例：实时公交和实时人流接入
奥克兰市交通信息实时接入
• 868辆公交车，407辆市政服务车辆 • 摄像头、高速路标志、红绿灯 • 实时调整信号灯，缓解拥堵
实时大数据高效接入
上亿等车人流的手机实时位置信息 53个节点实时处理，每秒最高20万+事件
成果大数据库
GeoAnalytics大数据分析性能实例
• Esri美国：
- 4 核CPU/节点 - 16 GB 内存/节 - S3对象存储 - 基于Amazon云环境
数据内容：
‐2015年1-12月份 ‐纽约街区打车数据 ‐1.7亿点，4万街区面 ‐点聚合分析，1km六边形格网
1 节点 (传统)
60
2 关键技术一：时空大数据
传统的地理信息数据
来自设备
• 遥感卫星数据 • 大小飞机数据
来自人
• 基础测绘数据
来自系统
• 业务系统数据
时空大数据已经发生很大的不同
来自设备
• 遥感卫星数据 • 大小飞机数据 • 视频监控数据 • 气象台站数据 • 空气质量数据 • 传感器类数据 • 车辆GPS数据 • 手机信令数据
Split/merge policy Topology rules
新时期的时空大数据存储与管理
关系型数据库
— 用于存储传统空间数据
NoSQL文档型数据库
— 用于小文件型数据的存储、快速访问
分布式数据引擎
— 适用于大数据的存储、快速访问
时空大数据的汇聚、整理
电子表格
空间化 ETL
Sqool/Flume 攫取
统一服务门户
时空 信息
地名地址匹配引擎
业务流建模引擎
云服
云
务
时空信息数据服务
知识化挖掘服务
接口服务
云
平 (PaaS)
平台运维管理
平
台
服务监控 服务度量 基础资源管理 弹性策略 资源隔离 审批管理 日志管理
台
安
标
全
准
保 障 体
时空 大数 据层
时空 大数 据库
静 矢量数据 影像数据 三维数据
态 数
地名地wenku.baidu.com及建筑物数据
开发定制 协作共享
分析挖掘
制图可视化
ArcGIS
资产管理
信息采集
大数据时代国家对智慧城市空前重视
时空大数据在智慧城市建设中作用
时空大数据与云平台的变化与提升
智慧的时空应用
时空基准
时空大数据
时空信息云平台
时空云支撑平台
时空大数据与云平台的总体架构
应用即服 务层
（SaaS）
智慧规划 智慧环保 智慧管网 智慧国土 智慧民生
Parcel fabrics GPS datasets Representations
Terrain datasets Schematics
Toolboxes
Tool
Model
Script
Behavior
Attribute defaults Connectivity rules Attribute domains Relationship rules
来自人
• 基础测绘数据 • 社会统计数据 • 问卷调查数据 • 规划设计数据 • 行为记录数据 • 社交网站数据
来自系统
• 业务系统数据 • 办公文档资料 • 网页资料数据 • 交易往来数据 • 系统日志数据
传统的企业级地理数据库
Geodatabase Feature dataset
Spatial reference
缓冲分析
50
40
1 节点
4节点
16节点
30
(大数据)
(大数据)
(大数据)
20
10
0
1
2
4
8
16
32
64
1 节点 (传统)
30
25
20
15
10
5
0
1
2
网格点聚合
1 节点 (大数据)
4节点 (大数据)
析？ • 4. 如何更高效率的对高分辨率影像进行信息的提取和识别？
空间计算架构的变化
CPU
存储
CPU
存储
处理过程
CPU瓶颈
网络瓶颈
单点计算
网络瓶颈
多线程
分布式
框架重构——矢量、栅格大数据
门户
通过各种渠道去访问大数据
分布式集群
FFilieless
文件
HDFS
Hive
S3
待分析大数据
RDMS
NoSQL
据 规划设计数据 其他公共专题数据
动 历史地理信息数据 远景规划地理信息数据
态 数
实时位置数据
实时感知流式及摘要信息
据 物联网智能感知设备位置信息
体 系 规
系 (DaaS)
汇聚区
处理区
管理区
范
三域 标识
在线 提交
离线 拷贝
统一 格式
统一时 间基准
空间 化
动态数 据获取
大数据 管理
大数据 挖掘
基础设 基础云 VDC 计算 施即服 服务 服务 服务
务层
(IaaS)
云存储 云 对象 服务 盘 存储
块存 数据 储 获取
私有云 / 政务云
大数据 服务
HDFS
Hive/ Spark
时空大数据与云平台建设的挑战
• 从数据层面——走向异构多元的大数据整合 • 从平台功能层面——深度的时空大数据分析 • 从应用层面——敏捷的业务工作流建设 • 从支撑平台层面——智能弹性的基础资源管理
Polygon Line Point Annotation
Route Dimension
Relationship classes
Geometric networks
Topology
Network datasets
Tables
Raster datasets
Raster Catalogs
Additional geodatabase elements