时空大数据云计算与智慧城市
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
结构化数据：可描述为二维表格的数据，用SQL管理 半结构化数据：非关系描述的其他结构化数据，如XML、
HTML、EML等
非结构化数据：如图片、音频、视频等
SDB Group
5
大数据内涵
大数据仅是数据本身吗？
还，或称巨量资料，指的是所涉及的资料量规模巨大到 无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并 整理成为帮助企业经营决策更积极目的的资讯。
SDB Group
10
二、时空数据
世界的哲学定义：时空及有无的划分匡定为世界 大数据无处不在，它是现实世界到信息世界的映射，是
对现实世界的采样 无论是现实世界，还是信息世界，其实质是世界
世：往世、现世、来世，指的都是时间，一维的时间 界：物体的边界、位置，也就是多维的空间
狭义上：时间 + 空间 = 世界
量，用机械力解放了人力畜力，引发了工业革命，引起了社会变革，改善
了人们生活。
电气化时代：以发电技术、输电技术、电器技术的发明为驱动，释放了能
量的空间限制，让能量能高速高效地聚集和转移，让机械化应用从工厂转
移到了千家万户。
信息化时代：以计算机技术的发明为驱动，让信息和知识能高效、高速传
输和传播，信息/知识成了社会的主要财富，信息/知识流成了社会发展的
（2）维基百科：
大数据，或称巨量数据、海量数据、大资料，指的是所涉及的数据量规 模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理 成为人类所能解读的信息。
SDB Group
6
大数据内涵
狭义上，大数据仅是资讯、信息而已 但其内涵涉及到流转、管理、处理、应用等
（1）从对象角度看，大数据是大小超出典型数据库软件采 集、储存、管理和分析等能力的数据集合 （2）从技术角度看，大数据技术是从各种类型的大数据中， 快速获得有价值信息的技术及其集成 （3）从应用角度看，大数据是对特定的大数据集合、集成 应用大数据技术、获得有价值信息的行为
块块关系互联：快数据在块间的交换，既可以是条状态连 接，也可以经过加工、选择、组合、衍生后进行块间交换
SDB Group
21
块数据的特征
1. 高度关联性：块数据的来源可能是一条街道、一个社区
、或一个城市，其高度关联性体现为：
块上人与人之间的社交关联 块上人与组织间的关联 块上人与物的关联 块上人与空间的关联 块上人与物、事件、空间的相互关联
（1）领域单一
（2）数据封闭
医教交安生国规
（3）数据垄断 （4）源自事务流
疗育通全产土划
SDB Group
18
块数据
“块数据”：狭义上，块数据是一个物理空间或者行政区域 内形成的涉及人、事、物的各类数据的总和。广义上则是有 关块的数据、技术和应用的统一体
块数据是从数据到“数聚”的过程，这是块数据的起点。数 据是分散的、分割的、碎片化的，当这些分散的、分割的、 碎片化的数据聚合在一起的时候，就开始产生“块”
2.多维性：
数据来源的广泛性 数据模式的多元性 数据主体的时空性
SDB Group
22
块数据的特征
3. 活性：随时随地都在更新 更快的更新率 更高的鲜活度 更快的相应速度
4. 主体性： 以人为本的数据
（状态、行为、意识）
5.开放性： 数据的交换与共享 数据的开放与利用
SDB Group
23
块数据与时空数据
块是一个物理空间或者行政区域，本身就是面状的空间数 据。块具备空间属性和空间关系。智慧城市中的块可以大 到整个城市区域，也可小到一个社区、街道或商区
块中的对象（人、事、物）具有时态特征（成、住、坏、 空），也就是动态存在的。如某个建筑物，从开始建设、 到竣工、到使用、到最后损毁，其状态是随时间变化的
SDB Group
36
五、 智慧城市 - 概念与核心技术
智慧城市集云计算、物联网、移动互联、大数据之大成 基于全面物联、充分整合、激励创新和协同运作 实现以用户创新、开放创新、大众创新、协同创新为特
征的知识社会环境下的可持续创新
通过价值创造，以人为本实现经济、社会、环境的全面
可持续发展 四大特征：全面透彻的感知、宽带泛在的互联、智能融
1：私有云 2：社区云 3：公有云 4：混合云
1：宽带网络接 入 2：按需服务 3：资源共享 4：快速弹性扩 展 5：服务可度量
云计算 - 4大支撑技术
虚拟化技术
硬件虚拟化 系统虚拟化 应用虚拟化
一机变多机
并行运算技术
映射（Map) 归约（Reduce)
一算变多算
四大技术是拆分 分布技术是合成
时空数据具备的4V特征：
Volume：遥感、街景、视频、BIM、位置等数据规模达PB ~ EB Velocity：LBS、BIM、遥感、实时传感信息需要快速流转和处理 Variety：矢量、栅格、多媒体、BIM、LBS等数据类型多样 Value：海量实景数据中蕴含极高的应用价值
SDB Group
宇宙也可以理解为时空：
宇宙是“时间无尽永前、空间无界永在、质量无限永有”的存在。 宇宙O={→T=∞；S（x,y,z）=∞；M=∞ }
SDB Group
11
时空数据
时空数据也是现实世界到信息世界的映射，是对现实 世界的采样
时空数据往往是多维的，既有空间，也有时间 时间决定了时空数据的现势性及演变过程 空间决定了时空数据的位置空间属性和关系属性，包
海量数据管理技术
列族存贮 主服务器 子表服务器
一库变多库
海量数据存贮技术
元数据节点 数据节点
一存变多存
云计算 - 四大效能
SDB Group
31
SDB Group
32
SDB Group
33
SDB Group
34
大数据、云计算、物联网和移动互联网的关系
SDB Group
按需付费服务
用户
提交请求
硬件 存储
软件
云
网络
服务
人云亦云 众说纷纭
云计算 - 业务模式
1
服务可租用： 用户所需资 源不在客户 一端而在网 络
2
服务可计量： 服务能力具 有分钟级或 秒级的计量 能力
3
高性价比： 具有较之传 统模式5倍 以上的性价 比优势
云计算
云计算 - 技术特性
云计算的定义与特征（12345）
报表 数据
矢量 数据
三维 模型
影像 数据
街景 影像
地名 地址
视频 监控
SDB Group16
16
BigGeoSQL分布式并行查询处理
融合GeoSQL + NewSQL + 云计算平台，研究实现 BigGeoSQL并行查询处理引擎
同时支持实时计算和批处理计算 支持时空数据融合查询优化与处理 实现高效的时空数据序列运算能力
1个 2个 3种 定义 角色 模式
4种 部署
5个 特点
通过网络接入 弹性可扩展的 物理或虚拟资 源池，并可以 以按需、自服 务的方式对资 源进行部署和 管理的服务模 式
1：提供者 以租代售，由 卖产品变为卖 服务，提高资 源利用率并降 低服务成本 2：使用者 以租代买，提 高投资回报率
1：SAAS(软件 即服务) 2：PAAS（平台 即服务） 3：IAAS（基础 设施即服务）
主要动力，让产业结构正在实现制造经济向信息经济的转化，改变了人们
的生产和生活方式。
大数据时代？？：分布式存储、移动计算、深度学习。更广的数据采集，
更细的数据加工，使得数据应用革命性地繁荣。机器自动产生大量的数据
SDB Group
4
大数据特征（4V）
1. Volume：海量的数据规模，PB ~ EB 2. Velocity：快速的数据流转和数据处理体系 3. Variety：多样的数据类型：结构化、半结构化、非结构化 4. Value：价值密度低，商业价值高
合的应用以及以人为本的可持续创新
类似共产主义？ 如何实现？
SDB Group
37
智慧与智能
从感知到记忆到思维 的过程，称为“智慧”
感知（采集数据） 记忆（管理数据） 思维（分析数据）
智慧的结果就产生了行为和知识，将行为和知识表达的过程称 为“能力”，两者合称“智能”，将感觉、记忆、回忆、思维、 表达、行为的整个过程称为智能过程，它是智力和能力的表现
所以认为“大数据”是数据、技术和应用的统一体
SDB Group
7Leabharlann DB Group8大数据方法与传统方法的对比
SDB Group
9
大数据可视化分析
大数据的可视化和绘制主要是基于并行算法设计的，能合理利 用有限的计算资源，高效地处理和分析特定数据集的特性
可视化通常会结合多分辨率表示方法，以获得足够的互动性能
时空大数据、云计算与智慧城市
陈荣国
中国科学院地理科学与资源研究所 资源与环境信息系统国家重点实验室
2016.04
SDB Group
1
报告提纲
1 大数据 2 时空数据 块数据
3
4 云计算 5 智慧城市
SDB Group
2
一、大数据
SDB Group
3
时代变迁 - 大数据时代
机械化时代：以蒸汽机、内燃机的发明为驱动，释放化学能替代肌肉的能
的应用体系
SDB Group
25
四、云计算 - 概念
Gartner高级分析师Ben Pring评价道：“它正在成为一个大众化 的词语。”但是，问题是似乎每个人对于云计算的理解各不相同。作为一 个对互联网的比喻，“云”是很容易理解的。但是一旦同“计算”联系起 来，它的意义就扩展了，而且开始变得模糊起来。有些分析师和公司把云 计算仅仅定义为计算的升级版——基本上就是互联网上提供的众多虚拟服 务器。另外一些人把云计算定义的更加宽泛，他们认为用户在防火墙保护 之外消费的任何事物都处于“云”之中。
13
时空大数据管理采用混搭架构
包括：设计标准、系统体系 结构、存储架构、查询处理 架构、弹性扩展架构、安全 访问控制体系等
文件底层与分布式文件系统 （如HDFS）结合，研究虚 拟块数据管理容器
MPP与云计算平台（如 Hadoop）结合，研究块数据 并行分布式查询处理架构
SDB Group
所以说块数据是块内时空数据的聚集，时空数据分析是块 数据分析的基础
SDB Group
24
块数据在智慧城市中的应用
块数据集成管理 -> 实现智慧城市大数据一体化融合应用 块数据位置服务 -> 实现智慧城市移动互联综合应用 块数据分布式管理 -> 实现智慧城市“横向跨部门、纵向
跨层级”的分布式应用 块数据云服务 -> 构建智慧城市数据云平台和全方位创新
35
大数据、云计算、物联网和移动互联网的关系
物联网对应了互联网的感觉和运动神经系统 云计算是互联网的核心硬件层和核心软件层的集合，也是互
联网中枢神经系统萌芽 大数据代表了互联网的信息层（数据海洋），是互联网智慧
和意识产生的基础 物联网、传统互联网、移动互联网在源源不断的向大数据层
汇聚数据和接受数据
“人”的 块数据
SDB Group
19
“物”的 块数据
块数据
条
数
块数据
据
条数据 条
数
条数据
据
块数据
条数据
条数据
条数据与 块数据
块嵌套
SDB Group
20
块数据思维
条条关系入块：条条数据是相互关联的，入块必须遵循块 数据标准
条块关系组构：条数据是块数据中的基本要素，但具自主 性。条数据与条数据在块中是无缝协同的
括时空关系
• 文献指出世界上80%的数据与空间有关，实际上世界上几乎 100%的信息都与时空关联，因为世界就是时空
• 世界上85%的数据是半结构化和非结构化的
SDB Group
12
时空数据的4V特征
数据类型：
多维数据：真三维模型、实景影像、BIM、点云 媒体数据：视频图像、影音多媒体 位置数据：LBS轨迹数据、室内地图… 物联网数据：各类传感器实时数据、半/非结构化数据
14
跨结构一体化时空大数据存储模型
研究结构化、非结构化、半结构化、流化数据的一体 化存储和组织模型，重点突破三大数据库：多维数据 库、全媒体数据库和位置数据库
解决基于大规模文件和基于数据库的统一存储管理问 题
解决基于时间的块数据存储组织和快速检索问题
SDB Group
15
跨结构一体化时空大数据存储模型
BigGeoSQL = BigSQL + GeoSQL
SDB Group
17
三、块数据 - 概念
“条数据”：为在某个行业和领域呈链条状串起来的数据。
但这些数据被困在一个个孤立的条上，相互之间却不能连
接起来。如城市各委、办、局独立管理的数据。行业的
“一张图”（如国土一张图）也是条数据
条数据的特征：
HTML、EML等
非结构化数据：如图片、音频、视频等
SDB Group
5
大数据内涵
大数据仅是数据本身吗？
还，或称巨量资料，指的是所涉及的资料量规模巨大到 无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并 整理成为帮助企业经营决策更积极目的的资讯。
SDB Group
10
二、时空数据
世界的哲学定义：时空及有无的划分匡定为世界 大数据无处不在，它是现实世界到信息世界的映射，是
对现实世界的采样 无论是现实世界，还是信息世界，其实质是世界
世：往世、现世、来世，指的都是时间，一维的时间 界：物体的边界、位置，也就是多维的空间
狭义上：时间 + 空间 = 世界
量，用机械力解放了人力畜力，引发了工业革命，引起了社会变革，改善
了人们生活。
电气化时代：以发电技术、输电技术、电器技术的发明为驱动，释放了能
量的空间限制，让能量能高速高效地聚集和转移，让机械化应用从工厂转
移到了千家万户。
信息化时代：以计算机技术的发明为驱动，让信息和知识能高效、高速传
输和传播，信息/知识成了社会的主要财富，信息/知识流成了社会发展的
（2）维基百科：
大数据，或称巨量数据、海量数据、大资料，指的是所涉及的数据量规 模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理 成为人类所能解读的信息。
SDB Group
6
大数据内涵
狭义上，大数据仅是资讯、信息而已 但其内涵涉及到流转、管理、处理、应用等
（1）从对象角度看，大数据是大小超出典型数据库软件采 集、储存、管理和分析等能力的数据集合 （2）从技术角度看，大数据技术是从各种类型的大数据中， 快速获得有价值信息的技术及其集成 （3）从应用角度看，大数据是对特定的大数据集合、集成 应用大数据技术、获得有价值信息的行为
块块关系互联：快数据在块间的交换，既可以是条状态连 接，也可以经过加工、选择、组合、衍生后进行块间交换
SDB Group
21
块数据的特征
1. 高度关联性：块数据的来源可能是一条街道、一个社区
、或一个城市，其高度关联性体现为：
块上人与人之间的社交关联 块上人与组织间的关联 块上人与物的关联 块上人与空间的关联 块上人与物、事件、空间的相互关联
（1）领域单一
（2）数据封闭
医教交安生国规
（3）数据垄断 （4）源自事务流
疗育通全产土划
SDB Group
18
块数据
“块数据”：狭义上，块数据是一个物理空间或者行政区域 内形成的涉及人、事、物的各类数据的总和。广义上则是有 关块的数据、技术和应用的统一体
块数据是从数据到“数聚”的过程，这是块数据的起点。数 据是分散的、分割的、碎片化的，当这些分散的、分割的、 碎片化的数据聚合在一起的时候，就开始产生“块”
2.多维性：
数据来源的广泛性 数据模式的多元性 数据主体的时空性
SDB Group
22
块数据的特征
3. 活性：随时随地都在更新 更快的更新率 更高的鲜活度 更快的相应速度
4. 主体性： 以人为本的数据
（状态、行为、意识）
5.开放性： 数据的交换与共享 数据的开放与利用
SDB Group
23
块数据与时空数据
块是一个物理空间或者行政区域，本身就是面状的空间数 据。块具备空间属性和空间关系。智慧城市中的块可以大 到整个城市区域，也可小到一个社区、街道或商区
块中的对象（人、事、物）具有时态特征（成、住、坏、 空），也就是动态存在的。如某个建筑物，从开始建设、 到竣工、到使用、到最后损毁，其状态是随时间变化的
SDB Group
36
五、 智慧城市 - 概念与核心技术
智慧城市集云计算、物联网、移动互联、大数据之大成 基于全面物联、充分整合、激励创新和协同运作 实现以用户创新、开放创新、大众创新、协同创新为特
征的知识社会环境下的可持续创新
通过价值创造，以人为本实现经济、社会、环境的全面
可持续发展 四大特征：全面透彻的感知、宽带泛在的互联、智能融
1：私有云 2：社区云 3：公有云 4：混合云
1：宽带网络接 入 2：按需服务 3：资源共享 4：快速弹性扩 展 5：服务可度量
云计算 - 4大支撑技术
虚拟化技术
硬件虚拟化 系统虚拟化 应用虚拟化
一机变多机
并行运算技术
映射（Map) 归约（Reduce)
一算变多算
四大技术是拆分 分布技术是合成
时空数据具备的4V特征：
Volume：遥感、街景、视频、BIM、位置等数据规模达PB ~ EB Velocity：LBS、BIM、遥感、实时传感信息需要快速流转和处理 Variety：矢量、栅格、多媒体、BIM、LBS等数据类型多样 Value：海量实景数据中蕴含极高的应用价值
SDB Group
宇宙也可以理解为时空：
宇宙是“时间无尽永前、空间无界永在、质量无限永有”的存在。 宇宙O={→T=∞；S（x,y,z）=∞；M=∞ }
SDB Group
11
时空数据
时空数据也是现实世界到信息世界的映射，是对现实 世界的采样
时空数据往往是多维的，既有空间，也有时间 时间决定了时空数据的现势性及演变过程 空间决定了时空数据的位置空间属性和关系属性，包
海量数据管理技术
列族存贮 主服务器 子表服务器
一库变多库
海量数据存贮技术
元数据节点 数据节点
一存变多存
云计算 - 四大效能
SDB Group
31
SDB Group
32
SDB Group
33
SDB Group
34
大数据、云计算、物联网和移动互联网的关系
SDB Group
按需付费服务
用户
提交请求
硬件 存储
软件
云
网络
服务
人云亦云 众说纷纭
云计算 - 业务模式
1
服务可租用： 用户所需资 源不在客户 一端而在网 络
2
服务可计量： 服务能力具 有分钟级或 秒级的计量 能力
3
高性价比： 具有较之传 统模式5倍 以上的性价 比优势
云计算
云计算 - 技术特性
云计算的定义与特征（12345）
报表 数据
矢量 数据
三维 模型
影像 数据
街景 影像
地名 地址
视频 监控
SDB Group16
16
BigGeoSQL分布式并行查询处理
融合GeoSQL + NewSQL + 云计算平台，研究实现 BigGeoSQL并行查询处理引擎
同时支持实时计算和批处理计算 支持时空数据融合查询优化与处理 实现高效的时空数据序列运算能力
1个 2个 3种 定义 角色 模式
4种 部署
5个 特点
通过网络接入 弹性可扩展的 物理或虚拟资 源池，并可以 以按需、自服 务的方式对资 源进行部署和 管理的服务模 式
1：提供者 以租代售，由 卖产品变为卖 服务，提高资 源利用率并降 低服务成本 2：使用者 以租代买，提 高投资回报率
1：SAAS(软件 即服务) 2：PAAS（平台 即服务） 3：IAAS（基础 设施即服务）
主要动力，让产业结构正在实现制造经济向信息经济的转化，改变了人们
的生产和生活方式。
大数据时代？？：分布式存储、移动计算、深度学习。更广的数据采集，
更细的数据加工，使得数据应用革命性地繁荣。机器自动产生大量的数据
SDB Group
4
大数据特征（4V）
1. Volume：海量的数据规模，PB ~ EB 2. Velocity：快速的数据流转和数据处理体系 3. Variety：多样的数据类型：结构化、半结构化、非结构化 4. Value：价值密度低，商业价值高
合的应用以及以人为本的可持续创新
类似共产主义？ 如何实现？
SDB Group
37
智慧与智能
从感知到记忆到思维 的过程，称为“智慧”
感知（采集数据） 记忆（管理数据） 思维（分析数据）
智慧的结果就产生了行为和知识，将行为和知识表达的过程称 为“能力”，两者合称“智能”，将感觉、记忆、回忆、思维、 表达、行为的整个过程称为智能过程，它是智力和能力的表现
所以认为“大数据”是数据、技术和应用的统一体
SDB Group
7Leabharlann DB Group8大数据方法与传统方法的对比
SDB Group
9
大数据可视化分析
大数据的可视化和绘制主要是基于并行算法设计的，能合理利 用有限的计算资源，高效地处理和分析特定数据集的特性
可视化通常会结合多分辨率表示方法，以获得足够的互动性能
时空大数据、云计算与智慧城市
陈荣国
中国科学院地理科学与资源研究所 资源与环境信息系统国家重点实验室
2016.04
SDB Group
1
报告提纲
1 大数据 2 时空数据 块数据
3
4 云计算 5 智慧城市
SDB Group
2
一、大数据
SDB Group
3
时代变迁 - 大数据时代
机械化时代：以蒸汽机、内燃机的发明为驱动，释放化学能替代肌肉的能
的应用体系
SDB Group
25
四、云计算 - 概念
Gartner高级分析师Ben Pring评价道：“它正在成为一个大众化 的词语。”但是，问题是似乎每个人对于云计算的理解各不相同。作为一 个对互联网的比喻，“云”是很容易理解的。但是一旦同“计算”联系起 来，它的意义就扩展了，而且开始变得模糊起来。有些分析师和公司把云 计算仅仅定义为计算的升级版——基本上就是互联网上提供的众多虚拟服 务器。另外一些人把云计算定义的更加宽泛，他们认为用户在防火墙保护 之外消费的任何事物都处于“云”之中。
13
时空大数据管理采用混搭架构
包括：设计标准、系统体系 结构、存储架构、查询处理 架构、弹性扩展架构、安全 访问控制体系等
文件底层与分布式文件系统 （如HDFS）结合，研究虚 拟块数据管理容器
MPP与云计算平台（如 Hadoop）结合，研究块数据 并行分布式查询处理架构
SDB Group
所以说块数据是块内时空数据的聚集，时空数据分析是块 数据分析的基础
SDB Group
24
块数据在智慧城市中的应用
块数据集成管理 -> 实现智慧城市大数据一体化融合应用 块数据位置服务 -> 实现智慧城市移动互联综合应用 块数据分布式管理 -> 实现智慧城市“横向跨部门、纵向
跨层级”的分布式应用 块数据云服务 -> 构建智慧城市数据云平台和全方位创新
35
大数据、云计算、物联网和移动互联网的关系
物联网对应了互联网的感觉和运动神经系统 云计算是互联网的核心硬件层和核心软件层的集合，也是互
联网中枢神经系统萌芽 大数据代表了互联网的信息层（数据海洋），是互联网智慧
和意识产生的基础 物联网、传统互联网、移动互联网在源源不断的向大数据层
汇聚数据和接受数据
“人”的 块数据
SDB Group
19
“物”的 块数据
块数据
条
数
块数据
据
条数据 条
数
条数据
据
块数据
条数据
条数据
条数据与 块数据
块嵌套
SDB Group
20
块数据思维
条条关系入块：条条数据是相互关联的，入块必须遵循块 数据标准
条块关系组构：条数据是块数据中的基本要素，但具自主 性。条数据与条数据在块中是无缝协同的
括时空关系
• 文献指出世界上80%的数据与空间有关，实际上世界上几乎 100%的信息都与时空关联，因为世界就是时空
• 世界上85%的数据是半结构化和非结构化的
SDB Group
12
时空数据的4V特征
数据类型：
多维数据：真三维模型、实景影像、BIM、点云 媒体数据：视频图像、影音多媒体 位置数据：LBS轨迹数据、室内地图… 物联网数据：各类传感器实时数据、半/非结构化数据
14
跨结构一体化时空大数据存储模型
研究结构化、非结构化、半结构化、流化数据的一体 化存储和组织模型，重点突破三大数据库：多维数据 库、全媒体数据库和位置数据库
解决基于大规模文件和基于数据库的统一存储管理问 题
解决基于时间的块数据存储组织和快速检索问题
SDB Group
15
跨结构一体化时空大数据存储模型
BigGeoSQL = BigSQL + GeoSQL
SDB Group
17
三、块数据 - 概念
“条数据”：为在某个行业和领域呈链条状串起来的数据。
但这些数据被困在一个个孤立的条上，相互之间却不能连
接起来。如城市各委、办、局独立管理的数据。行业的
“一张图”（如国土一张图）也是条数据
条数据的特征：