时空大数据云计算与智慧城市

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
结构化数据:可描述为二维表格的数据,用SQL管理 半结构化数据:非关系描述的其他结构化数据,如XML、
HTML、EML等
非结构化数据:如图片、音频、视频等
SDB Group
5
大数据内涵
大数据仅是数据本身吗?
还,或称巨量资料,指的是所涉及的资料量规模巨大到 无法通过目前主流软件工具,在合理时间内达到撷取、管理、处理、并 整理成为帮助企业经营决策更积极目的的资讯。
SDB Group
10
二、时空数据
世界的哲学定义:时空及有无的划分匡定为世界 大数据无处不在,它是现实世界到信息世界的映射,是
对现实世界的采样 无论是现实世界,还是信息世界,其实质是世界
世:往世、现世、来世,指的都是时间,一维的时间 界:物体的边界、位置,也就是多维的空间
狭义上:时间 + 空间 = 世界
量,用机械力解放了人力畜力,引发了工业革命,引起了社会变革,改善
了人们生活。
电气化时代:以发电技术、输电技术、电器技术的发明为驱动,释放了能
量的空间限制,让能量能高速高效地聚集和转移,让机械化应用从工厂转
移到了千家万户。
信息化时代:以计算机技术的发明为驱动,让信息和知识能高效、高速传
输和传播,信息/知识成了社会的主要财富,信息/知识流成了社会发展的
(2)维基百科:
大数据,或称巨量数据、海量数据、大资料,指的是所涉及的数据量规 模巨大到无法通过人工,在合理时间内达到截取、管理、处理、并整理 成为人类所能解读的信息。
SDB Group
6
大数据内涵
狭义上,大数据仅是资讯、信息而已 但其内涵涉及到流转、管理、处理、应用等
(1)从对象角度看,大数据是大小超出典型数据库软件采 集、储存、管理和分析等能力的数据集合 (2)从技术角度看,大数据技术是从各种类型的大数据中, 快速获得有价值信息的技术及其集成 (3)从应用角度看,大数据是对特定的大数据集合、集成 应用大数据技术、获得有价值信息的行为
块块关系互联:快数据在块间的交换,既可以是条状态连 接,也可以经过加工、选择、组合、衍生后进行块间交换
SDB Group
21
块数据的特征
1. 高度关联性:块数据的来源可能是一条街道、一个社区
、或一个城市,其高度关联性体现为:
块上人与人之间的社交关联 块上人与组织间的关联 块上人与物的关联 块上人与空间的关联 块上人与物、事件、空间的相互关联
(1)领域单一
(2)数据封闭
医教交安生国规
(3)数据垄断 (4)源自事务流
疗育通全产土划
SDB Group
18
块数据
“块数据”:狭义上,块数据是一个物理空间或者行政区域 内形成的涉及人、事、物的各类数据的总和。广义上则是有 关块的数据、技术和应用的统一体
块数据是从数据到“数聚”的过程,这是块数据的起点。数 据是分散的、分割的、碎片化的,当这些分散的、分割的、 碎片化的数据聚合在一起的时候,就开始产生“块”
2.多维性:
数据来源的广泛性 数据模式的多元性 数据主体的时空性
SDB Group
22
块数据的特征
3. 活性:随时随地都在更新 更快的更新率 更高的鲜活度 更快的相应速度
4. 主体性: 以人为本的数据
(状态、行为、意识)
5.开放性: 数据的交换与共享 数据的开放与利用
SDB Group
23
块数据与时空数据
块是一个物理空间或者行政区域,本身就是面状的空间数 据。块具备空间属性和空间关系。智慧城市中的块可以大 到整个城市区域,也可小到一个社区、街道或商区
块中的对象(人、事、物)具有时态特征(成、住、坏、 空),也就是动态存在的。如某个建筑物,从开始建设、 到竣工、到使用、到最后损毁,其状态是随时间变化的
SDB Group
36
五、 智慧城市 - 概念与核心技术
智慧城市集云计算、物联网、移动互联、大数据之大成 基于全面物联、充分整合、激励创新和协同运作 实现以用户创新、开放创新、大众创新、协同创新为特
征的知识社会环境下的可持续创新
通过价值创造,以人为本实现经济、社会、环境的全面
可持续发展 四大特征:全面透彻的感知、宽带泛在的互联、智能融
1:私有云 2:社区云 3:公有云 4:混合云
1:宽带网络接 入 2:按需服务 3:资源共享 4:快速弹性扩 展 5:服务可度量
云计算 - 4大支撑技术
虚拟化技术
硬件虚拟化 系统虚拟化 应用虚拟化
一机变多机
并行运算技术
映射(Map) 归约(Reduce)
一算变多算
四大技术是拆分 分布技术是合成
时空数据具备的4V特征:
Volume:遥感、街景、视频、BIM、位置等数据规模达PB ~ EB Velocity:LBS、BIM、遥感、实时传感信息需要快速流转和处理 Variety:矢量、栅格、多媒体、BIM、LBS等数据类型多样 Value:海量实景数据中蕴含极高的应用价值
SDB Group
宇宙也可以理解为时空:
宇宙是“时间无尽永前、空间无界永在、质量无限永有”的存在。 宇宙O={→T=∞;S(x,y,z)=∞;M=∞ }
SDB Group
11
时空数据
时空数据也是现实世界到信息世界的映射,是对现实 世界的采样
时空数据往往是多维的,既有空间,也有时间 时间决定了时空数据的现势性及演变过程 空间决定了时空数据的位置空间属性和关系属性,包
海量数据管理技术
列族存贮 主服务器 子表服务器
一库变多库
海量数据存贮技术
元数据节点 数据节点
一存变多存
云计算 - 四大效能
SDB Group
31
SDB Group
32
SDB Group
33
SDB Group
34
大数据、云计算、物联网和移动互联网的关系
SDB Group
按需付费服务
用户
提交请求
硬件 存储
软件

网络
服务
人云亦云 众说纷纭
云计算 - 业务模式
1
服务可租用: 用户所需资 源不在客户 一端而在网 络
2
服务可计量: 服务能力具 有分钟级或 秒级的计量 能力
3
高性价比: 具有较之传 统模式5倍 以上的性价 比优势
云计算
云计算 - 技术特性
云计算的定义与特征(12345)
报表 数据
矢量 数据
三维 模型
影像 数据
街景 影像
地名 地址
视频 监控
SDB Group16
16
BigGeoSQL分布式并行查询处理
融合GeoSQL + NewSQL + 云计算平台,研究实现 BigGeoSQL并行查询处理引擎
同时支持实时计算和批处理计算 支持时空数据融合查询优化与处理 实现高效的时空数据序列运算能力
1个 2个 3种 定义 角色 模式
4种 部署
5个 特点
通过网络接入 弹性可扩展的 物理或虚拟资 源池,并可以 以按需、自服 务的方式对资 源进行部署和 管理的服务模 式
1:提供者 以租代售,由 卖产品变为卖 服务,提高资 源利用率并降 低服务成本 2:使用者 以租代买,提 高投资回报率
1:SAAS(软件 即服务) 2:PAAS(平台 即服务) 3:IAAS(基础 设施即服务)
主要动力,让产业结构正在实现制造经济向信息经济的转化,改变了人们
的生产和生活方式。
大数据时代??:分布式存储、移动计算、深度学习。更广的数据采集,
更细的数据加工,使得数据应用革命性地繁荣。机器自动产生大量的数据
SDB Group
4
大数据特征(4V)
1. Volume:海量的数据规模,PB ~ EB 2. Velocity:快速的数据流转和数据处理体系 3. Variety:多样的数据类型:结构化、半结构化、非结构化 4. Value:价值密度低,商业价值高
合的应用以及以人为本的可持续创新
类似共产主义? 如何实现?
SDB Group
37
智慧与智能
从感知到记忆到思维 的过程,称为“智慧”
感知(采集数据) 记忆(管理数据) 思维(分析数据)
智慧的结果就产生了行为和知识,将行为和知识表达的过程称 为“能力”,两者合称“智能”,将感觉、记忆、回忆、思维、 表达、行为的整个过程称为智能过程,它是智力和能力的表现
所以认为“大数据”是数据、技术和应用的统一体
SDB Group
7Leabharlann DB Group8大数据方法与传统方法的对比
SDB Group
9
大数据可视化分析
大数据的可视化和绘制主要是基于并行算法设计的,能合理利 用有限的计算资源,高效地处理和分析特定数据集的特性
可视化通常会结合多分辨率表示方法,以获得足够的互动性能
时空大数据、云计算与智慧城市
陈荣国
中国科学院地理科学与资源研究所 资源与环境信息系统国家重点实验室
2016.04
SDB Group
1
报告提纲
1 大数据 2 时空数据 块数据
3
4 云计算 5 智慧城市
SDB Group
2
一、大数据
SDB Group
3
时代变迁 - 大数据时代
机械化时代:以蒸汽机、内燃机的发明为驱动,释放化学能替代肌肉的能
的应用体系
SDB Group
25
四、云计算 - 概念
Gartner高级分析师Ben Pring评价道:“它正在成为一个大众化 的词语。”但是,问题是似乎每个人对于云计算的理解各不相同。作为一 个对互联网的比喻,“云”是很容易理解的。但是一旦同“计算”联系起 来,它的意义就扩展了,而且开始变得模糊起来。有些分析师和公司把云 计算仅仅定义为计算的升级版——基本上就是互联网上提供的众多虚拟服 务器。另外一些人把云计算定义的更加宽泛,他们认为用户在防火墙保护 之外消费的任何事物都处于“云”之中。
13
时空大数据管理采用混搭架构
包括:设计标准、系统体系 结构、存储架构、查询处理 架构、弹性扩展架构、安全 访问控制体系等
文件底层与分布式文件系统 (如HDFS)结合,研究虚 拟块数据管理容器
MPP与云计算平台(如 Hadoop)结合,研究块数据 并行分布式查询处理架构
SDB Group
所以说块数据是块内时空数据的聚集,时空数据分析是块 数据分析的基础
SDB Group
24
块数据在智慧城市中的应用
块数据集成管理 -> 实现智慧城市大数据一体化融合应用 块数据位置服务 -> 实现智慧城市移动互联综合应用 块数据分布式管理 -> 实现智慧城市“横向跨部门、纵向
跨层级”的分布式应用 块数据云服务 -> 构建智慧城市数据云平台和全方位创新
35
大数据、云计算、物联网和移动互联网的关系
物联网对应了互联网的感觉和运动神经系统 云计算是互联网的核心硬件层和核心软件层的集合,也是互
联网中枢神经系统萌芽 大数据代表了互联网的信息层(数据海洋),是互联网智慧
和意识产生的基础 物联网、传统互联网、移动互联网在源源不断的向大数据层
汇聚数据和接受数据
“人”的 块数据
SDB Group
19
“物”的 块数据
块数据


块数据

条数据 条

条数据

块数据
条数据
条数据
条数据与 块数据
块嵌套
SDB Group
20
块数据思维
条条关系入块:条条数据是相互关联的,入块必须遵循块 数据标准
条块关系组构:条数据是块数据中的基本要素,但具自主 性。条数据与条数据在块中是无缝协同的
括时空关系
• 文献指出世界上80%的数据与空间有关,实际上世界上几乎 100%的信息都与时空关联,因为世界就是时空
• 世界上85%的数据是半结构化和非结构化的
SDB Group
12
时空数据的4V特征
数据类型:
多维数据:真三维模型、实景影像、BIM、点云 媒体数据:视频图像、影音多媒体 位置数据:LBS轨迹数据、室内地图… 物联网数据:各类传感器实时数据、半/非结构化数据
14
跨结构一体化时空大数据存储模型
研究结构化、非结构化、半结构化、流化数据的一体 化存储和组织模型,重点突破三大数据库:多维数据 库、全媒体数据库和位置数据库
解决基于大规模文件和基于数据库的统一存储管理问 题
解决基于时间的块数据存储组织和快速检索问题
SDB Group
15
跨结构一体化时空大数据存储模型
BigGeoSQL = BigSQL + GeoSQL
SDB Group
17
三、块数据 - 概念
“条数据”:为在某个行业和领域呈链条状串起来的数据。
但这些数据被困在一个个孤立的条上,相互之间却不能连
接起来。如城市各委、办、局独立管理的数据。行业的
“一张图”(如国土一张图)也是条数据
条数据的特征:
相关文档
最新文档