空间大数据
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
>db.xqpoint.find({"geom.coordinates":[122.53233,52.968872]})
邻域查询
>db.xqpoint.find({"geom.coordinates":{$near:[122,52]}})
>db.xqpoint.find({"geom.coordinates":{$near:[122,52]}}).limit(5)
科学实验
模型归纳
模拟仿真
数据密集型
科学研究方法的发展
真正的革命并不发生在分析数据的机器，而在于数据本身 和我们如何运用数据。
大数据的涵义与研究意义
研究大数据的意义：社会变革
2009至今美国政府全面开放了40万联邦政府原始数据集。大数 社会 据已成为美国国家创新战略、国家安全战略、国家IT产业发展战略以 及国家信息网络战略的交叉领域、核心领域。
> center = [80,44] > radius =5 > db.xqpoint.find({"geom.coordinates":{$within:{$center:[center,radius]}}})
> polygon1 = [[75,35],[80,35],[80,45],[60,40]] > db.xqpoint.find({"geom.coordinates":{$within:{$polygon:polygon1}}})
与空间信息和位置相关的大数据
地理数据
内容：土地覆盖类型数据、地貌数据、土壤数据、水文数 据、植被数据、居民地数据、河流数据、行政境界及社会 经济方面的数据等。 特点：数据体量大、较为规则化、变化较慢。
与空间信息和位置相关的大数据
轨迹数据
内容：个人轨迹数据、群体轨迹数据、车辆轨迹数据等 特点：数据体量大、信息碎片化、准确性较低、半结构化
三、空间大数据的应用
3.空间大数据与应急管理
2013年4月15日，波士顿马拉松爆炸案事发几小时内，数以千计的在场群众 将事发现场拍摄的照片和视频放到了公共网络平台上，这些照片和视频图像 来自各种相机，手机和平板电脑。不到一天时间，嫌犯被确认并在纽约被抓 获 这是一种典型的利用空间社会媒体的位置大数据与反犯罪机构的专业能力结 合，建立的城市安全与应急新体制
一、大数据的涵义与研究意义
二、与空间信息和位置相关的大数据
三、空间大数据的应用
四、空间大数据的存储
五、总结
大数据的涵义与研究意义
大数据：大型复杂数据集的聚合，这些数据集的 规模和复杂程度常超出目前数据库管理软件和传统 数据处理技术在可接受时间下的获取、管理、检索、 分析、挖掘和可视化能力。
大数据的涵义与研究意义
为城市运行服务
社会交流、个性化信息推送、 驾驶安全、智能驾驶
为个人生活服务
企业调度、门店选址、广告推送、 位置营销
为企业经济服务
大数据的应用
1.空间大数据与智能交通
Inrix是美国的一家交通数据处理公司，也是 全球领先的道路交通信息和驾驶员服务供应商。 他们设计的APP是一款致力于为全球交通问题带 来智能数据和先进的分析方法的交通智能化平 台。
大数据的应用
利用大数据预判未来交通信息和路况是核心 2012年英国伦敦奥运会利用INRIX软件和在线服务确保交通顺畅;在 美国有超过25个州的交通部门使用INRIX数据辅助交通管理。
三、空间大数据的应用
2015年2月11日，国内智能交通行业领军企 业北京千方科技股份有限公司与INRIX签署战 略合作协议。 千方科技在国内智能交通行业具有深厚的理 解和市场、技术积累，INRIX在欧美地区具有 成熟的交通信息化解决方案和先进理念。双 方将结合各自的优势，整合交通信息化及数 据分析解决方案和产品，共同拓展智能交通 行业市场，双方将在交通大数据分析、增值 挖掘、交通仿真等技术方向深度交流，提升 双方专业化及技术能力。 不过，由于涉及国内职能部门的数据保护问 题，国内手机用户还未能够体验这款App。
出租车轨迹数据示例
与空间信息和位置相关的大数据
空间媒体数据
内容：互联网图像视频数据、社交网络数据 在线电子商务数据、城市监控摄像头数据 特点：数据来源混杂、数据异构性大、数据价值 密度低，实时性强
与空间信息和位置相关的大数据
位置大数据的作用
城市规划、疾病控制、智能交通、 节能减排、环境保护、应急响应
21世纪数据的价值有可能等同于20世纪的石油，大数据研究使
价值
得人们降低了对因果关系的渴求，而关注相关关系。只需要知道是什 么，而不需知道为什么。这将使得理解现实和做决定的基础也将受到 根本性挑战。
大数据的涵义与研究意义
研究大数据的意义：经济增长
新的职业 新的企业 新的应用 新的产值
与空间信息和位置相关的大数据
典型应用场景 内容缓存，主 要用于处理大 量数据的高访 问负载，也用 于一些日志系 统等等。
数据模型 Key 指向 Value 的键值 对，通常用 hash table来 实现
优点 查找速度快
缺点 数据无结构化， 通常只被当作 字符串或者二 进制数据
列存储数据库
分布式的文件 以列簇式存储， 查找速度快， 系统 将同一列数据 可扩展性强， 存在一起 更容易进行分 布式扩展 Web应用（与 Key-Value类 似，Value是 结构化的，不 同的是数据库 能够了解 Value的内容） 社交网络，推 荐系统等。专 注于构建关系 图谱 Key-Value对 应的键值对， Value为结构 化数据
图形(Graph)数 据库
Neo4J, InfoGrid, Infinite Graph
图结构
这便是一个document，使用 JSON格式，一目了然。其中的 "geom"即为Geometry类型的数据， 即地理空间数据，也是采用JSON
格式存储，这样后续的空间索引与
空间查询将十分方便。
精确查询
大数据的特点：
１）Volume（体量大）：大量TB级以上已有的数据等待处理； ２）Velocity（速度快）：需要响应以s甚至ms计的流数据不断产生； ３）Variety（模态多样）：数据来源和类型繁多文本、图片、视频等结 构化和非结构化数据并存； ４）Veracity（真伪难辨）：由于数据的噪音、缺失、不一致性、歧义等
功能相对局限
文档型数据库
CouchDB, MongoDb
数据结构要求 查询性能不高， 不严格，表结 而且缺乏统一 构可变，不需 的查询语法。 要像关系型数 据库一样需要 预先定义表结 构 利用图结构相 关算法。比如 最短路径寻址， N度关系查找 等 很多时候需要 对整个图做计 算才能得出需 要的信息，而 且这种结构不 太好做分布式 的集群方案。
引起的数据不确定性；
５）Value（价值）：大数据使得人们以前所未有的维度量化和理解世界， 蕴含了巨大的价值，大数据的终极目标在于从数据中挖掘价值。
大数据的核心：预测
大数据的涵义与研究意义
研究大数据的意义：科学进步
图灵奖获得者吉姆•格雷提出：大数据是科学研究的第四 范式，是从计算密集型科研发展到以大数据为基础的数据密 集型科研方法。
分布式的
不保证遵循 ACID原则
CAP NOSQL
BASE
一致性
可用性
分区容 错性
BASE
两者权衡
必须保证
NoSQL数据库的特点
易扩展
高性能
灵活
高可用性
Key-value型
文档型
列式存储
图形数据库
Key-value型
哈希表 定义一个大的有序结 构数组HashValue[m]， 用来存放各信息 哈希函数 编写一个哈希函数 将关键值的名字转 换为HashValue[m] 中的某个下标值x 查询
当查询的时候
再使用哈希函数 得到这个下标值
文档型数据库
文档
它包含多个键/值对 文档中的键/值对是 有序的
集合
集合就是一组文档。
数据库
多个文档组成集合
多个集合数据库。
集合是无模式的。
分类 键值（keyvalue）
Examples 举例 Tokyo Cabinet/Tyr ant, Redis, Voldemort, Oracle BDB Cassandra, HBase, Riak
位置大数据的分类
地理数据 指直接或间接关联 着相对于地球的某 个地点的数据， 包括自然地理数据 和社会经济数据。
轨迹数据 指通过GNSS等测 量手段以及网络签 到等方法获得的用 户活动数据，可以 被用来反映用户的 位置和用户的社会 偏好。
空间媒体数据 包含位置的数字化 的文字、图形、图 像、视频影像等媒 体数据，主要来源 于移动社交网络、 微博等新型互联网 应用
>db.xqpoint.find({"geom.coordinates":{$near:[122,52],$maxDistance:5}}) .limit(5)
范围查询
> box = [[80,40],[100,50]] > db.xqpoint.find({"geom.coordinates":{$within:{$box:box}}})
新的数据共享机制 需要建立 空间大数据 的位置安全 多源数据的 分析和挖掘
大数据研究带来的挑战
结合地理计算的 可视分析
可扩展的动态 海量数据管理
感谢你的聆听
位置大数据研究涉及到数据采集、数据处理、计算和存储以及
可视化等一套完整的方法体系
• 泛在测绘 • 重数据 • 轻算法
数据
数据
采集
数据 表达
• 可视化
百度文库
分析
数据 存储
• NOSQL
大数据下对于数据库的需求
海量数据的高效存储
支持丰富的数据类型 数据库应当易于扩展 处理速度快
非关系型的
邻域查询
>db.xqpoint.find({"geom.coordinates":{$near:[122,52]}})
>db.xqpoint.find({"geom.coordinates":{$near:[122,52]}}).limit(5)
科学实验
模型归纳
模拟仿真
数据密集型
科学研究方法的发展
真正的革命并不发生在分析数据的机器，而在于数据本身 和我们如何运用数据。
大数据的涵义与研究意义
研究大数据的意义：社会变革
2009至今美国政府全面开放了40万联邦政府原始数据集。大数 社会 据已成为美国国家创新战略、国家安全战略、国家IT产业发展战略以 及国家信息网络战略的交叉领域、核心领域。
> center = [80,44] > radius =5 > db.xqpoint.find({"geom.coordinates":{$within:{$center:[center,radius]}}})
> polygon1 = [[75,35],[80,35],[80,45],[60,40]] > db.xqpoint.find({"geom.coordinates":{$within:{$polygon:polygon1}}})
与空间信息和位置相关的大数据
地理数据
内容：土地覆盖类型数据、地貌数据、土壤数据、水文数 据、植被数据、居民地数据、河流数据、行政境界及社会 经济方面的数据等。 特点：数据体量大、较为规则化、变化较慢。
与空间信息和位置相关的大数据
轨迹数据
内容：个人轨迹数据、群体轨迹数据、车辆轨迹数据等 特点：数据体量大、信息碎片化、准确性较低、半结构化
三、空间大数据的应用
3.空间大数据与应急管理
2013年4月15日，波士顿马拉松爆炸案事发几小时内，数以千计的在场群众 将事发现场拍摄的照片和视频放到了公共网络平台上，这些照片和视频图像 来自各种相机，手机和平板电脑。不到一天时间，嫌犯被确认并在纽约被抓 获 这是一种典型的利用空间社会媒体的位置大数据与反犯罪机构的专业能力结 合，建立的城市安全与应急新体制
一、大数据的涵义与研究意义
二、与空间信息和位置相关的大数据
三、空间大数据的应用
四、空间大数据的存储
五、总结
大数据的涵义与研究意义
大数据：大型复杂数据集的聚合，这些数据集的 规模和复杂程度常超出目前数据库管理软件和传统 数据处理技术在可接受时间下的获取、管理、检索、 分析、挖掘和可视化能力。
大数据的涵义与研究意义
为城市运行服务
社会交流、个性化信息推送、 驾驶安全、智能驾驶
为个人生活服务
企业调度、门店选址、广告推送、 位置营销
为企业经济服务
大数据的应用
1.空间大数据与智能交通
Inrix是美国的一家交通数据处理公司，也是 全球领先的道路交通信息和驾驶员服务供应商。 他们设计的APP是一款致力于为全球交通问题带 来智能数据和先进的分析方法的交通智能化平 台。
大数据的应用
利用大数据预判未来交通信息和路况是核心 2012年英国伦敦奥运会利用INRIX软件和在线服务确保交通顺畅;在 美国有超过25个州的交通部门使用INRIX数据辅助交通管理。
三、空间大数据的应用
2015年2月11日，国内智能交通行业领军企 业北京千方科技股份有限公司与INRIX签署战 略合作协议。 千方科技在国内智能交通行业具有深厚的理 解和市场、技术积累，INRIX在欧美地区具有 成熟的交通信息化解决方案和先进理念。双 方将结合各自的优势，整合交通信息化及数 据分析解决方案和产品，共同拓展智能交通 行业市场，双方将在交通大数据分析、增值 挖掘、交通仿真等技术方向深度交流，提升 双方专业化及技术能力。 不过，由于涉及国内职能部门的数据保护问 题，国内手机用户还未能够体验这款App。
出租车轨迹数据示例
与空间信息和位置相关的大数据
空间媒体数据
内容：互联网图像视频数据、社交网络数据 在线电子商务数据、城市监控摄像头数据 特点：数据来源混杂、数据异构性大、数据价值 密度低，实时性强
与空间信息和位置相关的大数据
位置大数据的作用
城市规划、疾病控制、智能交通、 节能减排、环境保护、应急响应
21世纪数据的价值有可能等同于20世纪的石油，大数据研究使
价值
得人们降低了对因果关系的渴求，而关注相关关系。只需要知道是什 么，而不需知道为什么。这将使得理解现实和做决定的基础也将受到 根本性挑战。
大数据的涵义与研究意义
研究大数据的意义：经济增长
新的职业 新的企业 新的应用 新的产值
与空间信息和位置相关的大数据
典型应用场景 内容缓存，主 要用于处理大 量数据的高访 问负载，也用 于一些日志系 统等等。
数据模型 Key 指向 Value 的键值 对，通常用 hash table来 实现
优点 查找速度快
缺点 数据无结构化， 通常只被当作 字符串或者二 进制数据
列存储数据库
分布式的文件 以列簇式存储， 查找速度快， 系统 将同一列数据 可扩展性强， 存在一起 更容易进行分 布式扩展 Web应用（与 Key-Value类 似，Value是 结构化的，不 同的是数据库 能够了解 Value的内容） 社交网络，推 荐系统等。专 注于构建关系 图谱 Key-Value对 应的键值对， Value为结构 化数据
图形(Graph)数 据库
Neo4J, InfoGrid, Infinite Graph
图结构
这便是一个document，使用 JSON格式，一目了然。其中的 "geom"即为Geometry类型的数据， 即地理空间数据，也是采用JSON
格式存储，这样后续的空间索引与
空间查询将十分方便。
精确查询
大数据的特点：
１）Volume（体量大）：大量TB级以上已有的数据等待处理； ２）Velocity（速度快）：需要响应以s甚至ms计的流数据不断产生； ３）Variety（模态多样）：数据来源和类型繁多文本、图片、视频等结 构化和非结构化数据并存； ４）Veracity（真伪难辨）：由于数据的噪音、缺失、不一致性、歧义等
功能相对局限
文档型数据库
CouchDB, MongoDb
数据结构要求 查询性能不高， 不严格，表结 而且缺乏统一 构可变，不需 的查询语法。 要像关系型数 据库一样需要 预先定义表结 构 利用图结构相 关算法。比如 最短路径寻址， N度关系查找 等 很多时候需要 对整个图做计 算才能得出需 要的信息，而 且这种结构不 太好做分布式 的集群方案。
引起的数据不确定性；
５）Value（价值）：大数据使得人们以前所未有的维度量化和理解世界， 蕴含了巨大的价值，大数据的终极目标在于从数据中挖掘价值。
大数据的核心：预测
大数据的涵义与研究意义
研究大数据的意义：科学进步
图灵奖获得者吉姆•格雷提出：大数据是科学研究的第四 范式，是从计算密集型科研发展到以大数据为基础的数据密 集型科研方法。
分布式的
不保证遵循 ACID原则
CAP NOSQL
BASE
一致性
可用性
分区容 错性
BASE
两者权衡
必须保证
NoSQL数据库的特点
易扩展
高性能
灵活
高可用性
Key-value型
文档型
列式存储
图形数据库
Key-value型
哈希表 定义一个大的有序结 构数组HashValue[m]， 用来存放各信息 哈希函数 编写一个哈希函数 将关键值的名字转 换为HashValue[m] 中的某个下标值x 查询
当查询的时候
再使用哈希函数 得到这个下标值
文档型数据库
文档
它包含多个键/值对 文档中的键/值对是 有序的
集合
集合就是一组文档。
数据库
多个文档组成集合
多个集合数据库。
集合是无模式的。
分类 键值（keyvalue）
Examples 举例 Tokyo Cabinet/Tyr ant, Redis, Voldemort, Oracle BDB Cassandra, HBase, Riak
位置大数据的分类
地理数据 指直接或间接关联 着相对于地球的某 个地点的数据， 包括自然地理数据 和社会经济数据。
轨迹数据 指通过GNSS等测 量手段以及网络签 到等方法获得的用 户活动数据，可以 被用来反映用户的 位置和用户的社会 偏好。
空间媒体数据 包含位置的数字化 的文字、图形、图 像、视频影像等媒 体数据，主要来源 于移动社交网络、 微博等新型互联网 应用
>db.xqpoint.find({"geom.coordinates":{$near:[122,52],$maxDistance:5}}) .limit(5)
范围查询
> box = [[80,40],[100,50]] > db.xqpoint.find({"geom.coordinates":{$within:{$box:box}}})
新的数据共享机制 需要建立 空间大数据 的位置安全 多源数据的 分析和挖掘
大数据研究带来的挑战
结合地理计算的 可视分析
可扩展的动态 海量数据管理
感谢你的聆听
位置大数据研究涉及到数据采集、数据处理、计算和存储以及
可视化等一套完整的方法体系
• 泛在测绘 • 重数据 • 轻算法
数据
数据
采集
数据 表达
• 可视化
百度文库
分析
数据 存储
• NOSQL
大数据下对于数据库的需求
海量数据的高效存储
支持丰富的数据类型 数据库应当易于扩展 处理速度快
非关系型的