大数据(数据挖掘)以及位置地理信息分解
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
px 信息都存在冗余，冗余大小与信息中每个符号的出现概率或者说不确
定性有关。衡量它可以根据其出现的概率来度量。概率大，出现机会 多，不确定性小；反之就大。 不确定性函数f是概率P的单调递降函数；两个独立符号所产生的 不确定性应等于各自不确定性之和，即f（P1，P2）=f（P1）+f（P2） ，这称为可加性。同时满足这两个条件的函数f是对数函数，即：
得到的结果,且更加直观和准确*10−13+.将简单直接的数据应用到社会经济活动、
政治活动、自然环境、人类情感以及人口卫生等一系列社会学、人类学、经 济学的研究中。
二
设计理论
（二） 设计理论
1.基本定义和预处理方法
（二） 设计理论
1.1 地图的预处理
(a) 网格化分区[14,15]. (b) 依道路网分区[16]
2.2 个体移动模式特征 mp
个体移动模式(mobility pattern,简称 MP)以单个移动对象o为观察目标, 包括其在一段时间内的移动独一性、随机性、周期性、转移性、动静间歇性和 移动期望性等方面.
（二） 设计理论
2.2.1 移动独立性
2.局部位置数据的特征提取
结论：通过观察很少的区域,便能唯一确定一条用户轨迹.这既说明个体移动具有高度的规律 性。独一性大小反映出数据集所在人群的整齐划一程度,因此在不同数据集上分析个体移动 独一性,将有助于通过位置大数据分析其背后人群的自由程度、政治体制和生活情态。
（二） 设计理论
2.2.2 移动随机性
2.局部位置数据的特征提取
个体移动的随机性可用位置熵(location entropy)来度量.设 px 为访问一个位 置的随机变量,参照信息熵的定义,可以给出多类位置熵:
补充： 信息熵
信息论之父 C. E. Shannon 在 1948 年发表的论文中指出，任何
（二） 设计理论
4.特征关联及协同挖掘
研究目的：大数据研究中还有一个突出问题,即,数据稀疏性导致的结果失 真。群体往往比较喜欢在一些特定场所聚集,从而造成这些地方的观察数 据密度过高.而真正需要密度数据的区域,由于缺少采集手段,却又无法获 得真实的位置记录.
（二） 设计理论
2.2.3 移动转移性
2.局部位置数据的特征提取
Jaccard 系数，又叫Jaccard相似性系数，用来比较样本集中的相似性和分散性的一 个概率。Jaccard系数等于样本集交集与样本集合集的比值，即J=|A∩B|/|A∪B|。
（二） 设计理论
2.2.4 移动期望性
2.局部位置数据的特征提取
1.基本定义和预处理方法
(c) 依位置密度分区[5,17,18] (d) 依参考点分区[7]
（二） 设计理论
2.1 区域静态特征 s
2.局部位置数据的特征提取
区域静态特征主要统计的是区域内与地图地貌相关的一些指标,可用于对 不同区域进行聚/分类处理,例如区域内快速路的长度、普通路段的长度、道路 交叉口数量、区域道路弯曲度、道路基质质量等特性所构成的特征向量
（二） 设计理论
2.2.4 移动期望性
2.局部位置数据的特征提取
（二） 设计理论
2.2.4 移动期望性
2.局部位置数据的特征提取
（二） 设计理论
3.1 位置大数据建模
3.位置大数据降维分析及全局建模
（二） 设计理论
3.2 空间尺度上的降维处理
3.位置大数据降维分析及全局建模
介数是所有经过 ri 的最短路径数量(,忽视了多条路径在交通中存在的关联 性.所以我们对介数指标进行了改进,其核心思想是: i) 如果网络中大量交通行为会同时选择两个结点 ri和 rj作为其最短路径的传 播点,那么这两个结点的重要性是共生关系,记为ζ ij>0.原始介数指标将这二者 共同承担的那一部分重要性重复计算到各自结点中去,造成了重要性的高估; ii) 如果对网络中结点 ri 进行摘除后可以发现,原本那些以 ri 为最短路径的
LBD特点
选题背景
---复杂但稀疏
研究目的
位置大数据主要来源于车联网(Internet of vehicles,简称 IOV)、移动社交网 络等新兴互联网应用,更新速度快且具有很大的混杂性(inaccurate).同时,往往受 到数据采集技术等方面的客观制约,使得这些数据不能全面和正确地反映观察 对象的整体全貌,因而具有“复杂但稀疏(complex yet sparse)”的特点.如何从
位置大数据中获得价值,进而发现人类社群活动规律,是非常值得探讨的问题.
一
数据挖掘
选题背景
---关联应用
研究目的
从关联应用角度阐述位置大数据的意义和价值.传统的诸如轨迹数据等往 往仅被用以分析城市交通等直接且特定的问题.但大量经典的大数据科学研究 表明,通过价值提取和协同挖掘后的数据结果能够将一些看似无关的事件很好 地联系在一起,从而从数据层面“直接”反映一些原本需要复杂因果建模才能
链路大部分“取道”结点 rj,说明结点 rj 对结点 ri 具有潜在的替代作用,记
为ζ ij<0.这种替代性在原始介数指标中未能体现,从而造成了结点交通重要性的 低估.
（二） 设计理论
3.2 空间尺度上的降维处理
3.位置大数据降维分析及全局建模
（二） 设计理论
3.3 时间尺度上的降维处理
3.位置大数据降维分析及全局建模
东北大学秦皇岛分校
Northeastern University at Qinhuangdao
软件工程课程设计
位置大数据的价值提取与协同挖掘方法
目录
选题背景
设计理论 总体模型
参考文献
一
选题背景
一
LBSຫໍສະໝຸດ Baidu
选题背景
---位置服务
研究目的
位置服务(location based service,简称 LBS)是近年来新兴的移动 计算服务.位置服务主要需重视其两个方面的能力:提供位置的能力 和理解位置的能力. 理解位置的能力：目前尚有很多挑战,理解位置其实就是理解 位置背后所反映出来的人的活动、人的情感和人的环境,因此也被 称为泛在测绘(ubiquitous mapping)或位置社会感知(location-based social awareness)[2].
一
选题背景
研究目的
LBD ---位置大数据
位置大数据(location big data)是构成泛在测绘和位置社会感知 的重要资源,具有相当大的体量.近几年,位置服务、数据挖掘和机器 学习领域,已经涌现出一批针对位置大数据的优秀研究.其所使用的 数据集在体量和复杂性上均已达到了“大”数据的层次。
一
定性有关。衡量它可以根据其出现的概率来度量。概率大，出现机会 多，不确定性小；反之就大。 不确定性函数f是概率P的单调递降函数；两个独立符号所产生的 不确定性应等于各自不确定性之和，即f（P1，P2）=f（P1）+f（P2） ，这称为可加性。同时满足这两个条件的函数f是对数函数，即：
得到的结果,且更加直观和准确*10−13+.将简单直接的数据应用到社会经济活动、
政治活动、自然环境、人类情感以及人口卫生等一系列社会学、人类学、经 济学的研究中。
二
设计理论
（二） 设计理论
1.基本定义和预处理方法
（二） 设计理论
1.1 地图的预处理
(a) 网格化分区[14,15]. (b) 依道路网分区[16]
2.2 个体移动模式特征 mp
个体移动模式(mobility pattern,简称 MP)以单个移动对象o为观察目标, 包括其在一段时间内的移动独一性、随机性、周期性、转移性、动静间歇性和 移动期望性等方面.
（二） 设计理论
2.2.1 移动独立性
2.局部位置数据的特征提取
结论：通过观察很少的区域,便能唯一确定一条用户轨迹.这既说明个体移动具有高度的规律 性。独一性大小反映出数据集所在人群的整齐划一程度,因此在不同数据集上分析个体移动 独一性,将有助于通过位置大数据分析其背后人群的自由程度、政治体制和生活情态。
（二） 设计理论
2.2.2 移动随机性
2.局部位置数据的特征提取
个体移动的随机性可用位置熵(location entropy)来度量.设 px 为访问一个位 置的随机变量,参照信息熵的定义,可以给出多类位置熵:
补充： 信息熵
信息论之父 C. E. Shannon 在 1948 年发表的论文中指出，任何
（二） 设计理论
4.特征关联及协同挖掘
研究目的：大数据研究中还有一个突出问题,即,数据稀疏性导致的结果失 真。群体往往比较喜欢在一些特定场所聚集,从而造成这些地方的观察数 据密度过高.而真正需要密度数据的区域,由于缺少采集手段,却又无法获 得真实的位置记录.
（二） 设计理论
2.2.3 移动转移性
2.局部位置数据的特征提取
Jaccard 系数，又叫Jaccard相似性系数，用来比较样本集中的相似性和分散性的一 个概率。Jaccard系数等于样本集交集与样本集合集的比值，即J=|A∩B|/|A∪B|。
（二） 设计理论
2.2.4 移动期望性
2.局部位置数据的特征提取
1.基本定义和预处理方法
(c) 依位置密度分区[5,17,18] (d) 依参考点分区[7]
（二） 设计理论
2.1 区域静态特征 s
2.局部位置数据的特征提取
区域静态特征主要统计的是区域内与地图地貌相关的一些指标,可用于对 不同区域进行聚/分类处理,例如区域内快速路的长度、普通路段的长度、道路 交叉口数量、区域道路弯曲度、道路基质质量等特性所构成的特征向量
（二） 设计理论
2.2.4 移动期望性
2.局部位置数据的特征提取
（二） 设计理论
2.2.4 移动期望性
2.局部位置数据的特征提取
（二） 设计理论
3.1 位置大数据建模
3.位置大数据降维分析及全局建模
（二） 设计理论
3.2 空间尺度上的降维处理
3.位置大数据降维分析及全局建模
介数是所有经过 ri 的最短路径数量(,忽视了多条路径在交通中存在的关联 性.所以我们对介数指标进行了改进,其核心思想是: i) 如果网络中大量交通行为会同时选择两个结点 ri和 rj作为其最短路径的传 播点,那么这两个结点的重要性是共生关系,记为ζ ij>0.原始介数指标将这二者 共同承担的那一部分重要性重复计算到各自结点中去,造成了重要性的高估; ii) 如果对网络中结点 ri 进行摘除后可以发现,原本那些以 ri 为最短路径的
LBD特点
选题背景
---复杂但稀疏
研究目的
位置大数据主要来源于车联网(Internet of vehicles,简称 IOV)、移动社交网 络等新兴互联网应用,更新速度快且具有很大的混杂性(inaccurate).同时,往往受 到数据采集技术等方面的客观制约,使得这些数据不能全面和正确地反映观察 对象的整体全貌,因而具有“复杂但稀疏(complex yet sparse)”的特点.如何从
位置大数据中获得价值,进而发现人类社群活动规律,是非常值得探讨的问题.
一
数据挖掘
选题背景
---关联应用
研究目的
从关联应用角度阐述位置大数据的意义和价值.传统的诸如轨迹数据等往 往仅被用以分析城市交通等直接且特定的问题.但大量经典的大数据科学研究 表明,通过价值提取和协同挖掘后的数据结果能够将一些看似无关的事件很好 地联系在一起,从而从数据层面“直接”反映一些原本需要复杂因果建模才能
链路大部分“取道”结点 rj,说明结点 rj 对结点 ri 具有潜在的替代作用,记
为ζ ij<0.这种替代性在原始介数指标中未能体现,从而造成了结点交通重要性的 低估.
（二） 设计理论
3.2 空间尺度上的降维处理
3.位置大数据降维分析及全局建模
（二） 设计理论
3.3 时间尺度上的降维处理
3.位置大数据降维分析及全局建模
东北大学秦皇岛分校
Northeastern University at Qinhuangdao
软件工程课程设计
位置大数据的价值提取与协同挖掘方法
目录
选题背景
设计理论 总体模型
参考文献
一
选题背景
一
LBSຫໍສະໝຸດ Baidu
选题背景
---位置服务
研究目的
位置服务(location based service,简称 LBS)是近年来新兴的移动 计算服务.位置服务主要需重视其两个方面的能力:提供位置的能力 和理解位置的能力. 理解位置的能力：目前尚有很多挑战,理解位置其实就是理解 位置背后所反映出来的人的活动、人的情感和人的环境,因此也被 称为泛在测绘(ubiquitous mapping)或位置社会感知(location-based social awareness)[2].
一
选题背景
研究目的
LBD ---位置大数据
位置大数据(location big data)是构成泛在测绘和位置社会感知 的重要资源,具有相当大的体量.近几年,位置服务、数据挖掘和机器 学习领域,已经涌现出一批针对位置大数据的优秀研究.其所使用的 数据集在体量和复杂性上均已达到了“大”数据的层次。
一