空间大数据和无线网络38
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• Application Scenario 3: Smart Cities and Noisy Spatial Data
Application Scenario 1: Management of Wireless Networks
Using Big Data
Spital data
Data mining
•数据多样化
移动数据类型更加繁多, 包括结构化数据、半 结构化数据和非结构化数据
•结构化数据，简单来说就是数据库。结合到典型场景中 更容易理解，比如企业ERP、财务系统；医疗HIS数据库； 教育一卡通；政府行政审批；其他核心数据库等。这些 应用需要哪些存储方案呢？基本包括高速存储应用需求、 数据备份需求、数据共享需求以及数据容灾需求。
• 数据的空-时域大动态变化
• 传统wk.baidu.com数据处理
关系型数据
进行关系发现、 分类、预测等
空间大数据处理
cubic time
基于线性时间
移动大数据对无线网络的挑战
• 网络部署 • 移动数据流量和信令均呈非线性高速增长,
给无线接入网络带来巨大压力. • small cell作为一种全新的网络架构体系，其
• 克里金法是一个多步过程；它包括数据的 探索性统计分析、变异函数建模 和创建表 面，还包括研究方差表面。
• 该方法通常用在土壤科学和地质中。
hadoop
• 是一个由Apache基金会所开发的分布式系 统基础架构。
• 实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS 有高容错性的特点，并且设计用来部署在 低廉的（low-cost）硬件上；而且它提供高 吞吐量（high throughput）来访问应用程序 的数据，适合那些有着超大数据集（large data set）的应用程序。
Application Scenarios for Spatial Big Data
• Application Scenario 1: Management of Wireless Networks Using Big Data
• Application Scenario 2: Massive Sensing and IoT Applications
• 资源管控
• 数据多样化和流量空-时域大动态变化给传 统资源管理体系带来了新的难题.
•数据安全性 用户隐私安全 数据的访问控制和可信度 高能耗
图4 网络侧能耗分布图
this article is structured as follows
• We give a detailed overview of three application domains for big data processing in wireless networks we believe to be most relevant for the coming decade
mapreduce
• MapReduce 本身就是用于并行处理大数据 集的软件框架。MapReduce 的根源是函数 性编程中的 map 和 reduce 函数。它由两个 可能包含有许多实例（许多 Map 和 Reduce） 的操作组成。Map 函数接受一组数据并将 其转换为一个键/值对列表，输入域中的每 个元素对应一个键/值对。Reduce 函数接受 Map 函数生成的列表，然后根据它们的键 （为每个键生成一个键/值对）缩小键/值对 列表。
最主要的特点就是将无线接入部分包括射 频、基带部分、高层协议处理全部小型化， 为运营商的热点覆盖、盲区覆盖提供了一 种极为灵活的方式，这也顺应了LTE宽带高 吞吐量的精细覆盖要求。
• 严重的信号衰落及信号传播通常在视距范 围内,使得室内小区形状呈现“准”确定性 和小区边缘锐利化的特征, 这对室内网络覆 盖规划引入了难题. 室内节点的密集程度主 要受建筑物布局的影响, 若以最小化室内无 线节点为网络规划目标, 锐利的小小区边缘 会使问题建模异常复杂.
The SpatialpredictionM module is finally responsible for computing the spatial estimate. It is also a MapReduce program The fitting is done using an implementation of a nonlinear conjugate gradient optimizer realized in the AnalyticalSemivariogramM module.
Scalable Computational Solutions
Scalable Computational Solutions
Hbase
estimation of various spatial statistics of interest
Hbase
underlying resource
tables for storing individual sensor readings estimates of accuracies of the sensors used
Scalable Computational Solutions
• The key computations
Scalable Computational Solutions
• KD-tree • k-d树（k-dimensional树的简称），是一种
分割k维数据空间的数据结构。主要应用于 多维空间关键数据的搜索
• We then discuss the algorithmic challenges related to these applications, and the related implementation issues.
• Next, key issues for future research are discussed before drawing the conclusions.
• The second challenges is the need to crosscorrelate numerous data sources for obtaining the best and most robust estimates.
Using the Right Algorithms
移动大数据的主要特征
• 海量数据
截止到2013年底, 智能手机的数量仅 占全球在用手机总 量的27%, 但其产生 的流量占全球手机 总流量的95%(每部 智能手机的移动 数据流量为529 MB/月).
思科预测全球数据流量
•业务类型演进
传统无线通信网在通信机制、互联互通规则等方面与互联 网有完全不同的设计理念, 难以适应新业务的需求.
Emerging data processing challenges
Application Scenario 3: Smart Cities and Noisy Spatial Data
•first challenge is that of robust enough processing of information in a sufficiently rapid manner to enable realtime
control applications.
•For example:rerouting of traffic flows ,public transportation scheduling ,pollution estimates, and noise levels
Application Scenario 3: Smart Cities and Noisy Spatial Data
• KD-trees significantly speeding up this search and enabling a high degree of parallelism in the implementation enabled by the MapReduce computational model
optimize networks, increase security through anomaly detection, and provide and enhance application behavior, among other things.
how to fuse this data in an optimal manner
• 非结构化数据，包括视频、音频、图片、图像、文档、 文本等形式。具体到典型案例中，像是医疗影像系统、 教育视频点播、视频监控、国土GIS、设计院、文件服务 器（PDM/FTP）、媒体资源管理等具体应用，这些行业 对于存储需求包括数据存储、数据备份以及数据共享等。
• 半结构化数据，包括邮件、HTML、报表、资源库等等， 典型场景如邮件系统、WEB集群、教学资源库、数据挖
• Optimality and Robustness • Self-Awareness of Errors • Match with Computational Infrastructures • Extendibility with Prior and Side Information • Controlled Approximations
空间大数据和无线网络
14120439
大数据（big data）
• 宏观上大数据即指海量的数据; • 从微观上定义, 大数据是指需要通过快速获
取、处理、分析以从中提取有价值的海量、 多样化的交易数据、交互数据与传感数据 等数据, • 主要特征包括：海量(volume)、类型繁多 (variaty)、增长迅速(velocity)、价值巨大 (value)等
• 随着网络技术的发展，特别是Internet和 Intranet技术的飞快发展，使得非结构化数 据的数量日趋增大。这时，主要用于管理 结构化数据的关系数据库的局限性暴露地 越来越明显。因而，数据库技术相应地进 入了“后关系数据库时代”，发展进入基 于网络应用的非结构化数据库时代。所谓 非结构化数据库，是指数据库的变长纪录 由若干不可重复和可重复的字段组成，而 每个字段又可由若干不可重复和可重复的
Scalable Computational Solutions
• 空间插值——空间插值常用于将离散点的测 量数据转换为连续的数据曲面，以便与其 它空间现象的分布模式进行比较，它包括 了空间内插和外推两种算法。
• 空间内插算法：通过已知点的数据推求同 一区域未知点数据。
• 空间外推算法：通过已知区域的数据，推 求其它区域数据。
Example of a typical spatial estimation task in management of wireless networks.
Currently approaches Detailed propagation simulations Drive test
alternative
Kriging算法
• satisfies the properties discussed above; that is,
• providing optimal and robust spatial estimates,
Kriging算法
• 克里金法假定采样点之间的距离或方向可 以反映可用于说明表面变化的空间相关性。 克里金法工 具可将数学函数与指定数量的 点或指定半径内的所有点进行拟合以确定 每个位置的输出值。
Mobile terminals
Rough estimate Expensive inaccuracies
the actual coverage
spatial estimates based on 10,000
spatial estimates based on 27000
Application Scenario 2: Massive Sensing and IoT Applications
Application Scenario 1: Management of Wireless Networks
Using Big Data
Spital data
Data mining
•数据多样化
移动数据类型更加繁多, 包括结构化数据、半 结构化数据和非结构化数据
•结构化数据，简单来说就是数据库。结合到典型场景中 更容易理解，比如企业ERP、财务系统；医疗HIS数据库； 教育一卡通；政府行政审批；其他核心数据库等。这些 应用需要哪些存储方案呢？基本包括高速存储应用需求、 数据备份需求、数据共享需求以及数据容灾需求。
• 数据的空-时域大动态变化
• 传统wk.baidu.com数据处理
关系型数据
进行关系发现、 分类、预测等
空间大数据处理
cubic time
基于线性时间
移动大数据对无线网络的挑战
• 网络部署 • 移动数据流量和信令均呈非线性高速增长,
给无线接入网络带来巨大压力. • small cell作为一种全新的网络架构体系，其
• 克里金法是一个多步过程；它包括数据的 探索性统计分析、变异函数建模 和创建表 面，还包括研究方差表面。
• 该方法通常用在土壤科学和地质中。
hadoop
• 是一个由Apache基金会所开发的分布式系 统基础架构。
• 实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS 有高容错性的特点，并且设计用来部署在 低廉的（low-cost）硬件上；而且它提供高 吞吐量（high throughput）来访问应用程序 的数据，适合那些有着超大数据集（large data set）的应用程序。
Application Scenarios for Spatial Big Data
• Application Scenario 1: Management of Wireless Networks Using Big Data
• Application Scenario 2: Massive Sensing and IoT Applications
• 资源管控
• 数据多样化和流量空-时域大动态变化给传 统资源管理体系带来了新的难题.
•数据安全性 用户隐私安全 数据的访问控制和可信度 高能耗
图4 网络侧能耗分布图
this article is structured as follows
• We give a detailed overview of three application domains for big data processing in wireless networks we believe to be most relevant for the coming decade
mapreduce
• MapReduce 本身就是用于并行处理大数据 集的软件框架。MapReduce 的根源是函数 性编程中的 map 和 reduce 函数。它由两个 可能包含有许多实例（许多 Map 和 Reduce） 的操作组成。Map 函数接受一组数据并将 其转换为一个键/值对列表，输入域中的每 个元素对应一个键/值对。Reduce 函数接受 Map 函数生成的列表，然后根据它们的键 （为每个键生成一个键/值对）缩小键/值对 列表。
最主要的特点就是将无线接入部分包括射 频、基带部分、高层协议处理全部小型化， 为运营商的热点覆盖、盲区覆盖提供了一 种极为灵活的方式，这也顺应了LTE宽带高 吞吐量的精细覆盖要求。
• 严重的信号衰落及信号传播通常在视距范 围内,使得室内小区形状呈现“准”确定性 和小区边缘锐利化的特征, 这对室内网络覆 盖规划引入了难题. 室内节点的密集程度主 要受建筑物布局的影响, 若以最小化室内无 线节点为网络规划目标, 锐利的小小区边缘 会使问题建模异常复杂.
The SpatialpredictionM module is finally responsible for computing the spatial estimate. It is also a MapReduce program The fitting is done using an implementation of a nonlinear conjugate gradient optimizer realized in the AnalyticalSemivariogramM module.
Scalable Computational Solutions
Scalable Computational Solutions
Hbase
estimation of various spatial statistics of interest
Hbase
underlying resource
tables for storing individual sensor readings estimates of accuracies of the sensors used
Scalable Computational Solutions
• The key computations
Scalable Computational Solutions
• KD-tree • k-d树（k-dimensional树的简称），是一种
分割k维数据空间的数据结构。主要应用于 多维空间关键数据的搜索
• We then discuss the algorithmic challenges related to these applications, and the related implementation issues.
• Next, key issues for future research are discussed before drawing the conclusions.
• The second challenges is the need to crosscorrelate numerous data sources for obtaining the best and most robust estimates.
Using the Right Algorithms
移动大数据的主要特征
• 海量数据
截止到2013年底, 智能手机的数量仅 占全球在用手机总 量的27%, 但其产生 的流量占全球手机 总流量的95%(每部 智能手机的移动 数据流量为529 MB/月).
思科预测全球数据流量
•业务类型演进
传统无线通信网在通信机制、互联互通规则等方面与互联 网有完全不同的设计理念, 难以适应新业务的需求.
Emerging data processing challenges
Application Scenario 3: Smart Cities and Noisy Spatial Data
•first challenge is that of robust enough processing of information in a sufficiently rapid manner to enable realtime
control applications.
•For example:rerouting of traffic flows ,public transportation scheduling ,pollution estimates, and noise levels
Application Scenario 3: Smart Cities and Noisy Spatial Data
• KD-trees significantly speeding up this search and enabling a high degree of parallelism in the implementation enabled by the MapReduce computational model
optimize networks, increase security through anomaly detection, and provide and enhance application behavior, among other things.
how to fuse this data in an optimal manner
• 非结构化数据，包括视频、音频、图片、图像、文档、 文本等形式。具体到典型案例中，像是医疗影像系统、 教育视频点播、视频监控、国土GIS、设计院、文件服务 器（PDM/FTP）、媒体资源管理等具体应用，这些行业 对于存储需求包括数据存储、数据备份以及数据共享等。
• 半结构化数据，包括邮件、HTML、报表、资源库等等， 典型场景如邮件系统、WEB集群、教学资源库、数据挖
• Optimality and Robustness • Self-Awareness of Errors • Match with Computational Infrastructures • Extendibility with Prior and Side Information • Controlled Approximations
空间大数据和无线网络
14120439
大数据（big data）
• 宏观上大数据即指海量的数据; • 从微观上定义, 大数据是指需要通过快速获
取、处理、分析以从中提取有价值的海量、 多样化的交易数据、交互数据与传感数据 等数据, • 主要特征包括：海量(volume)、类型繁多 (variaty)、增长迅速(velocity)、价值巨大 (value)等
• 随着网络技术的发展，特别是Internet和 Intranet技术的飞快发展，使得非结构化数 据的数量日趋增大。这时，主要用于管理 结构化数据的关系数据库的局限性暴露地 越来越明显。因而，数据库技术相应地进 入了“后关系数据库时代”，发展进入基 于网络应用的非结构化数据库时代。所谓 非结构化数据库，是指数据库的变长纪录 由若干不可重复和可重复的字段组成，而 每个字段又可由若干不可重复和可重复的
Scalable Computational Solutions
• 空间插值——空间插值常用于将离散点的测 量数据转换为连续的数据曲面，以便与其 它空间现象的分布模式进行比较，它包括 了空间内插和外推两种算法。
• 空间内插算法：通过已知点的数据推求同 一区域未知点数据。
• 空间外推算法：通过已知区域的数据，推 求其它区域数据。
Example of a typical spatial estimation task in management of wireless networks.
Currently approaches Detailed propagation simulations Drive test
alternative
Kriging算法
• satisfies the properties discussed above; that is,
• providing optimal and robust spatial estimates,
Kriging算法
• 克里金法假定采样点之间的距离或方向可 以反映可用于说明表面变化的空间相关性。 克里金法工 具可将数学函数与指定数量的 点或指定半径内的所有点进行拟合以确定 每个位置的输出值。
Mobile terminals
Rough estimate Expensive inaccuracies
the actual coverage
spatial estimates based on 10,000
spatial estimates based on 27000
Application Scenario 2: Massive Sensing and IoT Applications