吴功宜物联网工程导论数据处理文稿演示

…… …… …… …… …… …… …… …… …… …… …… …… ……
8.3 物联网海量数据存储与云计算* 8.3.1 数据存储技术的研究与发展
存储技术的研究与发展
• 数据存储技术从单机封闭系统存储向开放系统 的存储方向发展
• 开放系统的存储进一步分为： —直接附加存储（DAS） —网络接入存储（NAS） —存储区域网络（SAN）
• 数据融合已经发展成数据处理一个新的和重要的分支
• 在物联网中智能交通、工业控制、环境监控、精准农 业、突发事件处置、智慧城市、智能电网等物联网应 用系统中，必然会应用多种传感器去综合感知多种物 理世界的信息，从中提取对于我们智慧处理物理世界 问题有用的信息和知识
• 数据融合技术是物联网数据处理研究的重要内容之一
数据查询、搜索与数据挖掘
• 物联网环境中感知数据具有实时性、周期性与 不确定性等特点
• 物联网环境中，由于各种感知手段获取的信息 与传统的互联网信息共存，搜索引擎需要与各 种智能的和非智能的物理对象密切结合，主动 识别物理对象，获取有用的信息，这对于传统 的搜索引擎技术是一个挑战
• 数据挖掘是物联网数据处理中一个重要的方法
• 物联网的海量数据的存储需要数据库、 数据仓库、网络存储、数据中心与云存 储技术的支持
8.2.2 数据库技术
• 数据库技术是计算机科学技术中发展最快、应用最广 泛的领域之一。数据库技术经过几十年的发展，其应 用已遍及各个领域，成为21世纪信息化社会的核心技 术之一
• 物联网的数据存储与管理需要使用数据库技术，物联 网的海量数据存储与管理也会促进数据库技术的发展
• 数据库管理系统可分为层次数据库、网状数据库、关 系数据库以及面向对象数据库
• 随着数据库技术的发展，数据库用户界面变得更加简 单，功能更加强大和更加智能，未来的数据库技术必 然会与人工智能技术相互交叉融合
8.2.3 物联网数据管理技术
• 关系数据库为物联网海量数据的管理提供了重要的理 论、工具与方法
• 物联网中有两大类重要的应用，一是基于RFID标签自 动识别技术的应用，另一类是基于无线传感器网络的 应用
• 设计一个基于RFID标签自动识别技术的零售业或物流 业应用时，对于由RFID所产生的数据的管理与处理方 法与传统的互联网应用有很多相似之处
• 基于无线传感器网络的物联网应用有它的特殊性，需 要研究针对无线传感器网络的数据管理与处理方法
无线传感器网络数据管理系统结构
无线传感器网络数据管理系统结构主要有：
• 集中式结构 • 半分布式结构
代理网络
• 分布式结构
• 层次式结构
无线传感器网络 数据管理系统层次结构
无线传感器网络
• TinyDB系统的结构
TinyDB客户端API
查询
结果
TinyDB服务器
查询
数据
传感器网络
数据库
• TinyDB关系表结构
吴功宜物联网工程导论数据处理文稿演示
第
物联网数据处理技术基本概念
8
物联网数据的特点
章
物联网数据处理的关键技术
知 物联网海量数据存储技术*
识
点
IDC基本概念
云计算基本概念
结
构
物联网数据融合技术*
数据仓库技术
数据挖掘技术
智能决策 基本概念
智能控制 基本概念
8.1 物联网数据处理技术的基本概念 8.1.1 物联网数据的特点
• 无线传感器网络数据存储结构示意图
汇聚节点
汇聚节点
存储节点 中继节点
原始数据 查询
查询结果
(a)分布式存储
(b)集中式存储
数据融合
• 20世纪70年代 “数据融合（Data Fusion）” 术语才正 式出现
• 针对物联网数据的多态性，需要研究基于多种传感器 的数据聚合技术，综合分析各种传感器的数据，从中 提取有用的信息
3 1 2003-05-01 491 256 455 345 654
42
456 211 0.3 654
1 2 2003-05-02 586 155 654 342 432
77
470 118 0.5 422
2 2 2003-05-02 512 257 454 566 323
61
423 135 0.7 656
智能决策
• 发展物联网的最终目标不是简单地将物 与物互联，而是要催生很多具有“计算、 通信、控制、协同和自治”特征的智能 设备与系统，实现实时感知、动态控制 和智能服务
• 智能决策是物联网信息处理技术中追求 的最重要的目标
8.2 海量数据存储技术 8.2.1 物联网对海量数据存储的需求
• 物联网的海量数据除了来自传感器节点、 RFID节点以及其他各种智能终端设备每 时每刻所产生的数据之外，各种物理对 象在参与物联网事务处理的过程中也会 产生大量的数据
•海量数据存储 •数据融合 •数据查询、搜索与数据挖掘 •智能决策
海量数据存储
• 物联网数据具有海量、多态、动态与关 联的特征
• 海量数据的存储结构影响着物联网系统 的可靠性与效率
• 如何利用数据中心与云计算平台存储物 联网的海量数据，如何充分地利用好物 联网信息，同时又要实现对隐私的保护， 这是物联网数据处理技术首先要面对的 一个重要问题
服务器技术的发展 • 各种类型的服务器与机房中的服务器
入门级服务器 工作组级服务器
部门级服务器
企业级服务器
机房中的服务器
• 典型的机架式服务器
1U机架式 服务器机箱
2U机架式 服务Baidu Nhomakorabea机箱
4U机架式 服务器机箱
机架式服务器机箱
大型机房中的机架式服务器
• 刀片服务器
刀片(主板)
刀片服务器
热拔插刀片主板
海量 • 物联网节点的数量是非常多的，它们所产生的数据量
一定是海量 多态 • 多种传感器去观测的不同数据在数值范围、格式、单
位与精度 动态 • 各种数据都将随时间不断变化的 关联 • 物联网中的数据之间在空间、时间维度上存在着紧密
的关联性
• VigilNet网络拓扑与数据处理研究的示意图
8.1.2 物联网数据处理关键技术
传感 查询 器号 周期
时间
湿度
光强
温度
水平 加速度
垂直 加速度
水平 磁感应
垂直 磁感应
噪声
音调
原始 声音
1
1 2003-05-01 562 388 235 432
886
76
145 422 0.2 522
2
1 2003-05-01 475 233 543 655
567
65
331 655 0.5 256