物联网数据处理技术
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
6
• 无线传感器网络数据存储结构示意图
汇聚节点 汇聚节点 存储节点 中继节点 原始数据 查询 查询结果
(a)分布式存储
(b)集中式存储
7
数据融合
• 20世纪70年代 “数据融合（Data Fusion）” 术语才 正式出现 • 针对物联网数据的多态性，需要研究基于多种传感器 的数据聚合技术，综合分析各种传感器的数据，从中 提取有用的信息 • 数据融合已经发展成数据处理一个新的和重要的分支 • 在物联网中智能交通、工业控制、环境监控、精准农 业、突发事件处置、智慧城市、智能电网等物联网应 用系统中，必然会应用多种传感器去综合感知多种物 理世界的信息，从中提取对于我们智慧处理物理世界 问题有用的信息和知识 • 数据融合技术是物联网数据处理研究的重要内容之一
8
数据查询、搜索与数据挖掘
• 物联网环境中感知数据具有实时性、周期性与 不确定性等特点 • 物联网环境中，由于各种感知手段获取的信息 与传统的互联网信息共存，搜索引擎需要与各 种智能的和非智能的物理对象密切结合，主动 识别物理对象，获取有用的信息，这对于传统 的搜索引擎技术是一个挑战 • 数据挖掘是物联网数据处理中一个重要的方法
云计算 云平台 云终端
20
公有云与私有云的概念 公有云： • 第三方提供商为用户提供服务的云平台，用户可以把 通过互联网访问 • 作为一个支撑平台，可以通过提供免费或用很低费用 的服务，去吸引大量的用户，整合上游的增值业务和 广告服务，打造新的产业链 • 目前公有云主要分为四类： —由传统电信基础设施运营商组建的公有云 —政府主导下组建的各省市公有云 —大型互联网公司组建的公有云 —由IDC运营商组建的公有云
21
私有云： • 移动通信公司、银行、政府、公安、交 通、电力、有线电视等部门与机构单独 使用而组建 • 这些部门与机构的数据存储量、处理量 和安全性要求高，而私有云能够满足他 们对数据仓储与处理，以及安全性和服 务质量的要求 • 私有云可部署在企业或部门数据中心的 防火墙内，也可以将它们部署在一个安 全的主机托管场所
12
• TinyDB系统的结构
TinyDB客户端API 查询 TinyDB服务器 查询 传感器网络 数据 结果 数据库
Biblioteka Baidu
13
8.3 物联网海量数据存储与云计算* 8.3.1 数据存储技术的研究与发展 存储技术的研究与发展
• 数据存储技术从单机封闭系统存储向开放系统 的存储方向发展 • 开放系统的存储进一步分为： —直接附加存储（DAS） —网络接入存储（NAS） —存储区域网络（SAN）
8.1.2 物联网数据处理关键技术
• 海量数据存储 • 数据融合 • 数据查询、搜索与数据挖掘 • 智能决策
5
海量数据存储 • 物联网数据具有海量、多态、动态与关 联的特征 • 海量数据的存储结构影响着物联网系统 的可靠性与效率 • 如何利用数据中心与云计算平台存储物 联网的海量数据，如何充分地利用好物 联网信息，同时又要实现对隐私的保护， 这是物联网数据处理技术首先要面对的 一个重要问题
18
8.3.3 云计算的基本概念
云计算的特点 • • • • • 弹性服务 资源池化 按需服务 服务可计费 泛在接入
云计算数据中心特点 • 自治性 • 规模经济 • 规模可扩展
19
8.3.4 云计算系统组成 云计算系统组成： • 云平台(google、IBM、Microsoft) • 云终端 • 云存储 云安全 云存储 • 云安全
9
智能决策
• 发展物联网的最终目标不是简单地将物 与物互联，而是要催生很多具有“计算、 通信、控制、协同和自治”特征的智能 设备与系统，实现实时感知、动态控制 和智能服务 • 智能决策是物联网信息处理技术中追求 的最重要的目标
10
8.2 海量数据存储技术 8.2.1 物联网对海量数据存储的需求
• 物联网的海量数据除了来自传感器节点、 RFID节点以及其他各种智能终端设备每 时每刻所产生的数据之外，各种物理对 象在参与物联网事务处理的过程中也会 产生大量的数据 • 物联网的海量数据的存储需要数据库、 数据仓库、网络存储、数据中心与云存 储技术的支持
14
服务器技术的发展 • 各种类型的服务器与机房中的服务器
15
• 典型的机架式服务器
16
• 刀片服务器
17
8.3.2 IDC的基本概念
• 随着互联网应用规模的不断扩大，大规模的在线网络 服务促进了“互联网数据中心（IDC）”的出现 • 随着业务的扩展，一些企业网、校园网、政务网、商 务网也在考虑建设自己的数据中心（Data Center） • 数据中心的成本是由4部分组成：服务器成本、网络设 备成本、基础设施成本与能源成本 • 在推动物联网应用发展的同时，必须研究适合即能够 快速部署物联网应用，存储海量数据，又能够节省资 金与日常维护费用，符合环保节能的原则的数据中心 技术 • 数据中心的概念正在经历了从中小型企业网、校园网 中的计算与存储数据的数据中心，向云计算平台的发 展的趋势
海量 • 物联网节点的数量是非常多的，它们所产生的数据量 一定是海量 多态 • 多种传感器去观测的不同数据在数值范围、格式、单 位与精度 动态 • 各种数据都将随时间不断变化的 关联 • 物联网中的数据之间在空间、时间维度上存在着紧密 的关联性
3
• VigilNet网络拓扑与数据处理研究的示意图
4
11
8.2.2 数据库技术
• 数据库技术是计算机科学技术中发展最快、应用最广 泛的领域之一。数据库技术经过几十年的发展，其应 用已遍及各个领域，成为21世纪信息化社会的核心技 术之一 • 物联网的数据存储与管理需要使用数据库技术，物联 网的海量数据存储与管理也会促进数据库技术的发展 • 数据库管理系统可分为层次数据库、网状数据库、关 系数据库以及面向对象数据库 • 随着数据库技术的发展，数据库用户界面变得更加简 单，功能更加强大和更加智能，未来的数据库技术必 然会与人工智能技术相互交叉融合
第8章 物联网数据处理技术
1
第 8 章 知 识 点 结 构
物联网数据处理技术基本概念
物联网数据的特点
物联网数据处理的关键技术
物联网海量数据存储技术*
IDC基本概念
云计算基本概念
物联网数据融合技术*
数据仓库技术
数据挖掘技术
智能决策 基本概念
智能控制 基本概念
2
8.1 物联网数据处理技术的基本概念 8.1.1 物联网数据的特点
• 无线传感器网络数据存储结构示意图
汇聚节点 汇聚节点 存储节点 中继节点 原始数据 查询 查询结果
(a)分布式存储
(b)集中式存储
7
数据融合
• 20世纪70年代 “数据融合（Data Fusion）” 术语才 正式出现 • 针对物联网数据的多态性，需要研究基于多种传感器 的数据聚合技术，综合分析各种传感器的数据，从中 提取有用的信息 • 数据融合已经发展成数据处理一个新的和重要的分支 • 在物联网中智能交通、工业控制、环境监控、精准农 业、突发事件处置、智慧城市、智能电网等物联网应 用系统中，必然会应用多种传感器去综合感知多种物 理世界的信息，从中提取对于我们智慧处理物理世界 问题有用的信息和知识 • 数据融合技术是物联网数据处理研究的重要内容之一
8
数据查询、搜索与数据挖掘
• 物联网环境中感知数据具有实时性、周期性与 不确定性等特点 • 物联网环境中，由于各种感知手段获取的信息 与传统的互联网信息共存，搜索引擎需要与各 种智能的和非智能的物理对象密切结合，主动 识别物理对象，获取有用的信息，这对于传统 的搜索引擎技术是一个挑战 • 数据挖掘是物联网数据处理中一个重要的方法
云计算 云平台 云终端
20
公有云与私有云的概念 公有云： • 第三方提供商为用户提供服务的云平台，用户可以把 通过互联网访问 • 作为一个支撑平台，可以通过提供免费或用很低费用 的服务，去吸引大量的用户，整合上游的增值业务和 广告服务，打造新的产业链 • 目前公有云主要分为四类： —由传统电信基础设施运营商组建的公有云 —政府主导下组建的各省市公有云 —大型互联网公司组建的公有云 —由IDC运营商组建的公有云
21
私有云： • 移动通信公司、银行、政府、公安、交 通、电力、有线电视等部门与机构单独 使用而组建 • 这些部门与机构的数据存储量、处理量 和安全性要求高，而私有云能够满足他 们对数据仓储与处理，以及安全性和服 务质量的要求 • 私有云可部署在企业或部门数据中心的 防火墙内，也可以将它们部署在一个安 全的主机托管场所
12
• TinyDB系统的结构
TinyDB客户端API 查询 TinyDB服务器 查询 传感器网络 数据 结果 数据库
Biblioteka Baidu
13
8.3 物联网海量数据存储与云计算* 8.3.1 数据存储技术的研究与发展 存储技术的研究与发展
• 数据存储技术从单机封闭系统存储向开放系统 的存储方向发展 • 开放系统的存储进一步分为： —直接附加存储（DAS） —网络接入存储（NAS） —存储区域网络（SAN）
8.1.2 物联网数据处理关键技术
• 海量数据存储 • 数据融合 • 数据查询、搜索与数据挖掘 • 智能决策
5
海量数据存储 • 物联网数据具有海量、多态、动态与关 联的特征 • 海量数据的存储结构影响着物联网系统 的可靠性与效率 • 如何利用数据中心与云计算平台存储物 联网的海量数据，如何充分地利用好物 联网信息，同时又要实现对隐私的保护， 这是物联网数据处理技术首先要面对的 一个重要问题
18
8.3.3 云计算的基本概念
云计算的特点 • • • • • 弹性服务 资源池化 按需服务 服务可计费 泛在接入
云计算数据中心特点 • 自治性 • 规模经济 • 规模可扩展
19
8.3.4 云计算系统组成 云计算系统组成： • 云平台(google、IBM、Microsoft) • 云终端 • 云存储 云安全 云存储 • 云安全
9
智能决策
• 发展物联网的最终目标不是简单地将物 与物互联，而是要催生很多具有“计算、 通信、控制、协同和自治”特征的智能 设备与系统，实现实时感知、动态控制 和智能服务 • 智能决策是物联网信息处理技术中追求 的最重要的目标
10
8.2 海量数据存储技术 8.2.1 物联网对海量数据存储的需求
• 物联网的海量数据除了来自传感器节点、 RFID节点以及其他各种智能终端设备每 时每刻所产生的数据之外，各种物理对 象在参与物联网事务处理的过程中也会 产生大量的数据 • 物联网的海量数据的存储需要数据库、 数据仓库、网络存储、数据中心与云存 储技术的支持
14
服务器技术的发展 • 各种类型的服务器与机房中的服务器
15
• 典型的机架式服务器
16
• 刀片服务器
17
8.3.2 IDC的基本概念
• 随着互联网应用规模的不断扩大，大规模的在线网络 服务促进了“互联网数据中心（IDC）”的出现 • 随着业务的扩展，一些企业网、校园网、政务网、商 务网也在考虑建设自己的数据中心（Data Center） • 数据中心的成本是由4部分组成：服务器成本、网络设 备成本、基础设施成本与能源成本 • 在推动物联网应用发展的同时，必须研究适合即能够 快速部署物联网应用，存储海量数据，又能够节省资 金与日常维护费用，符合环保节能的原则的数据中心 技术 • 数据中心的概念正在经历了从中小型企业网、校园网 中的计算与存储数据的数据中心，向云计算平台的发 展的趋势
海量 • 物联网节点的数量是非常多的，它们所产生的数据量 一定是海量 多态 • 多种传感器去观测的不同数据在数值范围、格式、单 位与精度 动态 • 各种数据都将随时间不断变化的 关联 • 物联网中的数据之间在空间、时间维度上存在着紧密 的关联性
3
• VigilNet网络拓扑与数据处理研究的示意图
4
11
8.2.2 数据库技术
• 数据库技术是计算机科学技术中发展最快、应用最广 泛的领域之一。数据库技术经过几十年的发展，其应 用已遍及各个领域，成为21世纪信息化社会的核心技 术之一 • 物联网的数据存储与管理需要使用数据库技术，物联 网的海量数据存储与管理也会促进数据库技术的发展 • 数据库管理系统可分为层次数据库、网状数据库、关 系数据库以及面向对象数据库 • 随着数据库技术的发展，数据库用户界面变得更加简 单，功能更加强大和更加智能，未来的数据库技术必 然会与人工智能技术相互交叉融合
第8章 物联网数据处理技术
1
第 8 章 知 识 点 结 构
物联网数据处理技术基本概念
物联网数据的特点
物联网数据处理的关键技术
物联网海量数据存储技术*
IDC基本概念
云计算基本概念
物联网数据融合技术*
数据仓库技术
数据挖掘技术
智能决策 基本概念
智能控制 基本概念
2
8.1 物联网数据处理技术的基本概念 8.1.1 物联网数据的特点