物联网智能信息处理技术
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
、冶金、军工、环保等行业,是构建工业生产调度监控系统、
指挥系统、生产实时历史数据中心的不可缺少的基础软件。
•Leabharlann 物联网的数据采集之后必须要有一个可靠的数据仓库,
而实时数据库可以作为支撑海量数据的数据平台。
• 2)NoSQL数据库
•
NoSQL也被认为是Not Only SQL的简写,是
对不同于传统的关系型数据库的数据库管理系统的
• (2)在环境监控中,当污染物水平超标时,需要在记 录中寻找分析原因。
• 数据挖掘在精准农业中的应用示例:
•
通过植入土壤或暴露在空气中的传感器监控
土壤性状和环境状况;数据通过物联网传输到远程控
制中心,可及时查询当前农作物的生长环境现状和变
化趋势,确定农作物的生产目标;通过数据挖掘的方
法还可以知道环境温度湿度和土壤各项参数等因素是
。
• (2)两种模式的选择
•
• 物计算模式:
•
对于要求实时高效的数据挖掘,物联网任何一
个控制端均需要对瞬息万变的环境实时分析、反应和
处理,需要物计算模式和利用数据挖掘结果。
• 基于云计算模式:
•
以海量数据挖掘为特征的应用需要进行数据质
量的控制,如多媒体、多格式数据的存储与管理等。
• (3)数据挖掘的应用
• (1)基本概念
•
数据挖掘是从大量的、不完全的、有噪声的、模糊的、随
机的数据中提取潜在的、事先未知的、有用的、能被人理解的有
用信息和知识的数据处理过程。
•
数据挖掘的数据源必须是真实的、大量的、含噪声的;发
现的是用户感兴趣的知识;发现的知识要可接受、可理解、可运
用。被挖掘的数据可以是结构化的关系数据库中的数据,半结构
即使是同一个感知对象也会有各种不同格式的表征数据。比如在物
联网中为了实现对一栋写字楼的智能感知,需要处理各种不同类型
的数据,如文本、图形、音频、视频,互联网上提供的相关超文本
链接标记语言(HTML)等。
•
为了实现完整准确的感知,必须综合利用不同类型的数据
获得全面准确信息。
•
•4.4 物联网智能信息处理技 术
• 2、海量性
•
物联网是网络和数据的海洋。在物联网中海量对象连接
在一起,每个对象每时每刻都在变化,表达其特征的数据也会
不断地积累。如何有效地改进已有的技术和方法,或者提出新
的技术和方法,从而高效地管理和处理这些海量数据,将是从
这些原始数据中提取信息并进一步融合、推理和决策的关键。
• 3、不确定性
•
物联网中的数据具有明显的不确定性特征,主要包括
•
目前常用数据库技术一般有关系型数据库和
非关系型数据库(比如实时数据库和NoSQL数据
库)。
• 1、关系数据库
•
关系数据库是指采用关系模型来组织数据的数据库。简单
地说,关系模型就是二维表格模型,一个关系型数据库就是由二维
表及其之间的联系组成的一个数据组织。
• 关系型数据库具有如下特点:
• 1、容易理解:二维表结构是非常贴近逻辑世界的一个概念,关
法使用较复杂的安全协议,因而这些传感器节点或设备
也就无法拥有较强的安全保护能力。攻击者针对传感器
节点的这一弱点,可以通过采用连续通信的方式使节点
的资源耗尽。
•
• 4、物联网中物品的信息能够被自动地获取和传送。
•
物联网通过对物品的感知实现物物相连,比如通
过RFID(射频识别)、传感器、二维识别码和GPS定位等
•
对于仓储管理、标签管理、身份管理等数据量相对比较
小,实时性要求低的应用领域,关系型数据库更加适合。
•
智能电网、水域监测、智能交通、智能医疗等将来面临
海量并发,对实时性要求极高的应用领域,实时数据库具有更
多的优势。
•
试点型工程阶段时,需要采集点较少,关系型数据库可
以替代实时数据库。应用范围越来越广泛,采集点就会相应的
式。
•
物计算模式基于嵌入式系统,强调实时控制,对终端设备的
性能要求较高,系统的智能主要表现在终端设备上。
•
云计算模式以互联网为基础,目的是实现资源共享和资源整
合,其计算资源是动态、可伸缩、虚拟化的。云计算模式通过分布
式的方式采集物联网中的数据,系统的智能主要体现在数据挖掘和
处理上,需要较强的集中计算能力和高带宽,但终端设备比较简单
化的文本、图形和图像数据等。
•
数据挖掘是决策支持和过程控制的重要支撑手段之一。
• (2)数据挖掘过程
•
• 数据挖掘过程一个反复迭代的人机交互和处理过程 ,
• 主要包括数据预处理、数据挖掘和对数据挖掘结果的评 估
• 与表示三个阶段:
• ①数据预处理阶段 • 数据准备:了解领域特点,确定用户需求。 • 数据选取:从原始数据库中选取相关数据或样本。 • 数据预处理:检查数据的完整性及一致性,消除噪声等
• (2)特征级融合:先对来自传感器的原始信息进行特 征提取,然后对特征信息进行综合分析和处理,这一 级的融合可实现信息压缩,有利于实时处理,属于中 间层次的融合。
• (3)决策级融合:在高层次上进行,根据一定的准则 和决策的可信度做最优决策,以达到良好的实时性和 容错性。
• 2、数据挖掘概念、过程
如何影响农作物产量的,如何调节它们才能够最大限
度地提高农作物的产量等。
•4.5 物联网信息安全与隐私保护
•
•
据权威估计,到2020年全世界的智能物体(Smart things)
有
• 近500亿连接到网络中去,物联网通过感知与控制,将物联网融
入
• 到我们的生活、生产和社会中去,物联网的安全问题不容忽视。
•
物联网数据挖掘分析应用通常都可以归纳为预测和寻证分
析
• 两大类。
•
预测(Forecasting) :主要用在(完全或部分)了解现状
的
• 情况下,推测系统在近期或者中远期的状态。
• 例如:
• • ①在智能电网中,预测近期扰动的可能性和发生的地点; • ②在智能交通系统中,预测拥阻和事故在特定时间和地点可能发
统称。
•
NoSQL不使用SQL作为查询语言,而是使用
如 文档型的、列存储、图型数据库等方式存储数据
的模型。
•
•
与传统的关系型数据库相比,NoSQL数据库
的存储数据方式发生了变化:例如,当需要存储发票
的数据时,在传统的关系数据模型中,需要设计表的
结构,然后使用服务器端语言将其转化为实体对象,
再传递到用户端 ;而在 NoSQL 中,只需要保存发票
技术能够随时随地且自动地获取物品的信息。
•
同样这种信息也能被攻击者获取,在物品的使用
者没有察觉的情况下,物品的使用者将会不受控制地被
扫描、定位及追踪,对个人的隐私构成了极大威胁。
• 4.5.2 物联网各层的安全问题
•
物联网的许多应用可以代替人完成一些复杂、危险和机械的
工作,物联网中设备、节点的工作环境大都是无人监控。因此攻击
者很容易接触到这些设备,从而对设备或其嵌入其中的传感器节点
进行破坏。攻击者甚至可以通过更换设备的软硬件,对它们进行非
法操控。例如,在远程输电过程中,电力企业可以使用物联网来远
程操控一些变电设备。由于缺乏看管,攻击者可轻易地使用非法装
数据库的高可扩展性和高可用性的需求)。
•
NoSQL数据库能够满足物联网应用的大数据的
需求,将会随着物联网应用的发展展现新的应用和发展
空间。
• 3、关系数据库和实时数据库的选择
•
•
实时数据库比关系型数据库更能胜任海量并发数据的采
集、存储。面对越来越多的数据,关系型数据库的处理响应速
度会出现延迟甚至假死,而实时数据库不会出现这样的情况。
的综合处理,比如在辨别一个事物的时候,通常
会综合各种感官信息,包括视觉、触觉、嗅觉和
听觉等。
•
数据融合一般有数据级融合、特征级融合、决
策级融合等层次的融合。(学生成绩统计表)
• (1)数据级融合:直接在采集到的原始数据上进行融 合,是最低层次的融合,它直接融合现场数据,失真 度小,提供的信息比较全面。
物联网智能信息处理技 术
2020年6月2日星期二
•4.4 物联网智能信息处理技术
•
智能信息处理指信息的储存、检索、智能化分析利用,比
如利用人工智能对感知的信息作出决策和处理。物联网的智能信息
处理主要针对感知的数据,而物联网的数据具有三个独特的特点:
• 1、异构性
•
在物联网中,不仅不同的感知对象有不同类型的表征数据,
取所需要的信息,甚至是用户的机密信息并可据此来伪造身
份认证,其后果不堪设想。
•
• 3、出于低成本的考虑,传感器节点通常是资源受限的 。
•
物联网的许多应用通过部署大量的廉价传感器覆
盖特定区域。廉价的传感器一般体积较小,使用能量有
限的电池供电,其能量、处理能力、存储空间、传输距
离、无线电频率和带宽都受到限制,因此传感器节点无
系统,存储及处理关系数据不可缺少的基础软件。
• 2、非关系数据库 • 1)实时数据库
•
实时数据库(RTDB-Real Time DataBase)是数据库
系统发展的一个分支,是实时系统和数据库技术相结合的产物
。
•
实时数据库对数据的实时性要求比较高,因而实时、高
效、稳定是实时数据库最关键的指标。
•
目前,实时数据库已广泛应用于电力、石油石化、交通
置来干扰这些设备上的传感器。如果变电设备的某些重要参数被篡
改,其后果将会极其严重。
•
• 2、信息传输主要靠无线通信方式,信号容易被窃取和干扰 。
•
物联网在信息传输中多使用无线传输方式,暴露在外
的无线信号很容易成为攻击者窃取和干扰的对象,对物联网
的信息安全产生严重的影响。
•
例如攻击者可以通过窃取感知节点发射的信号,来获
。 • 数据变换:通过投影或其他操作减少数据量。
• ②数据挖掘阶段
• 确定挖掘目标:确定要发现的知识类型。 • 选择算法:根据确定的目标选择合适的数据挖掘算法。 • 数据挖掘:运用所选算法,提取相关知识并以一定的方式表
示。
• ③知识评估与表示阶段
• 模式评估:对数据挖掘步骤中发现的模式(知识)进行评估 。
增多,实时数据库是最好的选择。
• 4.4.2 数据融合与数据挖掘
• 1、数据融合及目标
•
数据融合是一种数据处理技术,指将多种
数据或信息进行处理得出高效且符合用户需求的
数据的过程。
•
它是利用计算机对按时序获得的若干观测
信息,在一定准则下加以自动分析、综合的一种
信息处理技术。
•
数据融合类似人类和其他动物对复杂问题
系模型相对网状、层次等其它模型来说更容易理解。
•
2、使用方便:通用的SQL语言使得操作关系型数据库非常方
便,程序员和数据管理员可以方便地操作数据库,而完全不必理解
其底层实现。
• 3、易于维护:丰富的完整性(实体完整性、参照完整性和用户
定义的完整性)大大降低了数据冗余和数据不一致的概率。
•
目前,关系数据库广泛应用于各个行业,是构建管理信息
• 知识表示:呈现所挖掘的知识。
• 3、物联网的数据挖掘
•
数据挖掘时决策支持和过程控制所采用重要技术
手段,是物联网中重要的一环。
•
在物联网中进行数据挖掘已经从传统意义上的
数据统计分析、潜在模式发现与挖掘,转向成为物联网
中不可缺少的工具和环节。
• (1)物联网的计算模式
•
物联网一般有两种基本计算模式,即物计算模式和云计算模
生
• 的概率;
• ③在环保体系中,根据不同地点的废物排放,预测将来发生生物 化
•
•
寻证分析(Provenance Analysis): 当系统出现
问
• 题或者达不到预期效果时, 分析它在运行过程中哪个环
节
• 出现了问题。
•
• 例如:
• (1)在食品安全应用中,一旦发生质量问题,需要在
食品供应链中寻找相应证据,明确原因和责任;
•
•
如果忽视物联网的安全问题,我们的隐私会由于物联网的安
全
• 性薄弱而暴露无遗,从而严重影响我们的正常生活。
•
•
因此在发展物联网的同时,必须对物联网的安全隐私问题更
• 加重视,保证物联网的健康发展。
• 4.5.1 物联网安全的特点
• 具体地讲,物联网的安全主要有如下四个特点:
• 1、物联网的设备、节点等无人看管,容易受到操纵和破坏。
数据本身的不确定性、语义匹配的不确定性和查询分析的不确
定性等。为了获得客观对象的准确信息,需要去粗取精、去伪
存真,以便更全面地进行表达和推理。
•4.4 物联网智能信息处理技术
• 4.4.1 数据库与数据存储技术
•
在物联网应用中数据库起着记忆(数据存储
)和分析(数据挖掘)的作用,因此没有数据库的
物联网是不完整的。
数据。
•
NoSQL 不需要预先设计表和结构就可存储新
的数值。
•
NoSQL数据库拥有三“高”特征:
• (1)High performance(满足对数据库高并发读写
的需求)
• (2)Huge Storage (满足对海量数据的高效率存
储和访问的需求)
• (3)High Scalability && High Availability (满足对