物联网数据处理模型

物联网数据挖掘模型的研究

中国宁波，浙江大学宁波理工学院Shen Bin

中国杭州，浙江大学管理学院Liu Yuan，Wang Xiaoyi

摘要——在这篇论文中，我们提到了四种物联网数据挖掘模型，分别是多层数据挖掘模型、分布式数据挖掘模型、基于网格的数据挖掘模型和多层技术集成角度的数据挖掘模型。其中，多层数据挖掘模型包含四层：1）数据收集层，2）数据管理层，3）事件处理层，4）数据挖掘服务层。分布式数据挖掘模型可以解决数据存放在不同地点的问题。基于网格的数据挖掘模型使网格框架实现数据挖掘功能。多层技术集成角度的数据挖掘模型描述了未来网络的相应框架。并且讨论了一些IOT数据挖掘的重要问题。

关键词——物联网，数据挖掘模型，RFID技术

一、介绍

物联网（IOT）是下一代网络，包含上万亿节点来代表各种对象，从无所不在的小型传感器设备，掌上的到大型网络的服务器和超级计算机集群[23]。它是继电脑和网络革命之后的又一场科技革命。它集成了新的计算和通讯技术（如传感器网络，RFID技术，移动技术，实时定位，普遍存在计算和IPV6等）和建立下一代互联网的发展方向。IOT是IBM公司提出的智能星球的核心。物联网的智能对象（如传感器输入、制动器等）可以通过基于新信息和通讯技术的网络来通信。

S. Haller等人[2]提出了如下的定义：“它是这样的一个世界，物理对象可以无缝集成到信息网络，并且可以成为业务流程的积极参与者。服务可以在网络中影响到这些‘智能对象’，找到他们的国家以及与他们向关联的任何问题，并能考虑到安全和隐私问题。”

刘教授[3]从技术和经济的角度提出了对于IOT的想法：“从技术的角度上讲，IOT是传感器网络的集成，包括RFID和无所不在的网络。从经济的角度来看，这是一个开放的观念，集成了新的相关科技和应用，产品和服务，生产和市场。”

物联网将会产生大量的信息。让我们举一个例子，将超市引入一个采用RFID技术的供应链。RFID数据的原始形态是这样的形式：EPC，地点，时间。EPC代表了一个RFID读者阅读的唯一标识；地点是读者的位置；时间是阅读发生的时刻。这需要18个字节来储存一个RFID记录。一个超市，大约有700000个RFID记录。所以如果这个超市每秒都有读者在浏览，那么每秒大约产生12.6GBRFID数据流，每天将达到544TB的数据。因此，发展有效的思想去管理、分析、挖掘RFID数据是非常必要的。物联网数据可以分成几种类型：RFID数据流、地址/唯一标识、描述数据、位置数据、环境数据和传感器网络数据等[1]。它将给物联网的管理、分析、挖掘数据带来巨大的挑战。

二、相关研究

作为互联网的全新范例，对于物联网的研究还处于初级阶段。目前，有一些物联网数据挖掘的研究，主要包括以下三个方面：

一些研究集中于管理和挖掘RFID数据流。例如，Hector Gonzalez等人[4]提出一个存储RFID数据的新奇模型，能保护对象转变同时提供重要的压缩和路径依赖总量。RFID立方体保持了三个表：（1）信息表，能储存产品的路径依赖信息，（2）停留表，保存了数据所在位置信息，（3）地图表，存储用于结构分析的路径信息。Hector Gonzalez等人[5]采用流程图去表示商品的运输，并且还可以用它来多维分析商品流。在参考文献[6]，Hector Gonzalez等人提出一种压缩概率工作流，可以捕捉运动和重要的RFID流动异常。Elio Masciari[8]研究RFID 数据流的孤立点挖掘。

一些研究偏好于提问、分析和挖掘由各种IOT服务产生的对象数据运动，例如，GPS装置，RFID传感器网络，网络雷达或卫星等。比如说，Xiaolei Li等人[7]提出一个新的框架，称为漫游，用于移动物体的异常检测。在文献[10]，Jae-Gil Lee等人对运动目标的轨迹孤立点检测开发了一种分割检测框架。Jae-Gil Lee等人[9]也提出了名为TraClass的新的轨迹分类思想，利用基于地区的和基于轨迹的分层聚集。在文献[11]，对于运动目标的轨迹聚集提出了一个划分聚集框架。

其他研究是传感器数据的知识发现。传感器网络有几个特征，例如，有限的资源，容易调配的传感器，免维护，多层跳跃和大量数据等。所以传感器网络的数据挖掘有其自身的特征。Joydeep Ghosh[12]提出了一个一般的概率框架，在计算/记忆/电力限制约束下的监督性学习。Betsy George等人[13]提出时空传感器模型（STSG）去模拟和挖掘传感器数据。STSG 模型能够发现不同类型的模式：位置异常模式，在每个时段集中定位和节点的未来热点。Parisa Rashidi等人[14]开放了一种对于传感器数据类型挖掘的新奇的自适应挖掘框架，以适应数据的变化。

尽管IOT对于数据挖掘有很多贡献，但都主要集中于IOT的基本内容，如传感器网络、RFID等。作为一个全新的网络范例，IOT仍然缺乏模型和理论来指导其进行数据挖掘。

三、物联网数据挖掘模型

1、IOT多层数据挖掘模型

根据IOT式样和RFID数据挖掘框架[15]，我们提出了下面的IOT多层数据挖掘模型，如图1，将其分为四层：数据收集层、数据管理层、事件处理层和数据挖掘服务层。

其中，数据收集层采用一些设备，例如RFID阅读器和接收器等，来收集各种智能对象的数据，分别是RFID流数据、GPS数据、卫星数据、位置数据和传感器数据等。不同类型的数据需要不同的收集策略。在数据采集过程中，一系列问题如节能、误读、重复读取、容错、数据过滤和通讯等，都应被妥善解决。

数据管理层适用于集中或分布式的数据库或数据仓库区管理收集的数据。在目标识别、数据抽象和压缩后，一系列数据被保存在相应数据库或数据仓库。例如RFID数据，原始的数据流格式是EPC、位置、时间，EPC被标记为智能对象的ID。数据清洁后，我们能获得包含记录停留表有这样的形式（EPC、位置、进入时间、离开时间）。之后我们利用数据仓库去储存和管理相关数据，包括信息表、停留表和地图表，称作RFID体。基于RFID体，用户可以方便的在线分析处理RFID数据。另外，也可以采用XML语言去表述IOT数据。智能对象可以通过物联网数据管理层相互连接。

事件是数据、时间和其他因素的整合，所以它提供高水平的IOT处理机制。事件处理层有效地用于分析IOT事件。因此我们可以在事件处理层实现基于事件的提问分析。将观察到的原始时间过滤后，就可获得复杂事件或用户关注的事件。然后我们可以根据事件集合、组