物联网数据处理的要求

2 物联网的数据特性

2.1 数据的多态性与异构性

无线传感网中有各种各样的传感器，而每一类传感器在不同应用系统中又有不同用途。显然，这些传感器结构不同、性能各异，其采集的数据结构也各不相同。在RFID系统中也有多个RFID标签，多种读写器；M2M系统中的微型计算设备更是形形色色。它们的数据结构也不可能遵循统一模式。物联网中的数据有文本数据，也有图像、音频、视频等多媒体数据。有静态数据，也有动态数据（如波形）。数据的多态性、感知模型的异构性导致了数据的异构性[1]。物联网的应用模式和架构互不相同，缺乏可批量应用的系统方法，这是数据多态性和异构性的根本原因。显然，系统的功能越复杂，传感器节点、RFID标签种类越多，其异构性问题也将越突出。这种异构性加剧了数据处理和软件开发的难度。

2.2 数据的海量性

物联网往往是由若干个无线识别的物体彼此连接和结合形成的动态网络。一个中型超市的商品数量动辄数百万乃至数千万件。在一个超市RFID系统中，假定有1000万件商品都需要跟踪，每天读取10次，每次100个字节，每天的数据量就达10GB，每年将达3650GB。在生态监测等实时监控领域，无线传感网需记录多个节点的多媒体信息，数据量更大的惊人，每天可达1TB以上。此外，在一些应急处理的实施监控系统系统中，数据是以流（stream）的形式实时、高速、源源不断地产生的，这愈发加剧了数据的海量性。

2.3 数据的时效性

被感知的事物的状态可能是瞬息万变的。因此不管WSN还是RFID系统，物联网的数据采集工作是随时进行的，每隔一定周期向服务器发送一次数据，数据更新很快，历史数据只用于记录事务的发展进程虽可以备份，但因其海量性不可能长期保存。只有新数据才能反映系统所感知的“物”的现有状态，所以系统的反应速度或者响应时间是系统可靠性和实用性的关键。这要求物联网的软件数据处理系统必须具有足够的运行速度，否则可能得出错误的结论甚至造成巨大损失。

2.4 数据传输的难题

对于WSN而言，国内一些物联网应用研究表明[2]：文本型数据易传难感，多媒体数据易感难传；在出现数据传输故障时，很难判定是网络中断还是软件故障；理想化的系统模型假设因其忽略了WSN运行过程中伴随的各种不确定的、动态的环境因素往往难以实地应用。甚至电源（电池）的寿命可以决定整个WSN的寿命。因此WSN式物联网在实际应用中，节点的数量目前还难以突破1000大关，这并不完全是由上述异构性、海量性等原因所致。数据采集、传输元器件的性能——功耗、实用性、可靠性和稳定性，成为目前WSN数据管理的瓶颈。

3 物联网数据处理的要求

上述特性给数据质量控制、数据存储、数据压缩、数据集成、数据融合、数据查询带来极大挑战，迫使人们不断探索行之有效的技术手段。满足以上特性的要求，解决数据处理的矛盾。

3.1 数据异构性的要求

解决数据的异构性问题必须从基础软件入手。不同的微型计算设备可能要采用不同的操作系统，不同的感知信息需要不同的数据结构和数据库，不同的系统需要不同的中间件。其中，操作系统解决运行平台问题，数据库解决数据的存储、挖掘、检索问题，中间件解决解决数据的传递、过滤、融合问题。操作系统、数据库、中间件这些基础软件的正确选择和使用可以屏蔽数据的异构性，实现数据的顺利传递、过滤、融合，为及时、正确感知事物的存在及其现状具有重要意义。尤其是数据库和中间件是解决异构性的关键。

对于运动着的物联网系统，必须感知事物的空间信息。这些数据的处理归根结底属于时

间或空间数据库的数据处理问题和数据挖掘问题。只是这些数据库要有更强的应变能力。

3.2 数据海量性和时效性的要求

海量性带来的问题是存储不便、计算结果的迟滞性——反应速度跟不上。处理策略不外乎两种：一种是把所有的数据都交给服务器，为此必须寻求更高档次的服务器甚至计算中心。另一种是化整为零，提高物联网中每一个元素的智能化水平或计算能力，使其自身能够完成数据中间处理过程，剩余的再传递到服务器完成最终处理。

对于前一种策略，常规的数据中心已经不能满足用户的需要，而建设更多的数据中心会极大地增加管理成本而降低系统的可靠性。为解决海量数据的存储问题，不妨借助云存储——租用他人的存储器；在没有中型机、大型机而又需要对海量数据迅速作出处理时，可以租用他人的CPU等。这些都是云计算服务的IaaS。有些物联网应用只限于某一时间段，只需短时间内使用一个正版软件或一个运行平台，自己开发或全面购买均不划算，可以借助云计算的SaaS或PaaS，租用该软件或平台（操作系统等），既享用了其所有功能（包括及时升级），又可以随时终止使用省去大量购买资金。一般的物联网应用均属于感知模式，云计算完全可为其提供后端处理能力与应用平台。

但云计算是服务端的计算模式。当物联网中的信息装置融入（内嵌）到物体中，系统中的物体有一定的智能和自主性的时候，多个物体之间可通过内嵌的智能算法及其交互作用完成数据计算，这种交互作用使得各个物体与外部交互的数据量减少若干数量级，已经不再需要云计算的支持。这种化整为零式的计算实际上就是海计算[3]。对于上述的流式数据，如果中间件不能解决数据的过滤问题，海计算将是必然选择。智能化是物联网的必然趋势，而海计算是物联网数据处理技术发展的必然走向。

3.3 数据传输的要求

只有数据的采集、传输工作正常运行才能保证数据处理的正常进行。传感器、节点、RFID 标签、读写器等是物联网数据的源头和枢纽，是数据采集和传输的关键。系统硬件低功耗、可靠性、抗干扰性是物联网系统长期可靠运行的基础，实用的架构模型是系统成熟、推广的基础。所以，为保障数据传输的畅通，必须重视优质数据源头器件硬件的研发、基础架构理论的打造与重建工作。