基于云计算物联网的大数据搜集处理技术

基于云计算物联网的大数据搜集处理技术

摘要：

随着云计算云储存物联网等新技术的应用，人们通过社交网络电子商务平台及移动智能终端等途径搜集，处理各种数据呈爆炸型增长，在容量关系和复杂性等方面已超出了传统的处理能力和认知范围。

在解析物联网两层基本涵义的基础上, 提出了包括底层网络分布、汇聚网关接入、互联网络融合、终端用户应用四部分的物联网系统架构;设计了由网络通信协议、网络控制平台、应用终端平台组成的面向物联网的网络协议体系, 并从硬件和软件两个层面讨论了实现物联网的关键技术;在分析当前物联网标准、技术、安全以及应用方面存在问题的基础上提出了未来物联网发展的六个重要理念。

大数据时代已经来临数据已经成为经济增长和，社会价值创造的源泉为人们提供无限机遇。然而我们也应该注意到快速发展的数据挖掘与利用技术使个人在网络空间从匿民变成透明。

关键词：云计算，物联网，大数据收集与处理

引言：

近年来，社交网络、电子商务、数字城市、在线视频等新一代大规模互联网应用发展迅猛。这些新兴的应用具有数据存储量大、业务增长速度快等特点。为了解决上述问题，2006 年Google、Amazon等公司提出了“云计算”的构想。根据美国国家标准与技术研究院（NIST）的定义，云计算是一种利用互联网实现随时随地、按需、便捷地访问共享资源池（如计设施、存储设备、应用程序等）的计算模式。到2018年互联网与经济社会各领域融合发展，进一步深化，基于互联网的新业态成为新的经济增长动力，互联网支撑大众创业万众创新的作用进一步增强，网络经济与实体经济协同互动的发展格局基本形成。无处不在的物联网通信时代即将来临，世界上所有的物体，从轮胎到牙刷从房顶到纸巾都可以通过互联网进行信息交换。

物联网(Internet of Things , IoT)作为一种新兴网络技术和产业模式 , 在业界受到广泛关注.从国际电信联盟(ITU)在信息社会世界峰会上发布的《互联网报告2005 :物联网》中可以总结出物联网所体现的两层基本涵义:(1)目前的三大网络, 包括互联网(Internet)、电信网、广播电视网是物联网实现和发展的基础, 物联网是在三网基础上的延伸和扩展;(2)用户应用终端从人与人之间的信息交互与通信扩展到了人与物、物与物、物与人之间的沟通连接, 因此, 物联网技术能够使物体变得更加智能化.从目前的发展形势看, 最有可能率先获得智能连接功能的物体包括家居设备、电网设备、物流设备、医疗设备以及农业设备, 并基于此实现人类与自然环境的系统融合开创经济，新时代。专家指出，当前我国经济进入新常态，平稳度过新旧产业与核动能转化期需要强劲有力和恒久持续的支持力量。抢占经济制高点，促进大众创业，万众创新，提升公共服务水平必须走互联网融合创新之路。

一、云计算

1.云计算基础

云计算是并行计算（Parallel Computing）、分布式计算（Distributed Computing）、网格计算（Grid Computing）的发展，或者说是这些计算机科学概念的商业实现。云计算是虚拟化（Virtualization）、效用计算（Utility Computing）、IaaS（基础设施及服务）、Paas（平台及服务）、SaaS（软件及服务）等概念混合演进并跃升的结果。

2．云计算特点

云计算有超大规模、虚拟化、高可靠性、通用性、高可扩展性、按需服务、极其廉价七大特点，具有涵盖了IaaS（基础设施及服务）、Paas（平台及服务）、SaaS（软件及服务）的IT能力以服务形式提供，网络化访问，提供开放的服务访问和管理接口，持续的服务更新与孵化，资源聚合成池，弹性扩展，自动化监管与快速支付，资源使用计量，用户自助服务九大特征。

3.云计算关键技术

⑴虚拟化技术：云计算的虚拟化技术不同于传统的单一虚拟化，它是涵盖整个I T架构的，包括资源、网络、应用和桌面在内的全系统虚拟化，它的优势在于能够把所有硬件设备、软件应用和数据隔离开来，打破硬件配置、软件部署和数据分布的界限，实现IT架构的动态化，实现资源集中管理，使应用能够动态地使用虚拟资源和物理资源，提高系统适应需求和环境的能力。

⑵分布式资源管理技术：信息系统仿真系统在大多数情况下会处在多节点并发执行环境中，要保证系统状态的正确性，必须保证分布数据的一致性。云计算中的分布式资源管理技术圆满解决了这一问题。Google公司的Chubby是最著名的分布式资源管理系统，该系统实现了Chubby服务锁机制，使得解决分布一致性问题的不再仅仅依赖一个协议或者是一个算法，而是有了一个统一的服务(servic e)。

⑶并行编程技术：云计算采用并行编程模式。在并行编程模式下，并发处理、容错、数据分布、负载均衡等细节都被抽象到一个函数库中，通过统一接口，用户大尺度的计算任务被自动并发和分布执行，即将一个任务自动分成多个子任务，并行地处理海量数据。

二、物联网

1，物联网基础

通过各种感知设备和互联网，连接物体与物体全自动智能化采集与数据处信息的，实现随时随地和科学管理的一种网络。物联网是基于互联网上一种高级的网络形态，但物联网的连接主体从人向“物”的延伸，网络社会形态从生理向现实的拓展，信息采集与处理从人工为主向智能化为主的转化。可以说物联网是互联网发展创新的伟大成果，是物联网虚拟社会连接现实社会的伟大变革，是实现泛在网目标的伟大实践。物联网加互联网几乎就等于泛在网。泛在网包含了物联网传感网互联网的所有属性，物联网是泛在网实现的目标之一，是泛在网发展过程中的先行者和制高点。

2.物联网的特点

网络化，物联化，互联化，自动化，感知化，智能化是物联网的基本特征。

首先，它是各种感知技术的广泛应用。物联网上部署了海量的多种类型传感器，每个传感器都是一个信息源，不同类别的传感器所捕获的信息内容和信息格式不同。传感器获得的数据具有实时性，按一定的频率周期性的采集环境信息，不断更新数据。

其次，它是一种建立在互联网上的泛在网络。物联网技术的重要基础和核心仍旧是互联网，通过各种有线和无线网络与互联网融合，将物体的信息实时准确地传递出去。在物联网上的传感器定时采集的信息需要通过网络传输，由于其数量极其庞大，形成了海量信息，在传输过程中，为了保障数据的正确性和及时性，必须适应各种异构网络和协议。

还有，物联网不仅仅提供了传感器的连接，其本身也具有智能处理的能力，能够对物体实施智能控制。物联网将传感器和智能处理相结合，利用云计算、模式识别等各种智能技术，扩充其应用领域。从传感器获得的海量信息中分析、加工和处理出有意义的数据，以适应不同用户的不同需求，发现新的应用领域和应用模式。

此外，物联网的精神实质是提供不拘泥于任何场合，任何时间的应用场景与用户的自由互动，它依托云服务平台和互通互联的嵌入式处理软件，弱化技术色彩，强化与用户之间的良性互动，更佳的用户体验，更及时的数据采集和分析建议，更自如的工作和生活，是通往智能生活的物理支撑。

3.物联网关键技术

从信息与通信角度，通过识别、采集技术，传感网、核心网、接入网、专用网等基础网络，泛在无线传输、无线频谱资源管理、海量数据处理、基于网络的服务关键支撑技术。

1、传感器技术，这也是计算机应用中的关键技术。大家都知道，到目前为止绝大部分计算机处理的都是数字信号。自从有计算机以来就需要传感器把模拟信号转换成数字信号计算机才能处理。[2]

2、RFID标签也是一种传感器技术，RFID技术是融合了无线射频技术和嵌入式技术为一体的综合技术，RFID在自动识别、物品物流管理有着广阔的应用前景。

3、嵌入式系统技术：是综合了计算机软硬件、传感器技术、集成电路技术、电子应用技术为一体的复杂技术。经过几十年的演变，以嵌入式系统为特征的智能终端产品随处可见；小到人们身边的MP3,大到航天航空的卫星系统。嵌入式系统正在改变着人们的生活，推动着工业生产以及国防工业的发展。如果把物联网用人体做一个简单比喻，传感器相当于人的眼睛、鼻子、皮肤等感官，网络就是神经系统用来传递信息，嵌入式系统则是人的大脑，在接收到信息后要进行分类处理。这个例子很形象的描述了传感器、嵌入式系统在物联网中的位置与作用。

4、政府应该加大对产业的投入，这个投入可以不是资金，而是给企业更多的政策，特别是在操作系统、开发工具、IC设计等产业链中高端领域上从政策到资金都要加大投入。在管理上引入重大资金投向问责制，对长期投入资金不能市场化、产业化的项目，定期论证评估，不能达标的关停并转甚至要追究责任。

5、减少盲目引进项目，在嵌入式与物联网的发展中，核心技术坚持鼓励国