物联网的相关参考资料
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
大数据的核心在于挖掘和提纯数据中蕴藏的价值，而不是软硬件的堆砌。从各种各样类型的数据中快速获得有价值信息的能力，就是大数据技术。
2.3 主要特点
大数据的主要特点是4V：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。大数据是由数量巨大、结构复杂、类型众多、高速传送的数据构成的数据集合。
Pentaho BI平台、Pentaho Open BI套件核心架构和基础，以流程为中心，其中枢控制器是一个工作流引擎。工作流引擎使用流程来定义在BI平台上执行的商业智能流程。流程容易定制，也可以添加新流程。BI平台包含组件和报表，用以分析流程的性能。目前，Pentaho的主要组成元素包括报表生成、分析、数据挖掘和工作流管理等等。这些组件通过J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals等技术集成到Pentaho平台。Pentaho主要以Pentaho SDK的形式发行。
该项目帮助谷歌实现海量数据集的分析处理，包括分析抓取Web文档，跟踪安装在Android Market上的应用程序数据，分析垃圾邮件，分析谷歌分布式构建系统上的测试结果等等。
通过开发“Drill”Apache开源项目，组织机构有望建立Drill所属的API接口和灵活强大的体系架构，从而帮助支持广泛的数据源、数据格式和查询语言。
2.4.4Apache Drill
为帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。Apache Drill实现了Google's Dremel。
MapR Technologies公司产品经理Tomer Shiran介绍，“Drill”已经作为Apache孵化器项目来运作，将面向全球软件工程师持续推广。
全国信息技术标准化技术委员会
20091416-T-469
传感器网络 第3部分：通信与信息交互
推荐
制订
2010
国家标准化管理委员会、工业和信息化部
全国信息技术标准化技术委员会
20091417-T-469
传感器网络 第4部分：接口
推荐
制订
2010
国家标准化管理委员会、工业和信息化部
全国信息技术标准化技术委员会
2.4.5RapidMiner
RapidMiner是世界领先的数据挖掘解决方案，其数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。
2.4.6Pentaho BI
Pentaho BI平台不同于传统的BI产品，它是一个以流程为中心、面向解决方案(Solution)的框架,其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，方便商务智能应用的开发。它的出现，使得一系列面向商务智能的独立产品,如Jfree、Quartz等，能够集成在一起，构成一项复杂、完整的商务智能解决方案。
国内物联网标准化工作组织——物联网标准联合工作组制订物联网标准的总体思想是：首先，针对物联网在不同应用领域的共性特征和技术要求建立系列标准化功能模块和条目；其次，由共性平台标准选取不同标准功能模块进行组合，形成系统解决方案。如图1-2所示。
图1-2 物联网标准体系的设计思想
基于上述总体思想建立的标准体系框架如图1-3所示。图中，物联网标准体系主要由基础平台标准和应用子集标准构成。基础平台标准涵盖通用规范、接口、通信与信息交互、服务支持、协同信息处理、网络管理、信息安全、测试等方面。应用子集标准涵盖公共安全、环境保护、医疗和家庭看护、工业控制、军事、精细化农业、智能交通、智能建筑、太空探索、能源和智能电网等物联网具有代表性应用领域。
第一，数据体量巨大。从TB级别，跃升到PB级别。第二，数据类型繁多。如网络日志、视频、图片、地理位置信息等等。第三，价值密度较低。以视频为例，连续不断监控过程中，有用数据可能仅有一两秒钟。第四，处理速度很快。即所谓1秒定律。最后这一点也是大数据技术与传统数据挖掘技术的本质不同。
2.4 分析方法
2.4.1Hadoop
2.2 基本概念
大数据指数据量规模巨大，无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理并整理成为辅助决策依据的数据。
大数据无法用单台计算机处理，必须采用分布式计算架构，其特色在于对海量数据的挖掘。
大数据并非单指人在互联网上产生的信息，全世界的工业设备、汽车、电表等上有着无数的数码传感器，随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质变化的信息，产生了海量数据。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布全世界各个角落的各种各样的传感器，无一不是大数据的来源者或者承载者。
2.4.2HPCC
HPCC，High Performance Computing and Communications，高性能计算与通信。1993年，美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与通信”的报告，即HPCC报告。HPCC是美国总统科学战略项目，其目的是通过加强研究与开发，解决一批重要的科学与技术挑战问题。HPCC是美国实施信息高速公路而实施的计划。该计划耗资百亿美元，主要目标是达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆比特网络技术，扩展研究和教育机构及网络连接能力。
20091418-T-469
传感器网络 第5部分：安全
推荐
制订
2010
国家标准化管理委员会、工业和信息化部
全国信息技术标准化技术委员会
20091419-T-469
传感器网络 第6部分：标识
推荐
制订
2010
国家标准化管理委员会、工业和信息化部
全国信息技术标准化技术委员会
2009-2807T-SJ
机场围界传感器网络防入侵系统技术要求
架构技术：ITU-T SG13对NGN环境下无所不在的泛在网需求和架构进行了研究和标准化。
M2M：ETSI M2M TC开展了对M2M需求和M2M架构等方面的标准化，3GPP在M2M核心网和无线增强技术方面正开展一系列研究和标准化工作。
通信和网络技术：重点由ITU、3GPP、IETF、IEEE等组织开展标准化工作。目前IEEE 802.15.4近距离无线通信标准被广泛应用，IETF标准组织也完成了简化IPv6协议应用的部分标准化工作。
智能家居：智能家居相关国际标准化组织包括X-10、CEBus、LonWorks、DLNA、UPnP、Broadband Forum等。
1.1.2国内标准化工作组织
国内物联网标准化工作组织是物联网标准联合工作组，由多个工作组联合构成，如图1-1所示。
图1-1
物联网标准联合工作组在内部章程的规约下开展工作，分配工作组内各成员单位相关工作任务；工作组内各成员单位需按期缴纳会费并服从工作组的相关工作任务安排。联合工作组目前的9个成员工作组（标委会）包括：全国物品编码标委会、工信部电子标签标准工作组、传感器网络标准工作组、工信部资源共享协同服务标准工作组、中国急诊医师协会标委会、工信部宽带无线IP标准工作组、全国工业过程与测量控制标委会、工信部十进制网络标准工作组、全国智能建筑及居住区数字化标委会。
图1-3 物联网标准体系框架
二、大数据（Big Data）
2.1 发展概述
上世纪90年代末，美国航空航天局的研究人员创造了大数据一词。大数据自诞生以来，一直是一个模糊而诱人的概念。大约从2009年开始，大数据才成为互联网信息技术行业的流行词汇，跃升为一个主流词汇。2012年3月22日，奥巴马政府宣布投资2亿美元拉动大数据相关产业发展，将“大数据战略”上升为国家战略。奥巴马政府甚至将大数据定义为“未来的新石油”。
2.5SOA管理大数据
SOA的三个数据中心模型分别是数据即服务(DaaS)模型、物理层次结构模型和架构组件模型。DaaS数据存取模型描述了数据是如何提供给SOA组件的。物理模型描述了数据是如何存储以及存储的层次图是如何传送到SOA数据存储器上的。最后，架构模型描述了数据、数据管理服务和SOA组件之间的关系。
推荐
制订
2010
工业和信息化部
全国信息技术标准化技术委员会
2009-2810T-SJ
面向大型建筑节能监控的传感器网络系统技术要求
推荐
制订
2010
工业和信息化部
全国信息技术标准化技术委员会
传感器网络网关技术要求
推荐
制订
2010
国家标准化管理委员会、工业和信息化部
全国信息技术标准源自文库技术委员会
传感器网络协同信息处理支撑服务及接口
上述标准征求意见稿只对组内成员及邀请成员开放。据悉，这些标准对传感器网络的总体功能要求及体系架构给出了规定；在参照国内外传感器网络领域术语的基础上对传感网术语进行了梳理与汇总；从机械、电气及软件三个层面对传感网中的传感器接口提出了规范；对传感网内统一的节点编码给出了编码规则等。相关标准名称如表1-1所示：
Hadoop是一个能够对大量数据进行分布式处理的软件框架。Hadoop以可靠、高效、可伸缩方式进行数据处理。Hadoop之所以可靠，因为其假设计算元素和存储会失败，因此维护多个工作数据副本，确保能够针对Hadoop失败的节点重新分布处理。Hadoop之所以高效，因为其以并行方式工作，通过并行处理加快处理速度。Hadoop之所以可伸缩，因为其能够处理PB级数据。此外，Hadoop依赖于社区服务器，成本较低，任何人都可以使用。
全国信息技术标准化技术委员会（常简称“信标委”）下属分会的SC27负责信息安全方面的标准化工作。信标委直属工作组之一，传感器网络标准工作组的组长单位是中科院上海微系统与信息技术研究所，官方网站是www.wgsn.org。
1.2国内标准化工作进程
2011年7月13日，国家传感器网络标准工作组第八次全体会议在江苏无锡市举行，工作组正式发布了我国已完成的传感网首批6项标准征求意见稿。包括：《总则》、《术语》、《低速无线传感器网络网络层和应用支持子层技术规范》、《信号接口规范》、《信息安全通用技术规范》、《标识传感节点编码规范》。
推荐
制订
2010
国家标准化管理委员会、工业和信息化部
全国信息技术标准化技术委员会
传感器网络节点中间件数据交互规范
推荐
制订
2010
国家标准化管理委员会、工业和信息化部
全国信息技术标准化技术委员会
传感器网络 数据描述规范
推荐
制订
2010
国家标准化管理委员会、工业和信息化部
全国信息技术标准化技术委员会
1.3标准体系框架
2.4.3Storm
Storm是自由开源软件，一个分布式、容错的实时计算系统。Storm可以可靠处理庞大的数据流，用于处理Hadoop的批量数据。 Storm支持许多种编程语言，使用方便。
Storm可应用于诸多领域，如实时分析、在线机器学习、不停顿计算、分布式RPC(远程调用协议，一种通过网络从远程计算机程序上请求服务)、ETL（Extraction-Transformation-Loading，即数据抽取、转换和加载）等等。Storm处理速度惊人，经测试，每节点每秒钟可处理100万个数据元组。Storm可扩展、可容错，便于设置和操作。
SOA：相关标准规范正由多个国际组织，如W3C、OASIS、WS-I、TOG、OMG等研究制定。
智能电网：国际上主要有IEC、NIST、ITU-T、IEEE P2030、CEN/CENELEC/ETSI等组织进行智能电网标准化工作。
智能交通：国际上主要有ISO TC204、ITU、IEEE以及欧洲的ETSI等组织开展智能交通标准化工作。
物联网相关资料
一、物联网标准化工作组织与国内标准化工作进程
1.1标准化工作组织
1.1.1国际标准化工作组织
国际上针对不同技术领域的物联网标准化工作早已开展。物联网技术体系庞杂，因此其标准化工作分散在不同标准化组织，各有侧重。
RFID：标准比较成熟，ISO/IEC、EPCglobal标准应用最广。
传感器网络：ISO/IEC JTC1 WG7负责标准化工作。
表1-1相关立项标准
计划编号
项目名称
标准性质
制/修订
完成年限
主管部门
技术归口单位
20091414-T-469
传感器网络 第1部分：总则
推荐
制订
2010
国家标准化管理委员会、工业和信息化部
全国信息技术标准化技术委员会
20091415-T-469
传感器网络 第2部分：术语
推荐
制订
2010
国家标准化管理委员会、工业和信息化部
2.3 主要特点
大数据的主要特点是4V：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。大数据是由数量巨大、结构复杂、类型众多、高速传送的数据构成的数据集合。
Pentaho BI平台、Pentaho Open BI套件核心架构和基础，以流程为中心，其中枢控制器是一个工作流引擎。工作流引擎使用流程来定义在BI平台上执行的商业智能流程。流程容易定制，也可以添加新流程。BI平台包含组件和报表，用以分析流程的性能。目前，Pentaho的主要组成元素包括报表生成、分析、数据挖掘和工作流管理等等。这些组件通过J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals等技术集成到Pentaho平台。Pentaho主要以Pentaho SDK的形式发行。
该项目帮助谷歌实现海量数据集的分析处理，包括分析抓取Web文档，跟踪安装在Android Market上的应用程序数据，分析垃圾邮件，分析谷歌分布式构建系统上的测试结果等等。
通过开发“Drill”Apache开源项目，组织机构有望建立Drill所属的API接口和灵活强大的体系架构，从而帮助支持广泛的数据源、数据格式和查询语言。
2.4.4Apache Drill
为帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。Apache Drill实现了Google's Dremel。
MapR Technologies公司产品经理Tomer Shiran介绍，“Drill”已经作为Apache孵化器项目来运作，将面向全球软件工程师持续推广。
全国信息技术标准化技术委员会
20091416-T-469
传感器网络 第3部分：通信与信息交互
推荐
制订
2010
国家标准化管理委员会、工业和信息化部
全国信息技术标准化技术委员会
20091417-T-469
传感器网络 第4部分：接口
推荐
制订
2010
国家标准化管理委员会、工业和信息化部
全国信息技术标准化技术委员会
2.4.5RapidMiner
RapidMiner是世界领先的数据挖掘解决方案，其数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。
2.4.6Pentaho BI
Pentaho BI平台不同于传统的BI产品，它是一个以流程为中心、面向解决方案(Solution)的框架,其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，方便商务智能应用的开发。它的出现，使得一系列面向商务智能的独立产品,如Jfree、Quartz等，能够集成在一起，构成一项复杂、完整的商务智能解决方案。
国内物联网标准化工作组织——物联网标准联合工作组制订物联网标准的总体思想是：首先，针对物联网在不同应用领域的共性特征和技术要求建立系列标准化功能模块和条目；其次，由共性平台标准选取不同标准功能模块进行组合，形成系统解决方案。如图1-2所示。
图1-2 物联网标准体系的设计思想
基于上述总体思想建立的标准体系框架如图1-3所示。图中，物联网标准体系主要由基础平台标准和应用子集标准构成。基础平台标准涵盖通用规范、接口、通信与信息交互、服务支持、协同信息处理、网络管理、信息安全、测试等方面。应用子集标准涵盖公共安全、环境保护、医疗和家庭看护、工业控制、军事、精细化农业、智能交通、智能建筑、太空探索、能源和智能电网等物联网具有代表性应用领域。
第一，数据体量巨大。从TB级别，跃升到PB级别。第二，数据类型繁多。如网络日志、视频、图片、地理位置信息等等。第三，价值密度较低。以视频为例，连续不断监控过程中，有用数据可能仅有一两秒钟。第四，处理速度很快。即所谓1秒定律。最后这一点也是大数据技术与传统数据挖掘技术的本质不同。
2.4 分析方法
2.4.1Hadoop
2.2 基本概念
大数据指数据量规模巨大，无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理并整理成为辅助决策依据的数据。
大数据无法用单台计算机处理，必须采用分布式计算架构，其特色在于对海量数据的挖掘。
大数据并非单指人在互联网上产生的信息，全世界的工业设备、汽车、电表等上有着无数的数码传感器，随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质变化的信息，产生了海量数据。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布全世界各个角落的各种各样的传感器，无一不是大数据的来源者或者承载者。
2.4.2HPCC
HPCC，High Performance Computing and Communications，高性能计算与通信。1993年，美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与通信”的报告，即HPCC报告。HPCC是美国总统科学战略项目，其目的是通过加强研究与开发，解决一批重要的科学与技术挑战问题。HPCC是美国实施信息高速公路而实施的计划。该计划耗资百亿美元，主要目标是达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆比特网络技术，扩展研究和教育机构及网络连接能力。
20091418-T-469
传感器网络 第5部分：安全
推荐
制订
2010
国家标准化管理委员会、工业和信息化部
全国信息技术标准化技术委员会
20091419-T-469
传感器网络 第6部分：标识
推荐
制订
2010
国家标准化管理委员会、工业和信息化部
全国信息技术标准化技术委员会
2009-2807T-SJ
机场围界传感器网络防入侵系统技术要求
架构技术：ITU-T SG13对NGN环境下无所不在的泛在网需求和架构进行了研究和标准化。
M2M：ETSI M2M TC开展了对M2M需求和M2M架构等方面的标准化，3GPP在M2M核心网和无线增强技术方面正开展一系列研究和标准化工作。
通信和网络技术：重点由ITU、3GPP、IETF、IEEE等组织开展标准化工作。目前IEEE 802.15.4近距离无线通信标准被广泛应用，IETF标准组织也完成了简化IPv6协议应用的部分标准化工作。
智能家居：智能家居相关国际标准化组织包括X-10、CEBus、LonWorks、DLNA、UPnP、Broadband Forum等。
1.1.2国内标准化工作组织
国内物联网标准化工作组织是物联网标准联合工作组，由多个工作组联合构成，如图1-1所示。
图1-1
物联网标准联合工作组在内部章程的规约下开展工作，分配工作组内各成员单位相关工作任务；工作组内各成员单位需按期缴纳会费并服从工作组的相关工作任务安排。联合工作组目前的9个成员工作组（标委会）包括：全国物品编码标委会、工信部电子标签标准工作组、传感器网络标准工作组、工信部资源共享协同服务标准工作组、中国急诊医师协会标委会、工信部宽带无线IP标准工作组、全国工业过程与测量控制标委会、工信部十进制网络标准工作组、全国智能建筑及居住区数字化标委会。
图1-3 物联网标准体系框架
二、大数据（Big Data）
2.1 发展概述
上世纪90年代末，美国航空航天局的研究人员创造了大数据一词。大数据自诞生以来，一直是一个模糊而诱人的概念。大约从2009年开始，大数据才成为互联网信息技术行业的流行词汇，跃升为一个主流词汇。2012年3月22日，奥巴马政府宣布投资2亿美元拉动大数据相关产业发展，将“大数据战略”上升为国家战略。奥巴马政府甚至将大数据定义为“未来的新石油”。
2.5SOA管理大数据
SOA的三个数据中心模型分别是数据即服务(DaaS)模型、物理层次结构模型和架构组件模型。DaaS数据存取模型描述了数据是如何提供给SOA组件的。物理模型描述了数据是如何存储以及存储的层次图是如何传送到SOA数据存储器上的。最后，架构模型描述了数据、数据管理服务和SOA组件之间的关系。
推荐
制订
2010
工业和信息化部
全国信息技术标准化技术委员会
2009-2810T-SJ
面向大型建筑节能监控的传感器网络系统技术要求
推荐
制订
2010
工业和信息化部
全国信息技术标准化技术委员会
传感器网络网关技术要求
推荐
制订
2010
国家标准化管理委员会、工业和信息化部
全国信息技术标准源自文库技术委员会
传感器网络协同信息处理支撑服务及接口
上述标准征求意见稿只对组内成员及邀请成员开放。据悉，这些标准对传感器网络的总体功能要求及体系架构给出了规定；在参照国内外传感器网络领域术语的基础上对传感网术语进行了梳理与汇总；从机械、电气及软件三个层面对传感网中的传感器接口提出了规范；对传感网内统一的节点编码给出了编码规则等。相关标准名称如表1-1所示：
Hadoop是一个能够对大量数据进行分布式处理的软件框架。Hadoop以可靠、高效、可伸缩方式进行数据处理。Hadoop之所以可靠，因为其假设计算元素和存储会失败，因此维护多个工作数据副本，确保能够针对Hadoop失败的节点重新分布处理。Hadoop之所以高效，因为其以并行方式工作，通过并行处理加快处理速度。Hadoop之所以可伸缩，因为其能够处理PB级数据。此外，Hadoop依赖于社区服务器，成本较低，任何人都可以使用。
全国信息技术标准化技术委员会（常简称“信标委”）下属分会的SC27负责信息安全方面的标准化工作。信标委直属工作组之一，传感器网络标准工作组的组长单位是中科院上海微系统与信息技术研究所，官方网站是www.wgsn.org。
1.2国内标准化工作进程
2011年7月13日，国家传感器网络标准工作组第八次全体会议在江苏无锡市举行，工作组正式发布了我国已完成的传感网首批6项标准征求意见稿。包括：《总则》、《术语》、《低速无线传感器网络网络层和应用支持子层技术规范》、《信号接口规范》、《信息安全通用技术规范》、《标识传感节点编码规范》。
推荐
制订
2010
国家标准化管理委员会、工业和信息化部
全国信息技术标准化技术委员会
传感器网络节点中间件数据交互规范
推荐
制订
2010
国家标准化管理委员会、工业和信息化部
全国信息技术标准化技术委员会
传感器网络 数据描述规范
推荐
制订
2010
国家标准化管理委员会、工业和信息化部
全国信息技术标准化技术委员会
1.3标准体系框架
2.4.3Storm
Storm是自由开源软件，一个分布式、容错的实时计算系统。Storm可以可靠处理庞大的数据流，用于处理Hadoop的批量数据。 Storm支持许多种编程语言，使用方便。
Storm可应用于诸多领域，如实时分析、在线机器学习、不停顿计算、分布式RPC(远程调用协议，一种通过网络从远程计算机程序上请求服务)、ETL（Extraction-Transformation-Loading，即数据抽取、转换和加载）等等。Storm处理速度惊人，经测试，每节点每秒钟可处理100万个数据元组。Storm可扩展、可容错，便于设置和操作。
SOA：相关标准规范正由多个国际组织，如W3C、OASIS、WS-I、TOG、OMG等研究制定。
智能电网：国际上主要有IEC、NIST、ITU-T、IEEE P2030、CEN/CENELEC/ETSI等组织进行智能电网标准化工作。
智能交通：国际上主要有ISO TC204、ITU、IEEE以及欧洲的ETSI等组织开展智能交通标准化工作。
物联网相关资料
一、物联网标准化工作组织与国内标准化工作进程
1.1标准化工作组织
1.1.1国际标准化工作组织
国际上针对不同技术领域的物联网标准化工作早已开展。物联网技术体系庞杂，因此其标准化工作分散在不同标准化组织，各有侧重。
RFID：标准比较成熟，ISO/IEC、EPCglobal标准应用最广。
传感器网络：ISO/IEC JTC1 WG7负责标准化工作。
表1-1相关立项标准
计划编号
项目名称
标准性质
制/修订
完成年限
主管部门
技术归口单位
20091414-T-469
传感器网络 第1部分：总则
推荐
制订
2010
国家标准化管理委员会、工业和信息化部
全国信息技术标准化技术委员会
20091415-T-469
传感器网络 第2部分：术语
推荐
制订
2010
国家标准化管理委员会、工业和信息化部