“大数据”技术在工控行业中的应用研究

《自动化博览》杂志约稿

“大数据”技术在工控行业中的应用研究

中国自动化学会专家咨询工作委员会

孙柏林

“大数据”时代的脚步已悄然而至，“大数据”（Big Data）已迅速成为近期争相传诵的热门科技概念。未来的十年将是一个“大数据”引领的智慧科技的时代。专家们认为：“‘大数据’技术就是下一个经济、国防、安全、社会活动等领域的制高点！”“大数据”是继云计算、物联网之后信息技术领域的又一热点，“大数据”时代的来临，给各行各业带来了根本性变革，让所有人都看到了“大数据”的挑战与机会。对于工业控制行业同样也是如此。

本文即从《“大数据”技术及其在工控行业中的应用研究》的角度来探讨一下“大数据”技术问题。

一、吹响大数据“集结号”！

“大数据”（Big Data）这所以会成为热点，主要应归因于近年来互联网、云计算、移动和物联网的迅猛发展。无所不在的移动设备、射频识别技术（RFID）、无线传感器每分每秒都在产生着成千上亿的数据，数以亿计用户的互联网服务时时刻刻都在产生巨量的数据，需要处理的数据量实在是太多、增长实在是太快了，而业务需求和竞争压力对数据处理的实时性、有效性又提出了更高要求，传统的常规技术手段根本无法应对“大数据”浪潮。国际数据公司（IDC-- International Data Corporation）预计，大量新数据无时不刻不在涌现，它们以每年50%的速度在增长，或者说每两年就要翻一番多。

人类社会发展的核心驱动力，目前，已由“动力驱动”转变为“数据驱动”；经济活动重点，已从材料的使用转移到“大数据”的使用。“大数据”正在成为各个业界的焦点话题。2012年1月，在瑞士达沃斯举行的世界经济论坛上，“大数据”是框定的主题之一。该论坛的一份报告，《大数据，大影响》，宣告了“大数据时代”的到来！今天已经进入“大数据”时代，身边的一切都在“大数据”范围内。人们似乎再也没有什么秘密可言，各种信息都暴露在“大数据”之中。“大数据”几乎是无处不在。传统行业创新升级，“大数据”成背后推手！企业必须直面“大数据”的挑战。

二、关于“大数据”的基本认识

㈠“大数据”的定义

什么是“大数据”？从一般意义上说，“大数据”是指那些超过传统数据库

系统处理能力的数据，数据量通常在10TB（1TB=1024GB，为1万亿字节）以上。因为数据库、“大数据”已经成为变革的中心，事实上成为一场信息革命，在IT 领域、能源业、制造业、零售业、政府管理、科技与国防军事等，“大数据”都改变了整个世界的运行方式。因此，我们称之为“大数据“时代。对于什么是“大数据”，目前业界并没有统一的定义。而根据维基百科的定义：“‘大数据’是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理、处理的数据集合。”从产业角度，常常把这些数据与采集它们的工具、平台、分析系统一起统称为“大数据”。

纵观人类历史，每一次划时代的变革都是以新工具的出现和应用为标志的。蒸汽机把人们从农业时代带入了工业时代，计算机和互联网把人们从工业时代带入了信息时代，而如今“大数据”时代已经到来，它源自信息时代，又是信息时代全方位的深化应用与延伸。“大数据”时代的生产原材料是数据，生产工具则是“大数据”技术，是对信息时代所产生的海量数据的挖掘和分析，从而快速地获取有价值信息的技术和应用。

㈡“大数据”的量级

20多年来，各个领域特别是信息领域的数据量的加速增长，是“大数据”概念产生的基础。专家测算，2000年全球新产生的数据量为1000PB到2000PB，到2010年仅仅全球企业一年新存储的数据量就超过了7000PB。

大数据＝海量数据＋复杂类型数据。目前全球每年产生的数据量是ZB级，到2015年会达到35个ZB。这表明，海量存储已经达到了ZB级（1ZB=1000 PB，1PB=1000TB，1TB=1000GB，1GB=1000MB），对于硬件系统已经超出了传统的设计概念。

㈢“大数据”的特点

国际数据公司（IDC）认为，某项技术要想成为“大数据”技术，必须满足IBM所描述的三个“V”：多样性(variety)、大容量(volume)和时效性高(velocity)。多样性是指数据应包含结构化的和非结构化的数据；大容量是指聚合在一起供分析的数据量必须是非常庞大的；时效性高则是指数据处理的速度必须很快。

具体来说，“大数据”具有4个基本特征：一是数据体量巨大。百度资料表明，其新首页导航每天需要提供的数据超过 1.5PB（1PB=1024TB），这些数据如果打印出来将超过5千亿张A4纸。有资料证实，到目前为止，人类生产的所有印刷材料的数据量仅为200PB。二是数据类型多样。现在的数据类型不仅是文本形式，更多的是图片、视频、音频、地理位置信息等多类型的数据，个性化数据占绝对多数。三是处理速度快。数据处理遵循“1秒定律”，可从各种类型的数据中快速获得高价值的信息。四是价值密度低。以视频为例，一小时的视频，在不间断的监控过程中，可能有用的数据仅仅只有一两秒。

㈣“大数据”技术的构成

如果说“大数据”是一种技术，又具体包括哪些技术？专家认为，“大数据”技术由四种技术构成：它们包括：分析技术、存储数据库、NoSQL数据库、分布式计算技术。

各种研究表明，“大数据”是与智能制造、无线网络革命并行的又一次颠覆性的技术变革。其具体内容包括：海量数据分析技术、“大数据”处理技术、分布式计算技术、数据可视化技术。

三、美国正在全面推进“大数据”研发

2012年3月29日，奥巴马总统发布《大数据研发倡议》，开启了美国“大数据”全面研发工作，“大数据”作为信息时代获取、处理与利用信息的一项核心技术，正改变着国家安全、社会经济发展乃至人类生活的各个方面，已成为信息时代大国竞争的一个战略性的新领域。美国甚至流行一句谚语叫“除了上帝，任何人都必须用数据来说话”。美国政府把“大数据”看成是“未来的新石油”。

美国政府宣布“大数据研究和发展倡议（Big Data Research and Development Initiative）”，来推进从大量的、复杂的数据集合中获取知识和洞见的能力。《大数据研究和发展倡议》提出，将提升美国利用收集的庞大而复杂的数字资料提炼真知灼见的能力，协助加速科学、工程领域创新步伐，强化美国国土安全，转变教育和学习模式。《大数据研究和发展倡议》还承诺将在科学研究、环境保护、生物医药研究、教育以及国家安全等领域利用“大数据”技术进行突破。

该倡议涉及联邦政府的6个部门（美国国家科学基金（NSF）、美国国家卫生研究院（NIH）、美国能源部（DOE）、美国国防部（DOD）、美国国防部高级研究计划局（DARPA）、美国地质勘探局（USGS）等六个部门）。这些部门承诺将投资总共超过两亿美元，来大力推动和改善与“大数据”相关的收集、组织和分析工具及技术。在这份倡议中还透露了多项正在进行中的联邦政府各部门的大数据计划。主要内容如下：美国国家科学基金和美国国家卫生研究院主要推进大数据科学和工程的核心方法及技术研究，项目包括管理、分析、可视化、以及从大量的多样化数据集中提取有用信息的核心科学技术；国防部高级研究局项目主要推进大数据辅助决策，集中在情报、侦查、网络间谍等方面，汇集传感器、感知能力和决策支持建立真正的自治系统，实现操作和决策的自动化；美国能源部试图通过先进的计算进行科学发现，提供2500万美元基金来建立可扩展的数据管理、分析和可视化研究所；美国地质勘探局通过给科学家提供深入分析的场所和时间、最高水平的计算能力和理解大数据集的协作工具，催化在地理系统科学的创新思维。

五、“大数据”技术在工控行业中的若干应用研究

㈠在电力行业的若干应用研究

在电力行业，坚强智能电网建设及“三集五大”管理体系的决策部署，对数