大数据分析在城市照明管理系统中的应用

大数据分析在城市照明管理系统中的应用摘要：城市照明监控历史运行数据往往蕴含着大量的潜在信息和知识，人们迫切需要对有价值的数据进行深度挖掘，并将获得的成果应用于运行状况评估、异常预警和运营参数调优中。基于城市照明监控历史运行数据，提出了一种基于大数据分析技术的应用方法，对海量运行数据进行聚类分析，以及对场景模式进行划分得到判别决策树，并对实时监测过程中的动态数据进行离群点分析，从而判别当前设备运行状况。结合应用实例对模型进行合理性验证，证明了该方法的可行性。

关键词：大数据分析聚类分析判别决策树离群点分析

随着社会的不断进步和计算机技术的快速发展，信息系统在各领域快速拓展，系统采集、累积和处理的数据越来越多，信息增速也不断加快，这也预示着大数据时代已经到来。麦肯锡认为，“大数据”指所涉及的数据集规模超过了传统数据库软件获取、存储、管理和分析的能力［1］。

虽然现实世界产生的数据量不断增长，但其中可理解的比例却不断下降，人们迫切需要对大数据进行分析，以了解海量数据背后的重要信息和知识，大数据分析技术应运而生。大数据分析是基于IT技术、数据挖掘、统计分析等多门学科的成果应用，通过从海量数据中分析出有效模式，获取存在的关系和规则并对发展趋势作出预测，这也是大数据生态环境中的最重要一环——使数据产生价值。

经过城市照明管理行业20多年的快速发展，路灯远程自动化监控技术有了很大提高。监控系统每分钟都会产生实时监控数据，运行至今的

系统大都已经存储了庞大数据，它们记录了照明监控设备的运行状况。但是人们更关心它们背后隐含着的知识和信息，这些“数据”中的“数据”可用于运行状况评估、异常预警和后续运营参数调优，对照明管理部门降本增效、不断改善服务质量具有积极指导意义。由此可见，大数据分析技术应用于城市照明管理行业尤为迫切和必要。

一、大数据分析理论

大数据分析理论指从海量数据中分析和挖掘出知识的方法，本文主要采用聚类、分类等方法。

1、数据仓库建立

进行大数据分析前必须收集待分析的数据资源，虽然数据挖掘可直接从操作数据源中挖掘信息，但建议从专用性和可靠性角度考虑，不采用原有的数据库或数据结构，而是将待分析数据存入数据仓库中。数据仓库是一个集成、相对静态、面向主题的数据集合，通过建立数据仓库，可将异种数据源中的数据通过集成，从而构成语义上一致的数据存储体系结构，它可按不同的主题划分管理决策所需信息，为查询、分析和决策打下基础［2］。

2、特征提取

数据仓库中的集合包含了大量特征，为了通过聚类分析发现潜在的运行模式，需要从序列数据中提取反映运行情况的重要特征向量。

这主要有两方面的工作：一方面为了让模型更容易理解，需要降低数据集的维度，删除不相关的特征并降低噪声，使大数据分析算法效果

更好；另一方面通过创建新属性树，将一些旧属性合并或创建新的属性，这样可更有效地捕获数据集中的重要信息。

最常使用的特征集提取技术都是高度针对某一具体领域，一旦大数据分析用于其它领域，首要任务就是找到新的特征并进行特征提取。

3、数据预处理

由于待分析数据可能存在数值区间范围较大、且不同时间段内变化快的问题，因此在大数据分析之前必须使用转换方法进行标准化处理。

数据标准化转换也是大数据分析中常见的转换措施之一，它通过将数据按照比例进行缩小，使之归入一个较小区间范围内，为数据分析建立相对平等的基础。标准分数（Ｚ－ｓｃｏｒｅ）是一种数据标准化的重要方法，能够真实地反应一个分数距离平均数的相对标准距离，标准分数可由式（1）求出：

其中，Ｘ为被标准化的数据，μ为数据集的平均值，σ为数据集的标准差。Ｚ值代表着原始数据和数据集平均值之间的距离，它能表明原始数据在数据类集中的位置，方便在不同分布的数据之间进行比较［3］。

4、聚类算法

聚类就是将数据对象分为多个类，类内数据点具有较高的相似度而距离近，类间数据对象差别大而距离点远［4］。聚类技术可以将数据集划分成不同的子集集合，它们在空间上都是一个稠密的区域，能方便实现对数据的分析。Ｋ－Ｍｅａｎｓ是最为经典的一种基于划分的聚类算

法，它采用数据点之间的距离作为评价度量指标，也即将距离比较相近的对象组成类，以得到紧凑而独立的类作为最终目标［5］。Ｋ－Ｍｅａｎｓ算法的基本工作过程：首先随机选择ｋ个数据作为初始质心，将数据对象根据其与各个类的质心距离进行划分，之后重新计算各个类的质心，循环执行直到目标函数最小为止［6］。类的质心为类内所有点的算术平均值，对象到质心的距离一般采用欧几里得距离，可由式（2）求出：

其中，（Ｘ１，Ｙ１）为质心坐标，（Ｘ２，Ｙ２）为样本数据。目标函数采用平方误差准则函数，可由式（3）求出：

其中，Ｃi为第i个簇，Ci为簇Ｃi的质心，Ｋ为簇的个数，X为数据对象，dist为标准欧几里得距离[7]。

5、分类算法

数据分类目的是通过构建一个分类模型，将数据集中的所有项映射到给定类别中的某一项，用于归纳和描述重要数据的分类情况。判别决策树是用于数据分类和预测未来的主要技术，它基于从一类无规则的数据中推理出规律性模型的分类规则［8］。它采用自顶向下方法，在树的节点进行属性值的比较，并根据不同值判断向下分支，最后在树末端的叶节点得到结论。该算法主要基于信息论中的熵理论，把信息增益率作为

节点分支属性选择的度量标准，获得最终的决策规则。各属性的信息增益率可由式(4)求出：

其中，Ｓ为数据集，Ａ为分割属性，Gain为信息增益，SplitInfo 为分裂信息量。分裂信息量可由式(5)求出：

其中，ｓ为数据子集，ｓi为分割属性，ｃ为数据子集样本数［7］。

6、离群点检测

离群点是数据集中与正常点有较大差异的那一类数据点，在数据点中找出异常点是离群点检测的主要任务。离群点检测在大数据分析中有重要应用，它采用基于距离的异常点检测算法，以欧式距离为衡量标准，找到脱离给定数据集的异常数据。离群点检测算法：根据分类结果选择该数据对象的质心，计算该数据对象到质心的欧氏距离，根据区间范围判断是否为离散点［7］。

二、大数据分析方法

1、城市照明管理相关数据

城市照明运行管理数据具有非常重要的参考价值，可通过对这些数据进行分析，挖掘其中有价值的信息，从而为故障报警、状况预测和决策支持奠定基础。

城市照明运行管理数据按逻辑分类，有动态监控数据和静态业务数据，监控数据分为照明实时数据和故障数据，业务数据分为资产数据和