大数据分析和深度学习在电力设备状态评估诊断中的应用

变压器故障
组合开关故障
输电线路故障
电缆故障
研究背景及驱动力
如何保障输变电设备的安全运行？
定期检修 过去 状态检修 现在
关键是及时准确评估 和预测设备状态
设备状态评估欠准确、故障预测手段匮乏，原因何在？ 影响设备状态的因素众多，现有的评估诊断方法多基于单 影响设备状态的因素众多 现有的评估诊断方法多基于单一或少数状 或少数状 态参量进行分析和判断，分析结果粗放和片面，难以及时发现潜伏性故障； 一般采用基于理论分析、计算仿真和试验测试等手段建立的机理和因 般采用基于理论分析 计算仿真和试验测试等手段建 的机理和因 果关系模型，然而设备故障机理的复杂性、运行环境的多样性，难以建立 严格、完善、精确的评估和预测模型； 一般采用固定阈值判定方法，阈值设定依赖人工经验和少量试验，难 般采用固定阈值判定方法 阈值设定依赖人 经验和少量试验 难 以保证对不同设备的适用性； 设备状态信息数据分布于电力系统各部门，数据质量参差不齐，数据 设备状态信息数据分布于电力系统各部门 数据质量参差不齐 数据 的有效提取和融合分析的难度较大，设备异常检测和评价效率较低。
数据 标记
综合 展示 分析 系统
规则 封装
数 据 质 量 评 价
电网 信息 设备 信息 环境 信息
……
多源异构数据集成和预处理技术 ——非结构化数据的规范化转换 非结构化数据的规范化转换
利用图像处理等方法，将视频图像、红外热像、局部放电图谱、波形图 像、试验报告等非结构化数据进行关键特征提取和数字化处理数字化处 理，转化为结构化数据，方便实现数据挖掘分析。
是不是属于大数据？
关键是采用更多来源数据和数据分析模型（工具）使评估预测结果 更准确，就符合大数据的特征，不必在意数据量GB、TB还是PB。 更准确，就符合大数据的特征，不必在意数据量 还是
核心优点
不需要建立复杂的物理数学模型就可以从大量数据中获得对设备状态 评价和故障预测有价值的知识，为设备状态的精细化评价和预测提供 全新的解决思路和技术手段。 结合物理模型实现多样化、复杂化的全方位分析，揭示设备状态变化 的个性化规律，提升输变电设备状态评价、诊断与预测的准确性。
2 设备状态差异化、精细化评价
2.1 基于主成分分析和关联规则的输变电设备状态关键状态参数提取方法
x11 x 21 X xn1 x12 x22 xn 2 x1 p x2 p xnp
建立基本参量矩阵X
矩阵X标准化
Z ( x)
电信
金融
智能交通
医疗卫生
视频监控
物联网
超算
制造
国家和电网企业的研究规划
2013年中国电机工程学会发布中国电力大数据白皮书； 国家科技部组织编制未来5-10年影响智能电网发展的瓶颈技术，列入了 大数据的电网分析和状态评估； 国网、南网近年来多次立项进行电力大数据基础技术及其应用的研究。
设备大数据状态评估部分重要项目 序号 1 2 3 4 5 项目名称 基于大数据分析的输变电设备状态评估基础 理论与方法 电网海量信息处理存储与应用技术研究（子 课题 设备海量信息分析与评估应用技术） 课题：设备海量信息分析与评估应用技术） 大数据分析技术在输变电设备状态评估中的 研究与应用 输变电设备运检大数据分析及监控系统应用 关键技术研究 基于大数据的输变电设备故障研判与检修辅 助技术研究 项目来源 国家自然科学基金
2 设备状态差异化、精细化评价
问题
设备状态评价大都采用统一标准的计算模型、参数和阈值， 难以保证对不同类型、不同地区设备的普遍适用性。
大数据解决方案
利用海量设备状态数据、缺陷和故障记录进行多元统计分析 和关联分析，构建后验分布函数，获得不同设备类型、不同 地区、不同厂家、甚至不同时间段的评价模型参数和阈值。
生产管理 系统 状态监测 系统 电网地理 平台 能量管理 系统 气象信息 系统 智能巡检 系统
数据 源
跨平台数据获取/转换
数据 获取
数据获取接口 数据传输策略
数据 预处 理
数据 清洗
数据 检验 噪声 平滑 离群点 识别 缺失值 填充 规则库
数据 评价
数据 转换
数据 泛化 数据 规范 化 属性 构造 数据规 范 数 据 转 换
研究背景及驱动力
随着智能电网建设和信息化水平提高,设备状态监测、生产管 理 运行调度 环境气象等大量信息的集成和共享成为必然趋势 理、运行调度、环境气象等大量信息的集成和共享成为必然趋势。
设备类型和 变压器、组合电器、断路器 数量多 架空线路、电缆…… 生产管理系统、能量管理系 数据来源多、 统、状态监测系统、…… 数据量大 电网运行、在线监测、气象 环境、…… 智能变电站、智能巡检技术 增长速度快 的广泛应用，年增长率50%100%以上 常规结构化数据与大量非结 数据结构多样 构化数据（视频图像、红外 热像、局部放电图谱……） 有时限要求 数据不断更新，需及时处理 类型多 Variety 速度快 Velocity 体量大 Volume
统计分析
传统统计分析 时间序列分析 多元统计分析
（主成分分析，多重回 归分析，典型相关分 析，……）
挖掘分析
分类分析
（ANN、SVM、模式识 别、决策树等）
机器学习
归纳学习 分析学习 类比学习 强化学习
关联分析
（Apriori 算法、FP 增长算法、频繁子图 增长算法 频繁 图 挖掘等）
大数据设备状态评估的内涵
内涵
利用日渐完善的电力信息化平台收集的大量设备状态信息、电网运 行信息和环境气象信息进行融合分析和深度挖掘，从数据本身内在规律 分 的角度发 出 价 的 识 规律 规则或模 分析的角度发掘出有价值的知识（规律、规则或模式），实现个性化的 ，实现个性 的 状态评价、设备异常状态的快速检测、状态变化和故障预测。
大数据分析和深度学习在电力设备状态评估 诊断中的应用
上海交通大学智能输配电研究所 2017.04
研究背景及驱动力 关键技术 典型应用 面临的挑战 总结与展望
研究背景及驱动力
根据行业统计，近年来我国环境影响设备和设备自身故障导 致电网事故占当年总事故仍然高达67％～85％，居高不下。Байду номын сангаас
集成学习 深度学习
高维矩阵分析
聚类分析
（基于密度 基于图） （基于密度，基于图）
大数据分析与物理数学模型相结合实 五、课题主要技术路线 现输变电设备状态评估和预测
通过大数据技术分析各类数据的关联关系及变化情况，找到数据的相 关关系和变化规律，建立基于数据驱动的评估和预测模型； 利用大量样本数据进行学习，对传统的物理数学模型和经验公式的参 数和阈值进行修正、补充完善和验证。
科技部863项目
科技部863项目 国网公司总部项目 国网公司总部项目
国家电网公司的应用规划
2015年运检部智能运检十三五规划确立了设备标准化、物联网、大数据、 云计算、移动作业五个方向的重点基础支撑技术。
智能运检技术体系
研究背景及驱动力 关键技术 典型应用 面临的挑战 总结与展望
状态量历史 数据 气象历史数 据 故障和缺陷记录的 多元统计分析 故障和缺陷的 关联规则
平均值
最大值 …. 分布曲线
设备型号
运行年限
….
生产厂家
1 海量历史数据挖掘统计分析建立知识库
缺陷与地域的关联统计分析
缺陷和时间的关联统计分析
设备缺陷\故障与状态量的关联规则
设备缺陷\故障之间的发展关联规则
为设备状态检修提供指导，为设备状态评估和预测提供历史知识支撑
2 设备状态差异化、精细化评价
2.1 基于主成分分析和关联规则的输变电设备状态关键状态参数提取方法
状态监测信息 静态信息
设备状态评价参数众多， 对所有参量进行评估效 率较低，且部分参量难 以准确获取 以准确获取。 结合设备故障、缺陷的 统计情况，提取状态评 价的关键参量。
一般 缺陷 紧急 重大 缺陷
原始数据 最终拟合数据
120
加入噪声和缺失值的序列 初始拟合结果 初始拟合误差 KNN检测的异常点
60
数值
100
40
80
20
0
20
40
60
80
100
120
140
160
180
数值
60
观测时刻 T 最终拟合残差序列
4
40
20
拟合残差数值
2 0 -2 -4
0
-20
0
20
40
60
80
100
120
140
160
180
时间
修复噪声 点和缺失 值
0
20
40
60
80
100
120
140
160
180
观测时刻 T
将低质量、局部缺损的数据处理为满足挖掘分析需要的数据
大数据分布式存储和快速检索技术
大数据存储处理技术： 存储:分布式文件存储、分布式NoSQL列存储数据库、可扩展数据仓库 存储 分布式文件存储、分布式 Q 列存储数据库、可扩展数据仓库 计算：映射规约计算、内存计算Spark、即席查询Impala 处理：实时/流处理算Storm、离线/批处理Map-reduce （设备状态诊断分析采用批处理、设备状态异常快速检测可采用流处理和 内存计算） 大数据快速检索技术： 分布式联机分析处理(distributed OLAP) 为提高设备状态评估数据检索和分析的效率，需采用二级索引技术。
xx s( x)
xx ( x x )2 n
r11 r R 21 rn1
研究背景及驱动力 关键技术 典型应用 面临的挑战 总结与展望
1 海量历史数据挖掘统计分析建立知识库
对设备状态相关的海量监测数据、试验数据、气象数据、运行数据以及设备缺 陷和故障记录进行分类的多元统计分析和关联规则挖掘 建立历史知识库 为 陷和故障记录进行分类的多元统计分析和关联规则挖掘，建立历史知识库，为 状态评价、故障诊断和预测提供支撑，也可以为状态检修辅助决策提供依据。
研究背景及驱动力
大数据技术逐步在公共安全、电子商务、电信网络、人工智能 等领域获得成功应 等领域获得成功应用，将大数据技术应用于输变电设备状态评估， 将大 技 应 输变电设备状态评估 为突破状态评估的瓶颈带来了全新的解决思路和技术手段。
科学研究的第四种范式 实验科学 理论科学 计算科学 数据分析 谷歌、亚马逊、 微软、IBM 软 和 Facebook 等国际 著名 企业将大数 据列入重点研究 发展计划
时 间
2015. 10.22
设备 名称
互感 器
最热点 温度
56度
热点 位置
相对 温升
发热 比例
5%
A相中 20度 部
多源异构数据集成和预处理技术 ——输变电设备状态数据的清洗 输变电设备状态数据的清洗
设备状态数据流
剔除离群点 识别和平滑噪声数据 填充关键缺失值
原始数据和最终拟合结果
80
140
满足状态 评估要求 的数据集
其它系统交互信息
缺陷 库 故障 分布 情况
基础参 数体系
关键 参数 体系
2 设备状态差异化、精细化评价
2.1 基于主成分分析和关联规则的输变电设备状态关键状态参数提取方法 结合电网历年故障、缺陷统计和缺陷库，通过关联规则中的置信度将参数体 结合电网历年故障 缺陷统计和缺陷库 通过关联规则中的置信度将参数体 系中各部件的基础参量量化，利用主成分分析提取各参量对主成分的权重， 以此作为依据提取设备状态评价的关键参量。
数据挖掘分析算法与并行化技术
由于大数据具有海量、复杂多样、变化快等特性，传统小数据的数据分
析算法很多已不再适用，需要对现有数据分析方法进行改进（如：基于共 算法很多 不再适 ，需要对现有数据分 方法 行改 如 轭度的SVM、并行化提高挖掘分析速度）或采用新的数据分析方法（如： 高维矩阵分析方法、深度学习）
基于大数据的输变电设备状态评估 总体思路
多维度/ 多维度 /多视角展示
基于大数据挖掘分析 的设备评估诊断
大数据存储与检索 大数据的清洗、集成 大数据的清洗 、集成、转换 集成、转换 转换
跨平台多源数据获取
多源异构数据集成和预处理技术
从生产管理系统（PMS）、能量管理系统（EMS）、输变电设备在线监测系统、 气象信息系统等不同系统中获取相关数据 形成设备全景信息库 实现电网运 气象信息系统等不同系统中获取相关数据，形成设备全景信息库，实现电网运 行、在线监测、试验数据、带电检测，气象信息、设备台账等多源信息的展示 和融合分析。（具有体量巨大、混杂性、多样性、时空关联等特点）