基于模糊聚类得到电力系统人工智能模型有效性评价方法

基于模糊聚类得到电力系统人工智能模型有效性评价方法
发布时间：2023-05-23T02:08:37.263Z 来源：《科技潮》2023年7期作者：陶俊郭庆浦正国高亮刘晓飞[导读] 由于电力系统人工智能模型的来源复杂、验证维度不统一，无法实时、精准分析模型的有效性，提出基于模糊聚类得到电力系统人工智能模型有效性评价方法。

安徽继远软件有限公司安徽省合肥市 230032摘要：由于电力系统人工智能模型的来源复杂、验证维度不统一，无法实时、精准分析模型的有效性，提出基于模糊聚类得到电力系统人工智能模型有效性评价方法。

选择功能性、鲁棒性、安全性、效率性作为电力系统人工智能模型的评价指标，确定各评价指标的权
重，基于模糊聚类得到模型总评价值，根据评价值判定模型等级，实现电力系统人工智能模型有效性的评价。

实验结果表明，设计方法评价电力人工智能算法模型有效性所得总评价值为92.2，将模型判定为L3（成熟级），与真实值一致，验证了该方法的准确性。

关键词：模糊聚类；电力系统；人工智能模型；有效性评价；中图分类号：P33.6 文献标识码：A
引言
21世纪以来，我国电力人工智能新技术发展速度较快，为满足国网公司输电线路巡检图像识别、变电站巡检图像识别等业务，种类丰富、应用面广且更新迭代速度快的人工智能模型受到了广泛关注。

对于相同算法模型需求，可以通过自研、采购、合作等多种方式满足，导致模型的来源较广，需要进行模型验证，从而确定模型的效果与质量。

然而，在评价电力系统人工智能模型的有效性时，由于各单位根据自身的业务需求和泛在电力物联网发展规划，研发、采购的人工智能模型仅用于支撑自身业务升级，来源复杂，验证维度不统一，尚未形成验证机制，同时临时搭建验证环境，维护成本高、成本浪费，导致人工智能算法模型技术验证工作存在临时搭建、无法复用，造成资源浪费，无法实现实时、便利的验证操作，同时缺乏模型准确率、运行资源、运行速度等关键指标验证功能，无法对模型进行有效的分析。

因此，本文深入研究电力系统人工智能模型有效性评价方法，为提升我国电力行业数字化业务基础支撑能力作贡献。

1选择人工智能模型评价指标
本文在设计电力系统人工智能模型有效性评价方法时[1]，首先需要结合电网具体业务应用场景来选择模型评价指标，具体的选取规则为：电力人工智能算法模型有效性的评价需要包含功能性、鲁棒性、安全性及效率性这几方面内容[2]；功能性评价至少应包含目前所有的评价指标；安全性与鲁棒性评价应选用与功能性相同的指标。

那么本文所选择的电力系统人工智能模型的评价指标如下表所示：
表1电力人工智能算法模型的评价指标
轮廓系数SC按照以下公式计算：
（3）
式中，RI表示正确决策的比率；表示兰德系数的期望值；MI表示给定数据集U、V中样本标签的不同分配情况；表示互信息的期望值；、分别表示数据集U、V的信息熵；表示向量i到所有它属于的簇中其他点的距离；表示向量j到某一不包含它的簇内的所有点的平均距离。

本文为评价电力系统人工智能模型是否可以在数据集中样本发生变动时仍能维持性能，分别对原始数据样本进行变动后，计算模型在变动后数据集上的功能性指标，即可评价模型的鲁棒性。

同时本文为评价电力系统人工智能模型的安全程度，分别通过黑盒攻击算法与白盒攻击算法来构建攻击样本数据集，并计算出模型在攻击样本数据集上的功能性指标，即可评价模型的安全性。

最后本文为评价电力系统人工智能模型的运行效率是否满足要求，分别计算了模型完成测试数据集推理的平均时间及模型运行需要占用的最大内存，并选用下式所示的浮点运算次数来衡量效率性：
（4）
式中，H、W、Cin分别表示输入特征图的高、宽及通道数；K表示卷积核大小；表示输出特征图的通道数。

综上，本文在评价电力系统人工智能模型的有效性时，分别选择了功能性、鲁棒性、安全性及效率性这几个一级指标，以及它们所对应的二级指标。

2确定评价指标权重
由文中上述内容可知，本文在评价电力系统人工智能模型有效性时，选用了多评价指标，而每一个指标对有效性评价结果的影响程度各不相同，所以本章将通过层次分析法来确定各评价指标的权重[4]，确保电力系统人工智能模型有效性评价结果更加科学、合理。

那么本文确定电力系统人工智能模型有效性评价指标权重的具体流程如下：首先根据层次分析法构建一个递阶层次的评价指标结构[5]；然后按照该递阶层次结构建立一个判断矩阵，在该矩阵中，本文采用相对权重来表示下层评价指标中第i个元素与第j个元素相对上一层评价指标的重要性，假设判断矩阵中共有n个元素参与比较，那么本文所构建的判断矩阵表达式如下所示：
式中，表示判断矩阵的最大特征值；表示与相对应的正规化特征向量；表示的分量，也就是相应元素的权重值。

最后，需要对得到的评价指标权重进行一致性检验，主要用于检测判断矩阵的逻辑是否合理，所得各指标权重是否可用，只有一致性检验结果达到要求，才能确定该电力系统人工智能模型有效性评价指标权重有意义。

3基于模糊聚类的人工智能模型等级判定
自1965年模糊数学的概念诞生以来，越来越多具有模糊特性的行业中运用到了模糊集合论的知识[7]，由于电力系统人工智能模型的有效性本身就是一种适用性而不是规格符合性，具有较强的模糊属性，所以本文引入了模糊聚类分析，对电力系统人工智能模型的有效性进行评价[8]。

电力系统人工智能模型的有效性，其自身独特的形式使得它无明确的定义与评定准则，所以本文需要基于模糊数学的理论，获得电力系统人工智能模型有效性的模糊属性及其表示，假设模型有效性模糊评价标准的表示方法为，在根据文中上述内容确定电力系统人工智能模型有效性评价指标权重后，基于模糊统计构建如下式所示的评价模型：
一般来说，如果电力系统人工智能模型失效，那么该模型就会存在潜在危险[9]，且潜在危险的严重性等级各不相同，本文综合了电力系统人工智能模型的评价指标表现与模型失效的危险严重等级，对模型等级进行判定，并将模型等级划分为L3、L2、L1这三个等级，根据
模型等级判定结果直观且客观地呈现出电力人工智能算法模型的有效性。

综上，本文基于模糊聚类分析[10]，对电力人工智能算法模型各性能的评价值进行加权，得到了总评价值，并参考表2对模型等级进行了判定；根据人工智能算法应用的不同阶段，评价模型时可以从部署应用前的入网评价与部署应用后的应用效果评价两个角度出发；只有电力人工智能算法模型等级达到可实用级及以上才能入网进行部署应用。

4实验分析4.1实验准备
为判断本文所提电力系统人工智能模型有效性评价方法的准确性，选取某公司成功申报的人工智能模型进行验证，该人工智能模型全面覆盖了电网作业计划、作业准备、作业实施、作业监督及作业评估等流程，实现了对电网标准化工作规范的线上信息化全流程管控，主要应用场景如下图所示：
图1电力系统人工智能模型应用场景
要想对该电力人工智能算法模型进行验证，首先需要选取评价测试数据集；测试数据集应与训练数据集具有互斥性，也就是这两个数据集不能重合；测试数据集和训练数据集中样本数量的比例约为3：7；测试数据集中目标样本与非目标样本的比例约为9：1；测试数据集中图像文件应选择RGB三通道彩色图像，图像分辨率不宜过低。

在确认所选评价测试数据集中样本准确无误，未被人为添加的恶意数据污染后，根据文中上述步骤，对该电力人工智能算法模型进行评价。

4.2结果分析在利用本文方法对电力人工智能算法模型有效性进行评价之后，得到评价结果与真实结果的对比情况，如下表所示：表3 电力人工智能算法模型的准确性检验
由表3中数据可知，该电力人工智能算法模型的功能性与鲁棒性的评价值均在90以上，说明该模型不仅实现的功能可以满足工程要求，而且在样本变动时仍能维持性能，但该电力人工智能算法模型的安全性与效率性的评价值未达到90，说明该模型的安全程度与运行效率仍需要进一步优化完善。

本文在选择了功能性、鲁棒性、安全性与效率性作为模型一级评价指标时，可以综合反映模型的产出能力以及数据稳健性，促使模型有效性评价的细节得到丰富，所以采用设计方法进行电力人工智能算法模型有效性的评价可以符合实际情况。

综合来看，利用本文所提方法评价的电力人工智能算法模型总评价值为92.2，根据表2可将该模型判定为L3（成熟级），同时根据模型的真实结果可将该模型判定为L3（成熟级），二者一致，由此可以说明，本文设计方法不仅可以实现电力人工智能算法模型有效性的评价，且具有较高评价精度，可以满足我国电力行业的业务需求。

5结束语
随着人工智能上升到国家战略高度，该技术与我国电力系统的融合愈发紧密，电力人工智能算法模型有着广阔的应用前景。

但是，反观模型应用场景，如电力故障诊断、异常用电行为检测等，难以获取样本数据的同时缺少科学合理的评价指标，导致人工智能模型验证上难以有所突破，所以本文深入研究电力人工智能算法模型有效性的评价方法，文中充分考虑模型验证数据与验证标准之间的相互关系，提出具有一定普适性的先进模型评价指标以及等级判定准则，并通过实验验证了该方法的可行性与可靠性，为打造电力业务“智能+”创新服务体系和坚强智能中台奠定理论基础。

参考文献：
[1]张苧予.如何评价职业学校教师教学的有效性——基于学生知识图谱增值模型的策略[J].中国职业技术教育，2022（17）：49-54.
[2]刘赛可，何晓群，夏利宇.不平衡数据下模型评价指标的有效性探讨[J].统计与决策，2022，38（19）：5-9.
[3]张浩轩，陆进，蒋成义，等.基于人工智能技术的鼻咽癌风险预测模型的构建与评价[J].南方医科大学学报，2023，43（02）：271-279.
[4]郭丽芳，丁徽，杨寅，等.面部损容性色素性疾病人工智能诊断模型的建立与评价[J].临床皮肤科杂志，2021，50（09）：536-539.
[5]崔海蓉，费金峰，田华，等.基于模糊聚类-关联规则的气象条件对交通阻断影响评估分析[J].科学技术与工程，2021，21（36）：15655-15660.
[6]薛海，胡李军，李强.基于模糊聚类的高表征度地铁构架应力谱编制方法[J].中国铁道科学，2022，43（05）：102-110.
[7]李海莲，蔺望东，林梦凯，等.基于BSC-FAHP和灰色聚类评价模型的农村公路养护管理绩效评价[J].重庆交通大学学报（自然科学版），2022，41（04）：46-53.
[8]魏文军，李政，武晓春，等.基于模糊聚类算法的S700K型电动转辙机运行状态评估[J].铁道学报，2022，44（04）：74-81.
[9]殷喆，杨春来，袁晓磊，等.基于模糊聚类的NO_x排放多模型预测优化[J].热力发电，2022，51（04）：105-111.
[10]蓝燕金，简文彬，罗金妹，等.基于灰色定权聚类模型的公路边坡水毁风险等级评价[J].福州大学学报（自然科学版），2021，49（01）：101-107.。