一种基于模糊聚类与深度强化学习的风电场功率预测方法[发明专利]

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202011164303.9
(22)申请日 2020.10.27
(71)申请人 华能酒泉风电有限责任公司
地址 730070 甘肃省兰州市安宁区通达街3
号
申请人 北京金风慧能技术有限公司　
西安电子科技大学
(72)发明人 郝小会　杨正军　郝延　韩自奋　
马辉　杨奎　何大鹏　彭艺　
苏海晶　王东　张超　章云　
(74)专利代理机构 西安鼎迈知识产权代理事务
所(普通合伙) 61263
代理人 李振瑞
(51)Int.Cl.
G06Q 10/04(2012.01)
G06F 30/27(2020.01)G06K 9/62(2006.01)G06N 7/02(2006.01)G06N 3/04(2006.01)G06N 3/08(2006.01)
(54)发明名称一种基于模糊聚类与深度强化学习的风电场功率预测方法(57)摘要本发明属于新能源发电领域，尤其是一种基于模糊聚类与深度强化学习的风电场功率预测方法，针对现有的预测往往很难做到精确预测的问题，现提出如下方案，其包括以下步骤：S1、采用数学方法分析温度、湿度、风力级与风速的相关性；S2、利用模糊聚类算法对大量实测数据的研究分析，依据样本的相似性对数据复杂繁多的历史样本进行分类，选取与风速有较大相似性的数据来作为预测模型的训练数据；S3、构建深度强化学习神经网络，其中深度学习主要分析输入的历史样本信息，进而从中提取相应的特征信息，本发明实现功率预测控制的目标，既优化了数据，又优化了网络，结合两者的优势，以期获得
更为精确地功率预测技术。

权利要求书2页 说明书6页 附图2页CN 112288157 A 2021.01.29
C N 112288157
A
1.一种基于模糊聚类与深度强化学习的风电场功率预测方法，其特征在于，包括以下步骤：
S1、采用数学分析方法讨论温度、湿度、风力等级与风速的相关性；
S2、利用模糊聚类算法对大量实际测量数据的进行研究，依据样本相似性对复杂数据的历史样本进行分类，选取与风速有较大相似性的数据来作为预测模型的训练数据；
S3、构建深度强化学习神经网络，其中深度学习主要分析输入的历史样本信息，进而从中提取相应的特征信息，强化学习将基于深度学习所得到的特征信息进一步根据控制方法规则和所训练的人工智能系统，形成对风电场功率预测的一种新的组合预测模型，实现对预测模型的两次优化。

2.根据权利要求1所述的一种基于模糊聚类与深度强化学习的风电场功率预测方法，其特征在于，所述S1中，采用概率统计中的相关系数的概念，将最大风速、最小风速、平均风速与其对应的最高温度、最低温度和平均风力级组成二维随机向量，并计算相关系数，以此反应风速与主要气象因素的相关程度。

3.根据权利要求1所述的一种基于模糊聚类与深度强化学习的风电场功率预测方法，其特征在于，所述S2中，模糊聚类的具体处理过程如下：
对数据进行标准化，选较强分辨力的特征来作为数据分类的统计指标：
是数据的平均值，δ是数据的标准差，假设待分类的集合为X＝{x 1,x2,...,x n}，按照标准对集合中的元素进行赋值，赋值为0～1之间的一个数为相似系数，相似系数代表着元素间的相似程度，则确定相似系数的过程称之为标定；
集合X＝{x1,x2,...,x n}，其中x i＝{u i1,u i2,...,u im}，u i1,u i2,...,u im为一组特征因素数据，可以用来表征x i。

x i与x j之间的相似系数为r ij(0≤ri j≤1)，当r ij＝0，x i与x j的相似度为0，两者完全不同；当r ij＝1时，x i与x j的相似度为1，二者相同，r ij的值可以用数量积法来选取：
由于各特性指标的量纲和数量级是不相同的，需要将风速、温度数据进行规格化处理；
对所需数据规格化处理完成后，就要对前天的历史数据建立模糊相似关系，计算样本之间的欧氏距离，以欧氏距离最短的类别作为待预测的类别。

4.根据权利要求1所述的一种基于模糊聚类与深度强化学习的风电场功率预测方法，其特征在于，所述S3中，将预处理后的训练数据输入到深度强化学习卷积神经网络中，利用人工智能的强大数据分析和学习能力提取输入数据信息相应的特征信息，根据控制方法规则和所训练的系统，实现功率预测控制的目标。

5.根据权利要求1所述的一种基于模糊聚类与深度强化学习的风电场功率预测方法，其特征在于，所述S3中，以风电系统精准功率预测为目标，将先验的训练样本数据作为深度强化学习和控制网络的输入，并利用数据分析和智能学习的功能，在大量样本训练的基础
上，获得卷积循环神经网络控制器，控制策略评估器根据所采集k时刻风电系统的奖励函数生成样本和估计回报函数，权重更新率基于所得到的回报函数，得到相应的深度学习网络权重，经过所提出的深度强化学习协同控制方法不断学习与迭代，输出所预测的精细化风电场功率。

一种基于模糊聚类与深度强化学习的风电场功率预测方法
技术领域
[0001]本发明涉及新能源发电技术领域，尤其涉及一种基于模糊聚类与深度强化学习的风电场功率预测方法。

背景技术
[0002]随着目前传统能源的日益枯竭,新能源与可再生能源技术逐渐兴起，其中，太阳能、风能资源丰富，但太阳能与风能随季节、天气、环境等的无规律性变化,导致其并网发电的不稳定性，是制约整个电力系统安全稳定运行的瓶颈因素，快速而准确地进行功率预测，能够实现电网安全、有序、稳定运行。

[0003]风能具有很强的随机性和波动性，这两种特性将会导致接入电网的风电功率带有剧烈的波动特性，给系统带来一系列问题，严重时还会破坏电力系统经济、安全、稳定和可靠的运行状态，因此精确有效的风电场风速及功率预测可以使运行人员提前制定调度计划、安排机组出力及系统备用等相关措施来降低风电并网所带来的影响，但是由于影响风速的因素众多以及风力自身的多变性，使得目前的预测往往很难做到精确预测，只能在算法研究、模型优化以及有用信息的提取等方面进行不断地改进，随着异常气象事件预测、供需压力周期及平衡分析、能源交易与价格预测、优化中长期运维计划、电场现金流预测及财务管理等需求的增加，中长期预测因其对上述需求的定量决策支撑能力，也得到越来越多的重视和关注。

发明内容
[0004]本发明的目的是为了解决现有技术中存在预测往往很难做到精确预测的缺点，而提出的一种基于模糊聚类与深度强化学习的风电场功率预测方法。

[0005]为了实现上述目的，本发明采用了如下技术方案：
[0006]一种基于模糊聚类与深度强化学习的风电场功率预测方法，包括以下步骤：[0007]S1、采用数学方法分析温度、湿度、风力级与风速的相关性；
[0008]S2、利用模糊聚类算法对大量实测数据的研究分析，依据样本的相似性对数据繁多的历史样本进行分类，选取与风速有较大相似性的数据来作为预测模型的训练数据；[0009]S3、构建深度强化学习神经网络，其中深度学习主要分析输入的历史样本信息，进而从中提取相应的特征信息，强化学习将基于深度学习所得到的特征信息进一步根据控制方法规则和所训练的人工智能系统，形成对风电场功率预测的一种新的组合预测模型，实现对预测模型的两次优化。

[0010]优选的，所述S1中，应用概率统计中的相关系数的概念，将最大风速最小风速、平均风速与其同的最高温度、最低温度、平均风力级组成二维随机向量，计算二维随机向量的相关系数，以此反应风速与主要气象因素的相关程度，衡量变量之间相关程度的指标是相关系数，相关系数一般用表示ρ表示，是一个无量纲的数值，其取值范围为[-1,1]，|ρ|值越大，表示两个变量之间的线性相关程度越高；反之，两个变量之间的线性相关程度越低，其
中，最低温度与风速略呈正相关，温度的上升，风速可能会增大；最高温度与风速呈负相关，最高温度的上升，风速将会减小；平均风力级风速呈正相关，风力级的增强，风速也会增大，与平均风速的相关系性最大；冬季时，风速与温度的相关性春季时最小，夏秋季节时，风速与风力级的相关性较大。

优选的，所述S2中，模糊聚类的具体处理过程如下：
[0011]选择较强分辨力的代表特征来作为数据分类的统计指标，并对数据进行标准化：
[0012]
[0013]为数据的平均值，δ是数据的标准差，假设待分类事物的集合为X＝{x1,x2,..., x n}，按照实际情况和标准对集合中的元素进行赋值，赋值为0～1之间的一个数，为相似系数，相似系数代表着元素间的相似程度，确定相似系数的过程称之为标定；
[0014]集合X＝{x1,x2,...,x n}，其中x i＝{u i1,u i2,...,u im}，u i1,u i2,…,u im为一组特征因素数据，可以用来表征x i。

x i与x j之间的相似系数为r ij(0≤ri j≤1)，当r ij＝0，x i与x j的相似度为0，两者完全不同；当r ij＝1时，x i与x j的相似度为1，二者相同，r ij的值可以用数量积法来选取：
[0015]
[0016]因为各个特性指标的量纲和数量级不相同，需要将风速、温度数据进行规格化处理；
[0017]对所需数据规格化处理完成后，就要对前天的历史数据建立模糊相似关系，计算样本之间的欧氏距离，以欧氏距离最短的类别作为待预测的类别，这样做能充分考虑天气相关因素的影响，有效提高预测精度。

[0018]优选的，所述S3中，将预处理后的训练数据输入到深度强化学习卷积神经网络中，利用人工智能的强大数据分析和学习能力提取输入数据信息相应的特征信息，根据控制方法规则和所训练的系统，实现功率预测控制的目标。

[0019]优选的，所述S3中，以风电系统精准功率预测为目标，将先验的训练样本数据作为深度强化学习和控制网络的输入，并利用数据分析和智能学习的功能，在大量样本训练的基础上，获得卷积循环神经网络控制器，控制策略评估器根据所采集k时刻风电系统的奖励函数生成样本和估计回报函数，权重更新率基于所得到的回报函数，得到相应的深度学习网络权重，经过所提出的深度强化学习协同控制方法不断学习与迭代，输出所预测的精细化风电场功率。

[0020]与现有技术相比，本发明的有益效果在于：
[0021]本发明利用模糊聚类技术对常规的历史数据进行处理，选取与预测有较高相似度值的几天的风速数据，然后将所选取的数据作为训练数据输入到深度强化学习网络，利用人工智能的强大数据分析和学习能力提取输入数据信息相应的特征信息，根据控制方法规则和所训练的系统，实现功率预测控制的目标，既优化了数据，又优化了网络，结合两者的优势，以期获得更为精确地功率预测技术。

附图说明
[0022]图1为本发明提出的一种基于模糊聚类与深度强化学习的风电场功率预测方法的功率预测控制原理图；
[0023]图2为本发明提出的一种基于模糊聚类与深度强化学习的风电场功率预测方法的深度强化学习控制方法与工作原理图；
[0024]图3为本发明提出的一种基于模糊聚类与深度强化学习的风电场功率预测方法的循环神经网络结构图；
[0025]图4为本发明提出的一种基于模糊聚类与深度强化学习的风电场功率预测方法的流程图。

具体实施方式
[0026]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

[0027]参照图1-4，一种基于模糊聚类与深度强化学习的风电场功率预测方法，包括以下步骤：
[0028]S1、采用数学方法分析温度、湿度、风力级与风速的相关性；
[0029]S2、利用模糊聚类算法对大量实测数据的研究分析，依据样本的相似性对数据繁多的历史样本进行分类，选取与风速有较大相似性的数据来作为预测模型的训练数据；[0030]S3、构建深度强化学习神经网络，其中深度学习主要分析输入的历史样本信息，进而从中提取相应的特征信息，强化学习将基于深度学习所得到的特征信息进一步根据控制方法规则和所训练的人工智能系统，形成对风电场功率预测的一种新的组合预测模型，实现对预测模型的两次优化。

[0031]本发明中，S1中，应用概率统计中的相关系数的概念，将最大风速最小风速、平均风速与其同的最高温度、最低温度、平均风力级组成二维随机向量，计算二维随机向量的相关系数，以此反应风速与主要气象因素的相关程度，衡量变量之间相关程度的指标是相关系数，相关系数一般用表示ρ表示，是一个无量纲的数值，其取值范围为[-1,1]，|ρ|值越大，表示两个变量之间的线性相关程度越高；反之，两个变量之间的线性相关程度越低，其中，最低温度与风速略呈正相关，温度的上升，风速可能会增大；最高温度与风速呈负相关，最高温度的上升，风速将会减小；平均风力级风速呈正相关，风力级的增强，风速也会增大，与平均风速的相关系性最大；冬季时，风速与温度的相关性春季时最小，夏秋季节时，风速与风力级的相关性较大。

[0032]本发明中，S2中，模糊聚类的具体处理过程如下：
[0033]选择较强分辨力的代表特征来作为数据分类的统计指标，并对数据进行标准化：
[0034]
[0035]为数据的平均值，δ是数据的标准差，假设待分类事物的集合为X＝{x1,x2,…, x n}，按照实际情况和标准对集合中的元素进行赋值，赋值为0～1之间的一个数，为相似系数，相似系数代表着元素间的相似程度，确定相似系数的过程称之为标定；
[0036]集合X＝{x1,x2,…,x n}，其中x i＝{u i1,u i2,...,u im}，u i1,u i2,...,u im为一组特征因
素数据，可以用来表征x i。

x i与x j之间的相似系数为r ij(0≤ri j≤1)，当r ij＝0，x i与x j的相似度为0，两者完全不同；当r ij＝1时，x i与x j的相似度为1，二者相同，r ij的值可以用数量积法来选取：
[0037]
[0038]因为各个特性指标的量纲和数量级不相同，需要将风速、温度数据进行规格化处理；
[0039]对所需数据规格化处理完成后，就要对前天的历史数据建立模糊相似关系，计算样本之间的欧氏距离，以欧氏距离最短的类别作为待预测的类别，这样做能充分考虑天气相关因素的影响，有效提高预测精度。

[0040]本发明中，S3中，将预处理后的训练数据输入到深度强化学习卷积神经网络中，利用人工智能的强大数据分析和学习能力提取输入数据信息相应的特征信息，根据控制方法规则和所训练的系统，实现功率预测控制的目标。

[0041]本发明中，S3中，以风电系统精准功率预测为目标，将先验的训练样本数据作为深度强化学习和控制网络的输入，并利用数据分析和智能学习的功能，在大量样本训练的基础上，获得卷积循环神经网络控制器，控制策略评估器根据所采集k时刻风电系统的奖励函数生成样本和估计回报函数，权重更新率基于所得到的回报函数，得到相应的深度学习网络权重，经过所提出的深度强化学习协同控制方法不断学习与迭代，输出所预测的精细化风电场功率。

[0042]由于特性指标的量纲和数量级是不相同的，需要进行规格化处理，首先通过公式(3)将风速进行规格化处理，温度数据按公式(4)进行规格化处理
[0043]
[0044]
[0045]令风机的切入风速v切入为3m/s，切出风速v切出为25m/s，额定风速v m为14m/s，故按照式(5)将各等级风速进行规格化处理：
[0046]
[0047]通过公式(4)(5)给出12个等级规格化为：等级0、1、2、10、11、12规格化为0，等级7、8、9规格化为1，等级3规格化为0.0036-0.218，等级4规格化为0.227-0.445，等级5规格化为0.456-0.7，等级6规格化为0.709-0.982。

[0048]数据规格化处理宪成后，需要对前30天的历史数掘建立模糊聚类相似关系，利用公式(6)，计算样本之间的欧氏距离：
[0049]
[0050]其中λk为指标权值，由于样本的相似度与欧氏距离成反比，样本的相似度越差，欧氏距离越大，则欧氏距离与模糊相似度形成映射关系，即：
[0051]
[0052]通过公式(7)得到一个由构成的模糊相似矩阵包含了全部样本间的模糊相似度，在矩阵R中找最小μij，可确定所有样本中i,j是具有最小相似度的样本。

将样本设为聚类中心，根据公式(3)计算出所有样本与聚类中的距离矩阵，然后根据式公式(6)计算出分别隶属于U i类、U j类的隶属度矩阵M，则可以将隶属度矩阵分为以U i为聚类中心的类W i和以U j为聚类中心的W j类。

以欧氏距离最短的类别作为待预测的类别，这样做能充分考虑天气等相关因素的影响，有效提高预测精度。

[0053]本发明拟分析风速与温度、风力等级、湿度的关系，重点是对风速与各个气象因素的函数做相关性分析，其思想是应用概率统计中的相关系数的概念，将日最大风速、最小风速、平均风速与其同的最高温度、最低温度、平均风力等级组成二维随机向量，计算二维随机向量的相关系数，以此反应风速与主要气象因素的相关程度。

[0054]拟将处理后的数据输入到深度强化学习网络中，拟利用人工智能的强大数据分析和学习能力，构建深度强化学习网络最终得到较为精确的预测结果，实现风电场精准功率预测的目的。

本发明提出的控制方法和工作原理如图1所示。

[0055]在图1中，风电功率预测系统分为两层，即模糊聚类控制层和深度强化学习网络控制层。

模糊聚类控制层的主要作用是依据样本的相似性对数据繁多的历史样本进行分类，选取与所需预测基样本有较大相似性的数据来作为深度强化学习网络控制层的输入Δr1，Δr2，…,Δr n(控制变量Δr i可以是风速、气温、温度、功率等)。

其具体过程如下：首先，以风电系统精准功率预测为目标，先验的训练样本数据及可再生能源/负荷的预测信息；其次，将模糊聚类后的样本数据信息，作为深度学习和控制网络的输入；然后，利用数据分析和智能学习的功能，在大量样本训练的基础上，获得深度学习网络控制器。

最后，经控制器处理，给出风电系统各输入样本的参考校正变量Δr1，Δr2，…,Δr n，从而在风电系统安全运行的约束条件下，预测定点风机功率预测信息。

[0056]样本生成与训练
[0057]控制策略评估与训练权重更新率分为生成样本、估计回报与更新策略三部分。

与监督学习不同，强化学习无需人工收集和标注样本，而是通过算法与环境进行交互产生样本。

具体样本生成过程为：在t＝k时刻，状态信息y(k)并记为s0；以θ(k-1)作为RNN的权重系数，输入为s0代入RNN，得到控制器提供相应的参考输入Δr1，Δr2，…，Δr n，记为a0；在底层设备控制器的作用下，在k+1时刻，底层设备运行状态信息为s1，此时令RNN权重系数不变(仍为θ(k-1))，代入RNN得到控制器提供相应的参考输入a1，以此类推，得到t＝k时刻为原点，策略RNN(θ(k-1))作用下的一条轨迹τ＝s0,a0,s1,a1,…,s T-1,a T-1,s T，该轨迹就是强化学习t＝k时刻的样本；根据所得到的样本计算奖励，从而得到控制策略的估计回报
最后，根据控制策略的估计回报，结合随机提到胡上升算法，得到每个时刻
的权重更新值。

[0058]本发明拟提出的风电系统深度强化学习控制方法和工作原理如图2所示。

[0059]在图2中，深度强化学习协同控制网络的主要作用是为各底层设备控制器提供相应的参考输入Δr1，Δr2，…,Δr n(控制变量Δr i可以是风速、气温、温度、功率等)。

其具体过程如下：在t＝k时刻，深度学习神经网络输入为样本数据的状态信息y(k)，权重参数为θ(k-1)，神经网络输出为预测的功率数据；同时，控制策略评估器根据所采集k时刻风电系统的奖励函数D(k)生成样本和估计回报函数，权重更新率基于所得到的回报函数，得到相应的深度学习网络权重θ(k)，经过所提出的深度强化学习协同控制方法不断学习与迭代，从而实现控制目标。

[0060]控制策略：
[0061]在本方案中，控制策略拟采用循环神经网络，其结构如图3所示，其中，输入数据信号，如最高气温、最低气温、平均温度、最大风力等级、最小风力等级、平均风力，循环神经网络的输入为样本数据状态信息，经过隐层由输出层为提供相应的参考输入Δr1，Δr2，…,Δr n，由于RNN的隐层具有内部循环，便于更好的处理动态信息，以提高协同控制器的动态性能。

[0062]以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

图1
图2
图3图4
说　明　书　附　图2/2页CN 112288157 A 11。