基于GN_BFGS算法的RBF神经网络短期负荷预测

基于GN -BFGS 算法的RBF 神经网络短期负荷预测赵登福,张　涛,杨增辉,谷庆利,夏道止(西安交通大学电气工程系,陕西省西安市710049)摘要:提出了应用混合GN (Gauss -Newton )-BFGS (Br oyden -Fletcher -Goldfar b -Shanno )法进行RBF (径向基函数)神经网络学习的算法。

这种方法结合GN 法与BFGS 法的特点,既尽可能地利用了问题本身的特殊结构,又能取得超线性甚至二次渐近收敛率,因此有效地提高了学习效率。

在学习过程中,利用该方法能够区分零残量和非零残量,并利用这种特点进行隐层神经元数目的自动调整,从而可以保证神经网络的学习能力和推广能力。

多个实际电网的负荷预测结果表明,该方法同神经网络的其他算法相比,具有训练时间短、预测精度高的特点。

关键词:短期负荷预测;GN -BFGS 算法;RBF 神经网络中图分类号:TM715;TP183收稿日期:2002-05-28;修回日期:2002-09-17。

国家自然科学基金重点资助项目(59937150)。

0　引言近几年来,随着电力改革的深入和电力市场的逐步建立,各电力公司对于电力系统短期负荷预测也越来越重视,无论是电网的安全运行和经济运行,还是发电公司的竞价上网、电力公司或供电公司的购电计划的制定等,都与短期负荷预测特别是日负荷预测曲线有着密切的关系。

关于负荷预测已有很多种方法:指数平滑法、卡尔曼滤波法、回归分析法、时间序列法、专家系统法、神经网络方法和模糊逻辑方法等。

其中,神经网络方法因其可以处理负荷与影响因素间复杂的非线性关系,预测精度高,而成为负荷预测中应用最广泛的方法。

梯度下降法是训练径向基函数(RBF )神经网络最常用的方法,该方法虽然简单,但其收敛很慢,易陷入局部极值点,其直接原因是它仅利用了梯度信息,并且取固定的学习步长,而且神经网络的隐层神经元数目难以确定。

为此,本文应用混合GN (Gauss -Newton )-BFGS (Br oyden -Fletcher -Goldfarb -Shanno )法[1,2]进行RBF 神经网络的学习,并将其应用于电力系统的短期负荷预测。

这种方法结合了GN 法与BFGS 法的特点,既尽可能地利用问题本身的特殊结构,又能取得超线性甚至二次渐近收敛率,因此有效地提高了学习效率。

利用该方法能够区分零残量和非零残量问题的特点。

本文提出了在学习过程中自适应调整隐层神经元数目,从而可以保证神经网络的学习能力、推广能力及学习效率。

1　RBF 神经网络RBF 神经网络[3,4]是一种多输入单输出的前馈神经网络。

如图1所示,RBF 神经网络中,隐层执行的是一种用于特征提取的非线性变换,它将输入空间映射到一个新的空间,输入层在该新的空间中实现线性组合,可调节的参数就是该线性组合的权值和控制基函数形状的参数。

该网络在理论上已证明,可以提供一般三层网络的逼近能力。

图1　R BF 神经网络Fig .1　R adial ba sis function networ k在神经网络中,隐层神经元采用的非线性函数是高斯函数: G ‖X (t )-T i ‖= exp -12‖X (t )-T i ‖R i2(1)式中:i =1,2,…,m ;m 为隐层神经元数目;X (t )=(x t 1,x t 2,…,x tn ),为训练样本集中第t 个输入样本;T i =(t 1,t 2,…,t n ),为第i 个隐层神经元的中心;Ri 为第i 个隐节点的归一化参数。

RBF 神经网络的输出为:33第27卷　第4期2003年2月25日电　力　系　统　自　动　化Automation of Electr ic P ower System s Vol.27　No.4F eb.25,2003F (X (t ),W i ,T i )=∑mi =1W iG‖X (t )-T i ‖(2)式中:t =1,2,…,N ;N 为训练样本集中的样本总数。

2　GN -BFGS 学习算法对于RBF 神经网络,其误差定义为:e (t )=y (t )-F (X (t ),W i ,T i )式中:y (t )为实际负荷值。

学习训练的过程是使样本集的总误差最小:min K E (K )=12∑n t =1(y t -y d t )2=12r T (K )r (K )(3)式中:yd t 为期望输出值;n 为样本总数;K ∈(T i ,W i ),i =1,2,…,m ;r (K )是以r t (K)=y t -y d t (t =1,2,…,N )为分量的N 维向量。

对于求解非线性最小二乘问题(3),设E (K )二阶连续可微,其一阶和二阶导数分别为:g (K )=A (K )r (K )(4) G (K )=A (K )A T(K )+∑Nt =1r t(K )¨2r t(K )=M (K )+C (K )(5)式中:A (K )=[¨r 1(K ),¨r 2(K ),…,¨r N (K )],为r (K )的[m (n +2)+1]×N 阶雅可比矩阵。

考虑下降类算法求解问题(3),希望收敛到局部最小点K *。

第k 次迭代中搜索方向s (k )满足:B (k )s (k )=-g (k )(6)式中:g (k )表示g (K (k ));B (k )是逼近G (k )的对称正定矩阵。

这个性质可保证s (k )是下降方向(即(s (k ))T g (k )<0)。

下一次迭代以线性搜索确定:K (k +1)=K (k )+a (k )s (k )(7) 精确线性搜索为:a (k )=arg min a >0E (K (k )+a s (k ))(8)由于其不能在有限步内完成,在实际应用中可采用不精确搜索,其中a (k )应满足以下两个公式:E (K (k )+a (k )s (k ))≤E (K (k ))+Q a (k )(g (k ))T s (k )(9)　ûg T (K (k )+a (k )s (k ))s (k )û≤-R (g (k ))T s (k )(10)式中:Q ∈(0,1/2);R ∈(Q ,1)。

在以上步骤中,对B (k )的不同选择即可构成不同的方法。

著名的GN 法利用了最小二乘问题的特殊结构。

在式(5)中,由于使r 在最小二乘意义下最小,通常分量r t 很小,因此可忽略G (k )(即G (K (k )))中的二阶项C (k )(即C (K (k ))),用M (k )(即M (K (k )))作为G (k )的合理近似,即:B (k )=M (k )(11)如果C (K *)=0且K (k )→K *,那么B (k )→G *,且收敛阶数是超线性甚至二次的。

否则,收敛阶数是线性的。

当A (K )降秩时,GN 法可能收敛不到驻点。

进一步,当A *降秩时,在K (k )远离K *处,s (k )与g (k )可能正交。

因此,作为一般方法,GN 法不可靠。

而对一般无约束优化问题,BFGS 法具有局部超线性收敛的性质。

每次迭代中B (k )的修正使用下列向量:D (k )=K (k +1)-K (k )(12)C (k )=g (k +1)-g (k )(13)修正公式为:B (k +1)=B BFGS (B (k ),D (k ),C (k ))=B (k )+C (k )(C (k ))T (D (k ))T C (k )-B (k )D (k )(D (k ))T B(k )(D (k ))T B (k )D(k )(14) 利用修正公式(14)的迭代方法称为BFGS 法。

初始矩阵B (1)由使用者提供,或在最小二乘问题中,当M (1)(M (1)即式(5)中的M (K (1)))正定时,取B (1)=M (1)。

显然,BFGS 法没有利用最小二乘问题的特殊结构。

文献[1]提出了求解非线性最小二乘问题的混合GN -BFGS 方法,它结合了GN 法与BFGS 法的特点,具有对零残量问题最终取GN 法,对非零残量问题最终取BFGS 法的特性。

因此,GN -BFGS 法既尽可能地利用了问题本身的特殊结构,又能在正定时使该方法保持局部超线性,对零残量问题甚至得到二次收敛特性。

其第k 次迭代的步骤如下:a .解方程式(6),确定搜索方向s (k )。

b .沿s (k )进行不精确线性搜索,确定满足式(9)、式(10)的步长。

c .由式(7)确定下一点的值。

d .置B (k +1)=B B FGS (B (k ),D (k ),C (k ))E (k )-E (k +1)E (k )<E M (k +1)其他式中:E ∈(0,1),为指定值,本文取E =0.2。

3　学习过程中隐层神经元数目的自动调整用神经网络进行函数逼近时,隐层神经元的数目决定着神经网络的学习能力和推广能力。

由于提供映射的训练样本数据一般是从现场采集的实时负荷数据,难免有一定的误差。

因此,用神经网络逼近映射时需要平滑这些误差。

神经网络学习时并不需要使定义的误差函数过分小,即为非零残量问题,然而,为保证逼近的精度,也不希望误差过分大。

这样,神经网络的学习实质上为小残量非线34 电　力　系　统　自　动　化 2003,27(4)性最小二乘问题。

GN-BFGS法提供了区别零残量和非零残量问题的判据(即迭代步骤d)。

基于此判据,在学习过程中自适应调整隐层神经元数目的方法如下:a.对给定问题,选取合适的隐层神经元数目,并给全部权值赋初值。

b.用GN-BFGS法进行神经网络学习。

如果在前面l次迭代中全为BFGS步(即根据式(14)来修正B(k)),则隐层神经元数目加1,继续步骤b;如果在前面l次迭代中大多为GN步(即根据式(11)来修正B(k)),则隐层神经元数目减1,继续步骤b。

c.学习终止的判据为隐层神经元数目为m*时,误差函数满足给定值;而隐层神经元数目为m*-1时,误差函数大于给定值。

这样,通过学习过程中对隐层神经元数目的自适应调整,能够保证训练出的网络具有足够的学习能力和较好的归纳能力。

4　基于GN-BFGS学习的RBF神经网络的短期负荷预测电力系统短期负荷预测是一个多变量预测问题,它可以被看成是一个函数回归问题。

负荷y为函数的输出值,而相应的影响负荷的因素如历史负荷、气象信息、节假日信息等,作为函数输入值X。

训练样本集由历史数据提供。

问题的最终目的是寻找一个有良好推广能力的、从影响负荷的因素到负荷的映射。

4.1　预测策略本文针对提前1d或1星期的整点负荷预测,按小时类型建立了24个神经网络模型,分别预测对应的整点负荷值。