人工神经网络及其在电力短期负荷预测中的应用研究

摘 要 电力系统负荷预测的精度将直接影响电力系统的经济效益和用电的安全和稳定 。通过讨论短期负荷预测 , 来阐述
Levenberg2 M arquardt算法优于传统 BP算法 。并分别用 BP算法和 Levenberg2 M arquardt算法对绥龙 110 kV 变电局所属供电网
络远动采集来的负荷数据进行预测 ,来说明 Levenberg2 M arquardt算法优于传统 BP算法 。 关键词 人工神经网络 短期负荷预测 BP算法 中图法分类号 T M744; 文献标志码 A
Q Q
其中 :
S ( x) =
∑
j =1
F ( x) = vj ( ) x
2
vj ( x )
( 24 )
q =1 Q
∑
( tq - aq ) ( tq - aq ) =
Sm N
T
q =1
∑e e
T
q
q
=
当 S ( x ) 很小时 , 赫森矩阵近似表示为 :
2
q =1
∑∑
j- 1
( ej, q )
2
=
( 17 )
( 18 )
调整权值 , 以求误差达到最小 , 权值调整的幅度 , 以 一个对权值的导数大小成正比的项乘以固定的因 子 η, 这一偏导数值较大 , 权值调整的幅度大 , 使权 值调节难以收敛到最小点 。为保证算法收敛性 , 学 习率 η必须很小 , 由于偏导数值本身已很小 , 权值 调节的幅度就更小 , 需经多次调整才能将误差函数 降低 , 这是 B P算法学习速度慢的一个重要原因 。
, m =M - 1, …, 2, 1 ( 9) F ( x) = F ( x )的梯度为 :
・
m
m
m +1
) s
T m +1
1 t T x Ax + d x + c 2
( 12 )
这里
・
µ F ( x) = A x + d
m
( 13 )
f ( n1 )
・ ・
m
0
f ( n2 )
m m
… … ω
・
0 0
1. 2. 2 易陷入局部极小状态 B P算法以梯度下降法为基础的非线性方法 , 不
其中 :
Ak =
2
F ( x ) | x = xk , gk =
F ( x ) | x = xk ( 19 )
2. 1. 2 雅可比矩阵
假设 F ( x ) 是平方函数之和 , 即 :
N
F ( x) =
∑v
j =1
2. 2 L evenberg 2 M arquardt算法用于 BP 算法
多层 B P 网络训练的性能指数是均方误差 , 如 果每一个目标以相同的概率出现 , 均方误差就正比
( 23 )
T
赫森矩阵可以表示为 :
2
F ( x ) = 2J ( x ) J ( x ) + 2S ( x )
N
于训练集中所有 Q 个目标的平方误差之和 :
T
11 37
[3 ]
F ( x) = e ( k) e ( k) = ( t ( k) - a ( k) ) ( t ( k) - a ( k) ) ( 6)
可避免地存在局部极小问题
。
敏感度 : 5F 5F 5F 5F s ≡ m = m m … m 5n1 5n2 5nsm 5n
m
2 采用 L evenberg 2 M arquardt算法对 BP
电力系统由电力网 、 电力用户共同组成 , 是为 各类用户提供可靠的电能 。由于电力的生产与使 用具有特殊性 , 即电能不能储存 , 这样要求系统发 电随时紧跟系统负荷的变化 , 否则会影响供电的质 量 ,重则危及系统的安全与稳定 。电力系统负荷预 测因此发展起来 , 其作用也日益重要 。近几年 , 我 国极其严重的电力紧张 , 就更加说明电力建设必须 具有前瞻性 ,负荷预测就是其中一个关键环节
2008 年 10 月 15 日收到
: ( 1)
∑w
ji
xi
xi 为神经元的输入 , W ji 分别是它们对应的联
接权 。
aj = f ( netj ) netk = ( 2) ( 3)
∑w
ki
aj , y ′ k = ak = f ( netk )
其中 y ′ k 为网络实际输出 , ek = yk - yk 为误差信 号 , 若输出层有 n 个单元使用平方型误差函数 : ε= 1 2 性能指标 :
[ J ]h, l =
λ2 , … λn }和 { z1 , z2 , …zn } 有:
Gzi = [ H +μI ] zi = Hzi +μzi =λi zi +μzi = (λi +μ) zi ( 27 )
5vh 5ek, q 5ek, q 5ni, q 5ni, q m = m = m = si, h = m m 5xl 5w i, j 5ni, q 5w i, j 5w i, j
2
j
( x) = v ( x) V ( x)
T
( 20 )
那么第 j个梯度分量矩阵形式 :
F ( x ) = 2J ( x ) v ( x )
T
( 21 )
其中 J ( x ) 为雅可比矩阵
1138
科 学 技 术 与 工 程
9卷
5v1 ( x ) 5x1 5v2 ( x ) 5x1 J ( x) = … 5vn ( x ) 5x1
高斯 2 牛顿方法与标准牛顿法相比优点是不需 要计算二阶导数 , 能明显提高收敛速度 。为了解决
H = J J 可能不可逆 , 用近似赫森矩阵改进 : G = H +μI ( 26 ) G 则可逆 。设 H 的特征值和特征向是为 {λ 1,
T
雅可比矩阵的计算 ,用 B P 算法的变形进行计算 , 以 网络的权值和偏移值计算平方误差导数 。为产生 雅可比矩阵 , 用误差的导数来代替平方误差的导 数 , 雅可比矩阵计算如下 :
m m m m m m - 1 m
) ; ( 11 )
T
b ( k + 1 ) = b ( k ) - as
得: Δxk = - A k- 1 gk 于是得出牛顿法为 :
xk + 1 = xk - A k gk
- 1
1. 2 BP 网络算法的缺陷 1. 2. 1 学习效率低 , 收敛速度慢 B P算法是利用误差函数对权值的一阶导数来
2. 1. 3 赫森矩阵
5v1 ( x ) 5x2 5v2 ( x ) 5x2 … 5vn ( x ) 5x2
… … ω …
5v1 ( x ) 5xn 5v2 ( x ) 5xn … 5vn ( x ) 5xn
( 22 )
(如 θ = 1. 01 ) 后再重复这一步 , 如同使用最速下降
方向的一小步 , 最后 F ( x ) 会下降 。如果某一步产生 了更小的 F ( x ) , 则在下一步 μ , 这样算法 k被除以 θ 就接近于高斯 2 牛顿方法 , 提高收敛速度 , 所以 , 此方 法提供牛顿法的速度和保证收敛的最速下降法之 间的一个折衷 。
M
m +1
) , m = 0, 1 …, M - 1; ( 8)
M
提高收敛速度
[4 ]
。
反向传播 :
s = - 2 F ( n ) ( t - a) ; s = F ( n ) (W
m M
2. 1 L evenberg 2 M arquardt算法简介 2wk.baidu.com 1. 1 基本牛顿算法
・
M
M
二次函数的一般形式是 :
F ( x) = E [ e e ] = E [ ( t - a) ( t - a)
T T
n k =1
∑ (y
k
- y′ k )
2
( 4)
第一作者简介 : 韩 哲 ( 1978 —) 硕士生 ,研究方向 : 人工神经网络算 法、 电力负荷预测 。
( 5)
逼近性能指标 :
5期
T
韩 哲 ,等 : 人工神经网络及其在电力短期负荷预测中的应用研究
如果 x1 是偏置值 :
[ J ]h, l =
5vh 5ek, q 5ek, q 5ni, q m 5ni, q m = = m m = si, h m = si, h 。 5xl 5bm 5ni, q 5bi 5bi i
m m m
式中 ,新定义 Marquardt敏感度 si, h =
M arquardt敏感度计算为 :
; F ( xk
赫森矩阵为 : µ F ( x) =A 牛顿法是基于二阶泰勒级数 :
+ 1 2
F (n ) =
m
m
0
( 14 )
…
0
・
…
0
m
…
f ( nsm ) ( 10 )
m m
…
) = F ( xk +Δxk )≈ F ( xk ) + gkΔxk + Δxk A kΔxk ( 15 )
T
1 2
机电技术
人工神经网络及其在电力短期 负荷预测中的应用研究
韩 哲
1, 5
陈治平 熊斯毅
2
4, 5
黎湖广
1, 3
(湖南大学软件学院 1 ,长沙 410082,计算机与通讯学院 2 ,长沙 410082; 空军航空维修技术学院 3 ,长沙 410124;
华中科技大学 4 ,武汉 430074; 湖南鑫电自动化设备有限公司 5 ,长沙 410001)
∑( v )
j j =1
2
。
F ( x)
2J ( x ) J ( x )
T
( 24 - 1 )
其中 ej, q是第 q个输入 /目标对的误差的第 j项 元素 。上式等价于性能指数
N
2. 1. 4 高斯牛顿法
高斯 2 牛顿方法
xk + 1 = xk - [ J ( xk ) J ( xk ) ]
T - 1
[1]
法改进 ,使得 BP算法收敛速度变快 ,且不易陷入局部 极小状态。满足电力运行的需要。
1 BP 算法
1. 1 基本 BP 算法
。
设计一个三层前馈网络 ,各节点之函数为对数 2S 形传输函数 , 任一节点 i输入记为 neti , 输出记为 ai , 输 出层第 k 个节点的输出为 yk ,则节点 j的输入为
第 9卷 第 5 期 2009 年 3 月 1671 21819 (2009) 5 21136 206
科 学 技 术 与 工 程
Science Technology and Engineering
Vol19 No15 M ar. 2009
Ζ 2009 Sci1 Tech1 Engng1
si, h =
m
5vh 5ek, h = m 。 m 5ni, h 5ni, h
T
f ( nj ) =
m
m m 5f ( n j ) m 5nj
求 F ( x ) 的二次近似的驻点 , 用式 ( 3 - 4 ) 求上 式二次函数对 Δxk 的梯度并设其为零 , 有 :
gk + A kΔxk = 0 ( 16 )
权值更新 :
W ( k + 1 ) =W ( k ) - as ( a
netj =
[2 ]
短期负荷预测方面 ,应用最多的是 BP 算法进行 网络训练。因 BP算法具有很好的函数逼近能力 ,通 过对训练样本的学习 ,能很好地反映出输入 /输出之 间的复杂的非线性关系 ,且不必预先知道输入变量和 预测值之间的数学模型 , 然而 , BP 算法存在以下缺 陷 : ( 1 )学习效率低 ,收敛速度慢 。 ( 2 )它是一个非线 性优化问题 ,易陷入局部极小状态 。以前对 BP 算法 的改进 ,主要是使用动量方法 ,可变学习速度法或与 其它方法相结合 ,比如模糊算法等。但这些方法有个 缺点 ,对某些问题不能达到收敛。通过对传统 BP 算 法改进的研究 ,用 Levenberg2 Marquardt算法对 BP 算
J ( xk ) v ( xk ) ( 25 )
T
F ( x) =
∑v
j =1
2
j
( x) = v ( x) V ( x)
T
[5 ]
。
2. 1. 5 L evenberg 2 M arquardt算法
2. 2. 1 雅可比矩阵计算 Levenberg2 M arquarfdt算法中非常重要的一步是
T
算法的改进
( 7)
正向传播 :
a = p; a
m +1
Levenberg2 M arquardt 算法是牛顿法的变形 , 适 合于性能指数是均方误差的神经网络训练 。Leven2
berg2 M arquardt算法主要是使 F ( X ) 加快下降 , 从而
0
=f
m + 1
(W
m +1
a +b a =a
m m
si, h aj, h 。
m
m - 1
因此 G 的特征向量与 H 的特征向量相同 , 且 G 的特征值为 λi +μ 。对所有 I, 增加 u, 以保证 λi + μ > 0, G 为正定 , 保证矩阵可逆 。 由上面论证 , 得到 Levenberg2 M arquardt算法 :
- 1 T Δxk = - [ J T ( xk ) J ( xk ) +μ 2J ( xk ) v ( xk ) 。 k I]