电力负荷预测第九章 人工神经网络的负荷预测PPT课件

2.神经网络理论的发展概述
1943年，心理学家Mcculloch和数学家Pitts提出M-P神经元模型。 1957年，美学者Frank Rosenblatt提出感知机模型Perceptron。 60年代，Widrow提出自适应元件Adaline。 1974年，美Werbos.P提出误差反向传播算法
(Back-Propagation)。 1982年，美Hopfield提出HNN全互联网络模型及能量函数。 1985年，Bumelhart发展了BP网络算法，实现Minsky的多层网络设
想。
3.神经网络的分类
①连接方式
前向网络（BP网络） 相互结合性网络（Hopfield模型）
感知器
②网络模型
多层映射BP网络 GMDH网络 RBF网络
2.算法的基本递推关系式
向量
设学习样本 P L 个 tp1 ,tp2 , ,tpL
对应的教师信号 Xp1 ,Xp2, ,XpL
(输出的期望值)
共 P L 个样本对
正向传播输出信号 yp1,yp2, ,ypL
tPL
tP1
XPL
XP1
m 维
YPL
YP1
BP
网络 n
维
m 维
对 X
p1
而言 Ep1
BP为有教师的学习算法，以最小二乘法的最陡下降梯度。
ij
k
l
n
n1
n2
m
X BP网络各层神经元的输出为：
yl
f
n2
Wlkhk
l (l1
m)
k1
n1
hk f
W kjgjk(k1
n2)
j1
gj fnWjixi j(j1 n1)
i1
gh
Y
神经元阈值视为连接权
令
W l
l,n2 1
W k
k,n11
j Wj,n1
hn21gn11xn11
yl
f
n2
Wlkhk
l
k1
n1
hk f Wkjgjk
j1
gj
f
n
Wjixi
j
i1
ij
k
l
n
n1
n2
m
X
gh
Y
n2 1
yl f Wlk hk
k1
n11
hk f Wkj gk
j1
g j
f
n1
Wji xi
i1
W 1j
X2
W 2j
f
Yi
Xn
W nj
i
多入—— 单出
n
Si Wji X j i j1
yi f ( Si )
X —j —从其它神经元传来的信号；
i ——阈值（可看作-1的输入,权为θi）；
W j—i —神经元j到神经元i的连接权值；
f ( ) ——传递函数（节点作用函数）；
常用的作用函数
●高斯核函数 ●阈值性函数 ●S状曲线 ●分段线性函数
i
j
k
l
角标
n
n1
n2
m
维数
输入 X
gh
输出 Y
输入层 隐含层（可多层） 输出层
BP网络结构示意图
●BP网络的学习过程
正向过程：输入信号从输入层经隐含层逐层处理，并传
向输出层，每一层神经元的状态只影响下一
层神经单元。 反向过程：如果在输出层不能得到期望的输出，则将输
出信号的误差沿原来的连接通路返回。通过 修改各层神经元的权值，使误差信号最小。
1.神经网络的定义 2.神经网络理论的发展 3.神经网络的分类 4.神经网络理论的应用领域 5.神经网络的主要特性 6.神经元的描述
1.神经网络的定义
人工神经网络 (Artificial Neural Networks, ANN或NN)
——是对人脑或自然神经网络若干基本特性的抽象和模拟。 换句话说，是根据所掌握的生物神经网络机理的基本 知识，按照控制工程的思路和数学描述方法，建立相 应的数学模型，并采用适当的算法，有针对性的确定 数学模型的参数（如连接权值，阈值等），以便获得 某个特定问题的解。
yl f ( Sl )
n2 1
S l W lj h j j1
n21
PL m
( Wlkhk)
tPl yPl f' Sl
p1l1
j1
Wlk
PL m
pl f'Sl hk
p1 l1
PL m
pl hk
p1 l 1
p l ——第p个输入模式下对输出
神经元l的等效误差。
●第一隐含层——第二隐含层的权值修正
p 1l 1
k 1
PL m
n21
pl Wlk f'(Sk)gj
E
Wkj
Wkj
P L
mEpyl Sl hkSk
y p1l1 pl Sl hk Sk W kj
yl f ( Sl )
n2 1
S l W lk h k k 1
hk f ( S k )
n1 1
S k W k j g j j1
P L m
n 2 1
tP lyP lf'S l W lkf'S kgj
应用梯度法，可得各层连接权的迭代关系式为
E
Wlk(n01)Wlk(n0)W lk
E
Wkj(n01)Wkj(n0)W kj
E
Wji(n01)Wji(n0)W ji
——学习速度系数，
一般取0.01~1。
●第二隐含层——输出层的权值修正
E
Wlk
Wlk
PL
m Ep yl Sl
y p1l1 pl Sl Wlk
1 m 2 l1
tp1l yp1l
2
若输入所有 P L 个样本对，网络的总误差为
E
PL
1PL m
p1EP2p1l1
tPl yPl
2
应用最陡下降法，反向调整各层连接权，使误差达到最小。
u v —— 任意两个神经元之间的连接权
W uv
E
W uv
PL EP P1W uv
批量模 式
设 n 0 为迭代次数，
二.BP网络原理及算法
1. BP网络的基本原理 2. BP算法的基本递推关系式 3. BP算法的实现步骤 4. BP学习算法的收敛性分析及改进
1.BP网络的基本原理
● 什么是BP网络？ ——运用误差反向传播学习算法（Back-Propagation
Trainging Algorithm）的前馈多层网络，~。
第九章 人工神经网络的负荷预测
一.神经网络理论概述 二.BP网络原理与算法 三.BP网络在短期负荷预测中的应用
教学要求：
●了解神经网络的基本知识； ●掌握BP及其改进算法； ●清楚BP网络在短期负荷预测中的应用；
教学难点： BP算法的权值修正的推导； 教学重点： BP算法的计算过程；
一.神经网络概述
双向联想记忆(BAM) 盒中脑(BSB)
百度文库
Hopfield模型
自适应共振理论（ART）
4.神经网络理论的用途
●函数逼近 ●数据聚集 ●模式分类 ●优化计算 ●概率密度函数估计
5.神经网络的基本特性
●分布存储和容错性； ●可塑性、自适应性和自组织性； ●并行处理性； ●层次性；
6.神经元的描述
X1