BP神经网络原理
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
BP 神经网络原理 2.1 基本BP 算法公式推导
基本BP 算法包括两个方面：信号的前向传播和误差的反向传播。即计算实际输出时按从输入到输出的方向进行，而权值和阈值的修正从输出到输入的方向进行。
图2-1 BP 网络结构
Fig.2-1 Structure of BP network
图中：
j
x 表示输入层第j 个节点的输入，j =1,…,M ；
ij
w 表示隐含层第i 个节点到输入层第j 个节点之间的权值；
i
θ表示隐含层第i 个节点的阈值；
()x φ表示隐含层的激励函数；
ki w 表示输出层第k 个节点到隐含层第i 个节点之间的权值，i =1,…,q ；
k
a 表示输出层第k 个节点的阈值,k =1,…,L ； ()
x ψ表示输出层的激励函数；
k
o 表示输出层第k 个节点的输出。 （1）信号的前向传播过程 隐含层第i 个节点的输入net i ：
1
M
i ij j i
j net w x θ==+∑ （3-1）
隐含层第i 个节点的输出y i ：
1()()
M
i i ij j i j y net w x φφθ===+∑ （3-2）
输出层第k 个节点的输入net k ：
1
1
1
()q
q
M
k ki i k ki ij j i k
i i j net w y a w w x a φθ====+=++∑∑∑ （3-3）
输出层第k 个节点的输出o k ：
111()()()q
q M k k ki i k ki ij j i k i i j o net w y a w w x a ψψψφθ===⎛⎫
==+=++ ⎪
⎝⎭∑∑∑ （3-4）
（2）误差的反向传播过程
误差的反向传播，即首先由输出层开始逐层计算各层神经元的输出误差，然后根据误差梯度下降法来调节各层的权值和阈值，使修改后的网络的最终输出能接近期望值。
对于每一个样本p 的二次型误差准则函数为E p ：
2
1
1()2L
p k k k E T o ==-∑ （3-5）
系统对P 个训练样本的总误差准则函数为：
2
11
1()2P L
p p k k p k E T o ===-∑∑ （3-6）
根据误差梯度下降法依次修正输出层权值的修正量Δw ki ，输出层阈值的修正量Δa k ，隐含层权值的修正量Δw ij ，隐含层阈值的修正量
i
θ∆。
ki
ki w E w ∂∂-=∆η
；
k k E a a η
∂∆=-∂；ij ij E w w η∂∆=-∂；
i i E
θη
θ∂∆=-∂ （3-7） 输出层权值调整公式：
ki
k
k k k ki k k ki ki w net net o o E w net net E w E w ∂∂∂∂∂∂-=∂∂∂∂-=∂∂-=∆ηηη
（3-8）
输出层阈值调整公式：
k k k
k k k k k k k net o net E E E a a net a o net a η
ηη∂∂∂∂∂∂∆=-=-=-∂∂∂∂∂∂ （3-9）
隐含层权值调整公式：
i i i
ij ij i ij i i ij
net y net E E E w w net w y net w η
ηη∂∂∂∂∂∂∆=-=-=-∂∂∂∂∂∂ （3-10）
隐含层阈值调整公式：
i i i
i i i i i i i net y net E E E net y net θη
ηηθθθ∂∂∂∂∂∂∆=-=-=-∂∂∂∂∂∂ （3-11）
又因为：
11
()P L
p p k k p k k E
T o o ==∂=--∂∑∑ （3-12）
i ki k y w net =∂∂，1k k net a ∂=∂，i j ij
net x w ∂=∂，1i
i net θ∂=∂ （3-13）
11
()'()P L p p k k k ki p k i E
T o net w y ψ==∂=--⋅⋅∂∑∑ （3-14）
)(i i
i
net net y φ'=∂∂ （3-15）
'()k
k k
o net net ψ∂=∂ （3-16）
所以最后得到以下公式：
()11
()'P
L
p p ki k k k i
p k w T o net y ηψ==∆=-⋅⋅∑∑ （3-17）
()
11
()'P
L p p k k k k p k a T o net ηψ==∆=-⋅∑∑ （3-18）
()11
()'()P
L
p p ij k k k ki i j
p k w T o net w net x ηψφ=='∆=-⋅⋅⋅⋅∑∑ （3-19）
()11
()'()
P
L
p p i k k k ki i p k T o net w net θηψφ=='∆=-⋅⋅⋅∑∑ （3-20）