第三章 bp算法

∂E ∂E ∂net j = −η ∆vij = −η ∂vij ∂net j ∂vij
o δk = −
∂E ∂netk
∆w jk = ηδ ko y j
y ∆vij = ηδ j xi
δ
∂E y j =−
∂net j
n
net j =
∑
i =0
vij xi
j=1,2,…,m (3.4.4)
北京工商大学信息工程学院
7
3.4.1
BP
单极性Sigmoid函数： 函数： 单极性 函数
误 差 反 传 （ BP BP ） 算 法
f ( x) =
双极性Sigmoid函数： 函数： 双极性 函数
1 1 + e− x
1−e
−x
(3.4.5)
j=0,1,2,…,m; k=1,2,…,l (3.4.9a)
i=0,1,2,…,n; j=1,2,…,m
(3.4.9b)
式中负号表示梯度下降，常数 ∈ 表示比例系数。 式中负号表示梯度下降，常数η∈(0,1)表示比例系数。 表示比例系数 在全部推导过程中，对输出层有 在全部推导过程中，对输出层有j=0,1,2,…,m; k=1,2,…,l 对隐层有 i=0,1,2,…,n; j=1,2,…,m
第三章 前馈神经网络
3.4误差反传（BP） 3.4误差反传（BP）算法 误差反传 本文章为打击扣去财富值的行 为而传的
北京工商大学信息工程学院 1
回顾
3.1单层感知器 3.1单层感知器 模型：单计算节点感知器实际上就是一个M-P神经元 模型 功能：解决线性可分问题 局限性：不能解决线性不可分问题 学习算法：有导师学习 3.2多层感知器 3.2多层感知器 模型：有隐层的多层前馈网络 功能：能够求解非线性问题 局限性：隐层神经元的学习规则尚无所知
（3.4.15a)
∑(d − o ) f'(net )w
k k k k =1
l
jk ] f'(net j )
=(
∑
k =1
o δ k w jk ) y j (1-y j )
（3.4.15b)
北京工商大学信息工程学院
16
误 差 反 传 （ BP BP ） 算 法
将式(3.4.15)代回到式 代回到式(3.4.12)，得到三层前馈网的 学 将式 代回到式 ，得到三层前馈网的BP学 习算法权值调整计算公式为： 习算法权值调整计算公式为：
f ( x) =
1 + e− x
北京工商大学信息工程学院
8
3.4.2 BP
一、网络误差与权值调整
误 差 反 传 （ BP BP ） 算 法
1 输出误差E定义 定义： 输出误差 定义： E = (d − O) 2 = 1 2 2
l
∑
k =1
( d k − ok ) 2
(3.4.6)
1 E= 2
误差定义 l
δ
∂E y j =−
∂E ∂y j ∂E =− =− f ' (net j ) ∂net j ∂y j ∂net j ∂y j
3.4.13b)
(3.23)
对
层输出
北京工商大学信息工程学院
14
对于输出层，利用式 对于输出层，利用式(3.4.6)： ：
E=
1 2
l
∑
k =1
( d k − ok ) 2
北京工商大学信息工程学院 2
3.3BP算法及改进－ 3.3BP算法及改进－主要内容 算法及改进
引言 基于BP算法的多层前馈网络模型 基于BP算法的多层前馈网络模型 BP BP算法的实现 BP算法的实现 基本思想 推导过程 程序实现 BP学习算法的功能 BP学习算法的功能 BP学习算法的局限性 BP学习算法的局限性 BP学习算法的改进 BP学习算法的改进
：
2=1
l m
∑[d
k =1
k − f (netk )]
2
∑
k =1
[dk − f (
∑
j =0
wjk y j )]2
(3.4.7)
北京工商大学信息工程学院
9
3.4.2 BP
一、网络误差与权值调整
误 差 反 传 （ BP BP ） 算 法
进一步展开至输入层： 进一步展开至输入层：
1 E= 2
1 = 2
北京工商大学信息工程学院 11
3.4.2 BP
二、BP算法推导 算法推导
对于输出层， 对于输出层，式(3.15a)可写为 可写为
误 差 反 传 （ BP BP ） 算 法
算法
∂E ∂E ∂net k = −η ∆w jk = −η ∂w jk ∂net k ∂w jk
对隐层，式(3.15b)可写为 对隐层， 可写为
北京工商大学信息工程学院
6
3.4.1
于BP 于BP
层
k=1,2,…,l (3.4.1) (3.4.2)
误 差 反 传 （ BP BP ） 算 法
对于输出层： 对于输出层：
o k = f ( net k )
m
net k =
∑w
j =0
jk y j k=1,2,…,l
对于
层： 层：
y j = f ( net j ) j=1,2,…,m (3.4.3)
m
y j = f ( net j )
n
f ( x) =
ij x i
1 1 + e− x
net k =
∑
j =0
w jk y j
l
net j =
∑v
i=0
误 差 反 传 （ ） 算 法
E=
1 2
l
∑
k =1
(d k − ok ) 2 =
m
1 2
∑
k =1
[ d k − f ( net k )]2 =
l
l m
∑
l
{d k − f [
k =1
∑
m
w jk f ( net j )]} 2
j =0
n
(3.4.8)
∑
k =1
{d k − f [
∑
j =0
w jk f (
∑
i =0
vij xi )]}2
北京工商大学信息工程学院
10
BP学习算法 3.4.2 BP学习算法
误 差 反 传 （ BP BP
∂E ∆w jk = −η ∂w jk ∂E ∆ vij = −η ∂ vij
式(3.4.12) 式 可
北京工商大学信息工程学院
13
对于输出层， 对于输出层， δo可展开为
误 差 反 传 （ BP BP ） 算 法
∂E ∂E ∂ok ∂E o δk = − =− =− f ' (netk ) ∂netk ∂ok ∂netk ∂ok
对于隐层， δy可展开为 对于隐层，
(3.4.13a)
o ∆w jk = ηδ k y j = η(d k − ok )ok (1 − ok ) y j
l y ∆vij = ηδ j xi = η (
(3.4.16a)
∑
k =1
o δ k w jk ) y j (1 − y j ) xi
(3.4.16b)
北京工商大学信息工程学院
17
o k = f ( net k )
1986年，Rumelhart 和McCelland领导的科学家小组 《Parallel Distributed Processing》一书 应用对象：多层前馈网络 具有非线性连续转移函数
北京工商大学信息工程学院
4
3.4
BP 算法
ok W k○ ol
3.4.1 基于 算法的多层前馈网络模型 基于BP算法的多层前馈网络模型
北京工商大学信息工程学院
（3.4.14b)
15
将以上结果代入式(3.4.13)，并应用式 ，并应用式(3.15)： f (x) = 将以上结果代入式 ：
1 1 + e−x
误 差 反 传 （ BP BP ） 算 法
得到： 得到：
o δ k = ( d k − ok )ok (1 − ok )
l y δ j =[
误 差 反 传 （ BP BP ） 算 法
可得： 可得：
∂E = − ( d k − ok ) ∂ok
1 E= 2
l
（3.4.14a)
对于
层，利用式(3.4.7)： 层，利用式 ：
m
∑
k=1
[dk − f (
∑
j=0
wjk y j )]2
∂E 可得： 可得： =− ∂y j
l
∑
k =1
( d k − ok ) f' ( net k ) w jk
误 差 反 传 （ BP BP ） 算 法
∆w jk = ηδ y j
o k
(3.4.12a)
综合应用式(3.13)和(3.21b)，可将式 (3.17b)的权值调整 和 综合应用式 ， 的权值调整 式改写为
∆vij = ηδ
可 ， 权值调整 的 δo和δy
y j xi
的
3.4.12b) δo和δy，
北京工商大学信息工程学院 3
引言－－BP算法的提出 引言－－BP算法的提出 －－BP
提高网络性能（如分类能力） 提高网络性能（如分类能力）的有效途径
包含隐层的多层前馈网络
长期以来没有提出解决权值调整问题的有效算法。
非线性连续转移函数
Proragation，BP)算法 BP (Error Back Proragation，BP)算法
(3.4.10a)