第六讲有监督和BP神经网络
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
随着学习迭代次数k的增加，k 保0证网络的收敛。
● 反传（BP）网络 误差反传（学习算法） （BP）网络与感知器的主要差别在于：（BP）网络的节点 是非线性的。
采用广义 学习规则。
● 反传（BP）网络的结构图 一个输入层，一个输出层，多个隐层。
xp1
· · ·
x pn
隐层
S
h jp
O
h pj
j
输入层
x1
●
●
●
b1
x2
●
●
●
●
●
b2
●
xn
●
●
●
bm
权向量W
输入与输出的关系： XW b
权矩阵可以按下式求解： W (XT X)1XTb
学习规则： Wk1 Wk (bk WkT Xk )Xk 或 Wk k Xk
k (bk WkT Xk ) 代表输入与输出的差别。
是学习因子
这学习规则即是著名的 学习规则。
Op1 wj1 p1
p
Op2
wjn pm
O pn
输出层
隐层
信息流
t pk
· · ·
t pm
隐层节点j输出和输入节点p的关系：
S
h pj
whji x pi
O
h pj
f
h j
(S
h pj
)
i
输出节点k和隐层输出节点p的关系：
S
o p
k
wkojO
h pj
Oopk
f
o k
(S
o pk
)
j
学习过程： 定义输出误差 pk
理论证明:多层前馈网络是一种通用逼近器
讨论
1) 隐层的数目和节点的数目,何谓合适? 2) 是否收敛到全局最优?(涉及多维误差曲
面的不确定性) 3)收敛的速度问题。(涉及隐层节点输出的
相互耦合和梯度下降法本身的缺点）
1)
w
h ji
(t )
o pj
x pj
初始化
加输入和期望输出 计算隐层和输出层的输出
调节输出层和隐层的连接权值
wkoj (t
1)
wkoj (t )
O o k
pk pj
wkhj (t
1)
w
h ji
ห้องสมุดไป่ตู้
(t )
o pj
x pj
改变训练样板
No 训练样终止？ y 迭代次数加1
No
迭代终止？
y BP算法的基本流程
1
wi
n
m
vi (t) aij yi (t) bikuk (t) wi
j 1
k 1
式中 aij 和bik 为权系数，i,j =1,2,…,n, k= 1,2,…m. n 个加法器可以写成向量形式：
v(t) Ay(t) Bu(t) w v —— N维列向量 A ——N×N维矩阵 y —— N维列向量（单元输出） B ——N×M维矩阵 u —— M维列向量（外部输入） w —— M维常向量
●神经元网络的简化模型
x1 w1
x2
w2
· ·
· wn
xn
y
y(t) f n wi xi (t)
i1
●神经元网络的一般模型框架
y1
ai1
y2 ︰ ai2
yn
a in
vi 线性系统 x i
非线性函数
yi
u1
bi1
uk
bi2
︰
um
bim
1）加法器 2）线性动态系统（SISO） 3）静态非线性系统
重要结论
具有至少一个隐层的多层前馈网络，如果隐层 单元足够多，那么，利用扁平激励函数和线性多 项式集成函数，可以对任意感兴趣的函数逼成到 任意精度。
扁平激励函数定义：f : R [0,1] 或[-1,1]是非减函 数, lim f () 1, lim f () 1 或-1。 是 扁平激励函数的参数.
pk (t pk Oopk )
学习的目的是要使以下定义的误差平方和最小：
m
Ep
1 2
2 pk
1 2
(t pk Oopk )2
k 1
k
因此，要求以下的偏导，
E p
S
o p
k
w
o kj
w
o kj
最后得到二个权值改变的重要公式：
wkoj (t
1)
wkoj
(t )
O o k
pk pj
wkhj (t
▲ 线性动态系统
传递函数形式x：i (s) H (s)vi (s)
l
按时域形式： xi h(t t')vi (t')dt'
典型的有： H(s) 1 , h(t) 1 et /T
1 sT
T
▲静态非线性系统 典型的有：
g(x)
g(x)
g(x)
x
阈值函数
x
阈值函数
x
Sigmoid函数
▲不同的部件可以组成不同的网络
u1
ui
︰∑
i
（双极型）
Adline(自适 应线性网）
yi
u1
ui ︰ ∑
i
Sigmoid yi
单层感知器 (Perceptron)
yj
K
yi
ui
u1
y1
u2
y2
u3
y3
u4
y4
离散Hopfield网
ui
a2i
xi
Ts a1i
yj yi
连续的Hopfield网 ●按学习的方法神经元网络可分成二类：
1）有监督的学习网络： 感知器 误差反传网络（BP） 小脑模型连接控制器（CMAC） 模块（组合）网络 增强学习网络
2）无监督学习网络 竞争学习和Kohonen网络 Hopfield网络 双向联想存贮器（BAM） Boltzman机
● 有监督的神经网络
1）感知器网络
感知器是前馈(正向传输)网络,所有节点都是线性的.
● 反传（BP）网络 误差反传（学习算法） （BP）网络与感知器的主要差别在于：（BP）网络的节点 是非线性的。
采用广义 学习规则。
● 反传（BP）网络的结构图 一个输入层，一个输出层，多个隐层。
xp1
· · ·
x pn
隐层
S
h jp
O
h pj
j
输入层
x1
●
●
●
b1
x2
●
●
●
●
●
b2
●
xn
●
●
●
bm
权向量W
输入与输出的关系： XW b
权矩阵可以按下式求解： W (XT X)1XTb
学习规则： Wk1 Wk (bk WkT Xk )Xk 或 Wk k Xk
k (bk WkT Xk ) 代表输入与输出的差别。
是学习因子
这学习规则即是著名的 学习规则。
Op1 wj1 p1
p
Op2
wjn pm
O pn
输出层
隐层
信息流
t pk
· · ·
t pm
隐层节点j输出和输入节点p的关系：
S
h pj
whji x pi
O
h pj
f
h j
(S
h pj
)
i
输出节点k和隐层输出节点p的关系：
S
o p
k
wkojO
h pj
Oopk
f
o k
(S
o pk
)
j
学习过程： 定义输出误差 pk
理论证明:多层前馈网络是一种通用逼近器
讨论
1) 隐层的数目和节点的数目,何谓合适? 2) 是否收敛到全局最优?(涉及多维误差曲
面的不确定性) 3)收敛的速度问题。(涉及隐层节点输出的
相互耦合和梯度下降法本身的缺点）
1)
w
h ji
(t )
o pj
x pj
初始化
加输入和期望输出 计算隐层和输出层的输出
调节输出层和隐层的连接权值
wkoj (t
1)
wkoj (t )
O o k
pk pj
wkhj (t
1)
w
h ji
ห้องสมุดไป่ตู้
(t )
o pj
x pj
改变训练样板
No 训练样终止？ y 迭代次数加1
No
迭代终止？
y BP算法的基本流程
1
wi
n
m
vi (t) aij yi (t) bikuk (t) wi
j 1
k 1
式中 aij 和bik 为权系数，i,j =1,2,…,n, k= 1,2,…m. n 个加法器可以写成向量形式：
v(t) Ay(t) Bu(t) w v —— N维列向量 A ——N×N维矩阵 y —— N维列向量（单元输出） B ——N×M维矩阵 u —— M维列向量（外部输入） w —— M维常向量
●神经元网络的简化模型
x1 w1
x2
w2
· ·
· wn
xn
y
y(t) f n wi xi (t)
i1
●神经元网络的一般模型框架
y1
ai1
y2 ︰ ai2
yn
a in
vi 线性系统 x i
非线性函数
yi
u1
bi1
uk
bi2
︰
um
bim
1）加法器 2）线性动态系统（SISO） 3）静态非线性系统
重要结论
具有至少一个隐层的多层前馈网络，如果隐层 单元足够多，那么，利用扁平激励函数和线性多 项式集成函数，可以对任意感兴趣的函数逼成到 任意精度。
扁平激励函数定义：f : R [0,1] 或[-1,1]是非减函 数, lim f () 1, lim f () 1 或-1。 是 扁平激励函数的参数.
pk (t pk Oopk )
学习的目的是要使以下定义的误差平方和最小：
m
Ep
1 2
2 pk
1 2
(t pk Oopk )2
k 1
k
因此，要求以下的偏导，
E p
S
o p
k
w
o kj
w
o kj
最后得到二个权值改变的重要公式：
wkoj (t
1)
wkoj
(t )
O o k
pk pj
wkhj (t
▲ 线性动态系统
传递函数形式x：i (s) H (s)vi (s)
l
按时域形式： xi h(t t')vi (t')dt'
典型的有： H(s) 1 , h(t) 1 et /T
1 sT
T
▲静态非线性系统 典型的有：
g(x)
g(x)
g(x)
x
阈值函数
x
阈值函数
x
Sigmoid函数
▲不同的部件可以组成不同的网络
u1
ui
︰∑
i
（双极型）
Adline(自适 应线性网）
yi
u1
ui ︰ ∑
i
Sigmoid yi
单层感知器 (Perceptron)
yj
K
yi
ui
u1
y1
u2
y2
u3
y3
u4
y4
离散Hopfield网
ui
a2i
xi
Ts a1i
yj yi
连续的Hopfield网 ●按学习的方法神经元网络可分成二类：
1）有监督的学习网络： 感知器 误差反传网络（BP） 小脑模型连接控制器（CMAC） 模块（组合）网络 增强学习网络
2）无监督学习网络 竞争学习和Kohonen网络 Hopfield网络 双向联想存贮器（BAM） Boltzman机
● 有监督的神经网络
1）感知器网络
感知器是前馈(正向传输)网络,所有节点都是线性的.