多层神经网络

1 1 ex
x
模式识别 – 多层神经网络
资料仅供参考,不当之处，请联系改正。
激活函数—双曲正切Sigmoid函数
f(x)
x
fxtanh(x)e ex x e e x x
模式识别 – 多层神经网络
资料仅供参考,不当之处，请联系改正。
标准的三层感知器网络
模式识别 – 多层神经网络
资料仅供参考,不当之处，请联系改正。
模式识别 – 多层神经网络
资料仅供参考,不当之处，请联系改正。
6.1多层感知器网络 （MLP，Multilayer Perceptron）
神经元模型
x1
x2 w1
... w2
f
y
xd wd
yf
wtx
f
d i1wixi ,
f称为激活函数
模式识别 – 多层神经网络
资料仅供参考,不当之处，请联系改正。
（BP，Backpropagation algorithm）
BP算法的实质是一个均方误差最小算法(LMS)
符号定义：训练样本x，期望输出t=(t1,…, tc)，网络实际输
出z=(z1,…, zc)，隐层输出y=(y1,…, 净输出netk。
ynH)，第k个神经元的
目标函数： Jw 1 2t-z21 2i c1tizi2
资料仅供参考,不当之处，请联系改正。
BP算法的一些实用技术
激活函数的选择：一般可以选择双曲型的Sigmoid函数；
目标值：期望输出一般选择(-1,+1)或(0,1)；
规格化：训练样本每个特征一般要规格化为0均值和标准差；
权值初始化：期望每个神经元的-1<net<+1，因此权值一般
初始化为
；
学习率的选择1：d太大w 容易1发d散，太小则收敛较慢；
多层感知器网络存在的问题
解决异或问题的多层感知器
1
0.5
-1
-1.5 1
x1
1
1
x2
1
0.7
y
-0.4
输入层
隐含层
输出层
模式识别 – 多层神经网络
资料仅供参考,不当之处，请联系改正。
多层感知器的分类原理
隐含层实现对输入空间的非线性映射，输出层实现线 性分类；
非线性映射方式和线性判别函数可以同时学习。
模式识别 – 多层神经网络
w Jji kc 1tkzkfn etkw kj fn etj xi
J w ji
j xi ,
c
j f netj kwkj k1
模式识别 – 多层神经网络
迭代公式
资料仅供参考,不当之处，请联系改正。
输出层：
J wkj
k y j ,
隐含层：
k tk z kfn e tk
J w ji
迭代公式：
w m 1 w m w m w m J w
模式识别 – 多层神经网络
输出层
资料仅供参考,不当之处，请联系改正。
J J netk wkj netk wkj
nH
netk wki yi , i1
netk w kj
yj
n e J tk z J k n z e k tk tk zkfn e tk
4.
do mm+1
5.
xmselect pattern
6.
ΔwjiΔwji+ηδjxi;ΔwkjΔwkj+ηδkyj
7.
until m = n
8.
wji wji+Δwji; wkj wkj+Δwkj
9. until ||▽J(w)||<θ
10. return w
11. end
模式识别 – 多层神经网络
w Jkj tkzkfnetkyj kyj
ktkzkfnetk
隐含层
y1 wk1
y2 wk2
... yn
wkn
输出层
zk
模式识别 – 多层神经网络
隐含层
资料仅供参考,不当之处，请联系改正。
J J yj netj wji yj netj wji
yj
netj
f
netj
netj
wji
w ji md1wjmxmxi
模式识别 – 多层神经网络
资料仅供参考,不当之处，请联系改正。
三层网络的判别函数形式
nH d
gk xf2 w kjf1 w jixiw j0w k0
j 1 i 1
第k个输出层神经元的输出，其中d为特征 维数，nH为隐层节点数。
模式识别 – 多层神经网络
6.2 MLP的训练--误差反向传播算法 资料仅供参考,不当之处，请联系改正。
资料仅供参考,不当之处，请联系改正。
激活函数—阈值函数
源自文库
f(x)
x
f
x
1, 1,
x0 x0
模式识别 – 多层神经网络
资料仅供参考,不当之处，请联系改正。
激活函数—线性函数
f(x)
x
f x x
模式识别 – 多层神经网络
资料仅供参考,不当之处，请联系改正。
激活函数—对数Sigmoid函数
f(x)
f
x
j xi ,
c
j f netj kwkj k1
模式识别 – 多层神经网络
误差反向传播
资料仅供参考,不当之处，请联系改正。
模式识别 – 多层神经网络
资料仅供参考,不当之处，请联系改正。
BP算法—批量修改
1. begin initialize nH，w，θ，η，r0 2. do rr+1
3.
m0;Δwji0;Δwkj0
冲量项：有助于提高收敛速度。
w m 1 w m 1 w b p m w m 1
模式识别 – 多层神经网络
资料仅供参考,不当之处，请联系改正。
6.3 多层感知器网络存在的问题
1. BP算法的收敛速度一般来说比较慢；
模式识别 – 多层神经网络
资料仅供参考,不当之处，请联系改正。
输入层
隐含层
输出层
x1
...
wj1
xi wji
z1 w1j
yj
...
wkj
zk
...
xd
wjd
wcj ... zc
模式识别 – 多层神经网络
隐含层
资料仅供参考,不当之处，请联系改正。
y Jj yj 1 2kc 1tkzk2 kc 1tkzk y zk j
k c 1 tk z k n z e k tk n y e tjk k c 1 tk z kfn e tkw k j
多层感知器网络的设计
选定层数：通常采用三层网络，增加网络层数并不能提高网 络的分类能力；
输入层：输入层节点数为输入特征的维数d，映射函数采用 线性函数；
隐含层：隐含层节点数需要设定，一般来说，隐层节点数越 多，网络的分类能力越强，映射函数一般采用Sigmoid函数；
输出层：输出层节点数可以等于类别数c，也可以采用编码 输出的方式，少于类别数c，输出函数可以采用线性函数或 Sigmoid函数。