智能控制(第三版)chap7-典型神经网络2

根据前面网络结构知：x1=u(k).
武汉科技大学 信息科学与工程学院
18
7.2.4 BP网络的优缺点
BP网络的优点为： ①可以逼近任意的非线性映射关系； ②是全局逼近算法，具有较强的泛化能力。 ③具有较好的容错性。 BP网络的主要缺点为： ①收敛速度慢；
②容易陷入局部极小值；
③难以确定隐层及隐层节点的数目。 武汉科技大学 信息科学与工程学院
2
武汉科技大学 信息科学与工程学院
常用的神经元非线性特性有以下3种： （1）阈值型
1 f ( Neti ) 0 Neti 0 Neti 0
图7-2 阈值型函数 武汉科技大学 信息科学与工程学院
3
（2）分段线性型
0 f ( Neti ) kNeti f max Neti Neti 0 Neti 0 Neti Netil Neti Netil
出层；
（2）层与层之间采用全互连方式，同一层神经元之间 不连接； （3）权值通过δ 学习算法进行调节； （4）神经元激活函数为S函数；
（5）学习算法由正向传播和反向传播组成；
（6）层与层的连接是单向的，信息的传播是双向的。
武汉科技大学 信息科学与工程学院
7
7.2.2 BP网络结构
包括一个隐含层的BP网络结构如下图，图中i为输
使用高斯函数作为激活函数，网络具有唯一最佳逼
近的特性，无局部极小。
武汉科技大学 信息科学与工程学院
24
7.3.1 RBF网络结构与算法
多输入单输出的RBF神经网络结构如图7-13所示。
图7-13 RBF网络结构 武汉科技大学 信息科学与工程学院
25
在RBF神经网络中，x=[x1 x2 … xn]T为网络输入， hj为隐含层第 j个神经元的输出，即
x c j hj exp 2b 2 j
2
, j 1, 2,
m
式中，cj=[cj1, …, cjn]为第j 个隐层神经元的中心点矢 量值。高斯基函数的宽度矢量为b=[b1 b2 … bm]T
其中bj>0为隐含层神经元 j的高斯基函数的宽度。
武汉科技大学 信息科学与工程学院
' j
w jo
x
' j
x j
xi w jo x 'j (1 x 'j ) xi
k+1时刻网络的权值为：
wij (k 1) wij (k ) wij
武汉科技大学 信息科学与工程学院
16
如果考虑上次权值修改量对本次权值变化的影响， 可加入动量因子a，此时的权值为：
w jo (k 1) w jo (k ) w jo a ( w jo (k ) w jo (k 1)) wij (k 1) wij (k ) wij a wij (k ) wij (k 1)
w2=w2_1+(xite*e(k))*Iout+alfa*(w2_1-w2_2);
for j=1:1:6 x=[0,0]'; FI(j)=exp(-I(j))/(1+exp(-I(j)))^2; u_1=0; %u(k-1) end y_1=0; %y(k-1) for i=1:1:2 I=[0,0,0,0,0,0]'; %隐层 for j=1:1:6 Iout=[0,0,0,0,0,0]'; dw1(i,j)=xite*e(k)*FI(j)*w2(j)*x(i); FI=[0,0,0,0,0,0]'; end end ts=0.001; %采样周期 武汉科技大学 信息科学与工程学院
路反向计算，由梯度下降法调整各层的权值，使 误差信号减小。
武汉科技大学 信息科学与工程学院
12
（1）前向传播：计算BP网络的输出。 隐层神经元的输入为所有输入的加权之和：
xj
w x
i
ij i
隐层神经元的输出采用S函数激发：
x 'j f (x j ) 1 1 e
x j
则
x 'j x j x 'j (1 x 'j )
21
w1=w1_1+dw1+alfa*(w1_1-w1_2); yu=0; for j=1:1:6 %Jacobian yu=yu+w2(j)*w1(1,j)*FI(j); end dyu(k)=yu; x(1)=u(k); x(2)=y(k); w1_2=w1_1;w1_1=w1; w2_2=w2_1;w2_1=w2; u_1=u(k); y_1=y(k); end
武汉科技大学 信息科学与工程学院
9
图7-6
BP网络逼近器
武汉科技大学 信息科学与工程学院
10
用于逼近的BP网络结构：
武汉科技大学 信息科学与工程学院
11
BP网络的学习过程由正向传播和反向传播组成。
• 信息正向传播（前向传播） :输入信息从输入层经
隐层逐层处理，并传向输出层。
• 信息反 time(k)=k*ts; u(k)=0.50*sin(3*2*pi*k*ts); y(k)=u_1^3+y_1/(1+y_1^2); for j=1:1:6 I(j)=x'*w1(:,j); Iout(j)=1/(1+exp(-I(j))); end yn(k)=w2‘*Iout; %网络输出 e(k)=y(k)-yn(k); %误差
武汉科技大学 信息科学与工程学院
22
7.2.6 BP网络模式识别 (自学)
武汉科技大学 信息科学与工程学院
23
7.3 RBF神经网络
径向基函数(RBF-Radial Basis Function)神经网络具 有单隐层的三层前馈网络。
模拟人脑接收域（或称感受野）的神经网络结构，
是一种局部逼近网络。
19
7.2.5 BP网络逼近仿真实例
使用BP网络逼近对象：
y (k 1) y (k ) u (k ) 2 1 y (k 1)
3
神经网络结构：2-6-1 仿真程序见chap7_1.m
武汉科技大学 信息科学与工程学院
20
%BP identification clear all;close all; xite=0.50; alfa=0.05; w2=rands(6,1); w2_1=w2; w2_2=w2_1; w1=rands(2,6); w1_1=w1;w1_2=w1; dw1=0*w1; %增量
武汉科技大学 信息科学与工程学院
13
输出层神经元的输出：
yn (k ) w jo x
网络输出与理想输出误差为：
j
' j
e( k ) y ( k ) y n ( k )
误差性能指标函数为：
1 E e( k ) 2 2 1 2 y yn 2
武汉科技大学 信息科学与工程学院
第7章 典型神经网络
7.1 单神经元模型
图7-1 单神经元模型
ui为神经元的内部状 态，si为外部输入信 号。
Neti wij x j si i
j
ui f ( Neti ) yi g (ui ) h( Neti )
通常情况下，取 即
g (ui ) ui
yi f ( Neti )
入层神经元，j为隐层神经元，k为输出层神经元。
武汉科技大学 信息科学与工程学院
8
7.2.3 BP网络的逼近
• BP网络对目标进行逼近的结构如图 7-6所示，图中 k为网络的迭代步骤，u(k)和y(k)为逼近器的输入。
• 将系统输出y(k)及输入u(k)的值作为BP网络逼近器
的输入，将系统真实输出与网络预测输出的误差作 为逼近器的调整信号。
图7-3 分段线性函数 武汉科技大学 信息科学与工程学院
4
（3）Sigmoid函数型
f ( Neti ) 1
Neti 1 e T
图7-4 Sigmoid函数 武汉科技大学 信息科学与工程学院
5
7.2 BP神经网络
图7-5
BP神经网络结构
6
武汉科技大学 信息科学与工程学院
7.2.1 BP网络特点 （1）是一种多层网络，通常包括输入层、隐含层和输
a 0,1
武汉科技大学 信息科学与工程学院
17
Jacobian 阵 ( 即为对象的输出对控制输入的灵敏度信
息)可由神经网络辨识得到，其算法为：
y k yn k yn k x 'j x j ' ' w x 1 x j0 j j w1 j ' u k u k x j x j x1 j
26
网络的权值为w=[w1 w2 … wm]T
RBF网络的输出为
ym (t ) = w1h1 + w2 h2 + + wm hm
• RBF网络只调节权值，因此，算法运行快。
• 输入到隐层是非线性映射，而隐层到输出层是 线性映射，因此其非线性能力不如BP网络。
武汉科技大学 信息科学与工程学院
27
END
14
（2）反向传播：采用 δ 学习算法调整各层间的权值。 根据梯度下降法，权值的学习算法如下： 输出层与隐层之间的连接权值学习算法为：
E E yn yn w jo y yn w jo yn w jo w jo yn e( k ) e( k ) x 'j w jo
k+1时刻网络的权值为：
wjo (k 1) w jo (k ) w jo
武汉科技大学 信息科学与工程学院
15
隐层及输入层连接权值学习算法为：
其中
E yn wij e(k ) wij wij
yn yn x x j ' wij x j x j wij
武汉科技大学 信息科学与工程学院
28