6.2 and 6.3 基于BP神经网络的辨识 [系统辨识理论及Matlab仿真]

BP网络的主要缺点为： （1）待寻优的参数多，收敛速度慢； （2）目标函数存在多个极值点，按梯度下降
法进行学习，很容易陷入局部极小值； （3）难以确定隐层及隐层节点的数目。目前，
如何根据特定的问题来确定具体的网络结构 尚无很好的方法，仍需根据经验来试凑。
• 由于BP网络具有很好的逼近非线性映射的能力， 该网络在模式识别、图像处理、系统辨识、函数 拟合、优化计算、最优预测和自适应控制等领域 有着较为广泛的应用。
表3 测试样本
输入
实际输 出
10010 0 1 0 0 0.5 00101
6、BP网络离线建模
• 6.1 传统的建模方法 • 神经网络应用于系统建模的一个优点是
通过直接学习系统的输入输出数据使所要求 的误差准则函数达到最小，从而辨识出隐含 在系统输入输出的关系。利用神经网络建模 的基本结构图如图5所示.
含一个隐含层的BP网络结构如图1所示， 图中 i 为输入层神经元，j 为隐层神经元， k 为输出层神经元。
图1 BP神经网络结构
2、BP网络的在线逼近
BP网络逼近的结构如图2所示，图中k为网络的 迭 代 步 骤 ， u(k) 和 y(k) 为 网 络 的 输 入 。 y(k) 为 被 控 对象实际输出，yn(k)为BP网络的输出。将系统输 出y(k)及输入u(k)的值作为神经网络BP的输入，将 系统输出与网络输出的误差作为神经网络的调整信 号。
其中, 为学习速率， 为动量因子。
0,1 0,1
Jacobian阵(即为对象的输出对控制输入的灵敏
度信息)算法为：
yk
uk

yn k uk

yn k
x
' j
x
' j
x j

x j
x1

j
w
j
2
x
' j
1

x
' j
向量。设RBF网络的径向基向量H [h1,h2,hj..hm]T
，其中hj为高斯基函数：
2
h j exp(-
X -Cj
2b
2 j
), j 1,2,m
网络的第j个结点的中心矢量为：
Cj [c1j ,c2 j cij cn j ]T
其中，i=1,2,…n
设网络的基宽向量为：
B [b1,b2 bm ]T

x
' j
(1

x
' j
)

xi
如果考虑上次权值对本次权值变化的影响，
需要加入动量因子 ，此时的权值为：
w jl k 1 w jl k w jl w jl k w jl k 1
wij (t 1) wij (t) wij (wij (t) wij (t 1))
图5 基本的离线神经网络建模结构
其中模块Plant为实际系统，NN为用神经网 络建立的实际系统等效模型网络输入为u和y。 u为控制输入，y为对象的输出，y 为神经网络 的输出。
仿真实例 使用BP网络对下列对象进行建模：
Gs 133
s2 25s
在BP网络中，网络输入信号为2个，即 u(k) ， 和y(k 1。) 网络初始权值及高斯函数参数初始权值可取随
• 由于BP网络具有很好的逼近特性和泛化能力， 可用于神经网络控制器的设计。但由于BP网络收 敛速度慢，难以适应实时控制的要求。
4、BP网络在线逼近仿真实例
使用BP网络对如下对象逼近：
y(k)

u(k)3

1
y(k 1) y(k 1)2
BP网络逼近程序见chap6_1.m
5、输入输出数据的BP网络建模
机值，也可通过仿真测试后获得。
输入信号为正弦信号：u(k) 0.5sin(2t) 网络隐层神经元个数取6，网络结构为2-6-1， 网络的初始权值取随机值。网络的学习参数 取 0.5 0.05
训练样本取200组。
BP 网 络 离 线 训 练 程 序 见 chap6_3a.m 。 BP 网 络在线估计程序见chap6_3b.m。
RBF网络特点
(1) RBF网络的作用函数为高斯函数，是局部 的，BP网络的作用函数为S函数，是全局的；
(2) 如何确定RBF网络隐层节点的中心及基宽 度参数是一个困难的问题；
(3) 已证明RBF网络具有唯一最佳逼近的特性， 且无局部极小[1]。
RBF网络结构 RBF网络是一种三层前向网络，由于输入
（1）前向传播：计算网络的输出。 隐层神经元的输入为所有输入的加权之和：
x j wij xi
i
隐层神经元的输出采用S函数激发：
则
x
' j

f (xj)
1
1 exj
x
' j
x j

x
' j
(1
x
' j
)
输出层神经元的输出：
xk
w j2x'j
j
取 yn (k ) xk , 则网络输出与理想输出误差
xi w j2 x'j (1 x'j ) xi
k+1时刻网络的权值为：
wij (k 1) wij (k) wij
如果考虑上次权值对本次权值变化的影响 ，需要加入动量因子 ，此时的权值为：
wj2(k 1) wj2(k) wj2 (wj2(k) wj2(k 1)) wij (k 1) wij (k) wij (wij (k) wij (k 1))
b j 为节点的基宽度参数，且为大于零的数。 网络的权向量为：
W [w1, w2 wj wm ]
k时刻网络的输出为：
ym (k) = wh w1h1 + w2h2 +
+ wmhm
设理想输出为y(k)，则性能指标函数为：
E(k)

1 2
( y(k) -
ym (k))2
根据梯度下降法，输出权、节点中心及节点基 宽参数的迭代算法如下：
BP网络的训练过程如下：正向传播是输入 信号从输入层经隐层传向输出层，若输出层得 到了期望的输出，则学习算法结束；否则，转 至反向传播
以第p个样本为例，用于训练的BP网络结 构如图4所示。
图4 BP神经网络结构
网络的学习算法如下： （1）前向传播：计算网络的输出。
隐层神经元的输入为所有输入的加权之和：
x j wij xi
i
隐层神经元的输出
x
' j
采用S函数激发
x
j
：
x
' j

1 f (xj ) 1 exj
则
x
' j
x j

x
' j
(1

x
' j
)
输出层神经元的输出：
xl wjl x'j
j
网络第
l个输出与相应理想输出
x
0 l
的误差为：
el xl0 xl
第p个样本的误差性能指标函数为：
E p

1 2
N l 1
el 2
其中N为网络输出层的个数。
（2）反向传播：采用梯度下降法，调整各层 间的权值。权值的学习算法如下：
输出层及隐层的连接权值 w jl 学习算法为：
w jl
Ep
w jl
el
xl w jl

el
x
' j
w jl (k 1) w jl (k) w jl
wj η y(k)-ym(k) hj
wj (k) wj (k-1) wj (wj (k 1) wj (k 2))
其中, 为学习速率， 为动量因子。
为：
e(k) y(k) yn(k)
误差性能指标函数为：
E 1 e(k)2 2
（2）反向传播：采用δ 学习算法，调整各层 间的权值。 根据梯度下降法，权值的学习算法如下： 输出层及隐层的连接权值学习算法为：
w j 2


E w j 2
e(k ) xk
w j 2
BP网络特点 （1）是一种多层网络，包括输入层、隐含层和 输出层； （2）层与层之间采用全互连方式，同一层神经 元之间不连接； （3）权值通过δ 学习算法进行调节； （4）神经元激发函数为S函数； （5）学习算法由正向传播和反向传播组成； （6）层与层的连接是单向的，信息的传播是双 向的。
BP网络结构
w1 j
其中取 x1 u(t)
3、BP网络的优缺点 BP网络的优点为： （1）只要有足够多的隐层和隐层节点，BP网络可以 逼近任意的非线性映射关系；
（2）BP网络的学习算法属于全局逼近算法，具有较 强的泛化能力。
（3）BP网络输入输出之间的关联信息分布地存储在 网络的连接权中，个别神经元的损坏只对输入输 出关系有较小的影响，因而BP网络具有较好的容 错性。



e(k
)

x
' j
k+1时刻网络的权值为：
wj2(t 1) wj2(t) wj2
隐层及输入层连接权值学习算法为：
其中
wij

E wij
e(k ) yn
wij
yn wij

yn x'j
x'j x j
x j wij

w
j2

x'j x j
图2 BP神经网络逼近的结构
用于逼近的BP网络如图3所示。
u(k )
y(k) xi
wij
wj2
xj
x
' j
图3 用于逼近的BP网络。
yn (k)
• BP算法的学习过程由正向传播和反向 传播组成。在正向传播过程中，输入信息从 输入层经隐层逐层处理，并传向输出层，每 层神经元（节点）的状态只影响下一层神经 元的状态。如果在输出层不能得到期望的输 出，则转至反向传播，将误差信号（理想输 出与实际输出之差）按联接通路反向计算， 由梯度下降法调整各层神经元的权值，使误 差信号减小。
6.3 基于RBF神经网络的辨识
1、RBF神经网络 径向基函数(RBF-Radial Basis Function)神经 网络是由J.Moody和C.Darken在80年代末提出的 一种神经网络,它是具有单隐层的三层前馈网络 。由于它模拟了人脑中局部调整、相互覆盖接收 域（或称感受野-Receptive Field）的神经网络结 构，因此，RBF网络是一种局部逼近网络，已证 明它能任意精度逼近任意连续函数[1]。
• 由于神经网络具有自学习、自组织和并行处理 等特征，并具有很强的容错能力和联想能力，因此， 神经网络对输入输出数据具有建模能力。
表1 3个训练样本
输入 100 010 001
输出 10 0 0.5 01
• 在神经网络建模中，根据标准的输入输 出模式对，采用神经网络学习算法，以标准 的输入输出模式作为学习样本进行训练，通 过学习调整神经网络的连接权值。当训练满 足要求后，得到的神经网络权值构成了模型 的知识库。
其中 为学习速率， 为动量因子。
0,1 0,1
仿真实例：
取标准样本为3输入2输出样本，如表4-1所 示。
表2 训练样本
输入
输出
10010 0 1 0 0 0.5 00101
BP 网 络 模 式 识 别 程 序 包 括 网 络 训 练 程 序 chap6_2a.m和网络测试程序chap6_2b.m
隐层及输入层连接权值 wij 学习算法为：
wij
E p
wij
N
el
l 1
xl wij
其中
wij (k 1) wij (k ) wij
xl wij
xl
x
' j

x
' j
x j
x j wij
w jl

Baidu Nhomakorabeax
' j
x j
xi
w jl
6.2 基于BP神经网络的建模
1、BP神经网络 1986年，Rumelhart等提出了误差反向传播神经网络，简称
BP网络（Back Propagation），该网络是一种单向传播的多层 前向网络。
误差反向传播的BP算法简称BP算法，其基本思想是梯度 下降法。它采用梯度搜索技术，以期使网络的实际输出值与期 望输出值的误差均方值为最小。
• 当待输入模式与训练样本中的某个输入模 式相同时，神经网络输出的结果就是与训练样 本中相对应的输出模式。当输入模式与训练样 本中所有输入模式都不完全相同时，则可得到 与其相近样本相对应的输出模式。当输入模式 与训练样本中所有输入模式相差较远时，就不 能得到正确的输出结果，此时可将这一输入输 出数据作为新的样本进行训练，使神经网络获 取新的知识，并存储到网络的权值矩阵中，从 而增强网络的建模能力。
到输出的映射是非线性的，而隐含层空间到 输出空间的映射是线性的，从而可以大大加 快学习速度并避免局部极小问题。
RBF网络结构图1所示。
图1 RBF网络结构
2、RBF网络的逼近
采用RBF网络逼近一对象的结构如图2所 示。
图2 RBF神经网络逼近
在RBF网络结构中，X x1,x2,....xnT 为网络的输入