人工神经网络第三章

神经网络原理
NN 第一章
5
误差准则的确定
J f ew, e 0, l , f e 2 k
K 1 L

1.
2.
3.
4.
误差的三种形式 输出误差 逆模型辨识误差 广义误差 例
神经网络原理
NN 第一章
6
输出误差
W(k)
u(k) S
[
+ -
Z(k) e(k)
神经网络原理 NN 第一章 8
广义误差
W(k)
u(k) S
Z(k)
Mp ˆ
1
M
p2 1 ˆ
e(k)
ˆ-1 ˆ e( k ) P2 z k - P u ( k ) 1
神经网络原理 NN 第一章 9
例:s的差分方程
Z k 1 f 0 Z k ,, Z k - n 1 - g uk ,, uk - m 1 wk 1 ek f Z k 1,, Z k - n 1 - g uk ,, uk - m 1
准则 L为学习序列长度， 为数值 J e 2 k k - n 1 f 0 - Z n 1
NNI：
N1实现P , N 2实现P2 1 NNI：实质为最优化问题
10
神经网络原理
NN 第一章
NNI原理
神经网络原理 NN 第一章 19
n -1
m -1
四种形式 1. y k a y k - i g u k u k - m 1 c q wk 2. y k f y k y k - n 1 u k - i
神经网络原理
NN 第一章
3
系统辨识的原理图
W(k)
u(k)
Z(k)
系统
-e(k) +
辨识模型
z(k ) ˆ
4
神经网络原理
NN 第一章
基本问题



模型的选择 原则：兼顾复杂性和精确性 NNI：网络隐节点个数选择由仿真确定 输入信号选择 对动态系统而言，输入信号要充分激励， （基本要求）进一步，最优输入信号设计 NNI：噪声或伪随机信号 误差准则的确定
神经网络原理
NN 第一章
35
Target and Output Vector T(A) 1.2 1.15 1.1 µ ÚÒ»ÂÇø ÄT(A) Î µ 1.05 1 µ þÂÇø ÄT(A) Ú¶ Î µ 0.95 0.9 µ ÚÈýÂÇø ÄT(A) Î µ 0.85 0.8 ¾ Ö² Å´ ¿· ó
c q -1 wk
神经网络原理
NN 第一章
20
辨识结构
ˆ 1. y k Aq y k N uk uk - m 1
-1 -1
ˆ 3. y k N 1 y y N 2 u u ˆ 4. y k N y u
神经网络原理 NN 第一章 13
NNI的理论依据

定理：具有任意数目隐单元的三层前向网络可 一致逼近平方可积分函数
神经网络原理
NN 第一章
14
NNI的优点
1.
2.
3.
4.
无需建立实际系统的辨识格式，可省去 系统结构建模这一步，可调参数为NN的 权值; 可对本质非线性系统进行辨识，在网络 外部含系统I/O特征，非算法式的; 辨识算法不依赖于辨识系统的维数，仅 与NN本身和学习算法有关; NN为实际系统的物理实现，可用于在在 线控制。
NN模型
(b)
神经网络原理 NN 第一章 23
基于BP网络的辨识(p177)

考虑SISO问题 NN的学习算法 例
神经网络原理
NN 第一章
24
流程图
开始
样本{u(k-1),y(k-1)}进行数据预处理 网络权值初始化
由网络输出ym(k-1)，计算e(k-1)
修正网络权值
e(k-1)<ε
Y
µ ÚÒ»ÂÇø ÄT(A) Î µ 1.015
1.01
1.005
1 3000 3020 3040 3060 3080 3100 3120 3140 3160 3180 3200 Time t/s
局部放大图
神经网络原理 NN 第一章 37
几种算法学习训练时间比较
项目
次数

标准BP算法
120 5000
ˆ ˆ ˆ 串并：y p k ai k y p k - i j k u k - j
i 0 i 0
n -1
m -1
ˆ ˆ ˆ ˆ 并联：y p k ai k y p k - i j k u k - j
i 0 i 0
神经网络原理
NN 第一章
29
算法步骤




初始化权值 vij , pv - 0.1,0.1 选择u t 阶跃、斜坡、正弦 一 计算 y t 由 形成 xi计算 t e u t ,y t 按以上算法修正加权系数 将 移位，转第二步


之



t
ut , yt
z( ) ˆk
Mp ˆ
ek z k - z k ˆ ˆ Pu k - z ( k )
神经网络原理 NN 第一章 7
逆模型辨识误差
W(k)
u(k) S e(k)
u(k ) ˆ
ˆ IM p
Z(k)
ek u k - u k ˆ ˆ P -1 z k - u ( k )
神经网络原理
NN 第一章
15
NNI的一般结构

引言 对象的NL model描述
神经网络原理
NN 第一章
16
引言



NN：多层前馈网络（BP等）可实现任意NL静 态映射；反馈网络（Hopfield）有动态环节， 不可去映射NN 问题：希望构造新网络，保持2者优点，可映 射任意NL动态网络 解决：将Hopfield网络形式由单层变多层
神经网络原理
NN 第一章
30
3.2.5 BP网络逼近仿真实例
使用BP网络逼近对象：
y (k - 1) y (k ) u (k ) 1 y (k - 1) 2
3
BP网络逼近程序见chap7_1.m
神经网络原理
NN 第一章
31
仿真例

例1 电加热炉辨识仿真 例2 例3
神经网络原理
NN 第一章
神经网络原理
NN 第一章
17
对象NL model描述

状态方程 NL model的四种形式 得出的四种辨识结构
神经网络原理
NN 第一章
18
状态方程
xk 1 xk , uk , yk xk

系统为具有未知参数的线性对象时，系统可 控且可观，有串－并联、并联两种形式
n -1 i 0 p v p -1 m -1 i 0 p p p i
3. y p k f y p k y p k - n 1 y u k u k - m 1 c q -1 wk 4. y p k f y p k y p k - n 1, u k u k - m 1 c q -1 wk
bm uk - m 1
线性模型（ARMA模型) z k 1 - a1 z k a n z k - n 1 b1u k



a1 an , b1 bn

hk z k z k - n 1, u k u k - m 1
x
ˆ H O：y t Pi I i t , I 1阀值
r

性能指标：
i 1
ˆ J m 1 2 yt - yt
NN 第一章
2
神经网络原理
28
权系数修改法则
pi t a1et I i t a2 pi t - 1 vij t a1et f neti t pi t xi t ˆ et y t - y t , xv xi t - xi t - 1 a2 v jv t - 1
原对非线性系统无统一数学模型描述 现用NN逼近，给出基于输出误差的NNI NNI原理：在学习系统的I/O数据，建立系统 的辨识格式，使误差准则最小， 从中得出隐含的I/O关系
NN 第一章 11

神经网络原理
神经网络辨识系统结构示意图
神经网络原理
NN 第一章
12
TDL
X(t)
TDL
y(t)
é x ( t - 1) ù ê x (t - 2) ú ú y (t ) ê ... ê ú ê x (t - n )ú ë û
神经网络辨识



引言 NNI的一般结构 基于BP网络的辨识 基于Hopfield网络的辨识 逆动力学系统的建模
神经网络原理
NN 第一章
1
引言



定义 几个基本问题 NNI的原理 NNI的理论依据 NNI的优点
神经网络原理
NN 第一章
2
定义
1.
2.
3.
辨识就是在输入输出数据的基础上，从一组 给定的模型中确定一个与所测系统等价的模 型 L.A.Zadeh 辨识的三要素：I/O数据、系统结构模型、等 价准则 原理框图
ˆ 2. y k N y p k y p k - m 1 B q uk
神经网络原理
NN 第一章
21
并联模型
u(k) y(k+1)