6.5 Hopfield网络参数辨识

2.1 系统描述
设待辨识为二阶线性系统，其状态方程为：
x Ax Bu
（1）
其中
u
A
B 、
为待辨识的参数矩阵， x 为状态矢量，
x x1
x2
T
是单个控制输入。 用于辨识的可调系统为
xp Fx Gu
（2）
其中
a1 1 F a 21
a1 2 a 22
n du i ui w ij v j Ii C i dt Ri j 1 v i g u i
其中 i 1, 2 ,..., n 。
其中g(•)为双曲函数，一般取为：
g s 1 e 1 e
s s
u u 1 , u 2 ,..., u n
（10）
a 1 1 b1 x1 a 1 2 b1 x 2 a 2 1 b 2 x1 a 2 2 b 2 x 2 u
则
T T T T x F x x F x 2 x F x 2 a 1 1 x1 x1 a 1 2 x1 x 2 a 2 1 x 2 x1 a 2 2 x 2 x 2

取
V v1 v2 v3 v4 v5 v 6 a1 1
T
a1 2
a 21
a 22
b1
b2
T
将
E
中的各项可表达为式（7）~式（12）：
2 2 T x x x1 x 2
（7）
x F F x x1
T T 2 2
a1 1 x2 a1 2
（14）
2.3 用于辫识的Hopfied网络设计 Hopfield网络能量函数趋于极小的过程，就是估计矩阵 G 和
F
收敛于实际矩阵
A
和
B
的过程。通过构建一个具体的
Hopfield网络，可进行参数辨识。
Hopfield神经网络第
i
个神经元的动态方程为：
（15）
n dui u Ci w ij v j i I i dt Ri j 1 v g u i i
2 2
a 2 1 a1 1 a 22 a 21
a 1 2 x1 a 22 x 2
2 2 2 2
a 1 1 x1 a 1 1 a 1 2 x 2 x1 a 2 1 x1 a 2 2 a 2 1 x 2 x1 a 1 1 a 1 2 x1 x 2 a 1 2 x 2 a 2 1 a 2 2 x1 x 2 a 2 2 x 2 （8） v1 x1 v1 v 2 x 2 x1 v 3 x1 v 4 v 3 x 2 x1 v1 v 2 x1 x 2 v 2 x 2 v 3 v 4 x1 x 2 v 4 x 2
由于 i g u i ,则 v
dE N dt

C
i
dg
i
1v i dv iFra bibliotekdv i
dt
2
由于
C i ，双曲函数是单调上升函数，显然它的 0
1
反函数 g
dv i dt
v i
0
也为单调上升函数，即有
dg
1
v i
0
，则
dv i
2 2 2 2 2 2 2 2
u G G u b1 b 2 u
T T 2 2
2
v5 v6 u
2 2
2
（9）
由于
x F G u u G F x x1
T T T T
a1 1 x2 a1 2
a 21 a 22
b1 u b2
i j
w ij v i v j
I ivi
（18）
利用Hopfield网络进行辨识时，取所定义的辨识能量函数与 Hopfield网络标准能量函数相等，即E=EN，同时考虑由于 E=E1+E2, ，则由上式可得：
对比式（13）,(14)和式（18），可将网络得权值表示为：
x1 x 2 x1 0 W 0 ux 1 0
R
j
. . .
j
j
j
.
V
j
C
.
u . .
i
I
i
wij
i
.V
i
Ri
.
Ci
图1 Hopfield网络模型
如果把一个最优化问题的目标函数转换成网络的 能量函数，把问题的变量对应于网络的状态，那么
Hopfield神经网络就能够用于解决优化组合问题。
对于Hopfield神经网络第i个神经元，采用微分方程 建立其输入输出关系，即：
EN 1
2
i j
w ij v i v j

i
1 Ri

vi 0
gi
1
v dv
i
I ivi
（17）
由于
V a1 1 a1 2
R
，取Hopfield网络的输出对应待辨识参数，即
a 22
1
a 21
b21
b22
T
，则上式变为：

i
EN
2
，
b1 G b2
e
A F x B
G u
（3）
其中 e 为状态偏差
e x xp
由于 x 与 u 线性无关，则当
e 0
（4）
时，A
F
B G
2.2 辨识能量函数的设计 选择基于状态偏差变化率的参数辨识能量函数为：
E 1 2 T e e
即
E 1 2 1 x
T T T T T T T T T T T T T T T x x Fx x Gu x F x x F Fx x F Gu u G x u G Fx u G Gu
x 2
T
T T T T T T T T T T T T T T x x F Fx u G Gu x F Gu u G Fx x Fx x F x x Gu u G x
其中
g u
1 e 1 e
u
u
， 0 。
假定Hopfield神经元由理想放大器构成，即 R i 同时取 C i 1 （15）可变为：
dui dt
，则Hopfield神经网络动态方程式

i
w ij v j I i
（16）
Hopfield网络的标准能量函数为：
（21）
由式（21）求解的 W
（11）
T T T T x G u u G x 2 x G u 2 b1 x1 b 2 x 2 u
（12）
在式（6）中，取
E2
E1 1 2
E E1 E 2
，其中
E1
取
E
的前5项，
取
E
的前2项，则有
x
T
T T T T T T T T x x F Fx u G Gu x F Gu u G Fx 2 2 2 2 2 2 2 2 2
1 x 1 x 2 v 1 x 1 v 1 v 2 x 2 x 1 v 3 x 1 v 4 v 3 x 2 x 1 v 1v 2 x 1 x 2 v 2 x 2 v 3 v 4 x 1 x 2 v 4 x 2 2 2 2 2 v 5 v 6 u 2 v1 v 5 x 1 v 2 v 5 x 2 v 3 v 6 x 1 v 4 v 6 x 2 u
2
x1 x 2 x2 0 0 ux2 0
2
0 0 x1
2
0 0 x1 x 2 x2 0 ux2
2
x1 u x2u 0 0 u
2
x 2 x1 0 u x1
0
0 0 x1 u x2u 0 2 u
x1 x1 x 2 x1 x1 x 2 I x2 x2 ux 1 ux2
2
（13）
E2
1 2
xTFx xTF T x
1 2
x
T
T T Gu u G x
a 1 1 x1 x1 a 1 2 x1 x 2 a 2 1 x 2 x1 a 2 2 x 2 x 2 b1 x1 u b 2 x 2 u v1 x1 x1 v 2 x1 x 2 v 3 x 2 x1 v 4 x 2 x 2 v 5 x 1 u v 6 x 2 u
解决了著名的旅行推销商问题（TSP问题），另外，它
在智能控制和系统辨识中也有广泛应用。
2 Hopfied网络参数辨识
在系统辨识中，直接采用Hopfield神经网络对时域内动态系
统实现参数估计是一种简单而直接的动态系统辨识方法。该方法 的特点是根据Hopfield神经网络的动力学机制，使其神经元的输出
可得到 dE dt
仅当
，即能量函数 E N 具有负的梯度，当且
时,
dE N dt 0
0
（i
1, 2 ,..., n ）。
由此可见，随着时间的演化，网络的解在状态空间
中总是朝着能量EN减少的方向运动。网络最终输出向量
V为网络的稳定平衡点，即EN的极小点。
Hopfield网络在优化计算中得到成功应用，有效地
如果把一个最优化问题的目标函数转换成网络 的能量函数，把问题的变量对应于网络的状态，那
么Hopfield神经网络就能够用于解决优化组合问题
。
Hopfield神经网络模型是由一系列互联的神经
单元组成的反馈型网络，如下图所示。
I1
. . .
R1
. . .
u . .
1
1
.
V1
.
u . .
C1
I
j
. . .
T 为n个神经元的网络状态向量；
T
V v1 , v 2 ,..., v n
为网络的输出向量； 为网络的输入向量。
I I 1 , I 2 ,..., I n
T
定义Hopfield网络的Lyapunov能量函数为
EN 1 2

i j
w ij v i v j

i
1 Ri

vi
gi
1
v dv

0

i
I i vi
若权值矩阵 W 是对称的（ w ij
dE N dt
w ji
ui
），则

i 1
n
E vi

vi t


i
dv i dt

j
w ij v j Ii Ri

i
dv i du i Ci dt dt
（5）
由于
T e e x Fx Gu
T
x Fx Gu
T T T T T T T T T T T T T T T x x x Fx x Gu x F x x F Fx x F Gu u G x u G Fx u G Gu
6.5 Hopfied网络参数辨识
1
Hopfield神经网络
Hopfield网络原理
1.1
1986年美国物理学家J.J.Hopfield利用非线性动力学
系统理论中的能量函数方法研究反馈人工神经网络的 稳定性，提出了Hopfield神经网络，并建立了求解优化 计算问题的方程。
基本的Hopfield神经网络是一个由非线性元件构 成的全连接型单层反馈系统，Hopfield网络中的每一个
值对应待识参数，则系统趋于稳定的过程就是待辨识参数辨识的
过程。 利用Hopfield网络进行辨识时，取所定义的辨识能量函数
等于Hopfield网络标准能量函数，通过Hopfield神经网络动态方
程，得到Hopfield网络的连接权矩阵 得到稳定的参数辨识结果。
W
和神经元的外部输入 I
然后将其代入Hopfield网络动态方程运行，经过一段时间后,可
神经元都将自己的输出通过连接权传送给所有其它神
经元，同时又都接收所有其它神经元传递过来的信息
。Hopfield神经网络是一个反馈型神经网络，网络中的
神经元在时刻的输出状态实际上间接地与自己的时刻 的输出状态有关。
反馈型网络的一个重要特点就是它具有稳定状
态，当网络达到稳定状态的时候，也就是它的能量
函数达到最小的时候。 Hopfield神经网络的能量函数表征网络状态的 变化趋势，并可以依据Hopfield工作运行规则不断 进行状态变化，最终能够达到的某个极小值的目标 函数。网络收敛就是指能量函数达到极小值。