第4章 模型参数辨识方法 - 梯度校正辨识方法_381307565

1 L z(k , ),z (k ) f ˆ L k 1 要极小化这个准则函数，必须用迭代的数值搜索方法。一个非常普通的搜 J L ( )=
索方法是
ˆ (k )= ˆ (k 1) + (k )g(k ) ˆ (k ) 是基于 L 组数据进行的第 k 次迭代估计值； (k ) 是搜索系数； g (k ) 其中，
J L ( ) J L ( ) ˆ (k 1) ˆ (k 1)


T
2 J L ( ) 0T 2 ˆ (k 1)
那么有

2 J ( ) J ( ) T L ˆ (k 1) L 2 ˆ (k 1) ˆ (k 1)
J L ( )
ˆ (k 1) ˆ (k 1)) + J L ( ) J L ( ˆ (k 1)


2

1 ˆ (k 1) 2


T
2 J L ( ) ˆ (k 1) 2 ˆ (k 1)


对 极小化，考虑到上式右边第一项对 求导为零，为此可得
L
据遍历性条件下与样本路径无关的极小值。 ● 定理 4-4-2：在定理 4-4-1 条件下，如果矩阵
2 J ( ) 2 * J ( * )
是可逆的，则 L L* * 是一个依分布收敛于零均值、协方差矩阵为 P 的正 态分布随机变量，其中协方差矩阵 P 为
* P J ( ) 1 T J L ( ) lim L E L 1 J L ( ) J ( * ) *
lim sup J L ( )-J ( ) =0, a.s.
L D

这意味着，lim L = , a.s. ，其中 * 或是使 J ( ) 处于极小值上，或是参数
* * L
约束区域 D 的边界点， 或是约束区域的边界点。 L* 或是使 J L ( ) 处于极小值上， 说明： 定理 4-4-1 可以直观地解释为： 使准则函数 J L ( ) 达到极小值的 L* ， 当 L 趋于无穷时， 它收敛于 lim L* = * , a.s. 。该收敛值 * 使 J ( ) 达到一个在数
1
这就形成下述的牛顿迭代算法
2 J ( ) J ( ) T L ˆ ˆ (k ) (k 1) (k ) L 2 ˆ (k 1) ˆ (k 1) 2 J ( ) J ( ) T L 其中， 综合为搜索方向。 L 2 ˆ (k 1) ˆ (k 1)
是基于 J L ( ) 的搜索方向（最有代表性的是负梯度方向）。 在梯度搜索情况下， g (k ) 取负梯度，即
J ( ) g (k )= L
法。由于
T
ˆ (k 1)
ˆ (k 1) 的二阶 Taylor 级数展开，可以得到改进的搜索算 考虑 J L ( ) 关于
1 1
当准则函数取
J L ( )=
1 L 2 z (k , ) z (k ) ˆ 2 L k 1
则准则函数对 的一阶导数和二阶导数可表示为
J L ( ) 1 L z (k , ) ˆ ˆ z (k , ) z (k ) ˆ (k 1) L k 1
ˆ (k ) ˆ (k 1) (k ) P (k ) J L ( )
T ˆ (k 1)
T
1 L 2ˆ z (k , ) ˆ 将逐步趋于零（相当于残差的 z ( k , ) z ( k ) L k 1 2 ˆ (k 1)
的区域内（如使模型是稳定的）。
ˆ (k )= * ，其中 * 或是使 J ( ) 处于极小值上的 ● 在正则情况下，有 lim L L L
k
值，或是约束区域的边界点。 ● 为了去掉对样本的依赖，准则函数通常采用 J L ( ) 的数学期望形式
4
E J L ( ) =
1 L z(k , ),z(k ) E f ˆ L k 1
2
ˆ (k )= 。 ● 由 Lyapunov 主稳定性定理知， lim (k )=0 or lim 0
k k
N ● 因为 V (k ) Qm (k ) ，其中 Q c(k ) 2 (k ) c(k ) i (k )hi2 (k ) 2 ，而 i 1
如果 ① 0 min i (k ) max , i 1,2, ②
,N (k )
,N ,k 0 ；
i (k ),
i 1,2, ,N 中至少存在一Baidu Nhomakorabea m (k ) ，使得
m (k ) m (k 1) i (k ) i (k 1) ,i 1,2 , m (k ) i (k )
T
T
ˆ (k 1)
z (k , ) 2 J L ( ) 1 L ˆ z(k , ) ˆ 2 L k 1 ˆ (k 1) ˆ (k 1)
1 L 2ˆ z (k , ) ˆ z ( k , ) z ( k ) L k 1 2 ˆ (k 1)
ˆ (k 1)
数 J ( )=
1 z(k ) h(k ) 2 的梯度。 2
梯度校正算法为
ˆ (k )= ˆ (k 1) R(k )h(k ) z(k ) hT (k ) ˆ (k 1)
2、权矩阵的选择 设权矩阵具有如下形式
R(k )=c(k )diag 1 (k ),2 (k ),
其中
P 1 (k )
说明：
z (k , ) 1 L ˆ z (k , ) ˆ L k 1 ˆ (k 1)
T
T
J ( ) ● 在方向 (k ) P (k ) L
J L ( ) 在搜索方向上极小化，即
或
,N ,i m,k 0 ，
m (k 1) i (k 1) ,i 1,2 , ,N ,i m,k 0 ； m (k ) i (k )
③ 0 c (k )
2
(k )h
i 1 i
N
2 i
(k )
， 其中 hi (k ) 是数据向量 h(k ) R N *1 的第
ˆ (k ) ， 根据梯度搜索原理，沿着输出残差平方的负梯度方向修正模型参数
即
ˆ (k )= ˆ (k 1) R(k ) grad J ( )
ˆ (k 1)
ˆ (k ) 是第 k 次迭代估计值； R(k ) 为权矩阵； grad J ( ) 为准则函 其中，
上，对 (k ) 作线性搜索，使准则函
ˆ (k 1 )
ˆ (k 1) (k )P (k ) (k )= arg min J L


J L ( )
T
ˆ (k 1)
ˆ (k ) 的范围，使其保持在某个预定 ● 迭代运算时有必要约束参数估计值
lim E J L ( ) 几乎处处存在；② 待辨识
L
● 定理 4-4-1：如果 ① J ( )
系统是衰减稳定的；③ 模型输出 ˆ z(k , ) 关于 是二次可微的，且生成 ˆ z(k , ) 的 模型对限定的参数区域 D 内所有的 都是稳定的，则准则函数 J L ( ) 几乎处处 收敛于 J ( ) ，即
z (k , ) 2 J L ( ) 1 L ˆ z(k , ) ˆ 2 L k 1 ˆ (k 1) ˆ (k 1)
这样做的理由是：因为极限意义下残差 ˆ z(k , ) z(k ) ˆ (k 1) 具有独立性，二 阶导数的第二项 一种均值）。 这样就得到高斯－牛顿迭代算法
课程名称： 《系统辨识理论与实践》
（Theory and Practice of System Identification）
Part II 辨识方法
第 4 章 模型参数辨识方法
4.4 梯度校正辨识方法
4.4.1 梯度搜索原理 4.4.2 确定性问题 1、算法 2、权矩阵的选择 4.4.3 随机性问题 1、分类 2、补偿思想 （1）算法的有偏性 （2）第一类问题的渐近无偏算法 （3）第二类问题的渐近无偏算法 （4）权矩阵 R(k ) 的选择 4.4.4 随机逼近辨识方法 1、随机逼近原理 （1）原理 （2）Robbins-Monro 算法 （3）Kiefer-Wolfowitz 算法 2、基于随机逼近原理的辨识算法 4.4.5 随机牛顿辨识算法 1、随机牛顿算法 （1）牛顿方向 （2）牛顿算法 （3）随机牛顿算法 2、梯度校正辨识算法
i 个元素；
6
ˆ (k ) 与数据向量 h(k ) R N 1 不正交； ④ (k )= 0
ˆ (k )= 。 则 lim (k )=0 or lim 0
k k
说明： ● 写出参数误差离散方程
T (k )= I R(k )h(k )h (k ) (k 1)
1
Part II 辨识方法
第 4 章 模型参数辨识方法
4.4 梯度校正辨识方法
方程误差辨识算法的基本结构：
新的模型参数估计值 ＝老的模型参数估计值 ＋增益矩阵 ×新息
梯度校正辨识方法也具有以上的结构，但基本原理不同，其操作是沿着准则函 数的负梯度方向，逐步修正模型参数估计值，直至准则函数达到最小值。 4.4.1 梯度搜索原理 如果 是模型的参数，那么什么样的 可以使模型输出最好地近似系统的 输出？度量这个近似程度的“好坏”可以是一个标量准则函数，其一般形式为
i2 (k ) ● 取 Lyapunov 函数为 V (k )=m (k ) ，其中 i (k ) 是参数误差向量 i 1 i (k )
N
(k ) 的第 i 个元素。显然有
◇ V (k )>0, (k ) 0 ◇ V (k )=0, (k ) 0 ◇ V (k ) , as (k ) ◇ V (k )=V (k 1) V (k )<0 , (k ) 0
1
2 J ( ) J ( ) T 这里给出的二阶导数可能不是正定的， 搜索方向 L 2 L ˆ (k 1) ˆ (k 1)
3
就不一定指向“下山”方向，即不一定指向 J L ( ) 的极小值方向。一种解决的 办法是忽略二阶导数的第二项，从而保证二阶导数矩阵是非负定的，就是取
4.4.2 确定性问题 1、算法 考虑如下模型（确定性模型）
z(k ) hT (k ) 其中， z ( k ) 为模型输出变量； 为模型参数向量； h(k ) R N *1 为数据向量，
5
由输入数据 U (k ) u(k ), u(k 1), u(k 2),和输出数据 Z (k ) z(k 1), z(k 2), 组成。