A第8章 递推辨识算法的收敛性分析_155909957
Rudin数学分析中的幂级数理论与收敛判别
Rudin数学分析中的幂级数理论与收敛判别幂级数是数学分析中一个重要的概念，其在数学和物理领域有着广泛的应用。
本文将介绍Rudin数学分析中的幂级数理论以及幂级数的收敛判别方法。
一、幂级数的定义和基本性质在Rudin数学分析中，幂级数的定义如下：给定一列复数{an}和复数z，幂级数表示为：S(z) = Σ(an * z^n), n = 0, 1, 2, ...其中，an称为幂级数的系数，z是一个复数。
幂级数的基本性质有以下几点：1. 绝对收敛与条件收敛当对于某个复数z0，幂级数Σ|an * z0^n|收敛时，称幂级数在z0处绝对收敛。
当幂级数在某个复数z1处收敛但不绝对收敛时，称幂级数在z1处条件收敛。
2. 收敛域收敛域是指幂级数的所有收敛点所构成的集合。
根据幂级数的收敛半径R，可以将收敛域分为三种情况：当R = 0时，幂级数只在z = 0处收敛；当R = +∞时，幂级数在整个复平面上都收敛；当0 < R < +∞时，幂级数在以原点为中心，半径为R的开圆盘上收敛。
二、幂级数的收敛判别方法1. Cauchy-Hadamard定理Cauchy-Hadamard定理给出了幂级数收敛半径的计算公式。
假设幂级数Σ(an * z^n)的收敛半径为R，则有：1/R = lim sup √(|an|), n→∞其中，lim sup表示上极限。
根据该公式，可以计算出幂级数的收敛半径。
2. 比值判别法和根值判别法比值判别法和根值判别法是判断幂级数收敛半径的常用方法。
比值判别法：计算幂级数的相邻两项的比值的极限，如果这个极限存在，则幂级数的收敛半径就是这个极限的倒数。
根值判别法：计算幂级数的系数的n次方根的极限，如果这个极限存在，则幂级数的收敛半径就是这个极限的倒数。
3. Abel定理和Dirichlet定理Abel定理和Dirichlet定理是判定幂级数在收敛边界上的收敛性的重要定理。
Abel定理：若幂级数Σan * z^n在点z0处收敛，则对于任意满足0 < r < |z0|的实数r，幂级数Σan * r^n也收敛。
数值分析10迭代法的收敛性分析
研究方向
进一步深入研究迭代法的收敛性，探索更有 效的迭代公式和算法，以提高收敛速度和稳 定性。
展望
随着计算技术的发展，迭代法在数值分析中 的应用将更加广泛，其收敛性分析将为解决 实际问题提供更有力的支持。同时，随着数 学理论的发展，迭代法的收敛性分析将更加 深入和完善。
感谢您的观看
THANKS
例如，梯度下降法和牛顿法是两种常见的求解优化问 题的迭代法。通过收敛性分析，可以发现梯度下降法 在一般情况下是收敛的，但可能会遇到收敛速度较慢 或者不收敛的情况；而牛顿法在一般情况下也是收敛 的，且收敛速度可能比梯度下降法更快。因此，在实 际应用中，可以根据问题的具体情况选择合适的迭代 方法。
06
迭代法收敛的充要条件
迭代法收敛的充要条件是迭代矩阵的谱半径小于1。谱半径是迭代矩阵所有特征值的模的最大值。
收敛性的判定方法
可以通过计算迭代矩阵的特征值来判断迭代法的收敛性，也可以通过迭代矩阵的范数来近似判断。
收敛速度的度量
01
02
03
迭代次数
迭代次数是衡量收敛速度 的一个直观指标，迭代次 数越少，收敛速度越快。
在非线性方程求解中的应用
非线性方程的求解是数值分析中的另一个重 要问题，迭代法也是求解非线性方程的重要 方法之一。与线性方程组求解类似，收敛性 分析在非线性方程求解中也有着重要的作用 。通过收敛性分析，可以判断迭代法的收敛 速度和收敛性，从而选择合适的迭代方法和 参数，提高求解效率。
《概率论与数理统计课件》随机变量序列的收敛性
P
定理 4.3.3 若 C 为常数，则 X n C 的充
L
要条件是 X n C ．
21
证明：
必要性已由定理 4.3.2 给出，下证充分性．
记随机变量 X n 的分布函数为 Fn x ．而常数 X C
（退化分布）的分布函数为
F
x
0 1
xC ． xC
22
所以对于任意的 0 ，有
Fn x收敛到一个极限分布函数 Fx 是有实际意义的．现在的 问题是，如何定义分布函数序列 Fn x的收敛性？很自然，由 于 Fn x是实变量函数序列，我们的一个猜想是：对所有的 x ， 要求 Fn x F x, n ．这就是数学分析中的点点收敛．然
下面的定理说明了依概率收敛是一种比按分布收敛更 强的收敛性．
11
P
L
定理 4.3.2 如果 X n X ，则必有 X n X ．
12
证明：
设随机变量 X n 的分布函数为 Fn x ， n 1, 2, 3, ；
随机变量
X
的分布函数为
F x ．为证
Xn
L
X
，只须证明：
对所有的 x ，有
写出随机变量 Yn
n k 1
Xk 2k
的特征函数n t ；⑶
证
明：当 n 时，随机变量序列Yn依分布收敛于随机变量Y ．
33Leabharlann 解：⑴ 由于随机变量Y 服从区间 1, 1 上的均匀分布，因
此 Y 的特征函数为
t eit eit cost i sin t cost i sin t sin t ．
（因为 x x 0）．所以有
再令 x x ，得
数项级数收敛性的判别概论
班级：数学091 姓名：韩海飞数项级数收敛性的判别摘要：文章对数项级数收敛性的判别方法进行了归纳总结，得到一般的解题思路.关键词：判别方法归纳总结数项级数敛散性解题思路引言：在讲解数项级数敛散性判别方法时，每讲一种判别方法，学生按照指定的判别方法进行解题，一般都能很容易求得结果，而当把多种判别方法讲完，再让学生作综合判别时，学生要么束手无策，要么选择判别方法时带有盲目性，拿作判别方法进行实验性解题，只要求得结果，不问方法的简单与繁琐，而不是先从简单方法入手，往往用一种简单的方法就可以轻松解题，却用较繁琐方法费了九牛二虎之力，结果还不一定正确，造成这种情况的主要原因主要是学生对所学的判别方法的使用条件及特点不太熟悉，解题思路比较乱.所以在讲解完常数项级数敛散性判别方法之后，非常有必要归纳总结一下.一、定义定义1：设有数列 表达式（1） 称为数项级数，可记为 ，其中 称为数项级数（1）的第n 项或一般项。
定义2： 称为级数（1）的第n 个部分和，数列称为它的部分和数列。
定义3：设 是级数（1）的部分和数列，若 则说级数（1）的和是S ，这时也说级数（1）是收敛（于S ）的。
记为： 。
若 是发散数列，则称级数（1）发散。
余项： 定义4：绝对收敛：若∑∞=1n n u 收敛，则称级数∑∞=1n n u 绝对收敛条件收敛：若∑∞=1n n u 发散，则称级数∑∞=1n n u 条件收敛二、性质定理定理12.2若级数1n n u ∞=∑与1n n v ∞=∑都收敛，则对任意常数,c d ，级数111()nn n n n n n cudv c u d v ∞∞∞===+=+∑∑∑也收敛.定理12.3 去掉、增加或改变级数的有限个项并不改变级数的敛散性.定理12.4 在收敛级数的项中任意加括号,既不改变级数的收+++u u u n 21,,,:}{21u u u u n n ∑∞=1n n u u n u u u S n n ++=21}{S n }{S n S S n n =∞→lim S u n n =∑∞=1}{S n S S r n n -=敛性,也不改变它的和. 三、分类1、等比级数（几何级数）:2、--p 级数：)0(11>∑∞=p nn p3、正项级数: 若0≥n u ，则称∑n u 为正项级数4、一般级数：任意 ，则称∑n u 为一般级数 三、等比级数收敛性的判别法等比级数（几何级数） ，1<q 时，级数收敛 1≥q 时，级数发散四、--p 级数收敛性判别法：--p 级数)0(11>∑∞=p nn p(1)当10≤<p 时，级数发散 (2)当1>p 时，级数收敛 例：∑21n为p-级数，p=2>1，显然此级数是收敛的. 五、正项级数收敛性的判别法（1）比较原则：设∑n u 与∑n v 是两个正项级数，若（1） 当+∞<<10时，两级数同时收敛或同时发散； （2） 当0=l 且级数∑n v 收敛时，级数∑n u 也收敛； （3） 当+∞=l 且级数∑n v 发散时，级数∑n u 也发散；+++-q a aq a n 1qq a S n n --=1)1()1(≠q ⎪⎩⎪⎨⎧-=∞→发散q a S n n 1lim +++-q a aq a n 1 +++u u u n 21例： 判别级数∑n 1sin 的敛散性解：由于 111sinlim =∞→nn n ，根据比较原则，及调和级数∑n 1发散，所以级数∑n1sin 也发散.（2）比式判别法（极限形式）若∑n u 为正项级数，且lim q u u nn =+1则 (1)当1<q 时，级数∑n u 也收敛；(2)当1>q 时，或+∞=q 时，级数∑n u 发散；注：当1=q 时，）比式判别法不能对级数的敛散性作出判断，因为它可能是收敛的，也可能是发散的.例如，级数∑21n与∑n 1，它们的比式极限都是1lim1=+∞→n n n u u 但∑21n是收敛的，而∑n 1是发散的. （3）根式判别法（极限形式）若∑n u 为正项级数，且1lim =∞→n nn u 则 (1)当1<l 时，级数收敛 (2)当1>l 时，级数发散注：当1=l 时，根式不能对级数的敛散性作出判断例如，级数∑21n 与∑n 1，二者都有1lim =∞n nn u ，但∑21n是收敛的，而∑n 1是发散的.但∑21n 是收敛的，而∑n 1是发散的. 例：判别级数()∑-+nn212的敛散性 解：由于232123lim lim 122122==-∞→-∞→m m m m m m u u 612321lim lim 212212==+∞→+∞→mm m m m m u u 故用比式判别法无法判定此级数的敛散性，现在用根式判别法来考察这个级数，由于 2123lim lim 2222==∞→∞→m m m m m m u 2121limlim12121212==++∞→++∞→m m m m m m u 所以21lim =∞→n n n u 由根式判别法知原级数收敛.（4）积分判别法：设f 是[)+∞,1上非负递减函数那么正项级数∑)(n f 与非正常积分⎰+∞1)(dx x f 同时收敛或同时发散； 例：讨论级数∑∞=2)(ln 1n pn n 的敛散性 解：研究非正常积分⎰∞+2)(ln px x dx，由于 ⎰⎰⎰∞+∞+∞+==2ln 22)(ln )(ln )(ln p p p udu x x d x x dx当1>p 时收敛1≤p 时发散，由积分判别法级数∑∞=2)(ln 1n pn n 在1>p 时收敛1≤p 时发散（5）拉贝判别法（极限形式）若∑n u 为正项级数，且r u u n nn n =-+∞→)1(lim 1存在，则(1)当1>r 时，级数∑n u 收敛；(2)当1<r 时，级数∑n u 发散； (3)当1=r 时拉贝判别法无法判断.例：讨论级数(),)2(421231∑⎪⎪⎭⎫⎝⎛⋅⋅-⋅⋅⋅⋅sn n 当3,2,1=s 时的敛散性解：无论3,2,1=s 哪一个值，级数(),)2(421231∑⎪⎪⎭⎫⎝⎛⋅⋅-⋅⋅⋅⋅sn n 的比式极限都有1lim1=+∞→nn n u u 所以用比式判别法都无法判别此级数的敛散性，现在应用拉贝判别法来讨论，当1=s 时，由于)(2122)22121()1(1∞→→+=++-=-+n n n n n n u u n n n 所以级数是发散的. 当2=s 时，由于)(1)22()34(])2212(1[)1(221∞→→++=++-=-+n n n n n n n u u n n n 这时，拉贝判别法也无法对此级数作出判断， 当3=s 时，由于)(23)22()71812(])2212(1[)1(3231∞→→+++=++-=-+n n n n n n n n u u n n n所以级数收敛. 六、一般级数收敛性的判别法（1）级数∑∞=1n n u 若0lim ≠∞→n n u ，则此级数发散.例：判断级数∑++nnn 2222的敛散性解：由于 1)2(lim 122=+⋅++∞→nx nn ，所以原级数发散（2）（基本判别法）如果正项级数的部分和数列具有上界,则此级数收敛.例：判定正项级数()()()112111n n n a a a a ∞=+++∑的敛散性.分析：本题无法直接使用定义、柯西判别法、达朗贝尔判别法,或比较判别法以及其他的判别法进行判断,因此可选用基本定理进行判断. 解 记()()()12111nn n a u a a a =+++,则()()()()()()()()()121211211111111111nn n n n a u a a a a a a a a a -==-+++++++++级数的前n 项和()()()112111111n n k k n S u a a a ===-<+++∑所以原级数的部分和数列有上界,于是原级数收敛.（3）柯西收敛准则级数∑∞=1n n u 收敛的充要条件：,,0N n ∈∃>∀ε当)(N m n m ∈>时，N p ∈∀有：ε<+⋅⋅⋅+++++m p m m u u u 21例：证明级数∑21n的收敛 证明：由于||21p m m m u u u ++++⋯++=222)(1)2(1)1(1p m m m +⋯++++ <))(1(1)2)(1(1)1(1p m p m m m m m +-++⋯+++++=）（）（）（pm p m m m m m+--++⋯++-+++-1112111111 =p m m +-11<m1 因此，对任给正数ε ，取]1[ε=N ，使得当m>N 及任意自然数p ，由上式就有||21p m m m u u u ++++⋯++<m1<ε 由柯西收敛准则推得级数∑21n是收敛的. （4）绝对收敛定义法：若级数∑n u 各项绝对值所组成的级数∑n u 收敛，则原级数∑n u 收敛； 例：⋯++⋯++=∑!!2!2n n nnαααα的各项绝对值所组成的级数是⋯++⋯++=∑!||!2||||!||2n n nn αααα应用比式判别法，对于任意实数α都有1||lim ||||lim1+=∞→+∞→n u u n nn n α=0 因此，所考察的级数对任何实数α都绝对收敛.（5）莱布尼兹判别法：若交错级数()),2,1,0(11⋅⋅⋅=>-+∑n u u n n n 满足下述两个条件：(1)数列{}n u 单调递减； (2)0lim =∞→n n u则级数()),2,1,0(11⋅⋅⋅=>-+∑n u u n n n 收敛.例：考察级数∑∞=+-111)1(n n n的敛散性.解：因为∑∑∞=+=-111|1)1(|n n nn 发散，不满足绝对收敛定义，而此级数满足莱布尼茨条件，故收敛.（6）阿贝耳判别法：设级数∑n n b a 若{}n a 为单调有界数列，且级数∑n b 收敛，则级数∑n n b a 收敛.例：讨论级数∑+-nnn xx n 1)1( (x>0)的敛散性. 解：对于数列{n n x x +1 } 来说，当x>0时，0<nn x x +1<n nxx =1 又⎪⎩⎪⎨⎧>>≤<≤++=++=++++++1,110,1111)1(11111111x x xx x n n nn n n xx n n x x x x即数列 {nn xx +1 } 是单调有界的，又 ∑-n n)1( 收敛， 由阿贝尔判别法知道级数收敛.（7）狄利克雷判别法：设级数∑n n b a 若{}n a 单调递减，且0lim =∞→n n a 又级数的部分和数列有界，则级数∑n n b a 收敛.例： 证明：若数列{n a } 具有性质：⋯≥≥⋯≥≥n a a a 21 ,0=∞→n n a lin 则级数∑nx a n cos 对任何x )2,0(π∈都收敛.证明：因为)cos 21(2sin 21∑=+nk kx x=])21sin()21[sin()2sin 23(sin2sin x n x n x x x --+++-+ =x n )21sin(+当x )2,0(π∈时,02sin ≠x 故有：2sin2)21sin(cos 211x n kx n k +=+∑= 所以级数∑nx cos 的部分和数列当x )2,0(π∈时有界，由狄利克雷判别法得级数∑nx a n cos 收敛.以上方法是常见的方法，接下来我们来看由比较原则衍生出的几种不常见的方法。
判别分析PPT课件
zi(x)ln q ifi((x ))
lnqi 12ln|i |1 2(x(i))i1(x(i))]
问题转化为若 Zl(x)m 1ik[Z ai(x x)，]则判 xGl 。 当协方差阵相等 1 k
则判别函数退化为 zi(x)ln qi1 2(xμ(i))Σ1(xμ(i)) ]
12[2lnqi (xμ(i))Σ1(x μ(i)) ] 令 F i(x) 2ln q i (x μ(i))Σ1(x μ(i)) ]
hj(x)qiC(j/i)fi(x)
i1
含义是：当抽取了一个未知总体的样品值x，要判别它属于 那个总体，只要先计算出k个按先验概率加权的误判平均损失
k
hj(x)qiC(j/i)fi(x) i1
然后比较其大小，选取其中最小的，则判定样品属 于该总体。
为了直观说明，作为例子，我们讨论k=2的情形。
ECM
其判别函数为
W (x)(x)12(12)
(12)/2 1 2
概 率 ： P ( x /G 2 ) P ( x 2 1 2 2 2 )
P(x21 22)P(x2
12) 2
1(12) 2
2、 交叉核实
交叉核实法的思想是：为了判断第i个观测的判别
正确与否，用删除第i个观测的样本数据集计算出判
P i ( x ) 2 lq i n 2 μ ( ) Σ i 1 x μ ( ) Σ i 1 μ (i)
问题转化为若P l(x)m 1ik[P ii(nx)]，则判 xGl 。
P i(x ) 2 (q li n 1 2 μ (i Σ ) 1 μ (i ) μ (Σ i )1 x )
P(好/做 人好事）
P好P 人 (做 P好 好 /好 P 人 事 )做 人 P(坏 好 /好 )P 人 事 (做 人好 /坏事 )人
时变系统辨识方法及其收敛定理
第5卷第1期2006年2月 江南大学学报(自然科学版)Journal of Southern Yangtze U niversity(N atural Science Edition) Vol.5 No.1Feb. 2006 文章编号:1671-7147(2006)01-0115-12 收稿日期:2005-07-24; 修订日期:2005-09-10. 基金项目:国家自然科学基金项目(60474039;60574051). 作者简介:丁锋(1963-),男,湖北广水人,教授,太湖学者特聘教授,工学博士.主要从事模型与辨识、过程控制、多率系统与自适应控制方面的研究.Email :fding @时变系统辨识方法及其收敛定理丁 锋, 杨慧中, 纪志成(江南大学通信与控制工程学院,江苏无锡214122)摘 要:介绍了用于辨识方法性能研究的鞅收敛定理和鞅超收敛定理,阐述了其应用范围;讨论了研究辨识算法收敛性的各种激励条件;综述了时变随机系统的各种辨识方法,包括最小二乘类辨识方法(如遗忘因子最小二乘算法、卡尔曼滤波算法、有限数据窗最小二乘算法等)和随机梯度类辨识方法(如遗忘梯度算法、广义投影算法等);同时阐述了时变参数系统辨识领域的一些值得深入研究的课题;最后给出了遗忘梯度算法在不同条件下参数估计误差上界的几个定理,说明数据的平稳性可以改善参数估计精度.关键词:时变系统;辨识;参数估计;收敛性能;最小二乘;随机梯度;鞅收敛定理;鞅超收敛定理中图分类号:TP 273文献标识码:ATime ΟV arying System Identif ication Methodsand Convergence TheoremsDIN G Feng , YAN G Hui Οzhong , J I Zhi Οcheng(School of Communication and Control Engineering ,Southern Yangtze University ,Wuxi 214122,China )Abstract :In t his paper ,we introduce t he martingale convergence t heorem and martingale hyperconvergence t heorem for analyzing performances of identification met hods and states t heir application ranges.The paper also discusses excitation conditions for st udying t he convergence of identification algorit hms and surveys main identification approaches for time Οvarying systems ,including least squares type algorit hms (e.g.,t he least squares algorit hm wit h a forgetting factor ,Kalman filtering algorit hm ,finite Οdata Οwidow least squares algorit hm )and stochastic gradient type algorit hms (e.g.,t he forgetting gradient algorit hm and generalized projectionalgorit hm ).Furt hermore ,some f urt her research topics for time Οvarying systems are presented.Finally ,we give several convergence t heorems of t he forgetting gradient algorit hm for time Οvarying systems by using t he stochastic p rocess t heory and martingale hyperconvergence t heorem and indicate t hat t he data stationarity can imp rove t he p recision of t he parameter estimates.K ey w ords :time Οvarying system ;identification ;parameter estimation ;convergence properties ;least squares ;stochastic gradient ;martingale convergence t heorem ;martingale hyperconvergence t heorem 递推最小二乘(L S)算法[1]、随机梯度(SG)算法[1,2]、多新息SG算法[3]、辅助模型辨识方法[4]、递阶辨识方法[5]等,是辨识时不变参数系统的一些典型方法.由于其算法增益(随迭代步数增加)趋于零,故没有跟踪时变参数的能力.为了跟踪时变参数,基于算法增益不趋于零的思想,人们提出了许多辨识方法.这些方法的特点是在时不变参数辨识方法中引入调节参量,如遗忘因子L S算法和遗忘梯度算法中的遗忘因子、卡尔曼滤波算法或协方差修正算法中的修正项、协方差复位L S算法中的复位间隔、有限数据窗L S算法中的数据窗长度等.对于时变系统,如果参数变化规律未知,任何辨识算法给出的参数估计都不可能收敛于真参数.亦即时变参数估计不存在一致收敛性.因此,为了评价时变参数估计精度,作者引入了有界收敛性这一重要概念[6,7].虽然CramerΟRao不等式给出了时不变参数估计误差协方差阵下界[8],但是这个下界是不可计算的,因为它依赖于系统真参数的知识[9],所以CramerΟRao不等式只有抽象的理论意义,没有实际用处.有界收敛性强调参数估计误差上界的估算.误差上界比下界重要,因为上界可以评价参数估计精度.近10,时变系统辨识领域的研究成果非常丰富,作者仅从参数估计有界收敛性(参数估计误差上界)这条主线,简要介绍作者在这个领域取得的一些最新研究成果,包括研究辨识算法收敛性的数学工具和经常使用的假设条件,阐述了时变参数系统辨识领域的一些值得深入研究的课题.1 基本分析工具随机过程理论和随机鞅理论是研究递推辨识方法收敛性的主要分析工具.其中最重要的一个工具是鞅收敛定理,它主要用于研究时不变参数系统辨识算法参数估计的一致收敛性,适用于增益趋于零的算法,例如递推最小二乘算法[1]、随机梯度算法[2]、多新息随机梯度算法[3,10]、辅助模型最小二乘算法[4]和辅助模型随机梯度算法、递阶辨识方法[5]等.由于时变参数估计算法一般不存在一致收敛性,故鞅收敛定理不适用时变系统.为此,丁锋等建立了研究时变参数估计有界收敛性的鞅超收敛定理[6,7],为时变系统自适应辨识和控制算法的稳定性和收敛性分析开辟了新思路.1.1 鞅收敛定理设{T(t)},{f(t)},{g(t)}均为非负随机变量序列,它们关于σ代数F t是可测的或适应的[11],且使得下式成立.E[T(t+1)|F t]≤T(t)-f(t)+g(t)若∑∞t=1g(t)<∞,a.s.,则T(t)几乎确定地收敛于一有限的随机变量T0,即T(t)→T0<∞,a.s.,并且∑∞t=1f(t)<∞,a.s.在辨识算法的收敛性研究中,通常T(t)是参数估计误差的非负定函数,通过T(t)和f(t)的收敛性和持续激励条件等确定参数估计误差是否收敛于零;f(t)和g(t)一般是参数估计误差和系统输入输出数据的函数;F t是直到t时刻系统输入输出数据集或是由直到t时刻输入输出数据生成的σ代数.利用鞅收敛定理研究时不变系统参数辨识算法的收敛性[1～5,10～35].1.2 鞅超收敛定理考虑非负定函数T(t):=T[x(t)]和集R t:=[x(t):g[x(t)]≤ηt<∞,a.s.]其中,“A=:X”或“X:=A”,表示“A记作(定义为)X”之意(因为符号=△没有左右之分,含义模糊).若对于x(t)∈R t c,式(1)成立,R c t是R t的补集.E[T(t)|F t-1]-T(t-1)=:△T(t)≤-b(t),a.s.,(1)其中,g(x)=(a T x)2称为收敛变量,a是一个非零的时变或时不变向量,ηt≥0是一个非降有界随机变量(即R t<R t+1),b(t)是一个随机变量,(x(t), F t)是一个适应序列.又,x(t)∈R t c时,∑∞t=t0b(t)=∞,a.s.(t0<∞),则对于充分大t,有x(t)∈R t,a.s.成立,或limt→∞x(t)∈R∞,a.s.对于时变参数估计算法,首先构造一个参数估计误差x(t)的非负定函数T(t),然后导出不等式(1),找出变量b(t)满足条件时的集R t,最后利用强持续激励条件和一些基本不等式关系,推导出参数估计误差x(t)的显示上界.由于鞅超收敛定理[6,7] (martingalehyperconvergence t heorem)可以给出参数估计误差的上界,这对评价参数估计精度以及提高算法的实际应用效果具有重要意义.鞅超收敛定理是研究时变随机系统辨识算法和自适应控制算法收敛性的有效工具.鞅超收敛定理的提出和运用鞅超收敛定理对时变参数估计误差有界性的一系列研究成果,从而建立了时变系统参数估计误差界分析理论体系[1,6,7,19,34～42].例如:1)鞅超收敛定理与时变系统有限数据窗最小二乘辨识算法的有界收敛性[10,42];611 江南大学学报(自然科学版) 第5卷 2)鞅超收敛定理与遗忘因子最小二乘算法误差界[1,6,7,10,19];3)鞅超收敛定理与时变随机系统遗忘梯度估计算法的误差界分析[10,39～41];4)鞅超收敛定理与投影算法的参数估计误差界分析[37];5)鞅超收敛定理与时变系统鲁棒输出跟踪误差界分析[38];6)多变量系统传递函数矩阵递阶辨识方法的收敛性分析[41,43].随机过程理论也可用来研究时变或时不变系统参数估计的收敛性.例如,衰减激励条件下时不变参数估计算法的一致收敛性[10,44～48],时变系统遗忘因子最小二乘算法[9,10,49～51]和遗忘梯度算法的误差界分析[10,52],最小均方算法参数估计的误差界分析[10,48,53],时不变系统最小二乘类算法的均方收敛速率[9,10,54,55],时变或时不变系统多新息类辨识方法的性能分析[3,10,44,45,58～60].2 激励信号与激励条件就系统参数辨识而言,期望利用系统的输入输出数据能够识别系统参数,也就是使输入信号能够激发出系统的所有特征或所有模态,使得输出数据包括系统模型的全部信息.这样的信号是充分丰富的或称为持续激励信号(persistent excitation signal).在系统辨识算法的收敛性分析中,直接使用输入信号持续激励假设并不方便,而是使用持续激励条件,是指由输入输出数据构成信息向量所满足的不等式.持续激励条件有强持续、弱持续和衰减的激励条件等.2.1 持续激励信号的定义对于信号u0(t),若存在正常数α1和整数N≥n,使得对所有t>0的下式成立.(A1)1N ∑Ni=1U0(t-i+1)U0T(t-i+1)≥α1IU0(t):=[u0(t),u0(t-1),…,u0(t-n+ 1)]T∈ n则称u0(t)为n阶持续激励信号,式中I为适当维数单位阵.持续激励信号直接与系统参数可辨识性相关,下面通过一个简单的有限脉冲相应模型(finite imp ulse response,FIR)加以说明.设输入为u(t)的n个参数(b0,b1,…,b n-1)FIR模型为y(t)=b o u(t)+b1u(t-1)+…+b n-1u(t-n+1)其中,y(t)为系统输出.考虑t=t到t=t+p-1共p(p≥n)组数据,把它写成矩阵形式为y(t)y(t+1)…y(t+p-1)=u(t)…u(t-n+1)u(t+1)…u(t-n+2)………u(t+p-1)…u(t+p-n+1)bb1…b n-1令Y(t):=y(t)y(t+1)…y(t+p-1),U(t):=u(t)u(t-1)…u(t-n+1),θ:=b0b1…b n-1H(t):=U T(t)U T(t+1)U T(t+p-1)∈ p×n.则有y(t)=U T(t)θ,Y(t)=H(t)θ最后一式两边左乘可以H T(t)可得H T(t)H(t)θ=H T(t)Y(t)如果数据乘积矩阵S(t):=H T(t)H(t)=∑p-1i=0U(t+i)U T(t+i)是非奇异的,那么可以得到θ的最小二乘估计^θ^=S-1(t)H T(t)Y(t)=[H T(t)H(t)]-1H T(t)Y(t)S(t)是对称非负定阵,它非奇异的条件是S(t)>0.这就要求u(t)为满足条件(A1)的至少n阶持续激励信号.数据长度p必须大于或等于n,因为乘积矩阵S(t)的秩等于两个乘积矩阵列秩和行秩中最小的一个.将Y(t)的定义式代入上式可得:^θ=θ真参数.这里可得到一个一般结论:对于n个参数时不变确定性系统(不限于FIR系统,也适用于确定性ARMA系统),如果输入是持续激励信号,则只需要n组输入输出数据(即对某个确定的t,条件(A1)成立),就可以计算出未知参数的一致估计.然而,对于时不变随机系统,要获得未知参数的一致估计,一般数据量须趋于无穷大;因此,要求对于所有t,或对于t的某个无限整数序列:Z s={t s,s=0,1,2,…}(1=t0<t1<t2<…),即t∈Z s时,条件(A1)均成立.对于参数数目为n:=n a+n b的确定性ARMA X系统(简写为DARMA系统),其差分方程形式为y(t)+a1y(t-1)+…+a nay(t-n a)=b1u(t-1)+b2u(t-2)+b nbu(t-n b).它可以用移位算子z-1的多项式形式表述为A(z)y(t)=B(z)u(t)711 第1期丁锋等:时变系统辨识方法及其收敛定理其中A(z)=1+a1z-1+a2z-2+…+a naz-n a,B(z)=b1z-1+b2z-2+…+b nbz-n b定义参数向量θ和信息向量φ(t)如下:θ:=[a1,a2,…,a n a,b1,b2,…,b n b]T∈ n,φ(t):=[-y(t-1),…,-y(t-na),u(t-1),…,-u(t-n b)]T∈R n.则DARMA模型可以写为y(t)=φT(t)θ可以证明:如果u(t)是满足条件(A1)的n阶持续激励信号,且多项式A(z)与B(z)是互质的(没有公因子),那么存在正常数α,β(在不同处,它们的值不同)和整数N(N≥n)使得信息向量φ(t)满足(A2)αI≤1N ∑N-1i=0φ(t+i)φT(t+i)≤βI,a.s.左边的“≤βI”是为了推导参数估计误差下界而加上的.(A2)也可以等价表示为(A2′)1N ∑N-1i=0φ(t+i)φT(t+i)1+‖φ(t+i)‖2≥αI,a.s.其中矩阵X的范数定义为‖X‖2=t r[X X T].条件(A2)或(A2′)称为(n阶)强持续激励条件.对于FIR模型,(A1)与(A2)等价.相应地,弱持续激励条件定义为(A3)αI≤1t ∑ti=1φ(i)φT(i)≤βI,a.s.或(A3′)limt→∞1t∑ti=1φ(i)φT(i)=Φ>0,a.s.条件激励条件是以数学期望的形式给出的,定义为(A4)αI≤E[1N ∑N-1i=0φ(t+i)φT(t+i)|Ft-1]≤βI,a.s.其中,F t是由直至t时刻的观测(输入输出)数据生成的σ代数.这个期望形式的激励条件(A4)在工程上不易验证,因而很少采用.2.2 衰减激励信号的定义衰减激励信号u(t)定义为u(t)=u0(t)tε+u1(t),ε>0(2)式中,ε>0称为衰减指数,u0(t)为满足(A1)的持续激励信号,u1(t)为非持续激励信号(最特别的情形是u1(t)≡0).对应的衰减激励条件定义如下:(A5)α(t+N-1)2εI≤1N∑N-1i=0φ(t+i)×φT(t+i)≤βI,a.s.衰减激励条件也可以条件期望的形式给出,从略.当ε=0时,条件(A5)等同(A2),故强持续激励条件是衰减激励条件的一个特例.从衰减激励信号定义可知,衰减激励信号有多种形式,对应的衰减激励条件也有多种形式[49],但是式(2)的衰减激励信号和衰减激励条件(A5)的表达式最简单,在工程上也最容易实现.衰减激励条件下,现存辨识算法的收敛性分析都是针对时不变确定性系统或时不变随机系统的.作者在衰减激励条件下,详细研究了一些辨识算法的一致收敛性,例如,文献[46,47]针对确定性系统和随机系统多新息辨识算法,文献[48～50]针对随机系统递推最小二乘、递阶最小二乘和最小均方算法.3 最小二乘类辨识方法考虑如下时变随机系统的参数辨识问题y(t)=φT(t)θ(t-1)+v(t)(3)其中,y(t)∈ 1×1为系统输出,θ(t)∈ n×1为待辨识参数向量,φ(t)∈ n×1是由输入输出数据构成的信息向量,v(t)∈ 1×1是零均值随机干扰噪声.定义参数变化率(parameter changing rate)w(t):=θ(t)-θ(t-1)(4)它的统计特性与辨识算法的收敛性直接相关.当噪声v(t)≡0时,由式(3)得到时变确定性系统y(t)=φT(t)θ(t-1)当w(t)≡0即θ(t)=θ(常数参数向量)时,进一步得到时不变确定性系统y(t)=φT(t)θ当w(t)≡0即θ(t)=θ(常数参数向量)时,由式(3)得到时不变随机系统.y(t)=φT(t)θ+v(t)辨识一般时变随机系统式(3)参数θ(t)的递推算法可表示为^θ(t)=^θ(t-1)+R-1(t)φ(t)[y(t)-φT(t)^θ(t-1)]其中,^θ(t)为θ(t)的估计.矩阵R(t)的选择方式不同,将导致一些不同的估计算法,如遗忘因子最小二乘法,有限数据窗最小二乘法,协方差复位最小二乘法等.下面是矩阵R(t)的一些典型选择方法而导出的一些辨识方法.3.1 遗忘因子递推最小二乘(FFR LS)算法^θ(t)=^θ(t-1)+P(t)φ(t)[y(t)-φT(t)^θ(t-1)],P-1(t)=λP-1(t-1)+811 江南大学学报(自然科学版) 第5卷 φ(t)φT(t),0<λ<1,P(0)=p0I.这里λ为遗忘因子,p0为正数.在这个算法中, R(t)=P-1(t),P(t)为协方差阵.FFRL S算法是辨识时变系统的一个重要方法.这个算法中有一个参量:遗忘因子λ,可以通过调节这个参量控制参数估计误差上界,从而可以选择一个最佳遗忘因子,以获得最小参数估计误差上界. FFRL S算法收敛性的关键是找出协方差阵P(t)的上下界.关于FFRL S算法收敛性,丁锋等1994年在弱持续激励条件和数据平稳条件下,近似地表示了协方差阵的上下界,进而导出了参数估计误差界[19～49];1997年和1999年运用鞅超收敛定理,在强持续激励条件下详细地研究了FFRL S算法参数估计误差上界[6,7].文献[6]采取了一个近似办法:协方差阵的逆P-1(t)用其期望E[P-1(t)]代替,而协方差阵P(t)用{E[P-1(t)]}-1代替;文献[7]的重要贡献是在强持续激励条件下,找到了FFRL S算法协方差阵的精确上下界,这为人们进一步研究FFRL S 算法的性能打下了基础.文献[50,51]利用这个协方差阵精确界,也研究了FFRL S算法的均方参数估计误差上界.丁锋和陈通文综述了FFRL S算法的一些最新研究进展,并利用强持续激励条件下协方差阵精确界,在文献[51]的基础上,又详细研究了时变和时不变系统FFRL S算法的参数估计误差上下界、误差界的估算、如何获得最小估计误差上界的方法、最佳遗忘因子的选择等问题,并用4个例子证实了提出的结论(包括一个水位系统实例)[9];作者还把这种方法用于研究辨识双率采样数据系统FFRL S算法的收敛性[59].此外,丁锋等提出辅助模型辨识方法[4,10,12,24,60,61]、递阶辨识方法[5,20,28,41,43],以及Hammerstein非线性ARMA X模型的最小二乘辨识方法[29],动态系统时变参数的跟踪矩阵方法[62],递推广义增广最小二乘算法[63,64],多变量系统联合辨识方法[64],联合系统状态和参数的递阶辨识辨识方法[65～68]等,都可以通过引入遗忘因子跟踪时变参数;遗忘因子也可以引入广义时变系统的(偏)最小二乘算法中[21,69].作者首次把遗忘因子引入到随机梯度类算法中,提出了遗忘投影辨识算法[19,70,71]、遗忘梯度辨识算法[10],提出了广义时变系统(扰动时变统)辨识算法[72].提出新的建模理论、辨识方法,以及辨识方法在不同条件下,特别是在更弱条件下的性能分析,包括参数估计误差上界估算,如何选择算法中最佳参量(如FFRL S算法中遗忘因子、有限数据窗L S算法中数据窗长度等)获得最小估计误差上界等,都是辨识研究的永恒主题.在弱持续激励条件下, FFRL S算法的性能分析仍是需攻克的辨识难题. 3.2 有限数据窗最小二乘算法如果选择R(t)=P-1(t),P-1(t):=∑q-1i=0φ(t-i)φT(t-i)= P-1(t-1)+φ(t)φT(t)- φ(t-q)φT(t-q)则得到有限数据窗最小二乘算法(FDWL S:FiniteΟDataΟWindow Least Squares algorit hm)或限定记忆最小二乘算法(FML S:Fixed Memory Least Squares algorit hm):^θ(t)=^θ(t-1)+P(t)φ(t)[y(t)-φT(t)^θ(t-1)],P-1(t)=P-1(t-1)+φ(t)φT(t)-φ(t-q)φT(t-q),P(0)=p0I 这里,q为数据窗长度或记忆长度.FDWL S算法是为了克服数据饱和,而采用数据窗长度q固定的滚动数据窗内的有限数据,即从t=t-q十1到t =t的q组数据,进行参数辨识.关于这个算法,丁锋等在强持续激励条件下,详细推导了FDWL S算法协方差阵上下界,用鞅超收敛定理,获得了参数估计误差上界表达式,并论述了获得最小参数估计误差上界,最佳数据窗长度的选择方法[10,42].最近,作者研究了几种带遗忘因子的FDWL S算法,其中一种简化的带遗忘因子递推FDWL S算法(FFΟFDWL S)如下:^θ(t)=^θ(t-1)+P(t)φ(t)[y(t)-φT(t)^θ(t-1)],P-1(t)=λP-1(t-1)+φ(t)φT(t)-φ(t-q)φT(t-q),0<λ≤1,P(0)=p0I 在强持续激励条件下,作者已经获得了这个简化FFΟFDWL S算法参数估计误差上界.同样,这个算法在弱持续激励条件下的辨识误差分析,也是需要研究的课题.3.3 协方差复位最小二乘算法协方差复位最小二乘算法(CoVariance Resetting Least Squares algorit hm,CV RSL S)就是为了防止算法增益趋于零,每隔一段时间,给协方差阵重新置初值而得到的最小二乘算法.辨识时变系统参数θ(t)的协方差复位最小二乘算法[10,11,34,73]可表述为^θ(t)=^θ(t-1)+P(t)φ(t)[y(t)-φT(t)^θ(t-1)], P(t)=P(t-1)-P(t-1)φ(t)φT(t)P(t-1)1+φT(t)P(t-1)φ(t) P(t i)=p s I,p s,t s∈Z s={t0,t1,t2,t3,…},911 第1期丁锋等:时变系统辨识方法及其收敛定理0=t0<t1<t2… CV RSL S算法是每隔一段时间给协方差阵P (t)重新置初值p i I,以避免算法增益L(t)随递推步数增加趋于零,达到跟踪时变参数的目的.但是, CVRSL S算法的主要不足是,由于不断给P(t)置初值使P(t)丧失了过去的信息,即使参数没有变化,参数估计也不断出现过渡过程.复位协方差阵P(t)的时间间隔t3s:=t s+1-t s的大小以及p i的大小,应与参数θ(t)的变化剧烈程度(参数变化率w(t))联系起来,要做到这一点也是不容易的[10,34].G oodwin等1983年仅针对时不变确定系统,研究了基于CVRSL S算法的自调节控制算法的稳定性[75].对于时不变随机系统和时变随机系统, CVRSL S算法参数估计的收敛性和由这个算法构成的自适应控制算法的收敛性分析,都是很具挑战性的研究课题.如果取复位时间间隔为常数,即t3s=k(常数),且协方差阵初值均为相同,即p0=p1 =p2=p3=…,在此条件下,找出CVRL S算法参数估计误差与k和p0的关系,是完全可能的.3.4 卡尔曼滤波算法卡尔曼状态滤波器是假设系统参数矩阵(A,B, C,D)已知时,利用系统输入u(t)和输出y(t)估计随机系统状态的一种方法.设随机状态空间模型为x(t+1)=A x(t)+B u(t)+w(t)Y(t)=C x(t)+D u(t)+v(t)式中,w(t)和v(t)分别过程噪声向量和观测噪声向量.设^x(t)是状态x(t)的估计,当w(t)和v(t)不相关时,卡尔曼滤波器[10]可以表示为^x(t+1)=A^x(t)+B u(t)+L(t)[y(t)-C^x(t)-D u(t)],L(t)=A P(t)C T[R v+C P(t)C T]-1,P(t+1)=A P(t)A T+R w-A P(t)C T[R v+C P(t)C T]-1C P(t)A T式中,R v和R w分别为v(t)和w(t)的协方差阵,定义为R v=E[v(t)v T(t)],R w=E[w(t)w T(t)]采用类比方法,联系式(4)和(3)可得“状态方程”θ(t)=θ(t-1)+w(t)y(t)=φT(t)θ(t-1)+v(t)这里把θ(t)看作状态x(t),A=I,B=0,C=φT(t), D=0,就可以得到估计参数向量θ(t)的卡尔曼滤波参数估计算法(Kalman Filtering algorit hm, KF)[10]:^θ(t)=^θ(t-1)+L(t)[y(t)-φT(t)^θ(t-1)],L(t)=P(t-1)φ(t)R v+φT(t)P(t-1)φ(t),P(t)=P(t-1)+R w-P(t-1)φ(t)φT(t)P(t-1)R v+φT(t)P(t-1)φ(t)式中,R v=E[v2(t)].对于时不变系统,R w≡0.如果取R v=1,那么上述算法就是标准递推最小二乘辨识算法.虽然卡尔曼滤波算法是从最优角度推导出的,即使假设R v和R w是已知的,它的最优性和收敛性证明也是十分困难的,要推导其参数估计误差显示收敛上界就更困难了;更不用说R v和R w未知情形.尽管卡尔曼滤波算法的提出已有半个多世纪的历史,相关的研究论文也发表了不少,但都没有涉及参数估计误差显示收敛上界问题.3.5 协方差修正最小二乘算法为了防止最小二乘算法协方差阵趋于零,在协方差阵上加上一个非负定阵Q(t)而得到的算法,称为协方差修正最小二乘算法(Covariance Modification Least Squares algorit hm,CVML S): ^θ(t)=^θ(t-1)+L(t)[y(t)-φT(t)^θ(t-1)],L(t)=P(t-1)φ(t)1+φT(t)P(t-1)φ(t),P(t)=P(t-1)-P(t-1)φ(t)φT(t)P(t-1)1+φT(t)P(t-1)φ(t)+Q(t),Q(t)≥0在这个算法中引入了Q(t)≥0,是为了避免协方差阵P(t)→0,来提高算法“活性”跟踪时变参数.在卡尔曼滤波算法中,修正项Q(t)有明确的物理意义,它是参数变化率w(t)的协方差阵,即Q(t)=R w=E[w(t)w T(t)](5)通常R w是未知的,只能人为选择.若Q(t)选择过大,算法活性大,参数估计也会出现大的波动.解决的方案是人为给Q(t)定一个上界Q0,如Q(t)≤Q0.如果任意选定Q(t)=Q>0,这使卡尔曼滤波算法给出的参数估计既非最优估计也非最小二乘估计,即使用于辨识时不变系统也不能给出一致参数估计.为了使算法既具有跟踪时变参数的活性,又具有适应时不变情况的性能,关键在于如何选择Q(t).一种选择方式是:取Q(t)为参数估计误差向量^θ(t):=^θ(t)-^θ(t)的函数,即Q(t)=Q( Q(t))当系统参数没有发生变化时,要求Q(t)=0或接近于零;当系统参数发生变化时,取Q(t)≥0来修正P(t),同时规定Q(t)的上界.由于 θ(t)中θ(t)是不可测的,所以可考虑选择Q(t)为参数估计误差变化率Δ θ(t)的函数,其中021 江南大学学报(自然科学版) 第5卷 Δ θ(t):= θ(t)-^θ(t-1)=[^θ(t)-θ(t)]-[^θ(t-1)-θ(t-1)]=^θ(t)-^θ(t-1)-w(t).若参数估计误差变化率Δ^θ(t)为零,则有w(t)=^θ(t)-^θ(t-1).参照式(5),可选择Q(t)=k^w(t)^w T(t), ‖^w(t)‖2<c,kc‖^w(t)‖2^w(t)^w T(t), ‖^w(t)‖2≥c,其中k和c均为有限正常数,^w(t):=^θ(t)-^θ(t-1)为参数估计变化率.这样选择的Q(t)使CVML S算法不仅能跟踪时变参数,而且能给出时不变系统参数的一致无偏估计.当k=0时,CVML S算法就是常规最小二乘法,没有跟踪时变参数的能力[10,34].4 梯度类辨识方法梯度类辨识方法的特点是算法中协方差矩阵.与最小二乘法相比,梯度算法计算量小,但收敛速度慢.本节介绍梯度类辨识方法,包括投影算法、随机梯度算法、遗忘梯度算法、广义投影算法等.4.1 投影辨识算法如果选择R(t)=P-1(t),P-1(t):=I+φ(t)φT(t)则得到投影辨识算法^θ(t)=^θ(t-1)+φ(t)1+φT(t)φ(t)[y(t)-φT(t)^θ(t-1)]这个算法能够估计时变参数,但是对噪声比较敏感,参数估计波动大.由于算法中没有可调节参量,无法控制估计误差.作者基于鞅超收敛定理,研究了时变系统投影辨识算法参数估计误差上界[37],以及基于投影算法自校正控制闭环系统输出跟踪误差界[38].文献[27]提出了多变量系统递阶投影算法;文献[31]针对输入非线性系统,提出了基于噪声估计的梯度迭代辨识算法、递推随机梯度辨识算法和投影辨识算法;文献[30]提出了双率采样系统的辅助模型随机梯度算法和辅助模型投影辨识算法.4.2 随机梯度辨识算法如果选择R(t)=r(t)I,r(t):=t r[P-1(t)],P-1(t)=P-1(t-1)+φ(t)φT(t).则得到随机梯度辨识算法(SG:Stochastic Gradient identification algorit hm):^θ(t)=^θ(t-1)+φ(t)r(t)[y(t)-φT(t)^θ(t-1)],r(t)=r(t-1)+‖^φ(t)‖2,r(0)=1. 这个算法增益趋于零,只适用于估计时不变系统参数,但是参数估计收敛速度慢.由于其计算量小,可用构成自适应控制系统.作者1999年在强持续激励条件和有界噪声方差下,证明了SG算法参数估计误差一致收敛于零[2],并用例子说明了时不变系统SG算法引入遗忘因子后性能和遗忘因子的选择方法;最近又在弱持续激励条件和无界噪声方差下,证明了同一收敛结论,得到了迄今为止弱持续激励条件下,SG算法收敛的最弱条件.梯度搜索(迭代)原理可以用来研究许多系统的辨识问题.例如,作者提出了多变量系统递阶迭代辨识算法和递阶随机梯度辨识算法[27],输入非线性系统的随机梯度辨识算法,ARMA模型的基于噪声估计随机梯度辨识算法,双率采样系统的辅助模型随机梯度辨识算法[30],以及李雅普诺夫矩阵方程、一般矩阵方程和耦合矩阵方程的梯度迭代算法和最小二乘迭代算法[74,75].4.3 遗忘梯度辨识算法如果选择R(t)=r(t)I,r(t):=t r[P-1(t)],P-1(t)=λP-1(t-1)+φ(t)φT(t),0<λ<1.则得到遗忘因子随机梯度辨识算法,简称遗忘梯度算法(Forgetting Gradient algorit hm,P G):^θ(t)=^θ(t-1)+φ(t)r(t)[y(t)-φT(t)^θ(t-1)](6)r(t)=λr(t-1)+‖^φ(t)‖2,0<λ<1,r(0)=1(7)其中,λ为遗忘因子.当λ=0时,遗忘梯度算法退化为投影算法.遗忘梯度算法是FFRL S算法的一种简化形式,其性能类似于FFRL S算法.丁锋在其博士论文中首次提出了遗忘梯度算法[19].在不同条件下(如强持续激励条件、信息向量有下界等),运用随机过程理论或鞅超收敛定理,遗忘梯度算法辨识时不变和时变系统的一系列收敛性研究成果发表一些国内外学术期刊和会议上,可参见文献[10,35,36,39,40,52].当信息向量有非零下界时,遗忘梯度算法参数估计误差上界有更简单的形式.作者又将遗忘因子引入到各种算法中,提出了遗忘漂移时变系统的遗忘投影算法、遗忘梯度算法[19,70,71],时变系统的多新息遗忘梯度算法[58].多变量系统遗忘因子递阶随机梯度算法[27]等.4.4 广义投影辨识算法如果选择121 第1期丁锋等:时变系统辨识方法及其收敛定理R (t )=r (t )I ,r (t ):=tr [P-1(t )]这里P (t )是有限数据窗最小二乘算法中的协方差阵,就得到广义投影辨识算法(GP ):^θ(t )=^θ(t -1)+φ(t )r (t )[y (t )-φT(t )^θ(t -1)],r (t )=∑q-1i =0‖φ(t -i )‖2=r (t -1)+‖φ(t )‖2-‖φ(t -q )‖2,r (0)=1.如果上述算法中q 用t 代替,就得到SG 算法(假设t ≤0时,y (t )=0和φ(t )=0);SG 算法活性低,没有跟踪时变参数的能力;如果取q =1,就得到投影算法;而投影算法活性太强,对噪声太敏感.因此,广义投影算法是SG 算法与投影算法的一个折中,算法中的参量q 可以用来控制参数估计误差界.在不同(如强持续激励或弱持续激励)条件下,广义投影辨识算法参数估计误差推导也是极具挑战性的课题.4.5 带遗忘因子广义投影辨识算法上述4个算法可以统一为一个算法———带遗忘因子广义投影辨识算法(FF GP ):^θ(t )=^θ(t -1)+φ(t )r (t )[y (t )-φT(t )^θ(t -1)],r (t )=q-1i =0i‖φ(t -i )‖2=λr (t -1)+‖φ(t )‖2-λq-1‖φ(t -q )‖2,r (0)=1.当λ=1时,FF GP 算法=GP 算法;当q =1和λ=1时,FF GP =投影算法;在FF GP 算法中取q =t ,就得到F G 算法;进一步令λ=1,就得到SG 算法.以上梯度类辨识算法有下列通式:^θ(t )=^θ(t -1)+μ(t )φ(t )[y (t )-φT(t )^θ(t -1)]其中,μ(t )为收敛因子(convergence factor )或步长(step Οsize ).这个算法也称为最小均方算法(L MS :Least Mean Square algorit hm ).对于不同的算法,收敛因子取不同的形式.例如:1)投影算法μ(t )=[1+‖φ(t )‖2]-12)随机梯度算法μ(t )=[r (0)+∑ti =1‖φ(i )‖2]-13)遗忘梯度算法μ(t )=[λtr (0)+∑ti =1λt-i‖φ(i )‖2]-14)广义投影算法μ(t )=[∑q-1i =0‖φ(t -i )‖2]-1理论分析表明:只要0<μ(t )‖φ(t )‖2<2时,L MS 算法就收敛,但并不保证参数估计精度.为了方便研究,通常将L MS 算法修改为^θ(t )=^θ(t -1)+μ(t )φ(t )1+‖φ(t )‖2[y (t )-φT (t )^θ(t -1)],0<μ(t )<2.针对时变系统和时不变系统,作者分别在强持续激励和衰减激励条件下,研究了这个算法参数估计误差界和一致收敛性问题[10,48,53].5 遗忘梯度算法的一些收敛定理由于在不同条件下,同一个辨识算法具有不同的参数估计误差上界.因此,只有通过寻求算法调节参量的最佳值,以使均方参数估计误差上界最小;通过比较这些最小参数估计误差上界大小,进一步评价参数估计精度.因此,首要问题是研究各种时变系统辨识方法的估计误差上界,下面简单介绍时变系统遗忘梯度算法的参数估计收敛结果.5.1 引理引理1 对于系统式(3)和遗忘梯度算法式(6)～(7),假设强持续激励条件(A2)成立,那么式(7)中r (t )满足λN -1(1-λN +1)1-λn α+λtr (0)≤r (t )≤nN β(1-λt)1-λ+λtr (0),a.s.如果选择r (0)满足N α1-λ≤r (0)≤nN β1-λ,0<λ<1则有λN -11-λn α≤r (t )≤δ11-λ,a.s.,0<λ<1,δ1:=nNβ.引理1的证明可参见文献[39].引理2 对于系统式(3)和遗忘梯度算法式(6)～(7),假设强持续激励条件(A 2)成立,信息向量φ(t )有下界,即(A 9)‖φ(t )‖2≥α>0,a.s.则式(7)中r (t )满足α(1-λt)1-λ+λtr (0)≤r (t )≤δ1(1-λt )(1-λ)+λtr (0),a.s.,δ1:=nNβ.如果选择r (0)满足α1-λ≤r (0)≤δ1(1-λ)则有221 江南大学学报(自然科学版) 第5卷 。
蚁群算法的几乎处处强收敛性分析
万方数据万方数据万方数据万方数据１６５０电子学报２００９焦文下一步将重点研究ＡＣＳ算法的强收敛性条件．参考文献：［１］ＣｏｌｏｍｉＡ，ＤｏｒｉｇｏＭ，ＭａｉｌｉｅｚｚｏＶ．Ｄｉｓｔｒｉｂｕｔｅｄｏｐｔｉｌ／ｌｉｚ撕ｏｌｌｂｙａｎｔｃｏｌｏｎｉｅｓ［Ａ］．Ｐｒｏｃ．ｏｆｔｈｅＦｉｒｓｔＥｕｒｏｐｅａｎＣｏｎｆ．ｏｎＡｒｔｉｆｉｃｉａｌⅡｆｅ［ｃ］．Ｐａｒｉｓ，Ｆｒａｌｌｃｅ：ＥｌｓｅｖｉｅｒＰｕｂｌｉｓｈｉｎｇ，１９９１．１３４—１４２．［２］ＤｏｆｉｇｏＭ，Ｇａｍｂａｒｄｅｌ／ａＬＭ．Ａｎｔｃｏｌｏｎｙｓｙｓｔｅｍ：ＡＣＯＯｐｅｒａｆｉｖｃｌｅａｒｎｉｎｇａｐｐｒｏａｃｈｔｏｔｈｅｔｒａｖｅｌｉｎｇｓａｌｅｓｍａｎｐｒｏｂｌｅｍｌＪＪ．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓＯｎＥｖｏｌｕｔｉｏｎａｒｙＣｏｍｐｕｔａｔｉｏｎ，１９９７，１（１）：５３—６６．［３］ＭｏｎｔｅｍａｎｎｉＲ，ＳｍｉｔｈＤＨ，ＡｌｌｅｎＳＭ．ＡｎＡＮＴＳａｌｇｏｒｉｔｈｍｆｏｒｔｈｅｍｉｎｉｍｕｍ－ｓｐａｎｆｒｅｑｕｅｎｃｙ－ａｓｓｉｇｎｍｅｎｔｐｒｏｂｌｅｍ、】ｖｉｔＩｌｍｕｌｔｉｐｌｅｉｎｔｅｒｆｅｒｅｎｃｅ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｆｏｍＯｆｆ．ＶｅｈｉｃｕｌａｒＴｅｃｈｎｏｌｏｇｙ，２００２．５１（５）：９４９—９５３．［４］蒋建国，夏娜，齐美彬，木春梅．一种基于蚁群算法的串行多任务联盟生成算法［Ｊ］．电子学报，２００５，３３（１２）：２１７８—２１８２．ＪＩＡＮＧＪｉａｎ－ｇｕｏ，ＸＩＡＮａ，ＱＩＭｅｉ・ｂｉｎ，ＭＵＣｈｕｎ－ｍｅｉ．Ａｎａｎｔｃｏｌｏｎｙａｌｇｏｒｉｔｈｍｂａｓｅｄｍｕｌｔｉ—ｔａｓｋｃｏａｌｉｔｉｏｎｓｅｒｉａｌｇｅｎｅｒａｔｉｏｎａｌ－ｇｏｒｉｔｈｍ［Ｊ］．ＡｃｔａＥｌｅｃｔｒｏｎｉｃａＳｉｎｉｃａ，２００５，３３（１２）：２１７８—２１８２．（ｉｎＣｌｏｓｅ）［５］吴春明，陈治，姜明．蚁群算法中系统初始化及系统参数的研究［Ｊ］．电子学报，２００６，３４（８）：１５３０—１５３３．ＷＵＣｈｕｎ－ｍｉｎｇ，ＣＨＥＮＺｈｉ，ＪＩＡＮＧＭｉｎｇ．ＴｈｅｒｅｓｅａｒｃｈＯｉｌｉｎｉ—ｔｉ删ｏｎｏｆａｎｔｓｓｙｓｔｅｍａｎｄｃｏｒａｉｇｕｍａｏｎｏｆｐａｒａｍｅｔｅ口＇ｓｆｏｒｄｉｆｆｅｒｅｎｔＴＳＰｐｒｏｂｌｅｍｓｉｎａｎｔａｌｇｏｒｉｔｈｍｌＪ］．ＡｃｔａＥｌｅｃｔｒｏｎｉｃａＳｉｎｉｃａ，２００６，３４（８）：１５３０—１５３３．（ｉｎＣｈｉｎｅｓｅ）［６］徐宗本，聂赞坎，张文修．遗传算法的几乎必然强收敛性——鞅方法［Ｊ］．计算机学报，２００２，２５（８）：７８５—７９３．ＸＵＺｏｎｇ－ｂｅｎ，ＮＩＥＺａｎ－ｋａｎ，ＺＨＡＮＧＷｅｎ－ｘｉｕ．Ａｌｍｏｓｔｓｕｒｅｃｏｎｖｅｒｇｅｎｃｅｏｆｇｅｎｅｔｉｃａｌｇｏｒｉｔｈｍｓ：ａｍａｒｔｉｎｇａｌｅａｐｐｒｏａｃｈ【ＪＪ．ＣｈｉｎｅｓｅＪｏｕｍａｌｏｆＣｏｍｐｕｔｅｒｓ，２００２，２５（８）：７８５—７９３．（ｉｎＣｈｉｎｅｓｅ）［７］王霞，周国标．整体退火遗传算法的几乎处处强收敛性［Ｊ］．应用数学，２００３，１６（３）：１—７．ＷＡＮＧＸｉａ，ＺｈｏｕＧｕｏ－ｂｉａｏ．Ｓｔｒｏｎｇｃｏｎｖｅｒｇｅｎｃｅ（ａ．ｓ．）０ｆｇｌｏｂａｌａｎｎｅａｌｉｎｇｇｅｎｅｔｉｃａｌｇｏｒｉｔｈｍ［Ｊ］．ＭａｔｈｅｎａｔｉｃａＡｐｐｌｉｃａｔａ，２００３，１６（３）：１—７．（ｉｎＣｈｉｎｅｓｅ）［８］罗小平，韦巍．生物免疫遗传算法的几乎处处强收敛性分析及收敛速度估计［Ｊ］．电子学报，２００５，３３（１０）：１８０３一１８０７．ＬＵＯＸｉａｏ－ｐｉｎｇ，ＷＥＩＷｅｉ．Ｔｈｅａｎａｌｙｓｉｓｏｎｓｔｒｏｎｇｃｏｎｖｅｒｇｅｎｃｅ（ａ．ｓ．）ａｎｄｃｏｎｖｅｒｇｅｎｃｅｒａｔｅｅＳｔｉｌｌｌａｔｅｏｆｉｎｌｌｎｌｕ］ｅｇｅｎｅｔｉｃａｌｇｏ－ｒｉｔ埘Ｊ］．Ａｃｔａ日ｅｃ咖ｉｃａＳｉｎｉｃａ，２００５，３３（１０）：１８０３—１８０７．（ｉｎａ妇）１９ＪＧ硼ａｈＷＪ．Ａｇｅｎｅｒａｌｉｚｅｄｃｏｎｖｅｒｇｅｎｃｅｒｅｓｕｌｔｆｏｒｔｈｅｇｒａｐｈｂａｓｅｄａｎｔｓｙｓｔｅｍｍｅｔａｈｅｎｒｉｓｔｉｃ【Ｒ］．ＴｅｃｈｎｉｃａｌＲｅｐｏｒｔ９９—０９，Ａｕｓｔｒｉａ，Ｄｅｐｔ．ｏｆＳｔａｔｉｓｔｉｃｓａｎｄＤｅｃｉｓｉｏｎＳｕｐｐｏｒｔＳｙｓｔｅｍｓ，Ｕｎｉ—ｖｅｒｓｉｔｙｏｆＶｉｅｎｎａ：１９９９．［１０］Ｇ叫ａｈｒＷＪ．Ａｇｒａｐｈ－ｂａｓｅｄａｎｔｓｙｓｔｅｍａｎｄｉｔｓｃｏｎｖｅｒｇｅｎｃｅ［Ｊ］．ＦｕｔｕｒｅＧｅｎｅｒａｔｉｏｎＣｏｍｐｕｔｉｎｇＳｙｓｔｅｍｓ，２０００，１６（９）：８７３—８８８．［１１］ｏａｔｊａｈＷＪ．ＡＣＯａｌｇｏｒｉｔｈｍｓｗｉｔｈｇｕａｒａｎｔｅｅｄｃｏｎｖｅｒｇｅｎｃｅｔｏｔｈｅｏｐｔｉｍａｌｓｏｌｕｆｉｏｎ［Ｊ］．ＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＬｅｔｔｅｒｓ，２００２，８２（３）：１４５—１５３．［１２］ＳｔｉｉｔｚｌｅＴ，ＤｏｒｉｇｏＭ．Ａｓｈｏｒｔｃｏｎｖｅｒｇｅｎｃｅｐｒｏｏｆｆｏｒａｃｌａｓｓｏｆａｎｔｃｏｌｏｎｙｏｐｆｉｎｌｉｚｚｆｉｏｎａｌｇｏｒｉｔｈｍｓ［ＪＪ．ＩＥＥＥＴｒａｎｓａｃｆｉｏｍＯｎＥｖｏｌｕｔｉｏｎａｒｙＣｏｍｐｕｔａｔｉｏｎ，２００２，６（４）：３５８—３６５．［１３］ＢａｄｒＡ，ＦａｈｍｙＡ．Ａｐｒｏｏｆｏｆｃｏｎｖｅｒｇｅｎｃｅｆｏｒａｎｔａｌｇｏｒｉｔｈｍｓ［Ｊ］．ＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅｓ，２００４，１６０（１－４）：２６７—２７９．［１４］朱庆保．蚁群优化算法的收敛性分析．控制与决策［Ｊ］．２００６，２１（７）：７６３—７６６．ＺＨＵＱｉｎｇ－ｂａｏ．Ａｎａｌｙｓｉｓｏｆｃｔｍｖｅｒｇｅｎｃｅｏｆａｎｔｃｏｌｏｎｙｏｐｔｉ・ｍｉｚａｔｉｏｎａｌｇｏｒｉｔｈｍｓ［Ｊ］．ＣｏｎｔｒｏｌａｎｄＤｅｃｉｓｉｏｎ，２００６，２１（７）：２６７—２７９．（ｉｎＣｈｉｎｅｓｅ）［１５］段海滨，王道波，于秀芬．基本蚁群算法的Ａ．ｓ．收敛性研究［Ｊ］．应用基础与工程科学学报，２００６，１４（２）：２９７—３０１．ＤＵＡＮＨａｌ—ｂｉｎ，ＷＡＮＧＤａｏ－ｂｏ，ＹＵＸｉｕ－ｆｅｎ．Ｒｅｓｅａｒｃｈ０１１ｔｈｅａ．ｓ．ｃｏｎｖｅｒｇｅｎｃｅｐｔＤｐｅｒｆｉｅｓｏｆｂａｓｉｃａｎｔｃｏｌｏｎｙａｌｇｏｒｉｔｈｍ［Ｊ］．ＪｏｕｒｎａｌｏｆＢａｓｉｃＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇ，２００６，１４（２）：２９７—３０１．（ｉｎＣｈｉｎｅｓｅ）［１６］张波，张景肖．应用随机过程［Ｍ］．北京：清华大学出版社．２００４．ＺＨＡＮＧＢｏ，ＺＨＡＮＧＪｉｎｇ－ｘｉａｏ．ＡｐｐｌｉｅｄＳｔｏｃｈａｓｔｉｃＰｒｏｃｅｓｓｅｓ［Ｍ］．Ｂｅｉｊｉｎｇ：ＴｓｉｎｇｈｕａＵｎｉｖｅｒｓｉｔｙＰｒｅｓｓ，２００４．（ｉｎＣｈｉｎｅｓｅ）【１７］ＥｄｗａｒｄＰＣＫ．ＡｎＩｎｔｒｏｄｕｃｔｉＯｉｌｔｏＳｔｏｃｈａｓｔｉｃＰｒｏｃｅｓｓｅｓｌＭＪ．Ｂｅｌｍｏｎｔ，Ｃａｌｉｆ．，Ｌｏｎｄｏｎ：ＯｕｘｂｕｒｙＰｒｅｓｓ，１９９７．［１８］ＳｔｉａｔｚｌｅＴ，ＨｃｏｓＨＨ．Ｍａｘ—Ｍｉｎａｎｔｓｙｓｔｅｍ［Ｊ］．ＦｕｔｕｒｅＧｅｎｅｒａ－ｔｉｏｎＣｏｍｐｕｔｅｒＳｙｓｔｅｍ，２０００，１６（８）：８８９—９１４．作者简介：苏兆品女。
第二节收敛性
l n i m F n ( ) F ( ) ,l n i m F n ( ) F ( ) ,
因 而 J 1 ,J 3 可 以 任 意 小 ,再 结 合 定 理 5 .2 .2 ,只 要 n 充 分 大 , 也 可 以 使 得 J 2 任 意 小 ,由 此 可 以 得 到 定 理 成 立 .
| f( x k ) [ F ( x k 1 ) F n ( x k 1 ) ] f( x k ) [ F (x k ) F n (x k ) ]
k 0
k 0
N(M
M
)2
M N M N
综上所述
b
b
|
a
f(x)dF(x) a
f(x)dFn(x)|
而
b
b
|af(x )d F (x )af(x )d F n (x )|
N 1
N 1
| f(x k ) [ F (x k 1 ) F (x k ) ]f(x k ) [ F n (x k 1 ) F n (x k ) ]
k 0
k 0
N 1
N 1
lni m Fn,n(r2)G(r2)
一 般 地 ,对 任 何 固 定 的 k,皆 有 lni m Fn,n(rk)G(rk).
因 此 对 一 切 有 理 数 r lni m Fn,n(r)G(r)
这 里 的 G (r)是 定 义 在 有 理 数 上 的 函 数 ,它 也 是 有 界 和 非 降 的 .
引 理 5.2.1 设 {Fn(x)}是 实 数 变 量 x的 非 降 函 数 列 ， D 是 R1上 的 稠 密 集 .若 对 于 D 中 所 有 点 ， 序 列 {Fn(x)} 收 敛 于 F(x)， 则 对 F(x)的 一 切 连 续 点 x有
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
z(k )=v(k )+dv(k 1)
其中， z (k ) 为模型输出， v(k ) 是均值零、方差为 1、服从正态分布的白噪声。 根据 SISO 模型（这时 na nb n f nc 0, nd 1 ）一般性辨识算法，模型参数
5
d 的估计式为
ˆ(k ) z (k ) z (k ) z
ˆ 1 (k ) T (k , ) G( )=E (k , )
则辨识算法可近似写成
ˆ (k 1) (k ) R1 f (θ )+ (k ) (k ) ˆ (k )
R (k ) R (k 1) (k ) G (θ ) R + (k ) (k )
k k1 k k1
k2
k2
ˆ (k ) ˆ (k 1) R1 f (θ ) 1 2
R (k2 ) R (k1 1) G(θ ) R
对很小的 ，进行时间尺度变换，即
k1 1 k2
也就是
(k )
其中， (k ) 和 (k ) 为零均值随机向量，是辨识算法近似过程中产生的。 当 k 取 k1 至 k 2 ，有
k k1
ˆ (k )
k2
k2
k k1
ˆ (k 1) (k ) R1 f (θ )+ (k ) (k )
k k1 k k1
k2
k2
k2
k k1
R (k ) R (k 1) (k ) G (θ ) R + (k ) (k )
k k1 k k1 k k1
k2
k2
k2
k2
整理后
ˆ (k ) ˆ (k 1) R 1 f (θ )+ (k ) (k ) 1 2
2
1 d D ( )-0.5 d ( )-2 D 2 RD ( ) 1 d D ( ) 2 2
因 RD ( ) 总是大于零的，故有
d V (d D ) 0, d d V (d D ) 0, d
d D ( ) 2 d D ( ) 0.5
ˆ(k )= d z (k 1) ˆ ( k 1) z
(k )= z (k 1) d (k 1) ˆ (k 1)
ˆ (k ) ˆ (k 1) (k ) R 1 (k ) (k )z (k )
2 R (k ) R (k 1) (k ) (k ) R (k 1)
V (d D )=
1 d D ( ) 0.52 2
⑤ 分析 Lyapunov 函数 V (d D ) ，研究伴随微分方程的稳定性
V (d D ) 0, d D
d d V (d D )= d D ( ) d D ( )-0.5 d d
1 f (d D ( )) d D ( )-0.5 RD ( ) 1 1 d D ( ) 2 2.5d D ( ) d D ( )-0.5 2 2 RD ( ) 2 1 d ( ) D
T ˆ 1 R (k ) R (k 1)+ (k ) (k ) (k ) (k ) R (k 1)
2
注：研究上述递推辨识算法的收敛性问题具有一定的普遍意义。 8.2.1 辨识算法的伴随微分方程
ˆ (k ) 、 R(k ) 和 ˆ (k ) 的 当 k 时，由于 (k ) 0 的缘故，辨识算法中的 ˆ (k ) 及 R(k ) R ，则可将辨识算法写成 变化都将越来越小，不妨设
ˆ (k ) 0.5, k 。 ˆ (k ) d 此，利用辨识算法得到的模型参数估计一定有
7
8.2.4 收敛性定理 考虑如下的递推随机算法
(k ) (k 1) + (k ) Q k , (k 1), (k )
(k ) A (k 1) (k 1) B (k 1) e(k )
4
W .P .1 ˆ (k ) Often”），则模型参数估计值 θ DC 。 k
② 微分方程的稳定平衡点才可能是辨识算法的收敛点。
ˆ (k ) 的渐近路径。 ③ 微分方程 θD ( ) 的轨迹是辨识算法 θ
8.2.3 ODE 法的步骤 利用 ODE 法分析辨识算法收敛性的步骤： ① 导 出 辨识算法输出预报误差 z (k , ) 以及预报值关于参数 的梯度
k 1
k1 1
也就是
(k ) (k ) (k )
k 1 k k1 k 1
k1 1
k2
k2
时间变换后的结果
ˆ ( ) θ ˆ ( ) R1 f (θ ) θ
R ( ) R ( )+ G(θ ) R
ˆ 究 R(k ) (k ) 0 的收敛性及 R(k ) 是否收敛于非奇异阵，进而讨论递推辨识算
法的收敛性。
8.2 ODE 法的启发性讨论
ODE 法是分析递推辨识算法收敛性的一种一般性的方法，它把辨识算法的 收敛性问题转化为微分方程的稳定性问题来研究。 考虑递推辨识算法的一般形式：
ˆ (k 1) (k ) R1 ˆ (k ) ˆ 1 (k )z (k ,θ ) (k ,θ )
T ˆ 1 R (k ) R (k 1) (k ) (k , ) (k ) (k , ) R
引进
ˆ 1 (k )z (k , ) f ( )=E (k , )
8.3 RLS 辨识算法的收敛性分析
8.3.1 RLS 算法 8.3.2 RLS 算法的递推随机算法形式 8.3.3 正则条件分析 8.3.4 RLS 算法的伴随微分方程 8.3.5 收敛性分析
1
Part III 辨识理论
第 8 章 递推辨识算法的收敛性分析
8.1 引言
● 递推辨识算法的收敛性问题，就是研究模型参数估计是否存在
T ˆ ˆT 式中， (k ) 为广义估计向量，比如可定义 (k )= (k ),R (k ), (k ) ； (k ) 为 T
广义观测向量； e (k ) 为随机向量； (k ) 为收敛因子。 注 8-1：辨识算法均可把它化成上述这种递推随机算法。 要通过微分方程来分析这种的递推随机算法，需要满足一些正则条件 (Regularity Conditions)： ① C1:定义 DS A( )所有特征值严格在单位圆内，又令 DR DS 是 D S 的连通开子集， 函数 Q k , , 在 , 附近关于 , 是 Lipschitz 连续、 可微的， 矩阵 A( ) 和 B( ) 关于 是 Lipschitz 连续的； ② C2: e (k ) 是一个独立随机向量序列，它使得
⑥ 根据 Lyapunov 函数 V (d D ) 的性质，伴随微分方程是稳定性的，其不变 集 DC 0.5 、吸收域 D A ,2 。也就是说，如果微分方程解的初始值位于吸 收域 D A ,2 内，则微分方程的解 d D ( ) 一定收敛于不变集 DC 0.5 上。因
k k1
R (k2 ) R (k1 1) G (θ ) R (k ) (k )
k k1
k2
3
其中， (k ) 。当 k 很大时， 很小，且因 (k ) 和 (k ) 均值为零，所
k k1
k2
以 (k ) (k ) 和 (k ) (k ) 都将趋于零，故有
ˆ(k ) z (k )=z(k ) z
ˆ (k ) ˆ (k 1) (k ) R1 (k ) (k ) ˆ 1 (k )z (k )
ˆ (k 1) ˆ (k 1)+ (k ) z (k )z T (k ) ˆ (k )
③ 构造辨识算法对应的伴随微分方程
dθD ( ) 1 RD ( )f (θD ( )) d dRD ( ) G (θD ( )) RD ( ) d ④ 构造伴随微分方程的 Lyapunov 函数 V ( D ) 。
⑤ 分析 Lyapunov 函数 V ( D ) ，研究伴随微分方程的稳定性。 ⑥ 根据伴随微分方程的稳定性，分析辨识算法的收敛性。 例 8-1：考虑如下简单模型
ˆ k ( lim k ( ) lim ) 0 0 及其向零趋近的速度等问题。 k k
● 递推辨识算法的收敛性分析方法： ① 仿真试验方法； ② 理论分析方法。 ● 理论分析方法：① ODE (Ordinary Differential Equation) 法——通过研 究与辨识算法相关联的伴随微分方程的稳定性，进而讨论递推辨识算法的收敛 性；② 鞅理论(Martingale Theory)——通过引进一个随机 Lyapunov 函数，利用 鞅理论分析这个函数的收敛性质， 进而讨论递推辨识算法的收敛性； ③ 通过研
j =1
k
8.2.2 辨识算法与伴随微分方程之间的联系 递推辨识算法的收敛性与伴随微分方程的稳定性存在以下联系： ① 设 DC 是伴随微分方程的不变集 (Invariant Set) ，且 D A 是它的吸收域
ˆ (k ) D （ “ 充分经常 ” ， “Sufficiently (Domain of Attraction) ，若辨识算法的 θ A
(k , ) 的表达式；
② 根据定义
ˆ 1 (k )z (k ,Fra bibliotek ) f ( )=E (k , )
ˆ 1 (k ) T (k , ) G ( )=E (k , )