A第8章 递推辨识算法的收敛性分析_155909957
Rudin数学分析中的幂级数理论与收敛判别
Rudin数学分析中的幂级数理论与收敛判别幂级数是数学分析中一个重要的概念，其在数学和物理领域有着广泛的应用。
本文将介绍Rudin数学分析中的幂级数理论以及幂级数的收敛判别方法。
一、幂级数的定义和基本性质在Rudin数学分析中，幂级数的定义如下：给定一列复数{an}和复数z，幂级数表示为：S(z) = Σ(an * z^n), n = 0, 1, 2, ...其中，an称为幂级数的系数，z是一个复数。
幂级数的基本性质有以下几点：1. 绝对收敛与条件收敛当对于某个复数z0，幂级数Σ|an * z0^n|收敛时，称幂级数在z0处绝对收敛。
当幂级数在某个复数z1处收敛但不绝对收敛时，称幂级数在z1处条件收敛。
2. 收敛域收敛域是指幂级数的所有收敛点所构成的集合。
根据幂级数的收敛半径R，可以将收敛域分为三种情况：当R = 0时，幂级数只在z = 0处收敛；当R = +∞时，幂级数在整个复平面上都收敛；当0 < R < +∞时，幂级数在以原点为中心，半径为R的开圆盘上收敛。
二、幂级数的收敛判别方法1. Cauchy-Hadamard定理Cauchy-Hadamard定理给出了幂级数收敛半径的计算公式。
假设幂级数Σ(an * z^n)的收敛半径为R，则有：1/R = lim sup √(|an|), n→∞其中，lim sup表示上极限。
根据该公式，可以计算出幂级数的收敛半径。
2. 比值判别法和根值判别法比值判别法和根值判别法是判断幂级数收敛半径的常用方法。
比值判别法：计算幂级数的相邻两项的比值的极限，如果这个极限存在，则幂级数的收敛半径就是这个极限的倒数。
根值判别法：计算幂级数的系数的n次方根的极限，如果这个极限存在，则幂级数的收敛半径就是这个极限的倒数。
3. Abel定理和Dirichlet定理Abel定理和Dirichlet定理是判定幂级数在收敛边界上的收敛性的重要定理。
Abel定理：若幂级数Σan * z^n在点z0处收敛，则对于任意满足0 < r < |z0|的实数r，幂级数Σan * r^n也收敛。
数值分析10迭代法的收敛性分析
研究方向
进一步深入研究迭代法的收敛性，探索更有 效的迭代公式和算法，以提高收敛速度和稳 定性。
展望
随着计算技术的发展，迭代法在数值分析中 的应用将更加广泛，其收敛性分析将为解决 实际问题提供更有力的支持。同时，随着数 学理论的发展，迭代法的收敛性分析将更加 深入和完善。
感谢您的观看
THANKS
例如，梯度下降法和牛顿法是两种常见的求解优化问 题的迭代法。通过收敛性分析，可以发现梯度下降法 在一般情况下是收敛的，但可能会遇到收敛速度较慢 或者不收敛的情况；而牛顿法在一般情况下也是收敛 的，且收敛速度可能比梯度下降法更快。因此，在实 际应用中，可以根据问题的具体情况选择合适的迭代 方法。
06
迭代法收敛的充要条件
迭代法收敛的充要条件是迭代矩阵的谱半径小于1。谱半径是迭代矩阵所有特征值的模的最大值。
收敛性的判定方法
可以通过计算迭代矩阵的特征值来判断迭代法的收敛性，也可以通过迭代矩阵的范数来近似判断。
收敛速度的度量
01
02
03
迭代次数
迭代次数是衡量收敛速度 的一个直观指标，迭代次 数越少，收敛速度越快。
在非线性方程求解中的应用
非线性方程的求解是数值分析中的另一个重 要问题，迭代法也是求解非线性方程的重要 方法之一。与线性方程组求解类似，收敛性 分析在非线性方程求解中也有着重要的作用 。通过收敛性分析，可以判断迭代法的收敛 速度和收敛性，从而选择合适的迭代方法和 参数，提高求解效率。
《概率论与数理统计课件》随机变量序列的收敛性
P
定理 4.3.3 若 C 为常数，则 X n C 的充
L
要条件是 X n C ．
21
证明：
必要性已由定理 4.3.2 给出，下证充分性．
记随机变量 X n 的分布函数为 Fn x ．而常数 X C
（退化分布）的分布函数为
F
x
0 1
xC ． xC
22
所以对于任意的 0 ，有
Fn x收敛到一个极限分布函数 Fx 是有实际意义的．现在的 问题是，如何定义分布函数序列 Fn x的收敛性？很自然，由 于 Fn x是实变量函数序列，我们的一个猜想是：对所有的 x ， 要求 Fn x F x, n ．这就是数学分析中的点点收敛．然
下面的定理说明了依概率收敛是一种比按分布收敛更 强的收敛性．
11
P
L
定理 4.3.2 如果 X n X ，则必有 X n X ．
12
证明：
设随机变量 X n 的分布函数为 Fn x ， n 1, 2, 3, ；
随机变量
X
的分布函数为
F x ．为证
Xn
L
X
，只须证明：
对所有的 x ，有
写出随机变量 Yn
n k 1
Xk 2k
的特征函数n t ；⑶
证
明：当 n 时，随机变量序列Yn依分布收敛于随机变量Y ．
33Leabharlann 解：⑴ 由于随机变量Y 服从区间 1, 1 上的均匀分布，因
此 Y 的特征函数为
t eit eit cost i sin t cost i sin t sin t ．
（因为 x x 0）．所以有
再令 x x ，得
数项级数收敛性的判别概论
班级：数学091 姓名：韩海飞数项级数收敛性的判别摘要：文章对数项级数收敛性的判别方法进行了归纳总结，得到一般的解题思路.关键词：判别方法归纳总结数项级数敛散性解题思路引言：在讲解数项级数敛散性判别方法时，每讲一种判别方法，学生按照指定的判别方法进行解题，一般都能很容易求得结果，而当把多种判别方法讲完，再让学生作综合判别时，学生要么束手无策，要么选择判别方法时带有盲目性，拿作判别方法进行实验性解题，只要求得结果，不问方法的简单与繁琐，而不是先从简单方法入手，往往用一种简单的方法就可以轻松解题，却用较繁琐方法费了九牛二虎之力，结果还不一定正确，造成这种情况的主要原因主要是学生对所学的判别方法的使用条件及特点不太熟悉，解题思路比较乱.所以在讲解完常数项级数敛散性判别方法之后，非常有必要归纳总结一下.一、定义定义1：设有数列 表达式（1） 称为数项级数，可记为 ，其中 称为数项级数（1）的第n 项或一般项。
定义2： 称为级数（1）的第n 个部分和，数列称为它的部分和数列。
定义3：设 是级数（1）的部分和数列，若 则说级数（1）的和是S ，这时也说级数（1）是收敛（于S ）的。
记为： 。
若 是发散数列，则称级数（1）发散。
余项： 定义4：绝对收敛：若∑∞=1n n u 收敛，则称级数∑∞=1n n u 绝对收敛条件收敛：若∑∞=1n n u 发散，则称级数∑∞=1n n u 条件收敛二、性质定理定理12.2若级数1n n u ∞=∑与1n n v ∞=∑都收敛，则对任意常数,c d ，级数111()nn n n n n n cudv c u d v ∞∞∞===+=+∑∑∑也收敛.定理12.3 去掉、增加或改变级数的有限个项并不改变级数的敛散性.定理12.4 在收敛级数的项中任意加括号,既不改变级数的收+++u u u n 21,,,:}{21u u u u n n ∑∞=1n n u u n u u u S n n ++=21}{S n }{S n S S n n =∞→lim S u n n =∑∞=1}{S n S S r n n -=敛性,也不改变它的和. 三、分类1、等比级数（几何级数）:2、--p 级数：)0(11>∑∞=p nn p3、正项级数: 若0≥n u ，则称∑n u 为正项级数4、一般级数：任意 ，则称∑n u 为一般级数 三、等比级数收敛性的判别法等比级数（几何级数） ，1<q 时，级数收敛 1≥q 时，级数发散四、--p 级数收敛性判别法：--p 级数)0(11>∑∞=p nn p(1)当10≤<p 时，级数发散 (2)当1>p 时，级数收敛 例：∑21n为p-级数，p=2>1，显然此级数是收敛的. 五、正项级数收敛性的判别法（1）比较原则：设∑n u 与∑n v 是两个正项级数，若（1） 当+∞<<10时，两级数同时收敛或同时发散； （2） 当0=l 且级数∑n v 收敛时，级数∑n u 也收敛； （3） 当+∞=l 且级数∑n v 发散时，级数∑n u 也发散；+++-q a aq a n 1qq a S n n --=1)1()1(≠q ⎪⎩⎪⎨⎧-=∞→发散q a S n n 1lim +++-q a aq a n 1 +++u u u n 21例： 判别级数∑n 1sin 的敛散性解：由于 111sinlim =∞→nn n ，根据比较原则，及调和级数∑n 1发散，所以级数∑n1sin 也发散.（2）比式判别法（极限形式）若∑n u 为正项级数，且lim q u u nn =+1则 (1)当1<q 时，级数∑n u 也收敛；(2)当1>q 时，或+∞=q 时，级数∑n u 发散；注：当1=q 时，）比式判别法不能对级数的敛散性作出判断，因为它可能是收敛的，也可能是发散的.例如，级数∑21n与∑n 1，它们的比式极限都是1lim1=+∞→n n n u u 但∑21n是收敛的，而∑n 1是发散的. （3）根式判别法（极限形式）若∑n u 为正项级数，且1lim =∞→n nn u 则 (1)当1<l 时，级数收敛 (2)当1>l 时，级数发散注：当1=l 时，根式不能对级数的敛散性作出判断例如，级数∑21n 与∑n 1，二者都有1lim =∞n nn u ，但∑21n是收敛的，而∑n 1是发散的.但∑21n 是收敛的，而∑n 1是发散的. 例：判别级数()∑-+nn212的敛散性 解：由于232123lim lim 122122==-∞→-∞→m m m m m m u u 612321lim lim 212212==+∞→+∞→mm m m m m u u 故用比式判别法无法判定此级数的敛散性，现在用根式判别法来考察这个级数，由于 2123lim lim 2222==∞→∞→m m m m m m u 2121limlim12121212==++∞→++∞→m m m m m m u 所以21lim =∞→n n n u 由根式判别法知原级数收敛.（4）积分判别法：设f 是[)+∞,1上非负递减函数那么正项级数∑)(n f 与非正常积分⎰+∞1)(dx x f 同时收敛或同时发散； 例：讨论级数∑∞=2)(ln 1n pn n 的敛散性 解：研究非正常积分⎰∞+2)(ln px x dx，由于 ⎰⎰⎰∞+∞+∞+==2ln 22)(ln )(ln )(ln p p p udu x x d x x dx当1>p 时收敛1≤p 时发散，由积分判别法级数∑∞=2)(ln 1n pn n 在1>p 时收敛1≤p 时发散（5）拉贝判别法（极限形式）若∑n u 为正项级数，且r u u n nn n =-+∞→)1(lim 1存在，则(1)当1>r 时，级数∑n u 收敛；(2)当1<r 时，级数∑n u 发散； (3)当1=r 时拉贝判别法无法判断.例：讨论级数(),)2(421231∑⎪⎪⎭⎫⎝⎛⋅⋅-⋅⋅⋅⋅sn n 当3,2,1=s 时的敛散性解：无论3,2,1=s 哪一个值，级数(),)2(421231∑⎪⎪⎭⎫⎝⎛⋅⋅-⋅⋅⋅⋅sn n 的比式极限都有1lim1=+∞→nn n u u 所以用比式判别法都无法判别此级数的敛散性，现在应用拉贝判别法来讨论，当1=s 时，由于)(2122)22121()1(1∞→→+=++-=-+n n n n n n u u n n n 所以级数是发散的. 当2=s 时，由于)(1)22()34(])2212(1[)1(221∞→→++=++-=-+n n n n n n n u u n n n 这时，拉贝判别法也无法对此级数作出判断， 当3=s 时，由于)(23)22()71812(])2212(1[)1(3231∞→→+++=++-=-+n n n n n n n n u u n n n所以级数收敛. 六、一般级数收敛性的判别法（1）级数∑∞=1n n u 若0lim ≠∞→n n u ，则此级数发散.例：判断级数∑++nnn 2222的敛散性解：由于 1)2(lim 122=+⋅++∞→nx nn ，所以原级数发散（2）（基本判别法）如果正项级数的部分和数列具有上界,则此级数收敛.例：判定正项级数()()()112111n n n a a a a ∞=+++∑的敛散性.分析：本题无法直接使用定义、柯西判别法、达朗贝尔判别法,或比较判别法以及其他的判别法进行判断,因此可选用基本定理进行判断. 解 记()()()12111nn n a u a a a =+++,则()()()()()()()()()121211211111111111nn n n n a u a a a a a a a a a -==-+++++++++级数的前n 项和()()()112111111n n k k n S u a a a ===-<+++∑所以原级数的部分和数列有上界,于是原级数收敛.（3）柯西收敛准则级数∑∞=1n n u 收敛的充要条件：,,0N n ∈∃>∀ε当)(N m n m ∈>时，N p ∈∀有：ε<+⋅⋅⋅+++++m p m m u u u 21例：证明级数∑21n的收敛 证明：由于||21p m m m u u u ++++⋯++=222)(1)2(1)1(1p m m m +⋯++++ <))(1(1)2)(1(1)1(1p m p m m m m m +-++⋯+++++=）（）（）（pm p m m m m m+--++⋯++-+++-1112111111 =p m m +-11<m1 因此，对任给正数ε ，取]1[ε=N ，使得当m>N 及任意自然数p ，由上式就有||21p m m m u u u ++++⋯++<m1<ε 由柯西收敛准则推得级数∑21n是收敛的. （4）绝对收敛定义法：若级数∑n u 各项绝对值所组成的级数∑n u 收敛，则原级数∑n u 收敛； 例：⋯++⋯++=∑!!2!2n n nnαααα的各项绝对值所组成的级数是⋯++⋯++=∑!||!2||||!||2n n nn αααα应用比式判别法，对于任意实数α都有1||lim ||||lim1+=∞→+∞→n u u n nn n α=0 因此，所考察的级数对任何实数α都绝对收敛.（5）莱布尼兹判别法：若交错级数()),2,1,0(11⋅⋅⋅=>-+∑n u u n n n 满足下述两个条件：(1)数列{}n u 单调递减； (2)0lim =∞→n n u则级数()),2,1,0(11⋅⋅⋅=>-+∑n u u n n n 收敛.例：考察级数∑∞=+-111)1(n n n的敛散性.解：因为∑∑∞=+=-111|1)1(|n n nn 发散，不满足绝对收敛定义，而此级数满足莱布尼茨条件，故收敛.（6）阿贝耳判别法：设级数∑n n b a 若{}n a 为单调有界数列，且级数∑n b 收敛，则级数∑n n b a 收敛.例：讨论级数∑+-nnn xx n 1)1( (x>0)的敛散性. 解：对于数列{n n x x +1 } 来说，当x>0时，0<nn x x +1<n nxx =1 又⎪⎩⎪⎨⎧>>≤<≤++=++=++++++1,110,1111)1(11111111x x xx x n n nn n n xx n n x x x x即数列 {nn xx +1 } 是单调有界的，又 ∑-n n)1( 收敛， 由阿贝尔判别法知道级数收敛.（7）狄利克雷判别法：设级数∑n n b a 若{}n a 单调递减，且0lim =∞→n n a 又级数的部分和数列有界，则级数∑n n b a 收敛.例： 证明：若数列{n a } 具有性质：⋯≥≥⋯≥≥n a a a 21 ,0=∞→n n a lin 则级数∑nx a n cos 对任何x )2,0(π∈都收敛.证明：因为)cos 21(2sin 21∑=+nk kx x=])21sin()21[sin()2sin 23(sin2sin x n x n x x x --+++-+ =x n )21sin(+当x )2,0(π∈时,02sin ≠x 故有：2sin2)21sin(cos 211x n kx n k +=+∑= 所以级数∑nx cos 的部分和数列当x )2,0(π∈时有界，由狄利克雷判别法得级数∑nx a n cos 收敛.以上方法是常见的方法，接下来我们来看由比较原则衍生出的几种不常见的方法。
判别分析PPT课件
zi(x)ln q ifi((x ))
lnqi 12ln|i |1 2(x(i))i1(x(i))]
问题转化为若 Zl(x)m 1ik[Z ai(x x)，]则判 xGl 。 当协方差阵相等 1 k
则判别函数退化为 zi(x)ln qi1 2(xμ(i))Σ1(xμ(i)) ]
12[2lnqi (xμ(i))Σ1(x μ(i)) ] 令 F i(x) 2ln q i (x μ(i))Σ1(x μ(i)) ]
hj(x)qiC(j/i)fi(x)
i1
含义是：当抽取了一个未知总体的样品值x，要判别它属于 那个总体，只要先计算出k个按先验概率加权的误判平均损失
k
hj(x)qiC(j/i)fi(x) i1
然后比较其大小，选取其中最小的，则判定样品属 于该总体。
为了直观说明，作为例子，我们讨论k=2的情形。
ECM
其判别函数为
W (x)(x)12(12)
(12)/2 1 2
概 率 ： P ( x /G 2 ) P ( x 2 1 2 2 2 )
P(x21 22)P(x2
12) 2
1(12) 2
2、 交叉核实
交叉核实法的思想是：为了判断第i个观测的判别
正确与否，用删除第i个观测的样本数据集计算出判
P i ( x ) 2 lq i n 2 μ ( ) Σ i 1 x μ ( ) Σ i 1 μ (i)
问题转化为若P l(x)m 1ik[P ii(nx)]，则判 xGl 。
P i(x ) 2 (q li n 1 2 μ (i Σ ) 1 μ (i ) μ (Σ i )1 x )
P(好/做 人好事）
P好P 人 (做 P好 好 /好 P 人 事 )做 人 P(坏 好 /好 )P 人 事 (做 人好 /坏事 )人
时变系统辨识方法及其收敛定理
第5卷第1期2006年2月 江南大学学报(自然科学版)Journal of Southern Yangtze U niversity(N atural Science Edition) Vol.5 No.1Feb. 2006 文章编号:1671-7147(2006)01-0115-12 收稿日期:2005-07-24; 修订日期:2005-09-10. 基金项目:国家自然科学基金项目(60474039;60574051). 作者简介:丁锋(1963-),男,湖北广水人,教授,太湖学者特聘教授,工学博士.主要从事模型与辨识、过程控制、多率系统与自适应控制方面的研究.Email :fding @时变系统辨识方法及其收敛定理丁 锋, 杨慧中, 纪志成(江南大学通信与控制工程学院,江苏无锡214122)摘 要:介绍了用于辨识方法性能研究的鞅收敛定理和鞅超收敛定理,阐述了其应用范围;讨论了研究辨识算法收敛性的各种激励条件;综述了时变随机系统的各种辨识方法,包括最小二乘类辨识方法(如遗忘因子最小二乘算法、卡尔曼滤波算法、有限数据窗最小二乘算法等)和随机梯度类辨识方法(如遗忘梯度算法、广义投影算法等);同时阐述了时变参数系统辨识领域的一些值得深入研究的课题;最后给出了遗忘梯度算法在不同条件下参数估计误差上界的几个定理,说明数据的平稳性可以改善参数估计精度.关键词:时变系统;辨识;参数估计;收敛性能;最小二乘;随机梯度;鞅收敛定理;鞅超收敛定理中图分类号:TP 273文献标识码:ATime ΟV arying System Identif ication Methodsand Convergence TheoremsDIN G Feng , YAN G Hui Οzhong , J I Zhi Οcheng(School of Communication and Control Engineering ,Southern Yangtze University ,Wuxi 214122,China )Abstract :In t his paper ,we introduce t he martingale convergence t heorem and martingale hyperconvergence t heorem for analyzing performances of identification met hods and states t heir application ranges.The paper also discusses excitation conditions for st udying t he convergence of identification algorit hms and surveys main identification approaches for time Οvarying systems ,including least squares type algorit hms (e.g.,t he least squares algorit hm wit h a forgetting factor ,Kalman filtering algorit hm ,finite Οdata Οwidow least squares algorit hm )and stochastic gradient type algorit hms (e.g.,t he forgetting gradient algorit hm and generalized projectionalgorit hm ).Furt hermore ,some f urt her research topics for time Οvarying systems are presented.Finally ,we give several convergence t heorems of t he forgetting gradient algorit hm for time Οvarying systems by using t he stochastic p rocess t heory and martingale hyperconvergence t heorem and indicate t hat t he data stationarity can imp rove t he p recision of t he parameter estimates.K ey w ords :time Οvarying system ;identification ;parameter estimation ;convergence properties ;least squares ;stochastic gradient ;martingale convergence t heorem ;martingale hyperconvergence t heorem 递推最小二乘(L S)算法[1]、随机梯度(SG)算法[1,2]、多新息SG算法[3]、辅助模型辨识方法[4]、递阶辨识方法[5]等,是辨识时不变参数系统的一些典型方法.由于其算法增益(随迭代步数增加)趋于零,故没有跟踪时变参数的能力.为了跟踪时变参数,基于算法增益不趋于零的思想,人们提出了许多辨识方法.这些方法的特点是在时不变参数辨识方法中引入调节参量,如遗忘因子L S算法和遗忘梯度算法中的遗忘因子、卡尔曼滤波算法或协方差修正算法中的修正项、协方差复位L S算法中的复位间隔、有限数据窗L S算法中的数据窗长度等.对于时变系统,如果参数变化规律未知,任何辨识算法给出的参数估计都不可能收敛于真参数.亦即时变参数估计不存在一致收敛性.因此,为了评价时变参数估计精度,作者引入了有界收敛性这一重要概念[6,7].虽然CramerΟRao不等式给出了时不变参数估计误差协方差阵下界[8],但是这个下界是不可计算的,因为它依赖于系统真参数的知识[9],所以CramerΟRao不等式只有抽象的理论意义,没有实际用处.有界收敛性强调参数估计误差上界的估算.误差上界比下界重要,因为上界可以评价参数估计精度.近10,时变系统辨识领域的研究成果非常丰富,作者仅从参数估计有界收敛性(参数估计误差上界)这条主线,简要介绍作者在这个领域取得的一些最新研究成果,包括研究辨识算法收敛性的数学工具和经常使用的假设条件,阐述了时变参数系统辨识领域的一些值得深入研究的课题.1 基本分析工具随机过程理论和随机鞅理论是研究递推辨识方法收敛性的主要分析工具.其中最重要的一个工具是鞅收敛定理,它主要用于研究时不变参数系统辨识算法参数估计的一致收敛性,适用于增益趋于零的算法,例如递推最小二乘算法[1]、随机梯度算法[2]、多新息随机梯度算法[3,10]、辅助模型最小二乘算法[4]和辅助模型随机梯度算法、递阶辨识方法[5]等.由于时变参数估计算法一般不存在一致收敛性,故鞅收敛定理不适用时变系统.为此,丁锋等建立了研究时变参数估计有界收敛性的鞅超收敛定理[6,7],为时变系统自适应辨识和控制算法的稳定性和收敛性分析开辟了新思路.1.1 鞅收敛定理设{T(t)},{f(t)},{g(t)}均为非负随机变量序列,它们关于σ代数F t是可测的或适应的[11],且使得下式成立.E[T(t+1)|F t]≤T(t)-f(t)+g(t)若∑∞t=1g(t)<∞,a.s.,则T(t)几乎确定地收敛于一有限的随机变量T0,即T(t)→T0<∞,a.s.,并且∑∞t=1f(t)<∞,a.s.在辨识算法的收敛性研究中,通常T(t)是参数估计误差的非负定函数,通过T(t)和f(t)的收敛性和持续激励条件等确定参数估计误差是否收敛于零;f(t)和g(t)一般是参数估计误差和系统输入输出数据的函数;F t是直到t时刻系统输入输出数据集或是由直到t时刻输入输出数据生成的σ代数.利用鞅收敛定理研究时不变系统参数辨识算法的收敛性[1～5,10～35].1.2 鞅超收敛定理考虑非负定函数T(t):=T[x(t)]和集R t:=[x(t):g[x(t)]≤ηt<∞,a.s.]其中,“A=:X”或“X:=A”,表示“A记作(定义为)X”之意(因为符号=△没有左右之分,含义模糊).若对于x(t)∈R t c,式(1)成立,R c t是R t的补集.E[T(t)|F t-1]-T(t-1)=:△T(t)≤-b(t),a.s.,(1)其中,g(x)=(a T x)2称为收敛变量,a是一个非零的时变或时不变向量,ηt≥0是一个非降有界随机变量(即R t<R t+1),b(t)是一个随机变量,(x(t), F t)是一个适应序列.又,x(t)∈R t c时,∑∞t=t0b(t)=∞,a.s.(t0<∞),则对于充分大t,有x(t)∈R t,a.s.成立,或limt→∞x(t)∈R∞,a.s.对于时变参数估计算法,首先构造一个参数估计误差x(t)的非负定函数T(t),然后导出不等式(1),找出变量b(t)满足条件时的集R t,最后利用强持续激励条件和一些基本不等式关系,推导出参数估计误差x(t)的显示上界.由于鞅超收敛定理[6,7] (martingalehyperconvergence t heorem)可以给出参数估计误差的上界,这对评价参数估计精度以及提高算法的实际应用效果具有重要意义.鞅超收敛定理是研究时变随机系统辨识算法和自适应控制算法收敛性的有效工具.鞅超收敛定理的提出和运用鞅超收敛定理对时变参数估计误差有界性的一系列研究成果,从而建立了时变系统参数估计误差界分析理论体系[1,6,7,19,34～42].例如:1)鞅超收敛定理与时变系统有限数据窗最小二乘辨识算法的有界收敛性[10,42];611 江南大学学报(自然科学版) 第5卷 2)鞅超收敛定理与遗忘因子最小二乘算法误差界[1,6,7,10,19];3)鞅超收敛定理与时变随机系统遗忘梯度估计算法的误差界分析[10,39～41];4)鞅超收敛定理与投影算法的参数估计误差界分析[37];5)鞅超收敛定理与时变系统鲁棒输出跟踪误差界分析[38];6)多变量系统传递函数矩阵递阶辨识方法的收敛性分析[41,43].随机过程理论也可用来研究时变或时不变系统参数估计的收敛性.例如,衰减激励条件下时不变参数估计算法的一致收敛性[10,44～48],时变系统遗忘因子最小二乘算法[9,10,49～51]和遗忘梯度算法的误差界分析[10,52],最小均方算法参数估计的误差界分析[10,48,53],时不变系统最小二乘类算法的均方收敛速率[9,10,54,55],时变或时不变系统多新息类辨识方法的性能分析[3,10,44,45,58～60].2 激励信号与激励条件就系统参数辨识而言,期望利用系统的输入输出数据能够识别系统参数,也就是使输入信号能够激发出系统的所有特征或所有模态,使得输出数据包括系统模型的全部信息.这样的信号是充分丰富的或称为持续激励信号(persistent excitation signal).在系统辨识算法的收敛性分析中,直接使用输入信号持续激励假设并不方便,而是使用持续激励条件,是指由输入输出数据构成信息向量所满足的不等式.持续激励条件有强持续、弱持续和衰减的激励条件等.2.1 持续激励信号的定义对于信号u0(t),若存在正常数α1和整数N≥n,使得对所有t>0的下式成立.(A1)1N ∑Ni=1U0(t-i+1)U0T(t-i+1)≥α1IU0(t):=[u0(t),u0(t-1),…,u0(t-n+ 1)]T∈ n则称u0(t)为n阶持续激励信号,式中I为适当维数单位阵.持续激励信号直接与系统参数可辨识性相关,下面通过一个简单的有限脉冲相应模型(finite imp ulse response,FIR)加以说明.设输入为u(t)的n个参数(b0,b1,…,b n-1)FIR模型为y(t)=b o u(t)+b1u(t-1)+…+b n-1u(t-n+1)其中,y(t)为系统输出.考虑t=t到t=t+p-1共p(p≥n)组数据,把它写成矩阵形式为y(t)y(t+1)…y(t+p-1)=u(t)…u(t-n+1)u(t+1)…u(t-n+2)………u(t+p-1)…u(t+p-n+1)bb1…b n-1令Y(t):=y(t)y(t+1)…y(t+p-1),U(t):=u(t)u(t-1)…u(t-n+1),θ:=b0b1…b n-1H(t):=U T(t)U T(t+1)U T(t+p-1)∈ p×n.则有y(t)=U T(t)θ,Y(t)=H(t)θ最后一式两边左乘可以H T(t)可得H T(t)H(t)θ=H T(t)Y(t)如果数据乘积矩阵S(t):=H T(t)H(t)=∑p-1i=0U(t+i)U T(t+i)是非奇异的,那么可以得到θ的最小二乘估计^θ^=S-1(t)H T(t)Y(t)=[H T(t)H(t)]-1H T(t)Y(t)S(t)是对称非负定阵,它非奇异的条件是S(t)>0.这就要求u(t)为满足条件(A1)的至少n阶持续激励信号.数据长度p必须大于或等于n,因为乘积矩阵S(t)的秩等于两个乘积矩阵列秩和行秩中最小的一个.将Y(t)的定义式代入上式可得:^θ=θ真参数.这里可得到一个一般结论:对于n个参数时不变确定性系统(不限于FIR系统,也适用于确定性ARMA系统),如果输入是持续激励信号,则只需要n组输入输出数据(即对某个确定的t,条件(A1)成立),就可以计算出未知参数的一致估计.然而,对于时不变随机系统,要获得未知参数的一致估计,一般数据量须趋于无穷大;因此,要求对于所有t,或对于t的某个无限整数序列:Z s={t s,s=0,1,2,…}(1=t0<t1<t2<…),即t∈Z s时,条件(A1)均成立.对于参数数目为n:=n a+n b的确定性ARMA X系统(简写为DARMA系统),其差分方程形式为y(t)+a1y(t-1)+…+a nay(t-n a)=b1u(t-1)+b2u(t-2)+b nbu(t-n b).它可以用移位算子z-1的多项式形式表述为A(z)y(t)=B(z)u(t)711 第1期丁锋等:时变系统辨识方法及其收敛定理其中A(z)=1+a1z-1+a2z-2+…+a naz-n a,B(z)=b1z-1+b2z-2+…+b nbz-n b定义参数向量θ和信息向量φ(t)如下:θ:=[a1,a2,…,a n a,b1,b2,…,b n b]T∈ n,φ(t):=[-y(t-1),…,-y(t-na),u(t-1),…,-u(t-n b)]T∈R n.则DARMA模型可以写为y(t)=φT(t)θ可以证明:如果u(t)是满足条件(A1)的n阶持续激励信号,且多项式A(z)与B(z)是互质的(没有公因子),那么存在正常数α,β(在不同处,它们的值不同)和整数N(N≥n)使得信息向量φ(t)满足(A2)αI≤1N ∑N-1i=0φ(t+i)φT(t+i)≤βI,a.s.左边的“≤βI”是为了推导参数估计误差下界而加上的.(A2)也可以等价表示为(A2′)1N ∑N-1i=0φ(t+i)φT(t+i)1+‖φ(t+i)‖2≥αI,a.s.其中矩阵X的范数定义为‖X‖2=t r[X X T].条件(A2)或(A2′)称为(n阶)强持续激励条件.对于FIR模型,(A1)与(A2)等价.相应地,弱持续激励条件定义为(A3)αI≤1t ∑ti=1φ(i)φT(i)≤βI,a.s.或(A3′)limt→∞1t∑ti=1φ(i)φT(i)=Φ>0,a.s.条件激励条件是以数学期望的形式给出的,定义为(A4)αI≤E[1N ∑N-1i=0φ(t+i)φT(t+i)|Ft-1]≤βI,a.s.其中,F t是由直至t时刻的观测(输入输出)数据生成的σ代数.这个期望形式的激励条件(A4)在工程上不易验证,因而很少采用.2.2 衰减激励信号的定义衰减激励信号u(t)定义为u(t)=u0(t)tε+u1(t),ε>0(2)式中,ε>0称为衰减指数,u0(t)为满足(A1)的持续激励信号,u1(t)为非持续激励信号(最特别的情形是u1(t)≡0).对应的衰减激励条件定义如下:(A5)α(t+N-1)2εI≤1N∑N-1i=0φ(t+i)×φT(t+i)≤βI,a.s.衰减激励条件也可以条件期望的形式给出,从略.当ε=0时,条件(A5)等同(A2),故强持续激励条件是衰减激励条件的一个特例.从衰减激励信号定义可知,衰减激励信号有多种形式,对应的衰减激励条件也有多种形式[49],但是式(2)的衰减激励信号和衰减激励条件(A5)的表达式最简单,在工程上也最容易实现.衰减激励条件下,现存辨识算法的收敛性分析都是针对时不变确定性系统或时不变随机系统的.作者在衰减激励条件下,详细研究了一些辨识算法的一致收敛性,例如,文献[46,47]针对确定性系统和随机系统多新息辨识算法,文献[48～50]针对随机系统递推最小二乘、递阶最小二乘和最小均方算法.3 最小二乘类辨识方法考虑如下时变随机系统的参数辨识问题y(t)=φT(t)θ(t-1)+v(t)(3)其中,y(t)∈ 1×1为系统输出,θ(t)∈ n×1为待辨识参数向量,φ(t)∈ n×1是由输入输出数据构成的信息向量,v(t)∈ 1×1是零均值随机干扰噪声.定义参数变化率(parameter changing rate)w(t):=θ(t)-θ(t-1)(4)它的统计特性与辨识算法的收敛性直接相关.当噪声v(t)≡0时,由式(3)得到时变确定性系统y(t)=φT(t)θ(t-1)当w(t)≡0即θ(t)=θ(常数参数向量)时,进一步得到时不变确定性系统y(t)=φT(t)θ当w(t)≡0即θ(t)=θ(常数参数向量)时,由式(3)得到时不变随机系统.y(t)=φT(t)θ+v(t)辨识一般时变随机系统式(3)参数θ(t)的递推算法可表示为^θ(t)=^θ(t-1)+R-1(t)φ(t)[y(t)-φT(t)^θ(t-1)]其中,^θ(t)为θ(t)的估计.矩阵R(t)的选择方式不同,将导致一些不同的估计算法,如遗忘因子最小二乘法,有限数据窗最小二乘法,协方差复位最小二乘法等.下面是矩阵R(t)的一些典型选择方法而导出的一些辨识方法.3.1 遗忘因子递推最小二乘(FFR LS)算法^θ(t)=^θ(t-1)+P(t)φ(t)[y(t)-φT(t)^θ(t-1)],P-1(t)=λP-1(t-1)+811 江南大学学报(自然科学版) 第5卷 φ(t)φT(t),0<λ<1,P(0)=p0I.这里λ为遗忘因子,p0为正数.在这个算法中, R(t)=P-1(t),P(t)为协方差阵.FFRL S算法是辨识时变系统的一个重要方法.这个算法中有一个参量:遗忘因子λ,可以通过调节这个参量控制参数估计误差上界,从而可以选择一个最佳遗忘因子,以获得最小参数估计误差上界. FFRL S算法收敛性的关键是找出协方差阵P(t)的上下界.关于FFRL S算法收敛性,丁锋等1994年在弱持续激励条件和数据平稳条件下,近似地表示了协方差阵的上下界,进而导出了参数估计误差界[19～49];1997年和1999年运用鞅超收敛定理,在强持续激励条件下详细地研究了FFRL S算法参数估计误差上界[6,7].文献[6]采取了一个近似办法:协方差阵的逆P-1(t)用其期望E[P-1(t)]代替,而协方差阵P(t)用{E[P-1(t)]}-1代替;文献[7]的重要贡献是在强持续激励条件下,找到了FFRL S算法协方差阵的精确上下界,这为人们进一步研究FFRL S 算法的性能打下了基础.文献[50,51]利用这个协方差阵精确界,也研究了FFRL S算法的均方参数估计误差上界.丁锋和陈通文综述了FFRL S算法的一些最新研究进展,并利用强持续激励条件下协方差阵精确界,在文献[51]的基础上,又详细研究了时变和时不变系统FFRL S算法的参数估计误差上下界、误差界的估算、如何获得最小估计误差上界的方法、最佳遗忘因子的选择等问题,并用4个例子证实了提出的结论(包括一个水位系统实例)[9];作者还把这种方法用于研究辨识双率采样数据系统FFRL S算法的收敛性[59].此外,丁锋等提出辅助模型辨识方法[4,10,12,24,60,61]、递阶辨识方法[5,20,28,41,43],以及Hammerstein非线性ARMA X模型的最小二乘辨识方法[29],动态系统时变参数的跟踪矩阵方法[62],递推广义增广最小二乘算法[63,64],多变量系统联合辨识方法[64],联合系统状态和参数的递阶辨识辨识方法[65～68]等,都可以通过引入遗忘因子跟踪时变参数;遗忘因子也可以引入广义时变系统的(偏)最小二乘算法中[21,69].作者首次把遗忘因子引入到随机梯度类算法中,提出了遗忘投影辨识算法[19,70,71]、遗忘梯度辨识算法[10],提出了广义时变系统(扰动时变统)辨识算法[72].提出新的建模理论、辨识方法,以及辨识方法在不同条件下,特别是在更弱条件下的性能分析,包括参数估计误差上界估算,如何选择算法中最佳参量(如FFRL S算法中遗忘因子、有限数据窗L S算法中数据窗长度等)获得最小估计误差上界等,都是辨识研究的永恒主题.在弱持续激励条件下, FFRL S算法的性能分析仍是需攻克的辨识难题. 3.2 有限数据窗最小二乘算法如果选择R(t)=P-1(t),P-1(t):=∑q-1i=0φ(t-i)φT(t-i)= P-1(t-1)+φ(t)φT(t)- φ(t-q)φT(t-q)则得到有限数据窗最小二乘算法(FDWL S:FiniteΟDataΟWindow Least Squares algorit hm)或限定记忆最小二乘算法(FML S:Fixed Memory Least Squares algorit hm):^θ(t)=^θ(t-1)+P(t)φ(t)[y(t)-φT(t)^θ(t-1)],P-1(t)=P-1(t-1)+φ(t)φT(t)-φ(t-q)φT(t-q),P(0)=p0I 这里,q为数据窗长度或记忆长度.FDWL S算法是为了克服数据饱和,而采用数据窗长度q固定的滚动数据窗内的有限数据,即从t=t-q十1到t =t的q组数据,进行参数辨识.关于这个算法,丁锋等在强持续激励条件下,详细推导了FDWL S算法协方差阵上下界,用鞅超收敛定理,获得了参数估计误差上界表达式,并论述了获得最小参数估计误差上界,最佳数据窗长度的选择方法[10,42].最近,作者研究了几种带遗忘因子的FDWL S算法,其中一种简化的带遗忘因子递推FDWL S算法(FFΟFDWL S)如下:^θ(t)=^θ(t-1)+P(t)φ(t)[y(t)-φT(t)^θ(t-1)],P-1(t)=λP-1(t-1)+φ(t)φT(t)-φ(t-q)φT(t-q),0<λ≤1,P(0)=p0I 在强持续激励条件下,作者已经获得了这个简化FFΟFDWL S算法参数估计误差上界.同样,这个算法在弱持续激励条件下的辨识误差分析,也是需要研究的课题.3.3 协方差复位最小二乘算法协方差复位最小二乘算法(CoVariance Resetting Least Squares algorit hm,CV RSL S)就是为了防止算法增益趋于零,每隔一段时间,给协方差阵重新置初值而得到的最小二乘算法.辨识时变系统参数θ(t)的协方差复位最小二乘算法[10,11,34,73]可表述为^θ(t)=^θ(t-1)+P(t)φ(t)[y(t)-φT(t)^θ(t-1)], P(t)=P(t-1)-P(t-1)φ(t)φT(t)P(t-1)1+φT(t)P(t-1)φ(t) P(t i)=p s I,p s,t s∈Z s={t0,t1,t2,t3,…},911 第1期丁锋等:时变系统辨识方法及其收敛定理0=t0<t1<t2… CV RSL S算法是每隔一段时间给协方差阵P (t)重新置初值p i I,以避免算法增益L(t)随递推步数增加趋于零,达到跟踪时变参数的目的.但是, CVRSL S算法的主要不足是,由于不断给P(t)置初值使P(t)丧失了过去的信息,即使参数没有变化,参数估计也不断出现过渡过程.复位协方差阵P(t)的时间间隔t3s:=t s+1-t s的大小以及p i的大小,应与参数θ(t)的变化剧烈程度(参数变化率w(t))联系起来,要做到这一点也是不容易的[10,34].G oodwin等1983年仅针对时不变确定系统,研究了基于CVRSL S算法的自调节控制算法的稳定性[75].对于时不变随机系统和时变随机系统, CVRSL S算法参数估计的收敛性和由这个算法构成的自适应控制算法的收敛性分析,都是很具挑战性的研究课题.如果取复位时间间隔为常数,即t3s=k(常数),且协方差阵初值均为相同,即p0=p1 =p2=p3=…,在此条件下,找出CVRL S算法参数估计误差与k和p0的关系,是完全可能的.3.4 卡尔曼滤波算法卡尔曼状态滤波器是假设系统参数矩阵(A,B, C,D)已知时,利用系统输入u(t)和输出y(t)估计随机系统状态的一种方法.设随机状态空间模型为x(t+1)=A x(t)+B u(t)+w(t)Y(t)=C x(t)+D u(t)+v(t)式中,w(t)和v(t)分别过程噪声向量和观测噪声向量.设^x(t)是状态x(t)的估计,当w(t)和v(t)不相关时,卡尔曼滤波器[10]可以表示为^x(t+1)=A^x(t)+B u(t)+L(t)[y(t)-C^x(t)-D u(t)],L(t)=A P(t)C T[R v+C P(t)C T]-1,P(t+1)=A P(t)A T+R w-A P(t)C T[R v+C P(t)C T]-1C P(t)A T式中,R v和R w分别为v(t)和w(t)的协方差阵,定义为R v=E[v(t)v T(t)],R w=E[w(t)w T(t)]采用类比方法,联系式(4)和(3)可得“状态方程”θ(t)=θ(t-1)+w(t)y(t)=φT(t)θ(t-1)+v(t)这里把θ(t)看作状态x(t),A=I,B=0,C=φT(t), D=0,就可以得到估计参数向量θ(t)的卡尔曼滤波参数估计算法(Kalman Filtering algorit hm, KF)[10]:^θ(t)=^θ(t-1)+L(t)[y(t)-φT(t)^θ(t-1)],L(t)=P(t-1)φ(t)R v+φT(t)P(t-1)φ(t),P(t)=P(t-1)+R w-P(t-1)φ(t)φT(t)P(t-1)R v+φT(t)P(t-1)φ(t)式中,R v=E[v2(t)].对于时不变系统,R w≡0.如果取R v=1,那么上述算法就是标准递推最小二乘辨识算法.虽然卡尔曼滤波算法是从最优角度推导出的,即使假设R v和R w是已知的,它的最优性和收敛性证明也是十分困难的,要推导其参数估计误差显示收敛上界就更困难了;更不用说R v和R w未知情形.尽管卡尔曼滤波算法的提出已有半个多世纪的历史,相关的研究论文也发表了不少,但都没有涉及参数估计误差显示收敛上界问题.3.5 协方差修正最小二乘算法为了防止最小二乘算法协方差阵趋于零,在协方差阵上加上一个非负定阵Q(t)而得到的算法,称为协方差修正最小二乘算法(Covariance Modification Least Squares algorit hm,CVML S): ^θ(t)=^θ(t-1)+L(t)[y(t)-φT(t)^θ(t-1)],L(t)=P(t-1)φ(t)1+φT(t)P(t-1)φ(t),P(t)=P(t-1)-P(t-1)φ(t)φT(t)P(t-1)1+φT(t)P(t-1)φ(t)+Q(t),Q(t)≥0在这个算法中引入了Q(t)≥0,是为了避免协方差阵P(t)→0,来提高算法“活性”跟踪时变参数.在卡尔曼滤波算法中,修正项Q(t)有明确的物理意义,它是参数变化率w(t)的协方差阵,即Q(t)=R w=E[w(t)w T(t)](5)通常R w是未知的,只能人为选择.若Q(t)选择过大,算法活性大,参数估计也会出现大的波动.解决的方案是人为给Q(t)定一个上界Q0,如Q(t)≤Q0.如果任意选定Q(t)=Q>0,这使卡尔曼滤波算法给出的参数估计既非最优估计也非最小二乘估计,即使用于辨识时不变系统也不能给出一致参数估计.为了使算法既具有跟踪时变参数的活性,又具有适应时不变情况的性能,关键在于如何选择Q(t).一种选择方式是:取Q(t)为参数估计误差向量^θ(t):=^θ(t)-^θ(t)的函数,即Q(t)=Q( Q(t))当系统参数没有发生变化时,要求Q(t)=0或接近于零;当系统参数发生变化时,取Q(t)≥0来修正P(t),同时规定Q(t)的上界.由于 θ(t)中θ(t)是不可测的,所以可考虑选择Q(t)为参数估计误差变化率Δ θ(t)的函数,其中021 江南大学学报(自然科学版) 第5卷 Δ θ(t):= θ(t)-^θ(t-1)=[^θ(t)-θ(t)]-[^θ(t-1)-θ(t-1)]=^θ(t)-^θ(t-1)-w(t).若参数估计误差变化率Δ^θ(t)为零,则有w(t)=^θ(t)-^θ(t-1).参照式(5),可选择Q(t)=k^w(t)^w T(t), ‖^w(t)‖2<c,kc‖^w(t)‖2^w(t)^w T(t), ‖^w(t)‖2≥c,其中k和c均为有限正常数,^w(t):=^θ(t)-^θ(t-1)为参数估计变化率.这样选择的Q(t)使CVML S算法不仅能跟踪时变参数,而且能给出时不变系统参数的一致无偏估计.当k=0时,CVML S算法就是常规最小二乘法,没有跟踪时变参数的能力[10,34].4 梯度类辨识方法梯度类辨识方法的特点是算法中协方差矩阵.与最小二乘法相比,梯度算法计算量小,但收敛速度慢.本节介绍梯度类辨识方法,包括投影算法、随机梯度算法、遗忘梯度算法、广义投影算法等.4.1 投影辨识算法如果选择R(t)=P-1(t),P-1(t):=I+φ(t)φT(t)则得到投影辨识算法^θ(t)=^θ(t-1)+φ(t)1+φT(t)φ(t)[y(t)-φT(t)^θ(t-1)]这个算法能够估计时变参数,但是对噪声比较敏感,参数估计波动大.由于算法中没有可调节参量,无法控制估计误差.作者基于鞅超收敛定理,研究了时变系统投影辨识算法参数估计误差上界[37],以及基于投影算法自校正控制闭环系统输出跟踪误差界[38].文献[27]提出了多变量系统递阶投影算法;文献[31]针对输入非线性系统,提出了基于噪声估计的梯度迭代辨识算法、递推随机梯度辨识算法和投影辨识算法;文献[30]提出了双率采样系统的辅助模型随机梯度算法和辅助模型投影辨识算法.4.2 随机梯度辨识算法如果选择R(t)=r(t)I,r(t):=t r[P-1(t)],P-1(t)=P-1(t-1)+φ(t)φT(t).则得到随机梯度辨识算法(SG:Stochastic Gradient identification algorit hm):^θ(t)=^θ(t-1)+φ(t)r(t)[y(t)-φT(t)^θ(t-1)],r(t)=r(t-1)+‖^φ(t)‖2,r(0)=1. 这个算法增益趋于零,只适用于估计时不变系统参数,但是参数估计收敛速度慢.由于其计算量小,可用构成自适应控制系统.作者1999年在强持续激励条件和有界噪声方差下,证明了SG算法参数估计误差一致收敛于零[2],并用例子说明了时不变系统SG算法引入遗忘因子后性能和遗忘因子的选择方法;最近又在弱持续激励条件和无界噪声方差下,证明了同一收敛结论,得到了迄今为止弱持续激励条件下,SG算法收敛的最弱条件.梯度搜索(迭代)原理可以用来研究许多系统的辨识问题.例如,作者提出了多变量系统递阶迭代辨识算法和递阶随机梯度辨识算法[27],输入非线性系统的随机梯度辨识算法,ARMA模型的基于噪声估计随机梯度辨识算法,双率采样系统的辅助模型随机梯度辨识算法[30],以及李雅普诺夫矩阵方程、一般矩阵方程和耦合矩阵方程的梯度迭代算法和最小二乘迭代算法[74,75].4.3 遗忘梯度辨识算法如果选择R(t)=r(t)I,r(t):=t r[P-1(t)],P-1(t)=λP-1(t-1)+φ(t)φT(t),0<λ<1.则得到遗忘因子随机梯度辨识算法,简称遗忘梯度算法(Forgetting Gradient algorit hm,P G):^θ(t)=^θ(t-1)+φ(t)r(t)[y(t)-φT(t)^θ(t-1)](6)r(t)=λr(t-1)+‖^φ(t)‖2,0<λ<1,r(0)=1(7)其中,λ为遗忘因子.当λ=0时,遗忘梯度算法退化为投影算法.遗忘梯度算法是FFRL S算法的一种简化形式,其性能类似于FFRL S算法.丁锋在其博士论文中首次提出了遗忘梯度算法[19].在不同条件下(如强持续激励条件、信息向量有下界等),运用随机过程理论或鞅超收敛定理,遗忘梯度算法辨识时不变和时变系统的一系列收敛性研究成果发表一些国内外学术期刊和会议上,可参见文献[10,35,36,39,40,52].当信息向量有非零下界时,遗忘梯度算法参数估计误差上界有更简单的形式.作者又将遗忘因子引入到各种算法中,提出了遗忘漂移时变系统的遗忘投影算法、遗忘梯度算法[19,70,71],时变系统的多新息遗忘梯度算法[58].多变量系统遗忘因子递阶随机梯度算法[27]等.4.4 广义投影辨识算法如果选择121 第1期丁锋等:时变系统辨识方法及其收敛定理R (t )=r (t )I ,r (t ):=tr [P-1(t )]这里P (t )是有限数据窗最小二乘算法中的协方差阵,就得到广义投影辨识算法(GP ):^θ(t )=^θ(t -1)+φ(t )r (t )[y (t )-φT(t )^θ(t -1)],r (t )=∑q-1i =0‖φ(t -i )‖2=r (t -1)+‖φ(t )‖2-‖φ(t -q )‖2,r (0)=1.如果上述算法中q 用t 代替,就得到SG 算法(假设t ≤0时,y (t )=0和φ(t )=0);SG 算法活性低,没有跟踪时变参数的能力;如果取q =1,就得到投影算法;而投影算法活性太强,对噪声太敏感.因此,广义投影算法是SG 算法与投影算法的一个折中,算法中的参量q 可以用来控制参数估计误差界.在不同(如强持续激励或弱持续激励)条件下,广义投影辨识算法参数估计误差推导也是极具挑战性的课题.4.5 带遗忘因子广义投影辨识算法上述4个算法可以统一为一个算法———带遗忘因子广义投影辨识算法(FF GP ):^θ(t )=^θ(t -1)+φ(t )r (t )[y (t )-φT(t )^θ(t -1)],r (t )=q-1i =0i‖φ(t -i )‖2=λr (t -1)+‖φ(t )‖2-λq-1‖φ(t -q )‖2,r (0)=1.当λ=1时,FF GP 算法=GP 算法;当q =1和λ=1时,FF GP =投影算法;在FF GP 算法中取q =t ,就得到F G 算法;进一步令λ=1,就得到SG 算法.以上梯度类辨识算法有下列通式:^θ(t )=^θ(t -1)+μ(t )φ(t )[y (t )-φT(t )^θ(t -1)]其中,μ(t )为收敛因子(convergence factor )或步长(step Οsize ).这个算法也称为最小均方算法(L MS :Least Mean Square algorit hm ).对于不同的算法,收敛因子取不同的形式.例如:1)投影算法μ(t )=[1+‖φ(t )‖2]-12)随机梯度算法μ(t )=[r (0)+∑ti =1‖φ(i )‖2]-13)遗忘梯度算法μ(t )=[λtr (0)+∑ti =1λt-i‖φ(i )‖2]-14)广义投影算法μ(t )=[∑q-1i =0‖φ(t -i )‖2]-1理论分析表明:只要0<μ(t )‖φ(t )‖2<2时,L MS 算法就收敛,但并不保证参数估计精度.为了方便研究,通常将L MS 算法修改为^θ(t )=^θ(t -1)+μ(t )φ(t )1+‖φ(t )‖2[y (t )-φT (t )^θ(t -1)],0<μ(t )<2.针对时变系统和时不变系统,作者分别在强持续激励和衰减激励条件下,研究了这个算法参数估计误差界和一致收敛性问题[10,48,53].5 遗忘梯度算法的一些收敛定理由于在不同条件下,同一个辨识算法具有不同的参数估计误差上界.因此,只有通过寻求算法调节参量的最佳值,以使均方参数估计误差上界最小;通过比较这些最小参数估计误差上界大小,进一步评价参数估计精度.因此,首要问题是研究各种时变系统辨识方法的估计误差上界,下面简单介绍时变系统遗忘梯度算法的参数估计收敛结果.5.1 引理引理1 对于系统式(3)和遗忘梯度算法式(6)～(7),假设强持续激励条件(A2)成立,那么式(7)中r (t )满足λN -1(1-λN +1)1-λn α+λtr (0)≤r (t )≤nN β(1-λt)1-λ+λtr (0),a.s.如果选择r (0)满足N α1-λ≤r (0)≤nN β1-λ,0<λ<1则有λN -11-λn α≤r (t )≤δ11-λ,a.s.,0<λ<1,δ1:=nNβ.引理1的证明可参见文献[39].引理2 对于系统式(3)和遗忘梯度算法式(6)～(7),假设强持续激励条件(A 2)成立,信息向量φ(t )有下界,即(A 9)‖φ(t )‖2≥α>0,a.s.则式(7)中r (t )满足α(1-λt)1-λ+λtr (0)≤r (t )≤δ1(1-λt )(1-λ)+λtr (0),a.s.,δ1:=nNβ.如果选择r (0)满足α1-λ≤r (0)≤δ1(1-λ)则有221 江南大学学报(自然科学版) 第5卷 。
蚁群算法的几乎处处强收敛性分析
万方数据万方数据万方数据万方数据１６５０电子学报２００９焦文下一步将重点研究ＡＣＳ算法的强收敛性条件．参考文献：［１］ＣｏｌｏｍｉＡ，ＤｏｒｉｇｏＭ，ＭａｉｌｉｅｚｚｏＶ．Ｄｉｓｔｒｉｂｕｔｅｄｏｐｔｉｌ／ｌｉｚ撕ｏｌｌｂｙａｎｔｃｏｌｏｎｉｅｓ［Ａ］．Ｐｒｏｃ．ｏｆｔｈｅＦｉｒｓｔＥｕｒｏｐｅａｎＣｏｎｆ．ｏｎＡｒｔｉｆｉｃｉａｌⅡｆｅ［ｃ］．Ｐａｒｉｓ，Ｆｒａｌｌｃｅ：ＥｌｓｅｖｉｅｒＰｕｂｌｉｓｈｉｎｇ，１９９１．１３４—１４２．［２］ＤｏｆｉｇｏＭ，Ｇａｍｂａｒｄｅｌ／ａＬＭ．Ａｎｔｃｏｌｏｎｙｓｙｓｔｅｍ：ＡＣＯＯｐｅｒａｆｉｖｃｌｅａｒｎｉｎｇａｐｐｒｏａｃｈｔｏｔｈｅｔｒａｖｅｌｉｎｇｓａｌｅｓｍａｎｐｒｏｂｌｅｍｌＪＪ．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓＯｎＥｖｏｌｕｔｉｏｎａｒｙＣｏｍｐｕｔａｔｉｏｎ，１９９７，１（１）：５３—６６．［３］ＭｏｎｔｅｍａｎｎｉＲ，ＳｍｉｔｈＤＨ，ＡｌｌｅｎＳＭ．ＡｎＡＮＴＳａｌｇｏｒｉｔｈｍｆｏｒｔｈｅｍｉｎｉｍｕｍ－ｓｐａｎｆｒｅｑｕｅｎｃｙ－ａｓｓｉｇｎｍｅｎｔｐｒｏｂｌｅｍ、】ｖｉｔＩｌｍｕｌｔｉｐｌｅｉｎｔｅｒｆｅｒｅｎｃｅ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｆｏｍＯｆｆ．ＶｅｈｉｃｕｌａｒＴｅｃｈｎｏｌｏｇｙ，２００２．５１（５）：９４９—９５３．［４］蒋建国，夏娜，齐美彬，木春梅．一种基于蚁群算法的串行多任务联盟生成算法［Ｊ］．电子学报，２００５，３３（１２）：２１７８—２１８２．ＪＩＡＮＧＪｉａｎ－ｇｕｏ，ＸＩＡＮａ，ＱＩＭｅｉ・ｂｉｎ，ＭＵＣｈｕｎ－ｍｅｉ．Ａｎａｎｔｃｏｌｏｎｙａｌｇｏｒｉｔｈｍｂａｓｅｄｍｕｌｔｉ—ｔａｓｋｃｏａｌｉｔｉｏｎｓｅｒｉａｌｇｅｎｅｒａｔｉｏｎａｌ－ｇｏｒｉｔｈｍ［Ｊ］．ＡｃｔａＥｌｅｃｔｒｏｎｉｃａＳｉｎｉｃａ，２００５，３３（１２）：２１７８—２１８２．（ｉｎＣｌｏｓｅ）［５］吴春明，陈治，姜明．蚁群算法中系统初始化及系统参数的研究［Ｊ］．电子学报，２００６，３４（８）：１５３０—１５３３．ＷＵＣｈｕｎ－ｍｉｎｇ，ＣＨＥＮＺｈｉ，ＪＩＡＮＧＭｉｎｇ．ＴｈｅｒｅｓｅａｒｃｈＯｉｌｉｎｉ—ｔｉ删ｏｎｏｆａｎｔｓｓｙｓｔｅｍａｎｄｃｏｒａｉｇｕｍａｏｎｏｆｐａｒａｍｅｔｅ口＇ｓｆｏｒｄｉｆｆｅｒｅｎｔＴＳＰｐｒｏｂｌｅｍｓｉｎａｎｔａｌｇｏｒｉｔｈｍｌＪ］．ＡｃｔａＥｌｅｃｔｒｏｎｉｃａＳｉｎｉｃａ，２００６，３４（８）：１５３０—１５３３．（ｉｎＣｈｉｎｅｓｅ）［６］徐宗本，聂赞坎，张文修．遗传算法的几乎必然强收敛性——鞅方法［Ｊ］．计算机学报，２００２，２５（８）：７８５—７９３．ＸＵＺｏｎｇ－ｂｅｎ，ＮＩＥＺａｎ－ｋａｎ，ＺＨＡＮＧＷｅｎ－ｘｉｕ．Ａｌｍｏｓｔｓｕｒｅｃｏｎｖｅｒｇｅｎｃｅｏｆｇｅｎｅｔｉｃａｌｇｏｒｉｔｈｍｓ：ａｍａｒｔｉｎｇａｌｅａｐｐｒｏａｃｈ【ＪＪ．ＣｈｉｎｅｓｅＪｏｕｍａｌｏｆＣｏｍｐｕｔｅｒｓ，２００２，２５（８）：７８５—７９３．（ｉｎＣｈｉｎｅｓｅ）［７］王霞，周国标．整体退火遗传算法的几乎处处强收敛性［Ｊ］．应用数学，２００３，１６（３）：１—７．ＷＡＮＧＸｉａ，ＺｈｏｕＧｕｏ－ｂｉａｏ．Ｓｔｒｏｎｇｃｏｎｖｅｒｇｅｎｃｅ（ａ．ｓ．）０ｆｇｌｏｂａｌａｎｎｅａｌｉｎｇｇｅｎｅｔｉｃａｌｇｏｒｉｔｈｍ［Ｊ］．ＭａｔｈｅｎａｔｉｃａＡｐｐｌｉｃａｔａ，２００３，１６（３）：１—７．（ｉｎＣｈｉｎｅｓｅ）［８］罗小平，韦巍．生物免疫遗传算法的几乎处处强收敛性分析及收敛速度估计［Ｊ］．电子学报，２００５，３３（１０）：１８０３一１８０７．ＬＵＯＸｉａｏ－ｐｉｎｇ，ＷＥＩＷｅｉ．Ｔｈｅａｎａｌｙｓｉｓｏｎｓｔｒｏｎｇｃｏｎｖｅｒｇｅｎｃｅ（ａ．ｓ．）ａｎｄｃｏｎｖｅｒｇｅｎｃｅｒａｔｅｅＳｔｉｌｌｌａｔｅｏｆｉｎｌｌｎｌｕ］ｅｇｅｎｅｔｉｃａｌｇｏ－ｒｉｔ埘Ｊ］．Ａｃｔａ日ｅｃ咖ｉｃａＳｉｎｉｃａ，２００５，３３（１０）：１８０３—１８０７．（ｉｎａ妇）１９ＪＧ硼ａｈＷＪ．Ａｇｅｎｅｒａｌｉｚｅｄｃｏｎｖｅｒｇｅｎｃｅｒｅｓｕｌｔｆｏｒｔｈｅｇｒａｐｈｂａｓｅｄａｎｔｓｙｓｔｅｍｍｅｔａｈｅｎｒｉｓｔｉｃ【Ｒ］．ＴｅｃｈｎｉｃａｌＲｅｐｏｒｔ９９—０９，Ａｕｓｔｒｉａ，Ｄｅｐｔ．ｏｆＳｔａｔｉｓｔｉｃｓａｎｄＤｅｃｉｓｉｏｎＳｕｐｐｏｒｔＳｙｓｔｅｍｓ，Ｕｎｉ—ｖｅｒｓｉｔｙｏｆＶｉｅｎｎａ：１９９９．［１０］Ｇ叫ａｈｒＷＪ．Ａｇｒａｐｈ－ｂａｓｅｄａｎｔｓｙｓｔｅｍａｎｄｉｔｓｃｏｎｖｅｒｇｅｎｃｅ［Ｊ］．ＦｕｔｕｒｅＧｅｎｅｒａｔｉｏｎＣｏｍｐｕｔｉｎｇＳｙｓｔｅｍｓ，２０００，１６（９）：８７３—８８８．［１１］ｏａｔｊａｈＷＪ．ＡＣＯａｌｇｏｒｉｔｈｍｓｗｉｔｈｇｕａｒａｎｔｅｅｄｃｏｎｖｅｒｇｅｎｃｅｔｏｔｈｅｏｐｔｉｍａｌｓｏｌｕｆｉｏｎ［Ｊ］．ＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＬｅｔｔｅｒｓ，２００２，８２（３）：１４５—１５３．［１２］ＳｔｉｉｔｚｌｅＴ，ＤｏｒｉｇｏＭ．Ａｓｈｏｒｔｃｏｎｖｅｒｇｅｎｃｅｐｒｏｏｆｆｏｒａｃｌａｓｓｏｆａｎｔｃｏｌｏｎｙｏｐｆｉｎｌｉｚｚｆｉｏｎａｌｇｏｒｉｔｈｍｓ［ＪＪ．ＩＥＥＥＴｒａｎｓａｃｆｉｏｍＯｎＥｖｏｌｕｔｉｏｎａｒｙＣｏｍｐｕｔａｔｉｏｎ，２００２，６（４）：３５８—３６５．［１３］ＢａｄｒＡ，ＦａｈｍｙＡ．Ａｐｒｏｏｆｏｆｃｏｎｖｅｒｇｅｎｃｅｆｏｒａｎｔａｌｇｏｒｉｔｈｍｓ［Ｊ］．ＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅｓ，２００４，１６０（１－４）：２６７—２７９．［１４］朱庆保．蚁群优化算法的收敛性分析．控制与决策［Ｊ］．２００６，２１（７）：７６３—７６６．ＺＨＵＱｉｎｇ－ｂａｏ．Ａｎａｌｙｓｉｓｏｆｃｔｍｖｅｒｇｅｎｃｅｏｆａｎｔｃｏｌｏｎｙｏｐｔｉ・ｍｉｚａｔｉｏｎａｌｇｏｒｉｔｈｍｓ［Ｊ］．ＣｏｎｔｒｏｌａｎｄＤｅｃｉｓｉｏｎ，２００６，２１（７）：２６７—２７９．（ｉｎＣｈｉｎｅｓｅ）［１５］段海滨，王道波，于秀芬．基本蚁群算法的Ａ．ｓ．收敛性研究［Ｊ］．应用基础与工程科学学报，２００６，１４（２）：２９７—３０１．ＤＵＡＮＨａｌ—ｂｉｎ，ＷＡＮＧＤａｏ－ｂｏ，ＹＵＸｉｕ－ｆｅｎ．Ｒｅｓｅａｒｃｈ０１１ｔｈｅａ．ｓ．ｃｏｎｖｅｒｇｅｎｃｅｐｔＤｐｅｒｆｉｅｓｏｆｂａｓｉｃａｎｔｃｏｌｏｎｙａｌｇｏｒｉｔｈｍ［Ｊ］．ＪｏｕｒｎａｌｏｆＢａｓｉｃＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇ，２００６，１４（２）：２９７—３０１．（ｉｎＣｈｉｎｅｓｅ）［１６］张波，张景肖．应用随机过程［Ｍ］．北京：清华大学出版社．２００４．ＺＨＡＮＧＢｏ，ＺＨＡＮＧＪｉｎｇ－ｘｉａｏ．ＡｐｐｌｉｅｄＳｔｏｃｈａｓｔｉｃＰｒｏｃｅｓｓｅｓ［Ｍ］．Ｂｅｉｊｉｎｇ：ＴｓｉｎｇｈｕａＵｎｉｖｅｒｓｉｔｙＰｒｅｓｓ，２００４．（ｉｎＣｈｉｎｅｓｅ）【１７］ＥｄｗａｒｄＰＣＫ．ＡｎＩｎｔｒｏｄｕｃｔｉＯｉｌｔｏＳｔｏｃｈａｓｔｉｃＰｒｏｃｅｓｓｅｓｌＭＪ．Ｂｅｌｍｏｎｔ，Ｃａｌｉｆ．，Ｌｏｎｄｏｎ：ＯｕｘｂｕｒｙＰｒｅｓｓ，１９９７．［１８］ＳｔｉａｔｚｌｅＴ，ＨｃｏｓＨＨ．Ｍａｘ—Ｍｉｎａｎｔｓｙｓｔｅｍ［Ｊ］．ＦｕｔｕｒｅＧｅｎｅｒａ－ｔｉｏｎＣｏｍｐｕｔｅｒＳｙｓｔｅｍ，２０００，１６（８）：８８９—９１４．作者简介：苏兆品女。
第二节收敛性
l n i m F n ( ) F ( ) ,l n i m F n ( ) F ( ) ,
因 而 J 1 ,J 3 可 以 任 意 小 ,再 结 合 定 理 5 .2 .2 ,只 要 n 充 分 大 , 也 可 以 使 得 J 2 任 意 小 ,由 此 可 以 得 到 定 理 成 立 .
| f( x k ) [ F ( x k 1 ) F n ( x k 1 ) ] f( x k ) [ F (x k ) F n (x k ) ]
k 0
k 0
N(M
M
)2
M N M N
综上所述
b
b
|
a
f(x)dF(x) a
f(x)dFn(x)|
而
b
b
|af(x )d F (x )af(x )d F n (x )|
N 1
N 1
| f(x k ) [ F (x k 1 ) F (x k ) ]f(x k ) [ F n (x k 1 ) F n (x k ) ]
k 0
k 0
N 1
N 1
lni m Fn,n(r2)G(r2)
一 般 地 ,对 任 何 固 定 的 k,皆 有 lni m Fn,n(rk)G(rk).
因 此 对 一 切 有 理 数 r lni m Fn,n(r)G(r)
这 里 的 G (r)是 定 义 在 有 理 数 上 的 函 数 ,它 也 是 有 界 和 非 降 的 .
引 理 5.2.1 设 {Fn(x)}是 实 数 变 量 x的 非 降 函 数 列 ， D 是 R1上 的 稠 密 集 .若 对 于 D 中 所 有 点 ， 序 列 {Fn(x)} 收 敛 于 F(x)， 则 对 F(x)的 一 切 连 续 点 x有
递推算法分析课件
定义与特点
定义
递推算法是一种通过已知信息逐步推 导出其他信息的方法，通常从一个初 始状态出发，按照一定的规则逐步推 导出最终结果。
特点
递推算法具有明确性、可计算性和可 实现性，能够根据已知信息逐步推导 出结果，适用于解决一些具有规律性 的问题。
递推算法的分类
线性递推
根据已知的线性关系式，逐步推导出最终结果， 如等差数列求和等。
研究如何提高递推算法的稳定 性，减少初始值对结果的影响
，提高结果的可靠性。
探索新的应用场景
挖掘递推算法在其他领域的应 用潜力，如物理、化学、生物 等学科中的复杂问题求解。
REPORT
THANKS
感谢观看
CATALOG
DATE
ANALYSIS
SUMMAR Y
O(2^n)等。
03
递推算法时间复杂度分析
递推算法的时间复杂度取决于递推关系的复杂度和递归深度。通过分析
递推关系，可以估算算法的时间复杂度，并比较不同算法的效率。
空间复杂度
1 2 3
空间复杂度定义
空间复杂度是衡量算法所需存储空间随输入规模 增长而增长的量级，也用大O表示法表示。
递归与堆栈空间
递归算法需要使用堆栈来保存递归过程中的状态 ，因此其空间复杂度通常较高。迭代算法则通常 只需少量额外空间。
要点二
详细描述
杨辉三角是一个由数字组成的三角形，每个数字是它正上 方和左上方的两个数字之和。从第二行开始，每个数字都 是上一行相邻两个数字之和。通过递推关系式，我们可以 依次生成每个数字，最终得到完整的杨辉三角。
插入排序算法的改进
总结词
插入排序算法是一种简单的排序算法，通过将元素逐个 插入到已排序序列中实现排序。
Rudin数学分析中的无穷级数与收敛性判定
Rudin数学分析中的无穷级数与收敛性判定在数学分析中，无穷级数是指由无限多个项相加的级数。
收敛性判定则是判断无穷级数是否趋向于一个有限的数值。
Rudin的《数学分析》是一本经典的数学教材，其中对无穷级数和收敛性判定进行了详细的论述。
本文将介绍和讨论Rudin数学分析中的无穷级数与收敛性判定的相关内容。
一、无穷级数的定义和性质在Rudin的《数学分析》中，无穷级数的形式表示为：\[S = a_1 + a_2 + a_3 + \ldots + a_n + \ldots\]其中，\(a_n\) 表示级数的第 \(n\) 项。
无穷级数的部分和序列定义为：\[s_n = \sum_{k=1}^{n} a_k\]对于无穷级数的研究，我们常常关注的是其部分和序列的极限，即：\[\lim_{n \to \infty} s_n = S\]如果该极限存在且有限，则称无穷级数收敛。
否则，称其发散。
Rudin在《数学分析》中给出了许多无穷级数的性质和定理，比如级数的线性性、级数的特殊形式、级数的绝对收敛等。
这些性质为后续的收敛性判定提供了重要的基础。
二、Rudin数学分析中的收敛性判定方法1. 构造性判定法Rudin提出了一种通过构造某种数列来判断无穷级数的收敛性的方法。
以级数 \(\sum_{n=1}^{\infty} a_n\) 为例，假设我们能够构造出一个数列 \(\{s_n\}\)，满足以下条件：① \(\{s_n\}\) 是递增的序列；② \(\{s_n\}\) 有上界。
如果满足上述条件，则根据完备性原理可知，该数列必然存在极限，即：\[\lim_{n \to \infty} s_n = S\]其中，\(S\) 可以是有限的数值，也可以是正无穷大。
当数列 \(\{s_n\}\) 的极限存在时，我们可以得出结论：级数\(\sum_{n=1}^{\infty} a_n\) 收敛，并且有 \(\lim_{n \to \infty} s_n = S\)。
马尔可夫链收敛性分析与判定
马尔可夫链收敛性分析与判定马尔可夫链是一种随机过程，具有无记忆性和马尔可夫性质。
在很多应用中，我们需要分析和判定马尔可夫链的收敛性，以便对系统的稳定性和性能进行评估。
本文将介绍马尔可夫链收敛性的分析方法，并探讨如何判断一个马尔可夫链是否收敛。
一、马尔可夫链和收敛性简介马尔可夫链是一种随机过程，其状态空间为有限集合或可数集合。
在任意时刻，一个马尔可夫链只处于状态空间中的一个状态。
状态的转移是根据一定的概率分布进行的，且当前状态只与前一状态有关，而与其历史状态无关，这就是马尔可夫链的无记忆性。
具体地说，如果一个马尔可夫链在经过一段时间后，其状态分布逐渐稳定在一个固定的分布上，我们称之为马尔可夫链的收敛。
二、马尔可夫链收敛性的分析方法1.平稳分布马尔可夫链的收敛性与平稳分布密切相关。
平稳分布是指一个马尔可夫链在长时间演化后所达到的稳定分布。
对于有限状态空间的马尔可夫链，平稳分布可以通过求解马尔可夫链的转移概率矩阵的不动点来得到。
2.转移概率矩阵转移概率矩阵是描述马尔可夫链状态转移概率的矩阵。
对于一个马尔可夫链，其转移概率矩阵应满足以下条件：每行元素之和为1，且每个元素非负。
通过计算转移概率矩阵的特征值和特征向量，可以得到马尔可夫链的平稳分布。
3.遍历性和正常性遍历性是指从任意状态出发，存在有限步骤可以到达所有其他状态。
如果一个马尔可夫链是遍历的，那么它的平稳分布是唯一的。
正常性是指从任意状态出发，经过有限步骤后可以回到该状态。
正常的马尔可夫链一定是遍历的。
三、马尔可夫链收敛性的判定1.不可约性如果一个马尔可夫链是不可约的，即从任意状态出发都可以到达其他任意状态，那么可以判定该马尔可夫链是遍历且正常的，从而存在唯一的平稳分布。
2.非周期性对于一个具有有限状态空间的马尔可夫链，如果存在一个状态，从该状态出发，经过一定步数后又回到该状态，并且这个步数是有限的，那么该马尔可夫链是周期的，不存在平稳分布。
当马尔可夫链不存在周期性时，存在唯一的平稳分布。
A第8章 递推辨识算法的收敛性分析_155909957
1 d 2 2.5d 2(1 d 2 )2
③ 构造辨识算法对应的伴随微分方程
6
d 1 d D ( ) f (d D ( )) d RD ( ) d RD ( ) G (d D ( )) RD ( ) d ④ 构造伴随微分方程的 Lyapunov 函数 V (d D )
⑥ 根据 Lyapunov 函数 V (d D ) 的性质，伴随微分方程是稳定性的，其不变 集 DC 0.5 、吸收域 D A ,2 。也就是说，如果微分方程解的初始值位于吸 收域 D A ,2 内，则微分方程的解 d D ( ) 一定收敛于不变集 DC 0.5 上。因
课程名称： 《系统辨识理论与实践》
（Theory and Practice of System Identification）
Part III 辨识理论
第 8 章 递推辨识算法的收敛性分析
8.1 引言 8.2 ODE 法的启发性讨论
8.2.1 8.2.2 8.2.3 8.2.4 辨识算法的伴随微分方程 辨识算法与伴随微分方程之间的联系 ODE 法的步骤 收敛性定理
8.3 RLS 辨识算法的收敛性分析
8.3.1 RLS 算法 8.3.2 RLS 算法的递推随机算法形式 8.3.3 正则条件分析 8.3.4 RLS 算法的伴随微分方程 8.3.5 收敛性分析
1
Part III 辨识理论
第 8 章 递推辨识算法的收敛性分析
8.1 引言
● 递推辨识算法的收敛性问题，就是研究模型参数估计是否存在
T ˆ 1 R (k ) R (k 1)+ (k ) (k ) (k ) (k ) R (k 1)
2
注：研究上述递推辨识算法的收敛性问题具有一定的普遍意义。 8.2.1 辨识算法的伴随微分方程
算法的收敛性和收敛速度的定义式-西南科技大学网络教育学院
f f ( x + Dx, y + Dy, z + Dz ) f ( x, y, z ) lim , 0 l
2 2 2 ( D x ) + ( D y ) + ( D z ) 其中
设方向 L 的方向角为 , ,
Dx cos , Dy cos , Dz cos ,
5.2.1 函数的方向导数和梯度
即
f ( X ) AX + B
西 南 科 技 大 学 网 络 教 育 系 列 课 程
同理，推广到n元二次函数，则一般n元 二次函数梯度的矩阵表达式为
f ( X ) AX + B
式中
a11 a 21 A ... a n1 a12 a 22 ... a n2 ... ... ... ... a1n a 2n ... a nn
(k ) (k ) (k )
2
2
2
f ( X ( k ) ) f ( X ( k ) ) cos f ( X ( k ) ), S S 由上式表明：函数在某点沿方向S的方向导数 等于该点的梯度在方向身上的投影。见下图。
西 南 科 技 大 学 网 络 教 育 系 列 课 程
当方向S与梯度的 夹角为零时，方向 导数达到最大值， 即
这说明，与梯度成锐角的方向是函数值上升 的方向，而与梯度成钝角的方向则是函数值下降 的方向。
西 南 科 技 大 学 网 络 教 育 系 列 课 程
综上所述，函数的梯度具有以下性质 (1)函数在一点的梯度是一个向量。梯度的方向 是该点函数值上升得最快的方向，梯度的大小就是 它的模长。 (2) 一点的梯度方向为过该点的等值线或等值 面的切线或切平面相垂直的方向，或者说是该点等 值线或等值面的法线方向。 (3) 梯度是函数在一点邻域内局部性态的描述。 在一点上升得快的方向，离开该领域后就不一定上 升得快，甚至可能下降。
如何判断数列是收敛还是发散
如何判断数列是收敛还是发散
收敛与发散判断方法简单来说就是有极限（极限不为无穷）就是收敛，没有极限（极限为无穷）就是发散。
收敛与发散的判断其实简单来说就是看极限存不存在，当n无穷大时，判断Xn是否是常数，是常数则收敛，加减的时候，把高阶的无穷小直接舍去，乘除的时候，用比较简单的等价无穷小来代替原来复杂的无穷小。
判断数列是收敛或发散的具体方法
1、设数列{Xn}，如果存在常数a，对于任意给定的正数q(无论多小），总存在正整数N，使得n>N时，恒有|Xn-a|
2、求数列的极限，如果数列项数n趋于无穷时，数列的极限能一直趋近于实数a，那么这个数列就是收敛的﹔如果找不到实数a，这个数列就是发散的。
看n趋向无穷大时,Xn是否趋向一个常数,可是有时Xn比较复杂,并不好观察。
这种是最常用的判别法是单调有界既收敛。
3、加减的时候,把高阶的无穷小直接舍去如1+1/n,用1来代替乘除的时候,用比较简单的等价无穷小来代替原来复杂的无穷小来如1/n*sin(1/n)用1/n^2来代替。
4、收敛数列的极限是唯一的，且该数列一定有界，还有保号性，与子数列的关系一致。
不符合以上任何一个条件的数列是发散数列。
另外还有达朗贝尔收敛准则,柯西收敛准则,根式判敛法等判断收敛性。
局部收敛性分析
局部收敛性分析2.1 局部收敛定理一对于nx C ∀∈和n n X C ⨯∀∈，其向量范数和相应的从属范数为2:(())x P S x x α*=+和12:(())(())X P S x X P S x αα**-=++，其中x *为非线性函数:n n F D C C ⊂→的解。
显然，上面定义的范数是因为矩阵()P S x α*+为正定的条件才适定的。
定理 2.1（摄动定理）[7] 设,()n A C L R ∈，又设A 是可逆的，并且1A a -≤，A C b -≤，1ab <，那么C 也是可逆的，且11aC ab-≤-。
在文献[11]的定理11.1.5中，作者用分裂迭代法作为内部迭代来证明关于不精确Newton 法的局部收敛定理。
当定理中的结论被具体到Newton-NPHSS 迭代法，我们能够快速得到下面的局部收敛定理。
定理 2.2 设:n n F D C C ⊂→在x D *∈的某一开邻域0N D ∈中G -可微，满足()F x '在0N 中连续、非Hermitian 正定且()0F x *=，则存在x *的一个开邻域0N N ⊂，使对于0x N ∈和任意正整数,0,1,2...k k =l ，由Newton-NPHSS 法形成的迭代序列{}()0k k x ∞=总是适定且收敛到解x *，并且满足下式01()limsup ((,;))k kk xxM P x ρα**→∞-≤l其中，0liminf k k →∞=l l ，特别地，lim k k →∞=+∞l ，则迭代序列是R -超线性收敛的，即1()limsup 0k kk xx*→∞-=。
下面，我们定义第二个局部收敛性质。
2.2 局部收敛定理二定理 2.3 设:n n F D C C ⊂→在x D *∈的某一开邻域0N D ∈中G -可微，满足()F x '在0N 中连续、非Hermitian 正定且()0F x *=，则存在一个以x *为圆心，r 为半径的球形邻域(,)N x r *，并且假设对0(,)x N x r N *∀∈⊂，以下两个条件都成立（A1） （有界条件）存在正常数β、γ和σ，使得{}max (),()H x S x β**≤，1()F x γ*-'≤，1P σ-≤ (19)（A2） （Lipschitz 条件）存在非负常数1L 和2L ，使得1()()H x H x L x x **-≤-，2()()S x S x L x x **-≤-(20)设0(0,)r r ∈，{}012:min ,r r r =，其中12(2)r L θτγθτ=+，0212[(1)]3l r L βγτθγ-+=，定义12:L L L =+，0liminf k k →∞=l l 满足0(2)((1))In In βγτθ⎢⎥>-⎢⎥+⎣⎦l ， (21) 符号⋅⎢⎥⎣⎦表示小于等于实数的最大整数，1(0,)θτθ-∈为一正常数，并且设(,;)(,;)1P x M P x θθαα**≡=< (22)对于(0)(,)xN x r *∀∈和任意正整数序列{}0k k ∞=l ，由Newton-NPHSS 法形成的迭代序列{}()0k k x∞=总是适定的且收敛到x *，同时，使下式成立 01()lim sup .k kk xxθ*→∞-≤l证明：根据有界条件（19），（16），（22）得出()()()()()2F x H x S x H x S x β*****'=+≤+≤，(23) 11(,;)((,;)()B P x I M P x F x αα*-**-'=-1(1(,;)()2M P x F x αγ**-'≤+≤ (24) 再者，由Lipschitz 条件（20）可知，映射:n n F D C C ⊂→是Lipschitz 连续的，即()()()()()()F x F x H x S x H x S x ***''-=+-- ()()()()H x H x S x S x **≤-+-12()L L x x L x x **≤+-=-， (25) 并且，对于(,)x N x r *∀∈，由积分中值可得1()()()()(())()()()F x F x F x x x F x t x x x x dt F x x x ********'''---=+----⎰1(())()F x t x x F x x x dt ****''≤+---⎰ 21202LLt x xdt x x **≤-≤-⎰， (26) 又可知(,;)(),(,;)().B P x P H x C P x P S x αααα=+⎧⎨=-⎩， 得出(,;)(,;)()()B P x B P x H x H x αα**-=-， (,;)(,;)(()())C P x C P x S x S x αα**-=--由上式，进一步得到1(,;)(,;)()()B P x B P x H x H x L x x L x x αα****-=-≤-≤- (27) 同理可得2(,;)(,;)C P x C P x L x x L x x αα***-≤-≤-， (28) 再由定理2.1（摄动定理）、(19)、（25）、（27）和（24）得1()1F x L x xγγ-*'≤--， （29）12(,;)12B P x L x xγαγ-*=--， （30） 另外，由条件1r r <得21L x x γ*-<， 由（27）、（28）和（30）得1(,;)(,;)(,;)[(,;)(,;)M P x M P x B P x C P x C P x ααααα*-*-≤- (,;)(,;)(,;)]B P x B P x M P x ααα**+- 4)12)L x x L x x γγ**-≤--，更进一步地，假设使r 足够小，使21L x x γ*-<和22L x x τθγτθ*-<+， 则(,;)(,;)M P x M P x αατθ*-<，从而推导出(,;)(,;)(,;)(,;)(1)M P x M P x M P x M P x αααατθ**<-+<+（31） 现在，我们估计由（17）和（18）定义的Newton-NPHSS 迭代序列{}()0k k x ∞=转化为(1)()()1()()()(()(,;,))k k k k k k x x x x F x F x r P x α+**-'-=---l()1()()()[()()()()]k k k F x F x F x F x x x -***'=----()1()()()()[()()]()(,;,)k k k k k F x F x F x x x rP x α-**'''+--+%l ， 其中，1(,;,)()(,;,)r P x F x r P x αα-'=%l l1(,;)()[()()()()]M P x F x F x F x F x x x α-***''=---l 1(,;)()()()M P x F x F x x x α-**''+-l ， 利用（29）、（23）、（26）和（31）使得2[(1)](,;,)(2)21L r P x x x x x L x x γτθαβγ***+≤-+---l %l ， 从上式推出下式(1)()()()2([(1)])1k k k k k x x L x x x x L x xγβτθγ+****-≤-++---l ()():(;)k k k g x x x x **=--l ， 其中(1)1τθ+<和2(;)([(1)])1g t Lt Ltγβτθγ=++-l l ， 设0liminf k k →∞=l l ，我们有()(,)k x N x r *∀∈，则0()002(;)([(1)])(;)11k k g x x Lr g r Lrγβτθγ*-≤++<<-l l l ，满足以下两个条件02[(1)]1βγτθ+<l 和0212[(1)]3l r Lβγτθγ-+=下面证明序列{}()0(,)k k xN x r ∞*=⊂，并有估计式(1)()00(;)k k x x g r x x +**-≤-l实际上，当0k =时，我们有(0)xx r *-<，当(0)(,)x N x r *∈，则(1)(0)(0)00(;)x x g r x x x x r ***-≤-≤-<l利用数学归纳法可得出(1)()00(;)m m x x g r x x +**-≤-l已知()m x x r *-<，则(1)()m m x x x x r +**-≤-<。
正项级数的收敛判别法及其推广精品文档22页
引 言数项级数又称无穷级数,简称级数.若数项级数的各项都由正数组成,则称为正项级数.级数理论是数学中一个非常重要的理论,正项级数又是级数中的基础部分,具有很强的实用价值和广泛的应用.作为一种常用的研究工具广泛的应用于其他数学科学和科学技术领域,因此它的收敛判定问题一直被人们所研究.正项级数的收敛判别法中,常用的且比较典型的判别法有比较判别法、柯西判别法、达朗贝尔判别法、拉贝判别法等.为了比较方便、简单的判别正项级数是否收敛,首先,可以根据其特点选择适当的方法,如：柯西判别法、达朗贝尔判别法或拉贝判别法,使正项级数收敛的判别变得更加简便.当上述方法都无法使用时,根据条件选择积分判别法、对数判别法、次数差审敛法等.一般是,当无法使用柯西判别法时,通常可以选用达朗贝尔判别法,当达朗贝尔判别法也无法使用时,使用比较判别法,若比较判别法还是无法判别时,再使用正项级数收敛的充要条件进行判定.由此,我们可以得到正项级数的判别法是层层递进使用的,每当一种判别法无法判断时,就出现一种新的判别法来进行判断.根据不同的题目特点分析、判断选择适宜的方法进行判断,能够最大限度的节约时间,提高效率.本文归纳总结正项级数收敛性判断的一些典型方法,比较这些方法的不同特点,总结出一些典型的正项级数,并给出了不同通项特点的正项级数选用的不同的判别法.1关于正项级数的一些基础知识定义1.1.1[1] 给定一个数列{}n u ,对它的各项依次用“+”号连接起来的表达式12n u u u ++⋅⋅⋅++⋅⋅⋅ （1）称为数项级数或无穷级数（也简称级数）,其中n u 称为数项级数的通项.数项级数（1）也常写作：1n n u ∞=∑或简单写作n u ∑.数项级数（1）的前n 项之和记为12...n S u u u =+++ （2）称它为数项级数（1）的第n 个部分和,也简称部分和.若数项级数的各项符号都相同,则称它为同号级数.对于同号级数,只需研究各项都是由正数组成的级数——称为正项级数.定义1.1.2[1] 若数项级数（1）的部分和数列{}n S 收敛于S,则称数项级数（1）收敛,称S 为数项级数（1）的和,记作12......n S u u u =++++或1n n S u ∞==∑.若{}n S 是发散数列,则称数项级数（1）发散.2 正项级数常用的收敛判别法定理2.1 [1] （基本判别法）如果正项级数的部分和数列具有上界,则此级数收敛.例1 判定正项级数()()()112111nn n a a a a ∞=+++∑L 的敛散性.分析：本题无法直接使用定义、柯西判别法、达朗贝尔判别法,或比较判别法以及其他的判别法进行判断,因此可选用基本定理进行判断.解 记()()()12111nn n a u a a a =+++L ,则()()()()()()()()()121211211111111111n n n n n a u a a a a a a a a a -==-+++++++++L L L 级数的前n 项和()()()112111111n n k k n S u a a a ===-<+++∑L所以原级数的部分和数列有上界,于是原级数收敛.定理2.2[2](级数收敛的柯西准则) 级数1n n u ∞=∑收敛的充要条件是：对任意给定的正数ε,总存在N ,使得当n N >时,对于任意的正整数1,2,3,p =L ,都成立着12.n n n p u u u ε++++++<L对于正项级数1n n u ∞=∑,由于0n u >,因此,只要12n n n p u u u ε++++++<L 即可.注：当级数的通项为等差或等比数列,或通项为含二项以上根式的四则运算,且通项极限无法求出时,可以选用定义和柯西收敛原理进行判断.例2 111123n +++++L L解 取010,2n ε<<∀,若令p n =,则01111112222n p n S S n n n n n ε+-=+++>⋅=>++L 因此,由柯西收敛原理知级数11n n ∞=∑发散.例3 ()1221n n n n ∞=+-++∑解()()()()322142325243221n S n n n=-++-++-++++-++L =1221n n -++-+=11221n n -++++则lim 12n n S S →∞==-.所以,由级数收敛的定义知原级数收敛.定理2.3[1]若级数1n n u ∞=∑与1n n v ∞=∑都收敛，则对任意常数,c d ，级数111()nn n n n n n cudv c u d v ∞∞∞===+=+∑∑∑也收敛.定理2.4[1] 去掉、增加或改变级数的有限个项并不改变级数的敛散性. 定理2.5[1] 在收敛级数的项中任意加括号,既不改变级数的收敛性,也不改变它的和.定理2.6[2]（比较审敛法）设1n n u ∞=∑和1n n v ∞=∑是两个正项级数,如果存在某正数N,对一切n N >都有n n u v ≤则（i ）若级数1n n v ∞=∑收敛,则级数1n n u ∞=∑也收敛；（ii ）若级数1n n u ∞=∑发散,则级数1n n v ∞=∑也发散.比较审敛法的极限式设1n n u ∞=∑和1n n v ∞=∑是两个正项级数.若有limnn nu l v →∞=,则 （1）当0l <<+∞时,级数1n n u ∞=∑与1n n v ∞=∑同时收敛或同时发散；（2）当0l =时,若级数1n n v ∞=∑收敛,则1n n u ∞=∑也收敛；（3）当l =+∞时,若级数1n n v ∞=∑发散,则1n n u ∞=∑也发散.注：当级数的通项型如1nu 或含有sin ,cos θθ等三角函数的因子时,可以通过对其进行适当的放缩,然后再与几何级数、P 级数等常见的已知其敛散性的级数进行比较,选用比较判别法进行判定.例4 判别正项级数()11,11nn a a ∞=>+∑[6]收敛. 解 因为1101nna a ⎛⎫<≤ ⎪+⎝⎭,101a <<,而级数11nn a ∞=⎛⎫ ⎪⎝⎭∑收敛,所以由比较判别法知级数111nn a ∞=+∑收敛. 例5 判别正项级数()ln 21ln nn n ∞=∑的敛散性.解 因为存在正整数N ,当n N >时,有()ln ln lnln 2ln 21111ln nn nne e nn =≤=,而正项级数211n n∞=∑是收敛的,所以由比较判别法知级数()ln 21ln nn n ∞=∑收敛. 定理2.7[2]柯西判别法（根式判别法）设1n n u ∞=∑为正项级数.且存在某正数0N 及正常数l ,则（i ）若对一切0n N >,成立不等式nn u l ≤＜1,则级数1n n u ∞=∑收敛；（ii ）若对一切0n N >,成立不等式1n n u ≥,则级数n u ∑发散. 柯西判别法的极限形式：对于正项级数1n n u ∞=∑,设lim ,nn n r u →∞=那么,当1r <时,级数1n n u ∞=∑收敛;当1r >时,级数1n n u ∞=∑发散;当1r =时,级数1n n u ∞=∑的收敛性需要进一步判定.例6 判定正项级数()1212nnn ∞=+-∑的敛散性. 分析：本题级数的通项中含有()1n-,这种类型是柯西判别法的典型类型,只要取上极限进行判断即可.解 记()212nn nu +-=,则 ()________211lim lim122nnn n n n u →∞→∞+-==<. 所以,由达朗贝尔判别法的极限形式得级数()1212nnn ∞=+-∑收敛. 定理2.8[2]比式判别法设1n n u ∞=∑为正项级数,且存在某正数0N 及常数q（01q <<）.(i)若对一切0n N >,成立不等式1n n u q u +≤,则级数1n n u ∞=∑收敛;(ii) 若对一切0n N >,成立不等式11n n u u +≥,则级数1n n u ∞=∑发散.达朗贝尔判别法的极限形式：对于正项级数1n n u ∞=∑,当1lim1nn n u r u →∞-=<时,级数1n n u ∞=∑收敛； 当1lim 1n nn u r u →∞-=>时,级数1n n u ∞=∑发散； 当1r =时,级数1n n u ∞=∑的收敛性需要进一步判定.注：当级数的通项含有型如!n 或n a ,或分子、分母含多个因子连乘时,选用达朗贝尔判别法.例7 判别正项级数()11321!n n n ∞=⋅⋅⋅-∑L 的敛散性.解 由于,121lim lim 211n n n nu n u n +→∞→∞+==>+,所以级数()11321!n n n ∞=⋅⋅⋅-∑L 发散.例8 判别正项级数()()()()21,0111nnn x x x x x ∞=>+++∑L 的敛散性. 解 由于11,011limlim,1120,1n n n n nx x u xx u x x ++→∞→∞<<⎧⎪⎪===⎨+⎪>⎪⎩ 所以,1lim 1n n nu u +→∞<.故正项级数()()()()21,0111nn n x x x x x ∞=>+++∑L 收敛. 定理2.9[1]（积分判别法） 设()f x 为[)1,+∞上非负减函数,那么正项级数()f n ∑与反常积分()1f x dx +∞⎰同时收敛或同时发散.注：当级数的通项含有型如1n u ,n u 为含有ln n 的表达式或1nu 可以找到原函数,或函数()f x 为[)1,+∞上非负单调递减函数且()n u f n =时,可以选用积分判别法.例9 判别正项级数31ln ln ln n n n n ∞=∑的敛散性.解 由于()()3333ln ln ln ln ln ln ln ln ln ln ln ln ln ln d x d x dx x x x x x x x+∞+∞+∞+∞====+∞⎰⎰⎰,则广义积分3ln ln ln dxx x x+∞⎰发散,所以由柯西积分判别法知原级数发散.定理2.10 [1]（拉贝判别法）设1n n u ∞=∑为正项级数,且存在某正数0N 及常数r ,(i) 若对一切0n N >,成立不等式111n n u n r u +⎛⎫-≥> ⎪⎝⎭,则级数1n n u ∞=∑收敛;(ii) 若对一切0n N >,成立不等式111n n u n u +⎛⎫-≤ ⎪⎝⎭,则级数1n n u ∞=∑发散.拉贝判别法的极限形式设1n n u ∞=∑为正项级数,且极限1lim 1n n n u n r u +→∞⎛⎫-= ⎪⎝⎭存在,则 (i)当1r >时,级数1n n u ∞=∑收敛；(ii)当1r <时,级数1n n u ∞=∑发散.注：当级数的通项含有阶乘与n 次幂,型如!n 与n a 时,而使用柯西判别法、达朗贝尔判别法时极限等于1等无法判断其敛散性的时候,可选用拉贝判别法.例10 讨论级数13(21)24(2)sn n ⎡⎤⋅⋅⋅⋅-⎢⎥⋅⋅⋅⋅⎣⎦∑当1,2,3s =时的敛散性.解 无论1,2,3s =哪一值,对级数13(21)24(2)sn n ⎡⎤⋅⋅⋅⋅-⎢⎥⋅⋅⋅⋅⎣⎦∑的比式极限,都有1lim 1n n nuu +→∞=,所以用比式判别法无法判别级数13(21)24(2)sn n ⎡⎤⋅⋅⋅⋅-⎢⎥⋅⋅⋅⋅⎣⎦∑的敛散性.现在应用拉贝判别法来讨论,当1s =时,由于12111122222n n u n n n n u n n +⎛⎫+⎛⎫-=-=→ ⎪ ⎪++⎝⎭⎝⎭（n →∞）,所以级数13(21)24(2)sn n ⎡⎤⋅⋅⋅⋅-⎢⎥⋅⋅⋅⋅⎣⎦∑是发散的. 当2s =时,由于()()21243211112222n n n n u n n n u n n +⎡⎤+⎛⎫+⎛⎫-=-=<⎢⎥ ⎪ ⎪+⎝⎭+⎢⎥⎝⎭⎣⎦ （n →∞）, 由拉贝判别法可知级数13(21)24(2)sn n ⎡⎤⋅⋅⋅⋅-⎢⎥⋅⋅⋅⋅⎣⎦∑发散. 当3s =时,由于()()2313121872*********n n n n n u n n n u n n +++⎡⎤⎛⎫+⎛⎫-=-=→⎢⎥ ⎪ ⎪+⎝⎭+⎢⎥⎝⎭⎣⎦（n →∞）,所以级数13(21)24(2)sn n ⎡⎤⋅⋅⋅⋅-⎢⎥⋅⋅⋅⋅⎣⎦∑收敛. 定理2.11[1]（对数判别法） 对于正项级数1n n u ∞=∑,若从某一项起,有1ln1ln n u p n ≥>,则级数1n n u ∞=∑收敛；若从某一项起,有1ln 1ln nu n <,则级数1n n u ∞=∑发散. 对数判别法的极限形式：对于正项级数1n n u ∞=∑,如果1lnlimln nn u r n →∞=,那么,当1r >时级数收敛；1r <时级数发散；1r =时级数的收敛性需要进一步判定.注：当级数的通项ln n u n n =或()()ln ln g n n u f n =时,可以选用对数判别法.例11 判别级数()ln 21ln ln nn n ∞=∑[8]的敛散性.解 因为()1lnln ln ln ln nu n n=,对0α>,N ∃,当n N >时,有()ln lnln 11n α≥+>,所以原级数收敛.使用上面定理时，通常要根据通项的特点来使用相应的判别法,一般情况下有个使用的先后顺序,顺序是：柯西判别法,达朗贝尔判别法,比较判别法,基本判别法.由此,我们可以得到正项级数的判别法是层层递进使用的,每当一种判别法无法判断时,就出现一种新的判别法来进行判断.3．正项级数收敛判别法的推广前面我们介绍了判别正项级数敛散性的一些常用判别法,但是有些题目用那些常用方法判别时可能会经过特别麻烦的过程才能得到结果或者得不到结果.为了解决这个问题,我们将一些常用的判别法进行推广,就使得对某些级数的敛散性判别变得更加容易了.3.1[5]D-C 判别法对于级数1n n n u v =∞∑,其中0,0n n u v >>,若11limn n nu L u +→∞=,2lim n n n v L →∞=,那么（i ）当1201L L ≤<时,级数1n n n u v =∞∑收敛；（ii ）当121L L >（含12L L =+∞的情形）时,级数1n n n u v =∞∑发散；（iii ）当121L L =或120L L =⎧⎨=+∞⎩或120L L =+∞⎧⎨=⎩时,级数1n n n u v =∞∑的收敛性待确定.例12判别级数()21121ln 1!n n n n n n ∞=⎛⎫⋅+⋅+ ⎪⎝⎭∑的收敛性.解 令()ln 1!n n u n +=,2121n n n v n ⎛⎫=+ ⎪⎝⎭,则有()()11ln 21lim lim 01ln 1n n n nn u L u n n +→∞→∞+==⋅=++,21lim lim 212nn n n n L v e n →∞→∞⎛⎫==+= ⎪⎝⎭.从而,1201L L =<,由D-C 判别法知,原级数收敛.3.2[3]越项比值判别法设正项级数1n n u ∞=∑的通项n u 是递减的,如果2limnn nu u λ→∞=,则（1）当12λ<时,级数1n n u ∞=∑收敛；（2）当12λ>时,级数1n n u ∞=∑发散.3.3[7]次数差审敛法若正项级数1n n u ∞=∑的一般项n u 为关于项数n 的分式形式（若为整式则分母视为1）,设分子的最高次数为k ,分母的最高次数为m .（1）若1m k -≤,则级数发散； （2）若1m k ->,则级数收敛.证明 （1）当1m k -≤时,分四种情况讨论.①若0m k -<,则其部分和数列一定是一个单调增加无解数列,故部分和数列的极限不存在,由级数发散的定义,级数发散.②若0m k -=,则一般项的极限为分子、分母的最高次数的系数比,即一般项的极限不可能为0,根据级数收敛的必要条件,级数发散.③若01m k <-<,此时n nu 的分子的次数高于分母的次数,则有lim =+n n nu →∞∞,根据极限审敛法,级数发散.④若1m k -=,此时n nu 的分子、分母的最高次数相同,则有lim 0n n nu l →∞=≠,根据极限审敛法,级数发散.综上,若1m k -≤,级数1n n u ∞=∑发散.（2）若1m k ->,设p m k =-,则存在p ＞1使得lim 1p n n n u →∞=,根据极限审敛法,级数收敛.例13判定级数31ln n nn∞=∑的敛散性. 分析：这里我们把ln n 认为n 的最高次数为1,此时3121m k -=-=>,猜想级数收敛.启示我们找一个收敛级数与该级数比较.解 因为ln n n <得332ln 1n n n n n <=,因为级数211n n∞=∑收敛,,由比较审敛法知31ln n nn ∞=∑收敛. 例14 判定级数211n nn ∞=+∑的敛散性 解 由次数差审敛法,2111,222m k -=-=<所以此级数发散. 3.4[8]柯西判别法的推广设1n n a ∞=∑为正项级数,若存在正定数a ,使得1lim ann n a r →∞=,则（i ）当01r ≤<时,级数1n n a ∞=∑收敛；（ii ）当1r <≤+∞时,级数1n n a ∞=∑发散.例15考察正项级数3/21()21n n n n ∞=+∑的敛散性.解 由于321lim lim1212n nn n n an →∞→∞==<+,故由柯西判别法的推广知此级数收敛.且容易看出这样判别较运用柯西判别法来判定,显得更加简便快捷.3.5[8]达朗贝尔判别法的推广 设1n n a ∞=∑为正项级数,且1lim lnn n na n q a +→∞=,则 （i ）当-∞≤q ＜-1时,级数1n n a ∞=∑收敛；（ii ）当-1＜q ≤+∞时,级数1n n a ∞=∑发散.例16考察正项级数31135(21)()2462n n n ∞=⋅⋅⋅⋅⋅-⋅⋅⋅⋅⋅∑的敛散性.解 由于3121limlim()122n n n na n a n +→∞→∞+==+,故达朗贝尔判别法失效,但由于3221213213lim lnlim ln()lim ln()12222222n n n n n n a n n n n n a n n n ++→∞→∞→∞++===-<-+++, 故由达朗贝尔判别法的推广知此级数收敛.3.6[12]比较判别法的推广（1）若正项级数1n n u ∞=∑收敛,则级数1kn n u ∞=∑也收敛（k N +∈）；（2）若正项级数1n n v ∞=∑发散,且lim n n v →∞=+∞,则级数1k n n v ∞=∑发散.证明 用数学归纳法和比较判别法来证明.（1）当2k =时,因为级数1n n u ∞=∑收敛,所以lim 0n n u →∞=,从而2lim lim 0nn n n nu u u →∞→∞==,即21n n u ∞=∑收敛. 假设k m =时1knn u ∞=∑收敛,则1k m =+时,由1lim lim 0m n n m n n nu u u +→∞→∞==得11m n n u ∞+=∑收敛,所以结论成立.（2）当2k =时,2lim lim n n n n nv v v →∞→∞==+∞,由比较判别法知21n n v ∞=∑发散.假设k m =时1knn v ∞=∑发散,则1k m =+时,因为1lim lim m nn m n n nv v v +→∞→∞==+∞,所以11m nn v∞+=∑发散,因此结论成立.例17 判别级数10021213n n n ∞=⎡⎤⎛⎫+⎢⎥⎪⎝⎭⎢⎥⎣⎦∑的敛散性.解 由级数123n n ∞=⎛⎫⎪⎝⎭∑和级数211n n ∞=∑收敛,可得级数2213n n ⎡⎤⎛⎫+⎢⎥ ⎪⎝⎭⎢⎥⎣⎦收敛.再由比较判别法的推广得级数10021213n n n ∞=⎡⎤⎛⎫+⎢⎥⎪⎝⎭⎢⎥⎣⎦∑收敛.3.7[6]拉贝判别法的推广 引理[6]设正项级数1nn n a =∑发散,则级数1nan na s ∞=∑当1a >时是收敛的,当1a ≤时是发散的.其中,1nn k k s a ==∑.证明 先证明1a =时级数发散.因为正项级数1nnn a=∑发散,所以()n s n →∞→∞,并且n s 单调递增.于是11111.nnk k k k n n m k m k mk n n n s s s s s s ss s s s ----==--->==-∑∑ 对任意m ,存在n 使得112m n s s -<,从而11.2n k k k m k s s s -=->∑于是,级数1nn n a =∑发散. 当1a <时,由比较判别法知级数1nn n a =∑发散.当1a >时,同样因为正项级数1nn n a =∑发散,所以()n s n →∞→∞,并且n s 单调递增.故对任意k ,存在k n ,使得122k k k n s +>>,这说明()()()()11211112112212112222k k k k k k k n n n aaaka k a n n n a a a a a a a a a a a a ++++--+++-++⋅⋅⋅+<=++⋅⋅⋅+++⋅⋅⋅+++⋅⋅⋅+所以对正项级数1nn n a =∑适当的加括号后所得的级数是收敛的,从而,原级数收敛.定理 设正项级数1nn a∞=∑（0,1,2,...n a n ≠=）发散.若正项级数1nn u∞=∑（0,1,2,...n u n ≠=）满足1211 (i)n n n n n n n a a a u a R a u a →∞+++++⎛⎫-= ⎪⎝⎭（3）则（i ）当1R >（包括R =∞）时级数1n n u ∞=∑收敛（ii ）当1R <时级数1n n u ∞=∑发散（iii ）当R=1时级数1n n u ∞=∑的敛散性不定.证明 由1R >,可以找到a 满足1R a >>,记1n n k k S a ==∑.因为级数1nn k a =∑发散,所以()n s n →∞→∞,由引理知级数1nan na s ∞=∑是收敛的.这时,若记n n a n a b s =,则2112111(1)(1)(1)2a n n n n n n n n n n n n b a a a a a a a a b s a s s a +++++⋅-=+=++⋅+⋅⋅⋅ 11()n n n n na a a o a s s +⋅=++ 又由（3）知,当n 充分大,R 是常数时1211(),0()n n n n n n a a a u a R n a u a εε++++⋅⋅⋅+-=+→→∞11()n n n n n nu a R a u a s ε+++=+ 11()1()n n n n n n nu b R a a o u b s s ε+++--++, 其中nn n a b s =,当n 充分大时可以保证上式右端大于0,从而由引理知级数1nn u ∞=∑收敛.当R =∞时,与上面的证明相似.当1R <时,由（1）得111n n n nn n n n u a a b u a s b +++<+=,由引理知1n n u ∞=∑发散.3.8[4]厄尔马可夫判别法设()f x 为递减的正值连续函数,又设()()lim x x x e f e f x λ→∞=,那么（1）当1λ<时,级数()1n f n ∞=∑收敛；（2）当1λ>时,级数()1n f n ∞=∑发散.厄尔马可夫判别法的推广设()f x 为递减的正值连续函数,()x φ为递增可导函数,并满足()x x φ>,如果()()()()/limx x f x f x φφλ→∞=,那么（1）当1λ<时,级数()1n f n ∞=∑收敛；（2）当1λ>时,级数()1n f n ∞=∑发散.证明 （1）设1λ<,由于()()()()/limx x f x f x φφλ→∞=,0ε∴∀>,有0N >,使当x N >时,有()()()/()()x f x f x φφλε<+.取ε使1p ελ+=<,则()()()/()x f x pf x φφ<.于是当b N >时,有()()()/()bb NNx f x dx p f x dx φφ<⎰⎰,()()()()b bN Nf x dx p f x dx φφ<⎰⎰,()()()()()()0(1)()b b b N NN p f x dx p f x dx f x dx φφφφ<-<-⎰⎰⎰=()()()()N b Nbp f x dx f x dx φφ-⎰⎰.由于N 充分大且b N >,故()b b φ<,又因()0f x >,故()()0b bf x dx φ>⎰,从而,()()()()(1)()b N N Np f x dx p f x dx φφφ-<⎰⎰,()()()()()(1)b N N Npf x dx f x dx p φφφ<-⎰⎰固定N ,让b →+∞,取极限得()()()()(1)N N N pf x dx f x dx p φφ+∞≤-⎰⎰.于是由柯西积分判别法知级数()1n f n ∞=∑收敛.（2）当1λ>时,则取N 充分大,可得当x N >时,()()()/()()()x f x f x f x φφλε>->.从而()()()/()bb NNx f x dx f x dx φφ>⎰⎰,()()()()b bN Nf x dx f x dx φφ>⎰⎰,()()()()b N bNf x dx f x dx φφ>=⎰⎰常数, ()b N >上式表明,无论b 多大,总有()b b φ>使()()b b f x dx φ>⎰某常数,从而积分()Nf x dx +∞⎰发散.再由柯西判别法知级数()1n f n ∞=∑发散.小 结正项级数是级数理论的重要组成部分,而它的敛散性的判定又是级数理论的核心问题.因此,正项级数敛散性的判定在理论和实际中都有广泛的应用.但敛散性的判别方法却不尽相同.一、介绍了正项级数常用的收敛判别法. 常用的收敛判别法有： ●基本判别法如果正项级数的部分和数列具有上界,则此级数收敛. ●级数收敛的柯西准则级数1n n u ∞=∑收敛的充要条件是：对任意给定的正数ε,总存在N ,使得当n N>时,对于任意的正整数1,2,3,p =L ,都成立着12.n n n p u u u ε++++++<L对于正项级数1n n u ∞=∑,由于0n u >,因此,只要12n n n p u u u ε++++++<L 即可.●比较审敛法设1n n u ∞=∑和1n n v ∞=∑是两个正项级数,如果存在某正数N,对一切n N >都有n n u v ≤则（i ）若级数1n n v ∞=∑收敛,则级数1n n u ∞=∑也收敛；（ii ）若级数1n n u ∞=∑发散,则级数1n n v ∞=∑也发散.●柯西判别法（根式判别法）设1n n u ∞=∑为正项级数.且存在某正数0N 及正常数l ,则（i ）若对一切0n N >,成立不等式nn u l ≤＜1,则级数1n n u ∞=∑收敛；（ii ）若对一切0n N >,成立不等式1n n u ≥,则级数n u ∑发散. ●达朗贝尔判别法（或称比式判别法）设1n n u ∞=∑为正项级数,且存在某正数0N 及常数q （01q <<）.(i)若对一切0n N >,成立不等式1n n u q u +≤,则级数1n n u ∞=∑收敛;(ii) 若对一切0n N >,成立不等式11n n u u +≥,则级数1n n u ∞=∑发散.●积分判别法设()f x 为[)1,+∞上非负减函数,那么正项级数()f n ∑与反常积分()1f x dx +∞⎰同时收敛或同时发散.●拉贝判别法设1n n u ∞=∑为正项级数,且存在某正数0N 及常数r ,(i) 若对一切0n N >,成立不等式111n n u n r u +⎛⎫-≥> ⎪⎝⎭,则级数1n n u ∞=∑收敛;(ii) 若对一切0n N >,成立不等式111n n u n u +⎛⎫-≤ ⎪⎝⎭,则级数1n n u ∞=∑发散.●对数判别法对于正项级数1n n u ∞=∑,若从某一项起,有1ln1ln nu p n ≥>,则级数1n n u ∞=∑收敛；若从某一项起,有1ln1ln nu n <,则级数1n n u ∞=∑发散. 二、介绍了推广后的正项级数收敛判别法 ●D-C 判别法对于级数1n n n u v =∞∑,其中0,0n n u v >>,若11limn n nu L u +→∞=,2lim n n n v L →∞=,那么（i ）当1201L L ≤<时,级数1n n n u v =∞∑收敛；（ii ）当121L L >（含12L L =+∞的情形）时,级数1n n n u v =∞∑发散；（iii ）当121L L =或120L L =⎧⎨=+∞⎩或120L L =+∞⎧⎨=⎩时,级数1n n n u v =∞∑的收敛性待确定.●越项比值判别法设正项级数1n n u ∞=∑的通项n u 是递减的,如果2limnn nu u λ→∞=,则（1）当12λ<时,级数1n n u ∞=∑收敛；（2）当12λ>时,级数1n n u ∞=∑发散.●次数差审敛法若正项级数1n n u ∞=∑的一般项n u 为关于项数n 的分式形式（若为整式则分母视为1）,设分子的最高次数为k ,分母的最高次数为m .（1）若1m k -≤,则级数发散； （2）若1m k ->,则级数收敛. ●柯西判别法的推广设1n n a ∞=∑为正项级数,若存在正定数a ,使得1lim ann n a r →∞=,则（i ）当01r ≤<时,级数1n n a ∞=∑收敛；（ii ）当1r <≤+∞时,级数1n n a ∞=∑发散.●达朗贝尔判别法的推广 设1n n a ∞=∑为正项级数,且1lim lnn n na n q a +→∞=,则 （i ）当-∞≤q ＜-1时,级数1n n a ∞=∑收敛；（ii ）当-1＜q ≤+∞时,级数1n n a ∞=∑发散.●比较判别法的推广（1）若正项级数1n n u ∞=∑收敛,则级数1kn n u ∞=∑也收敛（k N +∈）；（2）若正项级数1n n v ∞=∑发散,且lim n n v →∞=+∞,则级数1k n n v ∞=∑发散.●拉贝判别法的推广 设正项级数1nn a∞=∑（0,1,2,...n a n ≠=）发散.若正项级数1nn u∞=∑（0,1,2,...n u n ≠=）满足1211 (i)n n n n n n n a a a u a R a u a →∞+++++⎛⎫-= ⎪⎝⎭则（i ）当1R >（包括R =∞）时级数1n n u ∞=∑收敛（ii ）当1R <时级数1n n u ∞=∑发散（iii ）当R=1时级数1n n u ∞=∑的敛散性不定.●]厄尔马可夫判别法设()f x 为递减的正值连续函数,又设()()lim x x x e f e f x λ→∞=,那么（1）当1λ<时,级数()1n f n ∞=∑收敛；（2）当1λ>时,级数()1n f n ∞=∑发散.厄尔马可夫判别法的推广：设()f x 为递减的正值连续函数,()x φ为递增可导函数,并满足()x x φ>,如果()()()()/limx x f x f x φφλ→∞=,那么（1）当1λ<时,级数()1n f n ∞=∑收敛；（2）当1λ>时,级数()1n f n ∞=∑发散.当然,这只是正项级数收敛判别法及其推广的一小部分,除了这些之外,还有好多其他判别法有待于我们进行更深刻的研究.致 谢随着这篇本科毕业论文的最后落笔,四年河北北方学院的学习生活也即将划上一个圆满的句号.这四年也注定将成为我人生中的一段重要旅程回忆.四年来,我的师长、我的领导、我的同学给予我的关心和帮助,使我终身收益,倍感珍惜.在本文的撰写过程中,韩振芳老师作为我的指导老师,她治学严谨,学识渊博,视野广阔,为我营造了一种良好的学术氛围.置身其间,耳濡目染,潜移默化,使我不仅接受了全新的思想观念,树立了明确的学术目标,领会了基本的思考方式,掌握了通用的研究方法,而且还明白了许多待人接物与为人处世的道理.其严以律己、宽以待人的崇高风范,朴实无华、平易近人的人格魅力,与无微不至、感人至深的人文关怀,令人如沐春风,倍感温馨.正是由于她在百忙之中多次审阅全文,对细节进行修改,并为本文的撰写提供了许多中肯而且宝贵的意见,本文才得以成型.在此特向韩振芳老师致以衷心的谢意！同时感谢所有教导过我的老师们四年来对我的栽培和教育,感谢同学朋友们对我的关心帮助.同时也感谢学院为我提供良好的做毕业论文的环境.最后再一次感谢所有在毕业论文中曾经帮助过我的良师益友和同学,以及在论文中被我引用或参考的论著的作者.参考文献[1] 华东师范大学数学系.数学分析（下册）[M]. 北京:高等教育出版社(第三版),2019:1-23.[2] 欧阳光中,朱学炎等.数学分析[M].北京：高等教育出版社,2019:90-112.[3] 斯琴.正项级数的敛散性判别法[J]. 河套大学学报,2009.6(2): 18-22.[4] 杨钟玄.关于正项级数敛散性判别法及其联系[J].天水师专学报,2019,19(3):80-83.[5] 张永明.正项级数的D-C判别法[J].工科数学,2019, 18(2):95-96.[6] 唐翠娥.级数敛散性的拉阿贝判别法的推广[J].大学数学,2019,22(2):132-134.[7] 李智军.判定正项级数敛散性的一种简便方法[J].科技咨询,2019,6(29):249-250.[8] 林映木.关于正项级数的Cauchy判别法和D’Alembert判别法的推广[J].韩山师专学报,1994,8(3):54-57.[9] 刘羽.正项级数敛散性的判别法研究[J].网络财富,2009.23(23):98-101.[10]吴良森等编著. 数学分析习题精解[M].北京：科学出版社,2019.2:196-248.[11]潘红,储亚伟.正项级数收敛判别的几种新方法[J].科技信息,2019,(8): 4-7.第 21 页。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
z(k )=v(k )+dv(k 1)
其中， z (k ) 为模型输出， v(k ) 是均值零、方差为 1、服从正态分布的白噪声。 根据 SISO 模型（这时 na nb n f nc 0, nd 1 ）一般性辨识算法，模型参数
5
d 的估计式为
ˆ(k ) z (k ) z (k ) z
ˆ 1 (k ) T (k , ) G( )=E (k , )
则辨识算法可近似写成
ˆ (k 1) (k ) R1 f (θ )+ (k ) (k ) ˆ (k )
R (k ) R (k 1) (k ) G (θ ) R + (k ) (k )
k k1 k k1
k2
k2
ˆ (k ) ˆ (k 1) R1 f (θ ) 1 2
R (k2 ) R (k1 1) G(θ ) R
对很小的 ，进行时间尺度变换，即
k1 1 k2
也就是
(k )
其中， (k ) 和 (k ) 为零均值随机向量，是辨识算法近似过程中产生的。 当 k 取 k1 至 k 2 ，有
k k1
ˆ (k )
k2
k2
k k1
ˆ (k 1) (k ) R1 f (θ )+ (k ) (k )
k k1 k k1
k2
k2
k2
k k1
R (k ) R (k 1) (k ) G (θ ) R + (k ) (k )
k k1 k k1 k k1
k2
k2
k2
k2
整理后
ˆ (k ) ˆ (k 1) R 1 f (θ )+ (k ) (k ) 1 2
2
1 d D ( )-0.5 d ( )-2 D 2 RD ( ) 1 d D ( ) 2 2
因 RD ( ) 总是大于零的，故有
d V (d D ) 0, d d V (d D ) 0, d
d D ( ) 2 d D ( ) 0.5
ˆ(k )= d z (k 1) ˆ ( k 1) z
(k )= z (k 1) d (k 1) ˆ (k 1)
ˆ (k ) ˆ (k 1) (k ) R 1 (k ) (k )z (k )
2 R (k ) R (k 1) (k ) (k ) R (k 1)
V (d D )=
1 d D ( ) 0.52 2
⑤ 分析 Lyapunov 函数 V (d D ) ，研究伴随微分方程的稳定性
V (d D ) 0, d D
d d V (d D )= d D ( ) d D ( )-0.5 d d
1 f (d D ( )) d D ( )-0.5 RD ( ) 1 1 d D ( ) 2 2.5d D ( ) d D ( )-0.5 2 2 RD ( ) 2 1 d ( ) D
T ˆ 1 R (k ) R (k 1)+ (k ) (k ) (k ) (k ) R (k 1)
2
注：研究上述递推辨识算法的收敛性问题具有一定的普遍意义。 8.2.1 辨识算法的伴随微分方程
ˆ (k ) 、 R(k ) 和 ˆ (k ) 的 当 k 时，由于 (k ) 0 的缘故，辨识算法中的 ˆ (k ) 及 R(k ) R ，则可将辨识算法写成 变化都将越来越小，不妨设
ˆ (k ) 0.5, k 。 ˆ (k ) d 此，利用辨识算法得到的模型参数估计一定有
7
8.2.4 收敛性定理 考虑如下的递推随机算法
(k ) (k 1) + (k ) Q k , (k 1), (k )
(k ) A (k 1) (k 1) B (k 1) e(k )
4
W .P .1 ˆ (k ) Often”），则模型参数估计值 θ DC 。 k
② 微分方程的稳定平衡点才可能是辨识算法的收敛点。
ˆ (k ) 的渐近路径。 ③ 微分方程 θD ( ) 的轨迹是辨识算法 θ
8.2.3 ODE 法的步骤 利用 ODE 法分析辨识算法收敛性的步骤： ① 导 出 辨识算法输出预报误差 z (k , ) 以及预报值关于参数 的梯度
k 1
k1 1
也就是
(k ) (k ) (k )
k 1 k k1 k 1
k1 1
k2
k2
时间变换后的结果
ˆ ( ) θ ˆ ( ) R1 f (θ ) θ
R ( ) R ( )+ G(θ ) R
ˆ 究 R(k ) (k ) 0 的收敛性及 R(k ) 是否收敛于非奇异阵，进而讨论递推辨识算
法的收敛性。
8.2 ODE 法的启发性讨论
ODE 法是分析递推辨识算法收敛性的一种一般性的方法，它把辨识算法的 收敛性问题转化为微分方程的稳定性问题来研究。 考虑递推辨识算法的一般形式：
ˆ (k 1) (k ) R1 ˆ (k ) ˆ 1 (k )z (k ,θ ) (k ,θ )
T ˆ 1 R (k ) R (k 1) (k ) (k , ) (k ) (k , ) R
引进
ˆ 1 (k )z (k , ) f ( )=E (k , )
8.3 RLS 辨识算法的收敛性分析
8.3.1 RLS 算法 8.3.2 RLS 算法的递推随机算法形式 8.3.3 正则条件分析 8.3.4 RLS 算法的伴随微分方程 8.3.5 收敛性分析
1
Part III 辨识理论
第 8 章 递推辨识算法的收敛性分析
8.1 引言
● 递推辨识算法的收敛性问题，就是研究模型参数估计是否存在
T ˆ ˆT 式中， (k ) 为广义估计向量，比如可定义 (k )= (k ),R (k ), (k ) ； (k ) 为 T
广义观测向量； e (k ) 为随机向量； (k ) 为收敛因子。 注 8-1：辨识算法均可把它化成上述这种递推随机算法。 要通过微分方程来分析这种的递推随机算法，需要满足一些正则条件 (Regularity Conditions)： ① C1:定义 DS A( )所有特征值严格在单位圆内，又令 DR DS 是 D S 的连通开子集， 函数 Q k , , 在 , 附近关于 , 是 Lipschitz 连续、 可微的， 矩阵 A( ) 和 B( ) 关于 是 Lipschitz 连续的； ② C2: e (k ) 是一个独立随机向量序列，它使得
⑥ 根据 Lyapunov 函数 V (d D ) 的性质，伴随微分方程是稳定性的，其不变 集 DC 0.5 、吸收域 D A ,2 。也就是说，如果微分方程解的初始值位于吸 收域 D A ,2 内，则微分方程的解 d D ( ) 一定收敛于不变集 DC 0.5 上。因
k k1
R (k2 ) R (k1 1) G (θ ) R (k ) (k )
k k1
k2
3
其中， (k ) 。当 k 很大时， 很小，且因 (k ) 和 (k ) 均值为零，所
k k1
k2
以 (k ) (k ) 和 (k ) (k ) 都将趋于零，故有
ˆ(k ) z (k )=z(k ) z
ˆ (k ) ˆ (k 1) (k ) R1 (k ) (k ) ˆ 1 (k )z (k )
ˆ (k 1) ˆ (k 1)+ (k ) z (k )z T (k ) ˆ (k )
③ 构造辨识算法对应的伴随微分方程
dθD ( ) 1 RD ( )f (θD ( )) d dRD ( ) G (θD ( )) RD ( ) d ④ 构造伴随微分方程的 Lyapunov 函数 V ( D ) 。
⑤ 分析 Lyapunov 函数 V ( D ) ，研究伴随微分方程的稳定性。 ⑥ 根据伴随微分方程的稳定性，分析辨识算法的收敛性。 例 8-1：考虑如下简单模型
ˆ k ( lim k ( ) lim ) 0 0 及其向零趋近的速度等问题。 k k
● 递推辨识算法的收敛性分析方法： ① 仿真试验方法； ② 理论分析方法。 ● 理论分析方法：① ODE (Ordinary Differential Equation) 法——通过研 究与辨识算法相关联的伴随微分方程的稳定性，进而讨论递推辨识算法的收敛 性；② 鞅理论(Martingale Theory)——通过引进一个随机 Lyapunov 函数，利用 鞅理论分析这个函数的收敛性质， 进而讨论递推辨识算法的收敛性； ③ 通过研
j =1
k
8.2.2 辨识算法与伴随微分方程之间的联系 递推辨识算法的收敛性与伴随微分方程的稳定性存在以下联系： ① 设 DC 是伴随微分方程的不变集 (Invariant Set) ，且 D A 是它的吸收域
ˆ (k ) D （ “ 充分经常 ” ， “Sufficiently (Domain of Attraction) ，若辨识算法的 θ A
(k , ) 的表达式；
② 根据定义
ˆ 1 (k )z (k ,Fra bibliotek ) f ( )=E (k , )
ˆ 1 (k ) T (k , ) G ( )=E (k , )