Hammerstein系统递推辨识的自适应算法

第44卷第1期2010年1月浙　江　大　学　学　报(工学版)Journal of Zhejiang University (Engineering Science )Vol.44No.1J an.2010收稿日期:2008206220.浙江大学学报(工学版)网址:/eng基金项目:国家“863”高技术研究发展计划资助项目(2009AA04Z126);国家自然科学基金资助项目(20776128).作者简介:陈坤(1984-),男,浙江绍兴人,博士生,主要从事核学习建模理论研究.E 2mail :zju.kunchen @通信联系人:王海清,男,副教授.E 2mail :hqwang @DOI :10.3785/j.issn.10082973X.2010.01.018H ammerstein 系统递推辨识的自适应算法陈　坤1,刘　毅1,2,王海清1,宋执环1,李　平1(1.浙江大学工业控制技术国家重点实验室,工业控制研究所,浙江杭州310027;2.浙江工业大学化工机械设计研究所,浙江杭州310032)摘　要:采用最小二乘支持向量回归对Hammerstein 系统进行辨识缺乏稀疏性,且模型不易递推.提出一种基于输出预报误差的Hammerstein 模型自适应稀疏递推辨识算法.根据分块矩阵对模型进行递推运算,基于系统输出预报误差的结果,自适应调整算法的辨识步骤,可以避免递推时可能出现的误差积累问题,有效提高算法的稀疏性和稳定性.仿真结果表明,与常规的递推算法相比,该自适应算法能够在保证辨识精度的情况下,有效稀疏和简化模型,提高算法的鲁棒性和辨识效率,更加符合系统在线辨识的需要.关键词:Hammerstein 系统;最小二乘支持向量回归(L S 2SVR );自适应递推辨识;稀疏性中图分类号:TP 273;TP 301.6 文献标志码:A 文章编号:10082973X (2010)0120099205Adaptive algorithm for recursive identif ication of H ammerstein systemsC H EN Kun 1,L IU Y i 1,2,WAN G Hai 2qing 1,SON G Zhi 2huan 1,L I Ping 1(1.I nstitute of I ndust rial Process Cont rol ,S tate Key L aboratory of I ndust rial Cont rol Technolog y ,Zhej iang Uni versit y ,H angz hou 310027,China;2.I nstitute of Process Equi pment and Cont rol Engineering ,Zhej iang Universit y of Technolog y ,H angz hou 310032,China )Abstract :A new on 2line adaptive sparse ,recursive identification algorit hm of Hammerstein models based on outp ut p redictive error was p ropo sed to solve t he p roblems of t he least squares support vector regres 2sion met hods ,such as lacking of sparsity and difficult to get a recursive form.The propo sed met hod chan 2ges t he recursive form ,and adaptively choo ses t he st rategy of sparseness/recursion/re 2initialization accord 2ing to t he outp ut predictive error.The error accumulation or even divergence problems are avoided and t herefore t he sparseness and accuracy are imp roved.The simulatio n illust rated t hat compared wit h t he gen 2eral recursive met hod ,t he propo sed adaptive algorit hm has sparse formulation and simplifies t he model while keeping t he identification accuracy.Also ,t he app roach is robust and efficient ,and it can meet t he requirement of online identification.K ey w ords :Hammerstein system ;least squares support vector regression (L S 2SVR );adaptive recursive identification ;sparsity Hammerstein 系统是一类具有分离静态非线性的特殊系统,其形式为在静态非线性环节后串联一个动态线性系统.牵张反射系统[1]、蒸馏塔、热交换器、p H 中和过程[2]等均可以由Hammerstein 模型较好地描述.由于动态线性系统的辨识算法已经较为成熟,Hammerstein 模型辨识的研究目前集中在非线性系统的拟合环节上,主要有正交基函数[3]、三次样条函数[4]、分段线性化[5]、神经网络[6]、最小二乘支持向量回归(least squares support vector re 2gression ,L S 2SV R )[729]等方法.其中,基于L S 2SV R的辨识方法在小样本建模上优势明显.Chen 等[9]利用分块求逆的思想实现算法在线递推,有效提高了运算效率,但是递推计算仍缺乏稳定性;同时,与文献[8]一样,采用的输入形式决定了递推算法必须采用所有样本,因此辨识模型缺乏稀疏性.本文提出一种自适应递推算法以实现Ham 2merstein 系统更有效的递推辨识.首先对数据进行输入输出预处理,改变递推形式;同时引入基于输出预报误差的选择性增加样本策略[10]和重初始化思想,实现算法的稀疏性,并有效克服普通递推过程稳定性差的缺点.1　Hammerstein 系统的LS 2SVR 辨识L S 2SVR [11]是在支持向量机回归(support vec 2tor regression ,SVR )[12]基础上改进提出的.L S 2SVR 秉承SVR 的结构风险最小化原则和小样本建模能力强的优势,并将SV R 的约束条件改成等式,使SVR 的二次规划转换为线性方程组求解问题,提高了学习速度,但是丢失了SV R 的稀疏性.考虑单输出、动态线性部分为具有外界输入的自回归(autoregressivewit h external inp ut ,ARX )结构的离散Hammerstein 模型:y t =6ni =1a i y t-i +6mj =0b j f u t-j+e t .(1)式中:(u t ,y t )Nt =1表示系统的输入/输出对,u t ∈R n ,y t ∈R .对静态非线性环节f (u t )用L S 2SVR估计形式:f (u t )=ωTφu t +c.(2)式(1)转换为y t =6ni =1a i y t-i +6mj =0b j ωT φu t-j+c +e t =6ni =1a i y t-i +6mj =0ωT jφu t-j +d +e t .(3)式中:ωTj =b j ωT,d =6mj =0b jc .模型辨识的任务是利用已知的输入输出数据组(u t ,y t )N t =1,辨识得到模型参数a i (i =1,…,n )、ωj (j =0,1,…,m )和d .由式(3)所表述模型的求解,可以描述为如下优化问题:min ωj ,a,d,eJ (ωj ,e )=126mj =0ωTj ωj +γ26Nt =re 2t ,s.t .6ni =1a i y t-i +6mj =0ωjφut-j+d +e t -y t =0, 6Nt =1ωT j φu t=0.(4)构造如下拉格朗日函数:L (ω,d ,e ;α,β)=J ω,e -6mj =0βj6Nt =1ωT j φu t-6N t =rαt6ni =1a i y t-i +6mj =0ωjφu t-j+d +e t -y t ,(5)得到001T000y p 01y TpK +γ-1IK T10K 1K 2d aαβ=y f.(6)式中:a =a 1,…,a nT ;r =max (m ,n )+1;y f =y r ,…,y NT;α=αr ,…,αNT和β=[β0,…,βm ]T是拉格朗日乘子向量;Ωp ,q =φu p T φu q =K 〈u p ,u q 〉为满足Mercer 定理的核函数[12],包括多项式核、高斯核等.K p ,q =6mj =0Ωp +r -j -1,q +r -j -1,K 1p ,q =6N t =1Ωt ,r +p -q ,K 2=1TΩ1I m+1,y p =y r-1y r …y N -1y r-2y r-1…y N -2……ω…y r-m y r-1…y N -n.由式(6)可得参数αt (t =r ,…,N )、βj (j =0,1,…,m )、a i (i =1,…,n )和d ,且有下式成立:ωjφ(u new )=6Nt =rαtK〈u t-j,u new 〉+βj6Nt =1K 〈u t ,u new 〉.(7)以上辨识方法可以直接推广到多输入多输出形式的Hammerstein 系统[829],这点不在本文展开讨论.注意到如果某一样本由于稀疏需要或缺失,式(6)各部分运算公式就不再适用.在L S 2SVR 方法中只有一些关键样本会对模型辨识结果产生较大影响,对辨识模型进行合理的稀疏化能够保证在辨识精度几乎不变的前提下简化辨识模型,并显著提高运算效率.2　自适应递推辨识针对文献[8,9]存在的不可稀疏和递推稳定性差的缺点,提出一种自适应稀疏递推算法,包括样本预处理以获得可以稀疏的递推形式、选择性稀疏策略和模型重初始化,以实现选择性增加样本和递推/重初始化的有效切换,保证算法的稀疏性和稳定性,01浙　江　大　学　学　报(工学版) 第44卷　有效规避矩阵奇异带来的计算问题.2.1　预处理和模型形式由于Hammerstein 系统线性部分采用A RX 模型,当前时刻输出受到前面若干时刻(假设关联时间长度为l =max (m ,n ))的输入/输出的影响.因此,在对数据预报或训练时,必须保证数据一定时间长度(>l )的连续性,而不能任意删除.因此,在样本的稀疏化开始之前,必须对数据进行预处理.对任一时刻数据(u t ,y t ),重构其输入u in (t )=[u t ,…,u t-m ]和y in (t )=[y t-1,…,y t-n ].相应的,由N 个样本构成的训练集,其模型输入Y in =[y in (t 1),…,y in (t N )],U in =[u in t 1,…,u in t N],输出Y out =[y t 1,…,y t N ],式(3)改写为Y out k =6mj =0ωT jφUin(mk +k -m +j )+ 6ni =1a i Y in (k ,i )+e (k )+d;k =1,…,N.(8)式中:Y out k 表示Y out 的第k 个输出,U in (mk +k -m +j )表示U in 中第m k +k -m +j 行,Y in (k ,i )表示Y in 第k 、i 个元素.式(8)所表述模型的求解,可描述为如下优化问题:min ωj ,a ,d ,e J (ωj ,e )=126m j =0ωT j ωj +γ26Nt =1e 2t ,s.t .d +e (k )-Y out (k )+6n i =1a i Y in (k ,i )+ 6mj =0ωT j φU in (mk +k -m +j )=0,6(m+1)Nk =1ωT j φU in (k )=0.(9)各部分的计算形式为Ω=K 〈U in ,U in 〉,K p ,q =6mj =0Ωmp +p -m +j ,mq +q -m +j ,K 1p ,q =6N (m+1)k =1Ωmp +p -m +q -1,k,K 2=1TΩ1×I m+1.随着样本增加,直接求逆来估计模型参数的计算复杂度很大.利用矩阵分块递推求逆思想,将高维矩阵求逆转化为低维矩阵求逆和一系列简单运算[9],可以有效降低计算量.以高斯核为例,定义L N为N 个样本时的矩阵:L N =01T000y p 01y TpK +γ-1IKT10K 1K 2=A N S TN S NK 2.(10)式中:S N =[0,0,K 1].当新增样本(u t ,y t )时,L N +1=001T100Y Tin y in (t )T1Y in K +γ-1I K T3K ′T11y in (t )K 3K 5K T 4K ′1K 4K ′2=A N +1S TN +1S N +1K ′2.(11)式中:A N +1=A N PTPK 5,P =1,y in (t ),K 3;S N +1=0,0,K ′1,K 4.根据各部分的运算得到相关的递推表达式:Ω1=K 〈u in ,U in 〉;Ω2=K〈u in ,u in 〉;K ′1p ,q =K 1p ,q +6mj =0Ω1(j +1, mp +p -m +q -1), p =1,…,m +1,q =1,…,N ;K ′2=K 2+1T Ω11+1TΩ21×I m+1;K 3p ,q =6mj =0Ω1j +1,mq -m -q +j , p =1,q =1,…,N ;K 4p ,q =6Nk =1Ω1p ,k +6m+1k =1Ω2p ,k , p =1,…,m +1,q =1;K 5=m +1+1/γ.(12)因此,通过A -1N ,P ,K 5求A -1N +1,再求取L -1N +1,从而大大减少了计算量.本递推方法形式虽然与文献[9]类似,但是由于经过数据的预处理及递推形式的改变,模型在递推辨识时可以实现稀疏性.2.2　基于输出预报误差的稀疏化和模型重初始化为了提高在线辨识模型的有效性,必须对模型进行复杂度控制,即需要得到稀疏的辨识模型.样本在线稀疏的方法主要有基于输入样本特征映射线性相关性[13]和输出预报误差[10]2大类.由于递推算法是通过A -1N 等直接进行递推,并没有保留A N 等信息,基于样本特征映射线性相关性的方法会增加计算复杂度,而采用基于输出预报误差的样本选择方法并不增加计算复杂度.注意到,递推算法的不稳定性主要是由L 矩阵奇异引起的.当L 矩阵奇异时直接求取伪逆,能够有效解决稳定性问题.因为辨识模型预先实现了稀疏性,训练样本较总样本已经大量减少,有效地降低了L 矩阵的维数,所以直接求取伪逆的计算复杂度并不大.101第1期陈坤,等:Hammerstein 系统递推辨识的自适应算法所提出的Hammerstein 系统自适应递推辨识算法主要引入基于预报误差自适应调整的思想,事先定义2个正实数参数:稀疏阈值δ1和粗大误差限δ2,δ1<δ2.对于每一个待加入的新样本u new ,y new,由当前辨识模型预报系统输出y ⌒new 并计算预报误差e new =y new -y ⌒new .1)若e new <δ1,认为当前模型已经比较准确,样本并没有较多的信息,即不是关键样本,故保持模型不变;2)若δ1≤e new <δ2,认为当前模型无法较准确地描述该样本,将样本加入到模型中,按照以上递推算法求取模型参数以更新辨识模型;3)若e new ≥δ2,将该样本加入模型,认为矩阵可能奇异,若仍采用递推算法可能会导致计算不稳定,因此进行重初始化,根据式(12)重新求取模型参数.图1给出了自适应递推算法的流程图.算法将模型稀疏和重初始化有效结合,自动根据输出预报误差实现算法稀疏和递推/重初始化的有效切换.在保证模型复杂度的同时,提高了计算的稳定性和效率.图1　自适应递推算法流程图Fig.1　Flowchart of adaptive recursive algorithm3　仿真研究考虑文献[7]中Hammerstein 系统: y t =0.6y t-1+0.2y t-2+0.1y t-3+0.4sinc (u t )+0.2sinc (u t-1).(13)式中:输入u t 满足均值为0,方差为2的高斯分布.根据先验知识,m =1,n =3.初始训练样本数为N 0,新样本数为N t ,输出误差阈值为δ1,误差限为δ2.仿真选定高斯核参数σ=016,惩罚系数γ=5000.仿真环境为Intel Core2CPU 6700@2166GHz ,内存为3125G B.分别利用离线辨识算法[8]、直接递推算法[9]、自适应递推算法对系统进行辨识,并以均方误差RMSE =1N t6N tk =1y k -y ⌒k2为性能指标来衡量辨识的精度.表1给出在不同情况下几种算法辨识结果,包括计算时间t 、预报精度和模型的复杂度,其中模型复杂度以支持向量数目N SV 来衡量.设计3种不同的自适应递推算法.1)δ1=0,δ2=∝是一种极端的情况,没有采用稀疏化策略和重新初始化,但对数据进行了预处理、改变了递推形式,在这种情况下,自适应递推与直接递推[9]相比,计算时间相差不多,但是预报精度更高,这说明了递推形式改变的有效性.2)当δ1=01005,δ2=∝时,自适应递推算法只稀疏而不重初始化,在初始样本较多(N 0=20)情况下,预报精度与离线算法、递推算法基本一致,但是支持向量数和计算时间大大减少;但是,当初始样本较少(N 0=2)时,稀疏性得不到保证,这主要是由于初始样本太少造成递推过程中矩阵奇异和误差积累.3)当δ1=01005,δ2=011时,自适应递推算法根据预报误差自动选择稀疏和重初始化策略,有效地保证了算法的稀疏性和预报准确度.在初始样本数目N 0较少的情况下,直接递推算法的误差都比较大,自适应递推算法能够在一定程度上提高预报精度,特别是当输出误差阈值δ1和误差限δ2选择较合理时,预报精度与直接采用离线算法相当,但是建模时间显著缩短,且得到了很稀疏表1　在不同情况下各种辨识算法效果比较Tab.1　Comparison of various identification methods under different scenarios算　法N 0=2,N t =100t /sRMSE N SV N 0=2,N t =300t /sRMSE N SV N 0=20,N t =100t /sRMSE N SV离线辨识算法[8]016220106310223173010363022914501010320直接递推算法[9]011090146010241409012683025149701010320自适应递推算法δ1=0,δ2=∝0.1080.264102 4.4730.156302 5.4330.010320δ1=01005,δ2=∝0.0980.26697 3.6610.1572870.0340.0136δ1=01005,δ2=0110.0200.065330.0360.037360.0290.01236201浙　江　大　学　学　报(工学版) 第44卷　的辨识模型.在实际的递推辨识过程中,由于过程噪声和扰动的存在,输出误差阈值δ1可以结合噪声的情况选择合适的值;而当辨识模型的误差积累到一定程度或者过程突然出现扰动时,预报误差将突然变大,此时需要重新初始化模型.图2给出当N 0=2,N t =100时直接递推算法和自适应递推算法(δ1=01005,δ2=011)的一步预报效果.自适应递推算法不会在个别点由于矩阵缺秩而造成递推计算不稳定,因此在有效稀疏辨识模型的同时,大大提高了计算的效率和稳定性.当N t =300时,自适应递推算法的训练时间约为离线算法的1/1000～1/720,约为直接递推算法的1/200～1/100,辨识模型的稀疏率约为11%～12%.图3给出在不同N 0情况下,自适应递推辨识算法的支持向量数目的变化.可以看出,模型最终的样本数与N 0无关,这与L S 2SVR 的基本理论是一致的.图2　不同递推方法的预报效果Fig.2　Predictive results of different recursivemethods图3　在不同情况下自适应递推算法的支持向量数变化Fig.3　Number of support vectors of adaptive recursivealgorithm under different scenarios4　结　语本文提出的自适应稀疏算法根据输出预报误差,自适应选择稀疏/递推/重初始化过程.该算法较普通直接递推算法[9]在精度和计算效率上都有较大程度的提高,更适用于在线辨识.目前,算法本身还存在诸如核参数选择、阈值确定等问题.稀疏阈值和粗大误差限的自适应选择将是下一步研究的主要方向.参考文献(R eferences ):[1]WESTWIC K D T ,KEARN EY R E.Identification of aHammerstein model of the stretch reflex EM G using separable least squares [C ]∥Proceedings of the 22nd Annu al I nternational E ngineering in Medicine and Biology Society.Chicago :IEEE ,2000,3:190121904.[2]ESKINA T E ,J O HNSON S H ,L U Y B EN W e ofHammerstein models in identification of nonlinear sys 2tems [J ].AIChE Journal ,1991,37(2):2552268.[3]PAWL A K M.On the series expansion approach to theidentification [J ].IEEE T ransactions on Autom atic Con 2trol ,1991,36(6):7362767.[4]DEMPSE Y E J ,WESTWIC K D T.Identification ofHammerstein models with cubic spline nonlinearities [J ].IEEE T ransactions on Biomedical E ngineering ,2004,51(2):2372245.[5]VAN PEL T T H ,B ERNSTEIN D S.Nonlinear sys 2tems identification using Hammerstein and nonlinear feedback models with piecewise linear static map s [C]∥Proceedings of American Control Conference .Chicago :IEEE ,2000,1(6):2252229.[6]AL 2DUWA ISH H ,KARIM M N.A new method forthe identification of Hammerstein model [J ].Autom ati 2ca ,1997,33(10):187121875.[7]ESPINOZA M ,SU YKENS J A K ,DE MOOR B.Par 2tially linear models and least squares support vector ma 2chines [C]∥Proceedings of the 43rd IEEE Conference on Decision and Control .Atlantis ,Bahamas :IEEE ,2004.[8]GO ET HAL S I ,PEL C KMANS K ,SU YKENS J A K ,et al.Identification of MIMO Hammerstein models u 2sing least squares support vector machines [J ].Auto 2m atica ,2005,41(7):126321272.[9]CHEN K,W ANG H Q ,SONG Z H.A recursive method ofidentification of Hammerstein model based on least squaressupport vector machines [C]∥P roceedings o f th e 17th IFAC W orld C ongress .Seoul :Elsevier ,2008:499324998.[10]L IU Y ,YAN G D C ,WAN G H Q ,et al.Modeling offermentation processes using online kernel learning al 2gorithm [C ]∥Proceedings of the 17th IFAC WorldCongress .Seoul :Elsevier :2008:967929684.[11]SU YKENS J A K ,VAN GESTEL T ,DE BRABAN T 2ER J ,et al.Least squ ares support vector m achines [M ].Singapore :World Scientific ,2002:712116.[12]VA PN IK V.The nature of statistical learning theory[M ].New Y ork :Springer ,1995:1812218.[13]W AN G H Q ,L I P ,G AO F R ,et al.K ernel classifierwith adaptive structure and fixed memory for process diag 2nosis [J ].AIChE Jou rnal ,2006,52(10):351523531.301第1期陈坤,等:Hammerstein 系统递推辨识的自适应算法。