最小二乘辨识方法的优劣比较

最小二乘辨识方法的优劣比较摘 要：本文系统的探讨了三种最小二乘类辨识方法的原理和性能，并对各种方法在各种不同的环境下进行了MATLAB 仿真，仿真结果证明：最小二乘法不适合实时处理，在同等情况下，递推最小二乘的辨识速度较快，但在有色噪声干扰下效果不理想，广义最小二乘法的辨识效果最好，且不受噪声是否有色的影响，但是费时最多。

关键词：最小二乘 辨识速度 MATLAB 仿真1 引言系统辨识是一门介于现代控制理论和系统理论的边缘学科．它将现代控制论的平滑、滤波、预测和参数估计理论，以及系统论的系统分析方法和建模思想应用于自然科学、社会科学和工程实践中的各个领域，与各个领域的专业知识相给合，形成了一个个新的交叉学科分支。

关于系统辨识的含义，早在1962年Zacleh 曾作如下定义：“根据系统的输入和输出，在指定的一类系统中确定一个相被辨识系统等价的系统”。

根据这个定义，在系统辨识中必须确定三方面的问题；第一，必须指定一类系统．即根据先验信息确定系统模型的类型。

第二，必须规定一类插入信号。

例如正弦信号、阶跃信号、脉冲信号、白噪声、伪随机信号等。

而且这些信号从时域考虑，必须能持续地激励系统的所有状态；从频域考虑，输入信号的频带能覆盖系统的频带宽度。

第三，必须规定“系统等价”的含义及其度量准则。

2 线性系统的辨识2.1 问题描述考虑如下线性系统：()()()()()()1111a b n a n b z k a z k a z k n bu k b u k n e k +-++-=-++-+L L L L （1） 其中，u(k)为系统激励信号，y(k)为系统输出，e(k)为模型噪声。

其系统模型如图1所示：N(z)u(k)u(k)G(z)y(k)z(k)e(k)++图1 SISO 的系统模型结构图其中G(z -1)是系统函数模型，N(z -1)为有色噪声系统模型，e(k)为白噪声v(k)经过系统函数为N(z -1)的系统后的输出。

通常()()()()()()111111, B z D z G z N z A zC z------==（2）式中：()()11212112121aab b n n n n A z a z a z a z B z b z b z b z --------⎧=++++⎪⎨=+++⎪⎩L L （3）()()11212112121c cd d n n n n C z c z c z c z D z d z d z b z--------⎧=++++⎪⎨=+++⎪⎩L L （4）则系统可表示为：()()()()()()()1111B z D z z k u k v k A zC z----=+（5）设样本和参数集为：1212()[-(-1) , -(-2), ...... -(-), (-1),(-2), ......, (-)][,,......,,,,......,]TTn n h k z k z k z k n u k u k u k n a a a b b b θ⎧=⎨=⎩（6） h(k)为可观测的量， 差分方程可写为最小二乘形式()()()T z k h k e k θ=+ （7）如何系统噪声e(k)存在的情况下从该方程中正确的解出θ，即是系统辨识的任务。

为了求出θ，我们面临三大问题：一是输入信号的选择，二是判决准则的选取，三是辨识算法的选择，下面一一探讨。

2.2 选择输入为了准确辨识系统参数，我们对输入信号有两大要求，一是信号要能持续的激励系统所有状态，二是信号频带能覆盖系统的频带宽度。

除此之外还要求信号有可重复性，不能是不可重复的随机噪声，因此我们通常选择M 序列或逆M 序列作为输入。

2.3 准则函数因为本文主要探讨最小二乘类辨识方法，在此选取准则函数()()()()2211Tk k J e k z k h k θθ∞∞==⎡⎤==-⎡⎤⎣⎦⎣⎦∑∑ （8）使准则函数()min J θ=的θ估计值记做LS θ)，称作参数θ的最小二乘估计值。

在式(7)中，令k=1,2,3,……L ，可构成线性方程组：()()()TL L L z k H k e k θ=+ （9）式中 ()()()()()()()()()()()()()()()()()()1122, 010*******L L a b a b L a b z e z e z e z L e L z z n u u n z z n u u n H z L z L n u L u L n ⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦----⎡⎤⎢⎥----⎢⎥=⎢⎥⎢⎥------⎢⎥⎣⎦M M L L L L M M M M L L（10）准则函数相应变为：()()()()()()2211LLTTL L L L k k J e k z k h k z H z H θθθθ==⎡⎤==-=--⎡⎤⎣⎦⎣⎦∑∑ （11）极小化()J θ,求得参数θ的估计值，将使模型更好的预报系统的输出。

2.4 辨识算法常用的最小二乘类辨识方法有下列三种：最小二乘法，递推最小二乘法和广义最小二乘法。

2.4.1 最小二乘法设LS θ)使得()min J θ=，则有()()()0LSTL L L L J z H z H θθθθθθ∂∂=--=∂∂)（12） 展开上式，并根据以下两个向量微分公式：()()2 TT TT a x a xx Ax x A A x∂=∂∂=∂为对称阵 （13）得正则方程： ()T T LLLSL L H H H z θ=)（14）当TLL H H 为正则阵时，有()1TT LS L LL L H H H z θ-=)（15）且有()2220LST LL J H H θθθ∂=>∂)，所以满足式（15）的LS θ)唯一使得()min J θ=，这种通过极小化式（11）计算LS θ)的方法称作最小二乘法。

而且可以证明，当噪声e(k)是均值为0的高斯白噪声时，可实现无偏估计。

2.4.2 递推最小二乘算法为了减少计算量，减少数据在计算机中占用的存，并实时辨识出系统动态特性，我们常利用最小二乘法的递推形式。

下面我们来推导递推最小二乘算法的原理。

首先，将式(11)的最小二乘一次完成算法写为()()()()()()1111T T TWLS L L L L L LL L Ti i H H H z P L H z h i h i h i z i θ--====⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦∑∑)（16）定义()()()()()()11111111k T Tk k i k T T k k i P k H H h i h i P k H H h i h i -=----=⎧==⎪⎪⎨⎪-==⎪⎩∑∑ （17） 式中 ()()()()()()11122 1T T T T k k T T h h h h H H h k h k -⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥-⎢⎥⎢⎥⎣⎦⎣⎦M M （18）式中，h(i)是一个列向量，也就是H L 的第i 行的倒置，P(k)是一个方阵，他的维数取决于未知参数的个数，假设未知参数的个数是n ，则P(k)的维数是n ×n .。

由式17可得P(k)的递推关系为：()()()()()()()()11111k T T i T Pk h i h i h k h k P k h k h k --=-=+=-+∑ （19）设()()()()()()11,2,,11,2,,Tk Tk z z z z k z z z z k -⎧=-⎡⎤⎪⎣⎦⎨=⎡⎤⎪⎣⎦⎩L L （20） 则()()()()()111111111TT k k k k k i k H H H z P k h i z i θ------=-=⎡⎤=-⎢⎥⎣⎦∑)（21）由此可得：()()()()11111k i Pk k h i z i θ--=--=∑)（22）由式19和22可得()()()()()()()()()()()()()()()()(){}()()()()()()111111111k TT kk k ki TTk H H H z P k h i z i P k P k k h k z k P k P k h k h k k h k z k k P k h k z k h k k θθθθθ-=--⎡⎤==⎢⎥⎣⎦⎡⎤=--+⎣⎦⎡⎤=--+⎣⎦⎡⎤=-+--⎣⎦∑))))) （23）引进增益矩阵K(k)，定义()()()K k P k h k = （24） 式（23）可以进一步写为()()()()()()11Tk k K k z k h k k θθθ⎡⎤=-+--⎣⎦)))（25）接下来可以进一步把式(20)写为 ()()()()111T P k Pk h k h k --⎡⎤=-+⎣⎦（26）利用矩阵反演公式()()111111TTT A CC A A C I C A C C A ------+=-+将式（26）演变成()()()()()()()()()()()()()()()()1111111111T T T T P k P k P k h k h k P k h k P k h k P k h k h k I P k h k P k h k -⎡⎤=-----+⎣⎦⎡⎤-=--⎢⎥-+⎣⎦（27）将上式代入式(24)，整理后可得()()()()()()1111TK k P k h k h k P k h k -⎡⎤=--+⎣⎦ (28)综合式25、27和28可得最小二乘递推参数估计算法RLS()()()()()()()()()()()()()()()()1111111T TTk k K k z k h k k K k P k h k h k P k h k P k I K k h k P k θθθ-⎧⎡⎤=-+--⎣⎦⎪⎪⎡⎤=--+⎨⎣⎦⎪⎡⎤=--⎪⎣⎦⎩)))（29） 2.4.3 广义最小二乘法 设SISO 系统采用如下模型：()()()()()()1111A z z kB z u k v kC z ---=+（30） 假定模型阶次n a ，n b 和n c 已知，用广义最小二乘法可以得到无偏一致估计。

令()()()()()()11f f z k C z z k u k C z u k --⎧=⎪⎨=⎪⎩ （31）()()()()()1212[,,,,,,,]1,,,1,,a b T n n T f f f a f f b a a a b b b h k z k z k n u k u k n θ⎧=⎪⎨⎡⎤=------⎪⎣⎦⎩L L L L （32）将模型化为最小二乘格式：()()()T f f z k h k v k θ=+ （33） 由于v(k)是白噪声，所以用最小二乘可以获得参数θ的无偏估计，由于噪声模型C(z -1)未知，还需要用迭代的方法来求得C(z -1)。