广义最小二乘法

4.5 广义最小二乘法（GLS ） GLS----Generalized Least Squares 1. 基本原理

广义最小二乘法的基本思想在于引入一个所谓成形滤波器（白化滤波器），把相关噪声)(k ξ转化成白噪声)(k ε。

由方程（4-4）、（4-5），系统的差分方程可以表示为

)()()()()(11k k u z b k y z a ξ+=-- （4-114）

式中

n n z a z a z a z a ----++++=ΛΛ221111)(

n

n z b z b z b b z b ----++++=ΛΛ221101)(

如果知道有色噪声序列)(k ξ的相关性，则可以把)(k ξ看成白噪声通过线性系统后所得的结果。这种线性系统通常称为成形滤波器，其差分方程为

)()()()(11

_

k z d k z

c εξ--

-= （4-115）

式中)(k ε是均值为零的白噪声序列，)()(1

1

_

--

-z d 、z c 是1

-z 的多项式。

令 _11

1212_

1()()1()

m m c z f z f z f z f z d z ------=

=+++L L （4-116）

有 )()

(1

)()()()(11k z f k k k z f εξεξ--==或 （4-117）

即

1212(1)()()m m f z f z f z k k ξε---++++=L L （4-118）

或

)()()2()1()(21k m k f k f k f k m εξξξξ+-------=ΛΛ ()

1,,n k n N =++L L

（4-119）

这一噪声模型（自回归模型）的阶m ，一般事先是不知道的，实际经验表明，若指定m

为2或3，就可以获得令人满意的描述)(k ξ的模型。

把方程（4-119）看作输入为零的差分方程，并由此式来写出N 个方程。

⎪⎪

⎭

⎪⎪⎬⎫

⎪⎪⎩⎪⎪⎨⎧++-+---+--+-=+++-+---+-=+++-+-----=+)()()2()1()()2()2()()1()2()1()1()1()()1(212121N n m N n f N n f N n f N n n m n f n f n f n n m n f n f n f n m m m εξξξξεξξξξεξξξξΛΛM ΛΛΛΛ

写成向量矩阵形式为

εξ+Ω=f （4-120）

其中⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡++=)()1(N n n ξξξM ，⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=m f f f M 1，⎥⎥⎥⎦

⎤

⎢⎢⎢⎣⎡++=)()1(N n n εεεM ，

⎥

⎥⎥⎥⎦

⎤⎢

⎢⎢

⎢⎣⎡-+--+--+--+--+--+----=Ω)()

2()1()2()()1()1()1()(m N n N n N n m n n n m n n n ξξξξξξξξξM Λ

(4-120)式所示的线性组合关系是辨识问题的基本表达形式,称作最小二乘格式。应用我们熟知的最小二乘法，可求出f 的估值。

1ˆ[]T T f

ξ-=ΩΩΩ （4-121） 考虑在噪声模型（4-117）下，系统的差分方程。将（4-117）式得到的)()

(1

)(1

k z f k εξ-=，代入（4-114）式有

)()

(1

)()()()(1

11k z f k u z b k y z a ε---+

= （4-122）

变换成 )()()()()()()(1

111k k u z f z b k y z f z a ε+=---- （4-1

23）

令 )()()(1

k y k y z f =- （4

-124）

)()()(1k u k u z f =- （4-125）

于是可得 )()()()()(1

1k k u z b k y z a ε+=-- （4-126）即

1201()(1)(2)()()(1)()()

n n y k a y k a y k a y k n b u k b u k b u k n k ε=-------++-++-+L L （4-127）

在（4-126）或（4-127）式中，)(k ε为不相关的随机序列（白噪声），故可以用最小二乘法得到θ的无偏估计（即n o n b b b a a ΛΛ11,,,）。由此可见，广义最小二乘法（GLS ）是建立在最小二乘法（LS ）的基础之上的。【3】

基本最小二乘法只是广义最小二乘法在1

)(1

=-z f 时的特例。 2. 计算步骤：

广义最小二乘法的关键问题是如何用比较简便的方法找到成形滤波器的系数。其计算是逐次逼近法。下面以（4-121）和（4-123）式为依据来讨论。

第一步：应用输入、输出数据)2,1)(()(N n k k y k u +=Λ和，按最初的模型

a ()()()()()k k u

b k y ξ+Z =Z

--1

1

求出θ的最小二乘估计

(1)(1)(1)T (1)(1)(1)(1)(1)(1)121ˆˆˆ[]ˆˆˆˆˆˆT

n o n a b a a a b b b θ

=⎡⎤=⋯⋯⋯⋯⎣

⎦

这个估值是不精确的，它只是被估参数的一次近似。 第二步：计算残差)()

1(κe ，并拟合成形滤波器的模型：

)()(ˆ)()(ˆ)(1)1(1)1()1(k u b k y a

e --Z -Z =κ （4-128） 或 (1)(1)(1)(1)(1)(1)11ˆˆˆˆˆ()()(1)()()(1)()n o n

e y a y k a y k n b u k b u k b u k n κκ=+-+⋯⋯+-----⋯⋯-- ()N n n k +⋯⋯+=,1 （4-129）

)(k e 称为广义残差，用广义残差e )1(k 代替ζ（k ）注意：残差)(k e 是模型噪声，而()

k ε是系统噪声，可用最小乘法拟合出一个成型滤波器的模型。

)()()1()()1()1(1)1(k m k e f k e f k e m ε=--⋯⋯--=