加权最小二乘法—ls

WLS:加权最小二乘

一般最小二乘估计精度不高的原因之一是不分优劣地使用了量测值，如果对不同量测值的质量有所了解，则可用加权的方法分别对待各量测量，精度质量高的权重取大些，精度质量低的权重取小些；权W 是适当取值的正定阵。

最小二乘估计是Gauss 在1795年为测定行星轨道而提出的参数估计算法。特点是方法简单，不必知道与被估计量任何统计信息。

假定量测信息z 可以表示为参数x 的线性函数，即

v Hx z +=，

其中()N m n ×∈ H ， N m ∈ v 是一个零均值的随机向量；设()()N m N m ×∈ W 为对称正定阵（0≥W ），则如下估计

WLS T ˆˆˆˆarg min()()=−−x x z Hx W z Hx ，

称为加权最小二乘（weighted least squares ，WLS ）估计；如果=W I ，则称为最小二乘（Least Squares ，LS ）估计。

注意：最小二乘法的最优指标只保证了估计量测的均方误差最小。

定理 设T

H WH 可逆，则基于量测信息z 和加权矩阵W 对参数x 的WLS 估计为 WLS T 1T ˆ()−=x

H WH H Wz ， 证明：因为T T T T T

min()()min(2)−−=−+x x z Hx W z Hx z Wz z WHx x H WHx ， 而

()T T T T T T T T T 1

T T (2)(2)20

ˆWLS x −∂−+∂∂=−+∂=−=∴=T T z Wz z WHx x H WHx x

z Wz x H Wz x H WHx x

H Wz +2H WHx H WH H Wz （注意：,T Ax x Ax A x x

∂<>=+∂，,x y y x ∂<>=∂） 关于估计方差：

如果量测误差v 的均值为0方差为R ，则加权最小二乘估计也是无偏估计。估计的协方差阵为

11111[]()()ˆ(()()())

T T T T T T T T T T E xx

H WH H WRWH H WH x

x x H WH H WHx H WH H Wz

H WH H Wv −−−−−==−=−=− ∵

（注意11()()T T A A −−=）

如果1

W R −=，则加权最小二乘估计又称为马尔科夫估计，此时估计的协方差阵为 11[]()T T E xx

H R H −−= 此时协方差阵最小，是WLS 估计中的最优者。（注意两个矩阵 A ，B 比大小时，A B >指A B −正定）

最小二乘法的最优指标只保证了量测的估计均方误差最小，而并未确保估计量的估计误差达到最佳，所以估计精度不高）

例1：用一台仪器对未知确定性标量x 作r 次（直接）测量，测量值分别为1,...,r z z ,并已知测量均值为0，方差为R ，求其最小二乘估计，并估计协方差阵。

解：令1[,...,]T r Z z z =，[1,...,1]T H =，[]T E VV RI =， 此时W =I,有

11ˆ[..]r x z z r

=++ []T R E xx r

= 例2：用两台仪器对未知确定性标量x 各直接测量一次，量测分别为1z 和2z ，两台仪器测量误差均值为0，方差分别为r 和4r ，求其最小二乘估计，并估计协方差阵。

由题意，得测量方程

12z 1r ,Z=,H=,R=z 14r Z Hx V

=+⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦

⎣⎦

其中， 有 1221ˆ[]21115E[x ][11]R r r 1224

x z z =+⎡⎤==>⎢⎥⎣⎦ 上式说明，使用精度差一倍的两台仪器同时测量，最小二乘估计效果不如单独采用一台仪器。

但如果采用马尔科夫估计，取1W R −=，有

1221ˆ[4]54E[x ]r r 5

x z z =+=<

可见，应用马尔科夫估计，获得了较仅用一台精度高的仪器更好的效果（方差小）。所以，增加不同的测量值，并根据其精度区别利用，能有效提高估计精度。