浅谈加权最小二乘法及其残差图

浅谈加权最小二乘法及其残差图

——兼答孙小素副教授

何晓群 刘文卿

ABSTRACT

The paper introduces some problems in relation to weighted least square regression ,and answers a question about weighted residual plots.

关键词：异方差；加权最小二乘法；残差图；SPSS

一、引言

好几年没有翻《统计研究》了。最近，有一同行朋友打电话告诉我《统计研究》2005年第11期上刊登了一篇有关我与刘文卿合作编著的《应用回归分析》（2001.6.中国人民大学出版社）教材的文章。赶紧找到这期的《统计研究》，看到其中孙小素副教授的文章《加权最小二乘法残差图问题探讨——与何晓群教授商榷》一文，以下简称《孙文》。认真拜读后感触良多。首先衷心感谢孙小素副教授阅读了我们《应用回归分析》拙作的部分章节，同时感谢《统计研究》给我们提供这样一个好的机会，使我们能够借助贵刊对加权最小二乘法的有关问题谈谈更多的认识。

《孙文》谈到《应用回归分析》教材中有关加权最小二乘法残差图的问题。摆出了与加权最小二乘法相关的三类残差图，指出第三类残差图的局限性。直接的问题是三类残差图的作用，而更深层的原因应该是对加权最小二乘法统计思想的理解和认识上的差异。

二、对加权最小二乘法的认识

1. 加权最小二乘估计方法

拙作《应用回归分析》中对加权最小二乘法有详尽的讲述，这里仅做简要介绍。多元线性回归方程普通最小二乘法的离差平方和为：

∑=----=n

i ip p i i p x x y Q 1

211010)(),,,(ββββββ

（1）

普通最小二乘估计就是寻找参数p βββ,,,10 的估计值p

βββˆ,,ˆ,ˆ10 使式（1）的离差平方和Q 达极小。式（1）中每个平方项的权数相同，是普通最小二乘回归参数估计方法。在误差项i ε等方差不相关的条件下，普通最小二乘估计是回归参数的最小方差线性无偏估计。

然而在异方差的条件下，平方和中的每一项的地位是不相同的，误差项i ε的方差2

i σ大的项，在式（1）平方和中的取值就偏大，在平方和中的作用就大，因而普通最小二乘估计

的回归线就被拉向方差大的项，方差大的项的拟合程度就好，而方差小的项的拟合程度就差。

由式（1）求出的p

βββˆ,,ˆ,ˆ10 仍然是p βββ,,,10 的无偏估计，但不再是最小方差线性无偏估计。

加权最小二乘估计的方法是在平方和中加入一个适当的权数i w ，以调整各项在平方和中的作用，加权最小二乘的离差平方和为：

∑=----=n

i ip p i i i p w x x y w Q 1

211010)( ),,,(ββββββ （2）

加权最小二乘估计就是寻找参数p βββ,,,10 的估计值pw

w w βββˆ,,ˆ,ˆ10 使式（2）的离差平方和w Q 达极小。所得加权最小二乘经验回归方程记做

p

pw w w w x x y βββˆˆˆˆ110+++= （3）

理论上最优的权数i w 为误差项方差2

i σ的倒数,即

2

1

i

i w σ

=

（4）

误差项方差大的项接受小的权数，以降低其在式（2）平方和中的作用; 误差项方差小的项接受大的权数，以提高其在平方和中的作用。由（2）式求出的加权最小二乘估计

pw

w w βββˆ,,ˆ,ˆ10 就是参数p βββ,,,10 的最小方差线性无偏估计。 一个需要解决的问题是误差项的方差2

i σ是未知的,因此无法真正按照式（4）选取权数。在实际问题中误差项方差2

i σ通常与自变量的水平有关,可以利用这种关系确定权数。例如

2i σ与第j 个自变量取值的平方成比例时,即2i σ=k 2ij x 时,这时取权数为

21

ij

i x w = （5）

更一般的情况是误差项方差2

i σ与某个自变量j x 取值的幂函数m ij x 成比例，即2

i σ=k m

ij x ,

其中m 是待定的未知参数。此时权数为

m ij

i x w 1

=

（6） 这时确定权数i w 的问题转化为确定幂参数m 的问题，可以借助SPSS 软件解决。《应用回归》书中和《孙文》中都讲了这个方法，本文不再重述。需要注意的是，在实际问题中比例关系2

i σ=k m

ij x 只是近似的，式（6）确定的权数i w 只是式（4）最优权数的近似值，因此所得的参数最小二乘估计也只是近似的最小方差线性无偏估计。 2. 变量变换的加权最小二乘法

《孙文》中谈到：加权最小二乘法的实质是要对原始数据实施变换，获得新的解释变量和被解释变量，变换的方法是：

2

m j

x y y -

⋅=' （y '表示变换后的被解释变量） （7）

2

m j h h

x x x -

⋅='，h =0,1,2,……,p （h

x '是对应于原始变量h x 的新解释变量） （8）

对变换后的变量（p x x x y '''',,,,10

）重新进行普通最小二成估计（注意，此处的回归模型不包含常数项，增加了数据变换后派生出的一个新解释变量2

m

j x x -

='），即可得到加

权最小二乘法的经验回归方程：

p pw w w w x x x y '++'+'='βββˆˆˆˆ1100 （9）

以上是《孙文》中对加权最小二乘法的解释，其中公式（7）、（8）、（9）分别对应《孙