加权最小二乘法WLS

加权最小二乘法(WLS)

如果模型被检验证明存在异方差性，则需要发展新的方法估计模型，最常用的方法是加权最小二乘法。

加权最小二乘法是对原模型加权，使之变成一个新的不存在异方差性的模型，然后采用普通最小二乘法估计其参数。下面先看一个例子。

原模型：

Λ

+++=i i i x x y 22110βββ，

i ki k u x ++β

n i ,,2,1Λ=

如果在检验过程中已经知道：

2

222

)()()(u i i i i x f u E u D σσ=== , n i ,,2,1

Λ= 即随机误差项的方差与解释变量2x 之间存在相关性，模型存在异方差。那么可以用)

(2x f 去除原模型，使之变成如下形式的新模型：

Λ+++=i i i i i i i x x f x x f x f y x f 222

121

20

2)

(1)

(1)

(1)

(1βββ

i i ki i k u x f x x f )

(1)

(122+

+β

n i ,,2,1Λ=

在该模型中，存在

2

22222)()(1))

(1())(1(

u i i i i i i u E x f u x f E u x f D σ=== (4.2.1)

即同方差性。于是可以用普通最小二乘法估计其参数，得到关于参数βββ01,,,Λk 的无偏的、有效的估计量。这就是加权最小二乘法，在这里权就是)

(1

2i x f 。

一般情况下，对于模型

Y X =+B N (4.2.2)

若存在：

W

2)(),(0

)(u

E Cov E σ=N 'N =N N =N ϖ

W =⎡⎣⎢

⎢

⎢⎢⎤⎦

⎥

⎥⎥⎥w w w n 12

O

(4.2.3) 则原模型存在异方差性。设

T

DD

W =

⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢

⎢⎢⎣

⎡=n w w w D O

2

1, ⎥⎥⎥⎥⎥⎦

⎤

⎢⎢

⎢⎢

⎢⎣

⎡=----11

2

1

11n w w w D O

用D 1-左乘(4.2.2)两边，得到一个新的模型：

D Y D X D ---=+111B N (4.2.4) 即

Y X ***

=+B N

该模型具有同方差性。因为

)()(),(11****T

T

E E N N Cov --N 'N =N N =D D

I

D D D D WD D D D 21

2

11211

1)(u T u T

u T E σσσ='=='

NN =------

于是，可以用普通最小二乘法估计模型(4.2.4)，得到参数估计量为：

**1**)(ˆY X X X T T WLS -=B

Y

W X X W X Y

D D X X D D X 1

1111111)()(--------==T T T

T T T (4.2.5)

这就是原模型(2.6.2)的加权最小二乘估计量，是无偏的、有效的估计量。

如何得到权矩阵W ？仍然是对原模型首先采用普通最小二乘法，得到随机误差项的近似估计量，以此构成权矩阵的估计量，即

⎥⎥⎥⎥⎥

⎦

⎤⎢⎢⎢⎢⎢⎣

⎡=22

2

21ˆn e e e O

W

(4.2.6) 当我们应用计量经济学软件包时，只要选择加权最小二乘法，将上述权矩阵输入，估

计过程即告完成。这样，就引出了人们通常采用的经验方法，即并不对原模型进行异方差性检验，而是直接选择加权最小二乘法，尤其是采用截面数据作样本时。如果确实存在异方差性，则被有效地消除了；如果不存在异方差性，则加权最小二乘法等价于普通最小二乘法。

在利用Eviews 计量经济学软件时，加权最小二乘法具体步骤是：

⑴ 选择普通最小二乘法估计原模型，得到随机误差项的近似估计量i e ；

⑵ 建立i e 1的数据序列；

⑶ 选择加权最小二乘法，以i e 1序列作为权，进行估计得到参数估计量。实际上是以

i e 1乘原模型的两边，得到一个新模型，采用普通最小二乘法估计新模型。

(步骤见PPT 文件)