§广义最小二乘法

§广义最小二乘法

一、广义最小二乘法

普通最小二乘法、加权最小二乘法是广义最小二乘法的特例。 存在序列相关性最常用的方法是广义最小二乘法

U XB Y +=

⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=n y y y Y 21 ⎪⎪⎪⎪

⎪

⎭⎫

⎝⎛=nm n m m x x x x x x X 1221111111 ⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=m b b b B 10⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=n u u u U 21 0)(=U E Ω='='2)()(σU U E U U Cov

⎪⎪

⎪⎪

⎪

⎭

⎫

⎝⎛=Ωnn n n n w w w w w w w 2

1

2211211

存在异方差 设D D '=Ω 用1-D 左乘U XB Y +=两边

U D XB D Y D 111---+=即 ***U B X Y +=

)()()(11****'

'='='--D U U D E U U E U U Cov '

'=--11)(D U U E D

'Ω=--121D D σ'

'=--112D D D D σ =I 2σ

用最小二乘法得： **1**)(ˆY X X X B

''=- =Y D D X X D D X 11111)(-----'

'''

=Y X X X 111)(---Ω'Ω'

这就是广义最小二乘法估计模型的参数估计量。

矩阵Ω的估计为 ⎪

⎪⎪⎪

⎪⎭⎫ ⎝⎛=Ω22

12

212121n n n n e e e e e e e e e e e

二、广义最小二乘法的示例

湖北省病虫灾成灾面积与受灾面积对应关系的分析

病虫灾成灾面积与受灾面积的对应关系的研究对于指导抗灾、救灾有着重大的意义。从统计分析的角度出发，利用逐年的统计资料将病虫灾成灾面积数据看成时间序列i y ，病虫灾受灾面积数据看成时间序列i x ，应用普通最小二乘法可以建立线性模型给出病虫灾成灾面积与受灾面积之间的线性关系。但这一思路存在着重大的缺陷：没有考虑扰动项的自相关，直观上看病虫灾成灾面积数据有扰动项的自相关。如果确实存在着扰动项的自相关而不加以考虑，它将直接影响到病虫灾成灾面积与受灾面积二者之间关系的准确性。为此，考虑到数据扰动项的自相关，利用1978~1995年湖北省病虫灾统计数据，先进行检验看是否存在自相关，通过Durbin-Watson 检验后，基于广义最小二乘法，给出湖北省病虫灾成灾面积与受灾面积的对应关系。

应用1978~1995年湖北省病虫灾统计数据(见表1)

表1

将病虫灾成灾面积数据看成时间序列18,2,1 =i y i ，病虫灾受灾面积数据看成时间序列,18,2,1 =i x i 设

i i i u x b b y ++= 10 i u 为扰动项

用普通最小二乘法可得i

i x b b y ˆˆˆ10+=,实际计算的结果为 466.0ˆ 6.15ˆ1

0==b b 所以有

i i x y

466.06.15ˆ+= 应用普通最小二乘法建立的线性模型,给出了湖北省病虫灾成灾面积与受灾面积之间的线性关系。这个结果没有考虑扰动项是否有自相关。

扰动项是否有自相关,可以用Durbin-Watson 法检验。对i i i u x b b y ++= 10

若用普通最小二乘法得到i

i x b b y ˆˆˆ10+=则∧

-=i i i y y e Durbin-Watson 统计量定义为：

∑∑==--=

n

i i

n

i i i e

e e

d 1

2

2

2

1)(

表2

Durbin-Watson 检验计算表

应用i i x y 466.06.15+=∧

及表1给出的i y ，i x 可得到

18,2,1 , =-=∧

i y y e i i i 。经过计算（见表2）得到

099.124

.2196137

.24156)(1

22

2

1==

-=

∑∑==-n

i i

n

i i i e

e e

d

对18 , 1 , 05.0===n k α查Durbin-Watson 检验表得：

39.1 , 18.1==U L d d

L d d < 拒绝0: 0=ρH 认为扰动项有正自相关。

从上述检验可知1978~1995年湖北省病虫灾统计数据中病虫灾成灾面积与受灾面积之间线性关系的扰动项有正自相关。应用普通最小二乘法得到的结果缺乏准确性。为了解决扰动项的正自相关，可以采用广义最小二乘法。 若扰动项为正自相关，令

U XB Y +=

⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=n y y y Y 21 ⎪

⎪⎪⎪

⎪

⎭⎫

⎝

⎛=n x x x X 11121 ⎪⎪⎭⎫ ⎝⎛=10b b B ⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=n u u u U 21 广义最小二乘法所得的参数估计式为Y X X X B 111')'(---∧

ΩΩ=，它具有最佳线性无偏的特性。

其中 ⎪

⎪⎪⎪

⎪

⎪⎭

⎫

⎝⎛=Ω------11113

2132

2

12

n n n n n n ρρρ

ρρ

ρρρ

ρ

ρρρ

⎪⎪⎪⎪⎪⎪⎪⎪⎭

⎫ ⎝

⎛--++--+---=Ω

-1000100000

100010001

11222

2

1

ρ

ρρρρρρ

ρρρ

ρ可用其估计∑∑==-∧

≈

n

i i

n

i i i e

e

e 1

22

1

ρ代替。利用表2 的计算结果可得