高斯—马尔可夫定理

高斯—马尔可夫定理:

若一元线性模型满足计量经济基本假设，则参数的最小二乘估计(OLS)是最小方差的线性无偏估计。（BLUE )

最小二乘法估计量OLS 的性质（高斯—马尔可夫定理的初步证明）

1．线性性：0

ˆβ和1ˆβ都是i y 的线性函数

证明：

i

n

i n

j j i n j j

n

i i

i

y x x x x x x y x x

∑

∑∑∑====--=--=1

12

1

2

1

1

)()

()()(ˆβ ；

令

∑=--=

n

j j

i i x x

x x k 1

2)

()

(

则有

i n

i i y k ∑==1

1

ˆβ ，且有

=∑i

k

，

1

=∑i

i x

k ，

∑∑=-=

n

i i

i x x

k 1

2

2)

(1

从而1ˆ

β是i y 的线性函数；

同理，

0ˆβ＝=-x y 1ˆβi i i i n i i y k x n y k x y n ∑∑∑⎪⎭

⎫

⎝⎛-=-=111

令i i k x n

w ⋅-=1

，则有：i i y w ∑=0

ˆβ，即0

ˆβ也是i

y 的线性函数。 另有：1=∑i

w ，

0=∑i

i x

w

2. 无偏性：0

ˆβ和1ˆβ都是0β、1β的无偏估计量； 即有：(),ˆ0

ββ=E ()1

1

ˆββ=E

证明：先证()1

1

ˆββ=E

()i i i i n i i u x k y k ++==∑∑=101

1

ˆβββ， 又

0=∑i

k

，1=∑i i x k

()∑∑∑=++===i i i i i n

i i k u x k y k 0101

1

ˆββββ+∑∑+i i i i u k x k 1β =∑+i i u k 1β

()

()1101ˆββββ=++⋅=∑∑∑i i i i i u E k x k k E

(因为:

0=∑i

k

，1=∑i i x k )

同理，利用1=∑i w 和0=∑i i x w 可证得()

,ˆ0

0ββ=E

3. 最优性或最小方差性：在所有的线性无偏估计中，0

ˆβ和1ˆβ分别是0β、1β的方差最小的有效估计量 证明：

若1~β是原值1β的一个线性无偏估计（方差条件不限），且记∑=i i y c 1~β（∵

线性估计），再根据无偏估计的特性，有：

∑∑==1,0i i i

x c c

。

再记()i i i y k c P ∑-=-=1

1ˆ~1ββ，则有11ˆ~ββ+=P ()

()

)ˆ,(2)ˆ()(),ˆ(2)ˆ,ˆ(),()ˆ,ˆ(~,~~1

11111

1111ββββββββββP Cov D P D P Cov Cov P P Cov P P Cov Cov D ++=++=++==

如果能证明0)ˆ,(1

=βP Cov ，则利用方差不小于0的性质，判定)ˆ()ˆ()()~(111βββD D P D D ≥+=，1

ˆβ即为所有无偏的线性估计中方差最小的。 ∵

2221

)())((),)(()ˆ,(u i i i u i i i i i i i i k k c k k c y k y k c Cov P Cov σσβ∑∑∑∑∑-=*-=-=

又∵

∑=--=

n

j j

i i x x

x x k 1

2

)

()

(

且有：

0=∑i

k ，1=∑

i i x k ，

∑∑=-=n

i i

i x x

k 1

2

2

)

(1

所以

0)

(1

)

(1

2

1

2

1

1

2

=--

--=

-∑∑∑∑∑∑====n

j j

n

j j

n i n

i i

i

i i

i

i x x

x x

x

c x c k k c ，

0)ˆ,(1

=βP Cov , 有：)ˆ()ˆ()()~

(111βββD D P D D ≥+=，命题得证。

（此处利用了∑∑==1,0i i i x c c ）。