最小二乘法估计量的性质(高斯—马尔可夫定理的初步证明)

高斯—马尔可夫定理:

若一元线性模型满足计量经济基本假设，则参数的最小二乘估计(OLS)是最小方差的线性无偏估计。（BLUE )

最小二乘法估计量OLS 的性质（高斯—马尔可夫定理的初步证明）

1．线性性：0

ˆβ和1ˆβ都是i y 的线性函数

证明：

i n i n j j i n

j j n i i i y x x x x x x y x x ∑∑∑∑====--=--=1121211)()()()(ˆβΘ ； 令∑=--=

n j j i i x x

x x k 12)

()(

则有 i n i i y k ∑==1

1

ˆβ ，且有0=∑i k ，1=∑i i x k ，∑∑=-=

n i i i x x k 12

2)(1 从而1ˆβ是

i y 的线性函数；

同理， 0ˆβ＝=-x y 1ˆβi i i i n i i y k x n y k x y n ∑∑∑⎪⎭

⎫ ⎝⎛-=-=111

令i i k x n

w ⋅-=1，则有：i i y w ∑=0ˆβ，即0ˆβ也是i y 的线性函数。

另有：

1=∑i w ，

0=∑i i x w 2. 无偏性：0ˆβ和1ˆβ都是0β、1β的无偏估计量； 即有：(),ˆ00ββ=E

()11ˆββ=E 证明：先证()11ˆββ=E

Θ ()i i i i n

i i u x k y k ++==∑∑=1011

ˆβββ， 又Θ

0=∑i k ，1=∑i i x k ()∑∑∑=++===i i i i i n i i k u x k y k 0101

1

ˆββββ+∑∑+i i i i u k x k 1β =∑+i i u k 1

β ()()1101ˆββββ=++⋅=∑∑∑i i i i i u E k x k k E (因为: 0=∑i k ，1=∑i i x k )

同理，利用

1=∑i w 和0=∑i i x w 可证得()

,ˆ00ββ=E

3. 最优性或最小方差性：在所有的线性无偏估计中，0

ˆβ和1ˆβ分别是0β、1β的方差最小的有效估计量

证明：

若1~β是原值1β的一个线性无偏估计（方差条件不限），且记∑=i i y c 1~β（∵