最小二乘估计量的性质

第三节 最小二乘估计量的性质

三大性质：线性特性、无偏性和最小偏差性 一、 线性特性的含义

线性特性是指参数估计值1ˆβ和2

ˆβ分别是观测值t Y 或者是扰动项t μ的线性组合，或者叫线性函数，也可以称之为可以用t Y 或者是t μ来表示。

1、2

ˆβ的线性特征证明 （1）由2

ˆβ的计算公式可得： 2

22

2

22()ˆt t

t

t

t t

t

t

t

t

t

t t

t t

t x y x Y x Y x

x

x x

x x x x β--==

=⎛⎫

== ⎪ ⎪⎝

⎭

∑∑∑∑∑∑∑∑∑∑∑Y Y Y Y

需要指出的是，这里用到了

因为t x 不全为零，可设

2

t

t t

x b x =

∑，从而，t b 不全为零，故2ˆt t b β=∑Y 。这说明2ˆβ是t Y 的线性组合。

（2）因为12t t t Y X ββμ=++，所以有

()212122ˆt t t t t t t t t t t t

b b X b b X b b βββμββμβμ==++=++=+∑∑∑∑∑∑Y

这说明2

ˆβ是t μ的线性组合。 需要指出的是，这里用到了

22

0t t t t t x x b x x ==

=∑∑∑

∑∑以及 (

)222

2

2

2

2201t t t

t t t t

t t

t

t

t

t

t

t

t

x x X x b X X x x x x X x X x x x x x

⎛⎫+

⎪

== ⎪⎝

⎭

++=

=+=∑∑∑∑∑∑∑∑∑∑∑∑∑

2、1

ˆβ的线性特征证明 （1）因为12

ˆˆY X ββ=-，所以有 ()12

1

ˆˆ1t t t t t

Y X Y X b n

Xb n ββ=-=-⎛⎫

=- ⎪⎝⎭

∑∑∑Y Y

这里，令1

a X

b n

=-，则有1

ˆt a β=∑Y 这说明1

ˆβ是t Y 的线性组合。 （2）因为回归模型为12t t t Y X ββμ=++，所以

()1

1212ˆt t t t t t t t t t

a a X a a X a βββμββμ==++=++∑∑∑∑∑Y

因为1

11t t t a Xb X b n

n

⎛⎫=-=-=

⎪⎝⎭

∑∑∑∑。而 110

t t t t

t t t a X Xb X X X b X n n X X ⎛⎫

=-=- ⎪⎝⎭-=∑∑∑∑ 所以，11

ˆt t a ββμ=+∑ 这说明1

ˆβ是t μ的线性组合。 至此，参数的线性特性证明完毕。

问题参数估计值线性特性的深层次含义是什么？要根据被解释变量、

随机扰动项和的随机性来理解。 二、 无偏性的含义

所谓无偏性是指估计值的均值等于真实值。在这里，无偏性是指参数

估计值1ˆβ和2

ˆβ的期望值分别等于总体参数1β和2β。其数学上要求是 ()11ˆE ββ=和()

22

ˆE ββ=。 证明：根据参数估计值的线性特征，我们推导出：

11

ˆt t a ββμ=+∑，所以有： ()

()()()()()()()()()()

111

111ˆt t t t t t t t E E a E E a E E a E E a E E ββμβμβμβμβ=+=+=+=+•=∑∑∑∑ 相似地，22ˆt t b ββμ=+∑，所以有 ()

()()()()()()()()()()

222

222ˆt t t t t t t t E E b E E b E E b E E b E E ββμβμβμβμβ=+=+=+=+•=∑∑∑∑ 三、 最优性（有的书本上直接称之为最小方差性）的含义

最优性是指用最小二乘法得到的参数估计值1ˆβ和2

ˆβ在各种线性无偏估计中得到的方差最小。

根据上述的定义，我们可以任意假设2ˆβ*是用其他方法得到的总体参数2

ˆβ的一个线性无偏估计。 因为2ˆβ*具有线性特性，我们可以得到： ()2

12ˆt t t t t c c X βββμ*==++∑∑Y ，

()

()()()()

()()()21212121212ˆ0t t t t t t t t t t t t t t t t t t t

E E c E c X c E X c c E X c E c c E X c c X βββμββμββμββββ*==++=++=++=++=+∑∑∑∑∑∑∑∑∑∑Y

又因为2ˆβ*是用其他方法得到的总体参数2

ˆβ的一个无偏估计，所以有 ()

22

ˆE ββ*= 所以由上述两个结果，可以得到：

122t t t c c X βββ+=∑∑

上述式子要成立，必须同时满足两个条件，即

0t

c

=∑和1t t c X =∑

现在求2

ˆβ*的方差： ()

()()()()()()

()

()()()()

()222

2

2

2

2

2

1122222

112211221133223322ˆvar var ˆˆt t t t t t t t t t t t t t t t t t t t t t t t t t t c E c E c E c E c E c c E E c c E c E c E c c c E c c c c c c c c c c βμμμμμμμμμμμμμμ*⎡⎤==-⎣⎦⎡⎤⎡⎤=-=-⎣⎦⎣⎦⎡⎤⎡⎤=-=-⎣⎦⎣⎦⎡⎤==++⋅⋅⋅+⎣⎦=++⋅⋅⋅++++⋅⋅⋅++∑∑∑∑∑∑∑∑∑∑∑Y Y Y Y Y Y Y Y Y Y Y ()()()()

4422t t t s t s c c E c E μμμμμ⎡⎤

+⋅⋅⋅+⋅⋅⋅⎣⎦

=+∑∑∑因为根据假设条件（常数方差和非自相关，即

()222

var()(())t t t t u

E E E μμμμσ=-==和 [][]cov(,)(())(())(0)(0)()0

t s t t s s t s t s E E E E E μμμμμμμμμμ=--=--==

所以，有

()

()()

()222222

2

22

2ˆvar 2u t u t t t u

t

t

u

t

u

t

t

t

c c b b c b b

b c b βσσσ

σ

σ

*==-+⎡⎤⎣⎦=-++-⎡⎤⎣⎦

∑∑∑∑∑