参数最小二乘估计量的统计性质

由(2.3.7)
ˆ
(
1 n
x
k i) ui
上式两边取期望值便有
E (ˆ )
(1 n
x
k i )E (ui )
(2.3.9)
(2.3.9)表明 ˆ 是α的无偏估计量。
三、最小方差性 所谓最小方差性是指在所有线性无偏估计量中，最 小二乘估计量的方差最小。方差最小这一性质又称 为最佳性。为了证明这一性质，我们先导出最小二
足条件
ci 0
ci xi 1
(2.3.13)
下面我们将在满足（2.3.13）的前提下，寻求 ˆ*
的最小方差：
V
(ˆ*)
V
(
ci
yi)
2 u
ci2
V
(ˆ
Байду номын сангаас
*)
2 u
[(ci
ki)
k
i]2
2 u
(ci
k
i)2
2 u
k
2 i
(2.3.14)
(2.3.14)式当且仅当 ci = ki 时，V (ˆ*) 达到最小，
(2.3.11)′
下面证明 ˆ和 ˆ 的最小方差性。
假设我们用其它方法求得参数β的估计量为 ˆ，*
并且满足线性和无偏性。因而应有关系：
ˆ* ci yi
由于
E(ˆ*)
yi= α + β xi + ui
(2.3.12)
所以 E(ˆ*) ci ci xi
由此可知，欲使 ˆ* 估计量具有无偏性，ci应满
ˆ
(1 n
x
ki)
yi
(1 n
x
ki)(
xi
ui)
(
1 n
x
k i) ui
(2.3.7)
(2.3.7)表明 ˆ 是ui的线性函数。
二、无偏性
由(2.3.3)知 ˆ ki ui ，取期望值便有
E(ˆ ) ki E(ui)
(2.3.8)
其中E(ui) = 0，(2.3.8)表明 ˆ 是β的无偏估计量。
§2.3 参数最小二乘估计量的统计性质
一、线性
所谓线性是指和是yi或ui的线性函数。 (一) ˆ 的线性表达式
由(2.2.10)有
其中
ˆ xi yi
ki
xi
xi2
xi2
xi yi xi2
ki
yi
(2.3.1)表明是yi的线性函数
(2.3.1) (2.3.2)
由于yi = α + β xi + ui，所以 ˆ ki yi ki ( xi ui)
ki ki xi ki ui kiui
(2.3.3)
其中
∑ ki = 0
∑ kixi = 1
(2.3.3)表明是ui的线性函数
(2.3.4) (2.3.5)
(二) ˆ 的线性表达式
由(2.2.9)有
ˆ y ˆ x
1 n
yi
x
ki
yi
(
1 n
x
ki)
yi
（2.3.6）
（2.3.6）表明ˆ 是yi的线性函数。
乘估量 ˆ 和 ˆ 的方差。
由(2.3.3)
V
(ˆ )
V
(
k i ui)
2 u
k
2 i
2 u
xi2
(2.3.10)
由(2.3.7)
V
(ˆ
)
V
[
(
1 n
x
ki)
ui]
2 u
(
1 n
x
ki
)2
2 u
(1 n
x2 ) xi2
(2.3.11)
或者把(2.3.11)写成形式：
V
(ˆ
)
2 u
xi2 n xi2
此时 ˆ* 与最小二乘估计量 ˆ 相等：
ˆ* ci yi ciki ki yi ˆ (2.3.15)
将此结果代入(2.3.14)便有
V (ˆ*)
2 u
k
2 i
2 u
xi2
此结果与(2.3.10)式相同。
(2.3.16)
对于ˆ 的最小方差性的证明与 ˆ 的证明完全类
似，请读者自己完成。
这样我们证明了，只要经典回归模型的假定2—5 满足，回归参数的最小二乘估计量就是线性、无 偏、最佳估计量，简称为最佳线性无偏估计量 (BLUE: best linear unbiased estimators)。这一 结论就是著名的高斯-马尔可夫 (Gauss Markov) 定理。 无偏性与最佳性结合起来构成了估计量好坏的重要 标志。由于最小二乘估计量的最佳线性无偏估计量 的特性，才使得最小二乘法得到了广泛的应用。