3-1：高斯-马尔科夫定理的证明

高斯－马尔科夫定理（OLS 有效性）的证明

根据OLS 的一阶条件：

022)(='+'-=∂∂ββ

βX X y X S 设b 是解，则b 满足正则方程组

y X Xb X '='

这正是我们曾分析的最小二乘正则方程组。因为X 是满秩的，所以X X '的逆存在， 从而得到解是

y X X X b ''=-1)(

ββββX X y X y y S ''+''-'=2)(

022)(='+'-=∂∂ββ

βX X y X S 为了证实这确实是最小值，我们需要二阶编分矩阵

X X S b '=∂∂∂=2'

)

(2ββββ

是一个正定矩阵。 我们现在来证明这个结果。对任意一非零向量c ，令Xc X c q ''=，则

Xc q i i =='=∑νυνν其中,

2

除非ν的每一元素都为0，否则q 是正的。但若υ为零的话，则X 的各列的一个线性组合等于0，这与X 满秩的假定相矛盾。

三、最小二乘估计量的统计特性

在本节中，我们对回归量的两种情况，即非随机回归量和随机回归量下分别作讨论。

1、X 非随机回归量

若回归量当作非随机来进行处理时，则将X 当作常数矩阵处理就可导出最小二乘估计量的各种特性。可得

εβεβX X X X X X X b ''+=+''=--11)()()( （4）

若X 是非随机的，或0)(='εX E ，则（4）中第二项的期望值是0。所以，最小二乘估

计量是无偏的，它的协方差矩阵是

]))([(]['--=ββb b E b Var

])()[(11--''''

=X X X X X X E εε 11)(][)(--''''

=X X X E X X X εε 121)()()(--'''=X X X I X X X σ

12)(-'=X X σ

在前面的内容中，对K =2的特殊b 是β的最小方差的线性无偏估计量。现在我们给出这个基本结果的一个更一般的证明，令β是Cy b =~的另一个不同于b 的线性无偏估计量，其中C 是一个K ×n 矩阵。若b ~

是无偏的， ,][][βεβ=+=C CX E Cy E

这暗示着CX=I ，并且εβC b +=~。所以可以得到b ~

的协方差矩阵是 C C b Var '=2]~[σ

现在令X X X C D ''-=-1)(，由假设知D ≠0。那么，,~

*Dy b b b =-= ,''*)(2DD D D b Var Y σ==∑ 于是'DD 是非负定矩阵。

则

]))()()([(]~[112'''+''+=--X X X D X X X D b Var σ

)])()()([(1

12--'+'''

+=X X X D X X X D σ ))((12-'+'=X X D D σ

在展开这个四项和式之前，我们注意到 )()(1X X X X DX CX I ''+==-

由于上面最后一项是I ，有DX=0，所以

122)(]~[-'+'=X X D D b Var σσ

D D b Var '+=2

][σ

b ~的方差矩阵等于b 的方差矩阵加上一个非负定矩阵。所以，]~[b Var 的每个二次型都大于][b Var 的相应二次型。

利用这个结果可以证明高斯-马尔科夫定理：

高斯—马尔科夫定理：

对任意常向量w ，古典线性模型中βw '的最小方差线性无偏估计量是b w '，其中b 是最小二乘估计量。