最小二乘估计量教学文稿

中 ， 最 小 二 乘 估 计 量 ˆ0、 ˆ1具 有 最 小 方 差 。
( 1 ) 先 求 ˆ 0 与 ˆ 1 的 方 差
v ˆ 1 ) v a k i Y r i a ) ( k i 2 r v 0 ( a 1 X i i ) r k i ( 2 v i ) a
2
ˆ1的样本方差：
S2 ˆ1
ˆ 2
xi2
ˆ1 的样本标准差： Sˆ1 ˆ xi2
ˆ0 的样本方差：
S2 ˆ0
ˆ 2
Xi2 n xi2
ˆ0 的样本标准差： Sˆ0 ˆ Xi2 n xi2
此课件下载可自行编辑修改，仅供参考！ 感谢您的支持，我们努力做得更好！谢谢
（5）一致性，即样本容量趋于无穷大时，它是否 依概率收敛于总体的真值；
（6）渐近有效性，即样本容量趋于无穷大时，是 否它在所有的一致估计量中具有最小的渐近方差。
高斯—马尔可夫定理(Gauss-Markov theorem)
在给定经典线性回归的假定下，最小二乘估计 量是具有最小方差的线性无偏估计量。
证 ： ˆ1 x x iiy 2 i x i(Y x ii2 Y ) x x iY i2 i Yx x i2 i
2 、 无 偏 性 ， 即 估 计 量 ˆ0、 ˆ1的 均 值 （ 期 望 ） 等 于 总 体 回 归
参 数 真 值 0与 1
证： wk.baidu.com 1 k i Y i k i ( 0 1 X i i ) 0 k i 1 k i X i k ii
x i 2 2 x i2
1 nX x 2i2 2
xi2n X 2 n xi2
2 X i2 n xi2
2
（2）证明最小方差性
假 设 ˆ 1 * 是 其 他 估 计 方 法 得 到 的 关 于 1 的 线 性 无 偏 估 计 量 ：
ˆ1* ciYi
其中，ci=ki+di，di为不全为零的常数
由于随机项i不可观测，只能从i的估计——残
差ei出发，对总体方差进行估计。 可以证明，2的最小二乘估计量为
ˆ 2 ei2
n 2
可 以 证 明 ˆ2 是 2 的 无 偏 估 计 量
在 随 机 误 差 项 的 方 差 2估 计 出 后 ， 参 数 ˆ0
和 ˆ1的 方 差 和 标 准 差 的 估 计 量 分 别 是 ：
最小二乘估计量
这三个准则也称作估计量的小样本性质。
拥有这类性质的估计量称为最佳线性无偏估计 量（best liner unbiased estimator, BLUE）。
当不满足小样本性质时，需进一步考察估计量的 大样本或渐近性质：
（4）渐近无偏性，即样本容量趋于无穷大时，是 否它的均值序列趋于总体真值；
易知 故
ki
xi 0 xi2
kiXi 1
ˆ11 kii
E ( ˆ 1 ) E ( 1 k ii ) 1 k i E ( i ) 1
同样地，容易得出
E ( ˆ 0 ) E ( 0 w ii ) E ( 0 ) w i E ( i ) 0
3、 有 效 性 （ 最 小 方 差 性 ） ， 即 在 所 有 线 性 无 偏 估 计 量
xi xi2
2
2
xi2
v ˆ 0 ) v a w i Y i ) r a w ( i 2 v r 0 ( 1 a X i i ) r ( 1 / n ( X k i ) 2 2
1 n 2 2 1 n X k i X 2 k i2 2 1 n n 2 Xk i X 2
二、参数估计量的概率分布及随机干扰
项方差的估计
1 、 参 数 估 计 量 ˆ 0 和 ˆ 1 的 概 率 分 布
ˆ1 ~ N(1,
2
xi2 )
ˆ0 ~N(0,n
Xi2 2)
xi2
ˆ1 2/ xi2
ˆ1的概率分布：
2 ˆ0 n
X
2 i
xi2
2、随机误差项的方差2的估计
2又称为总体方差。
则容易证明
vaˆ1 r*)(vaˆ1 r)(
同 理 ， 可 证 明 0 的 最 小 二 乘 估 计 量 ˆ 0 具 有 最 的 小 方 差
普通最小二乘估计量（ordinary least Squares Estimators）称为最佳线性无偏估计量（best linear unbiased estimator, BLUE）