最小二乘估计量

) i
wenku.baidu.com
2


2 2

2
xi

w i var( 0 1 X i i )
2

(1 / n X k i )
2
2
2


1 1 2 2 2 X k i X k i n n
1 2 X n n
2
参 数 真 值 0 与 1
证：
易知 故
ˆ 1
kY k
i i
i
( 0 1 X i i ) 0 ki 1 ki X i
k
i
i

ki
x x
i 2 i
0

ki X
i
1
ˆ 1 1

kii
ˆ E (1) E (1
2
和 ˆ 1 的 方 差 和 标 准 差 的 估 计 量 分 别 是 ：
ˆ
1
的样本方差： 样本标准差：
2 S ˆ ˆ
1
2


xi
2
2
ˆ 1 的
ˆ 0
ˆ 0
S ˆ ˆ
1
xi
的样本方差： 的样本标准差：
2 S ˆ ˆ
0
2

X
X
2 i
2 i
n xi
n xi
2
2
S ˆ ˆ
2 i
ˆ 1的 概 率 分 布 ：
2、随机误差项的方差2的估计 2又称为总体方差。
由于随机项i不可观测，只能从i的估计——残 差ei出发，对总体方差进行估计。
可以证明，2的最小二乘估计量为
ˆ
2


ei
2
n2
ˆ 2 是 2的 无 偏 估 计 量 可以证明
在 随 机 误 差 项 的 方 差 估 计 出 后 ， 参 数ˆ 0
这三个准则也称作估计量的小样本性质。
拥有这类性质的估计量称为最佳线性无偏估计 量（best liner unbiased estimator, BLUE）。 当不满足小样本性质时，需进一步考察估计量的 大样本或渐近性质： （4）渐近无偏性，即样本容量趋于无穷大时，是 否它的均值序列趋于总体真值； （5）一致性，即样本容量趋于无穷大时，它是否 依概率收敛于总体的真值； （6）渐近有效性，即样本容量趋于无穷大时，是 否它在所有的一致估计量中具有最小的渐近方差。
§2.2
最小二乘估计量的性质
一、最小二乘估计量的性质 二、参数估计量的概率分布及随机干 扰项方差的估计
一、最小二乘估计量的性质
当模型参数估计出后，需考虑参数估计值的 精度，即是否能代表总体参数的真值，或者说需 考察参数估计量的统计性质。 一个用于考察总体的估计量，可从如下几个方 面考察其优劣性： （1）线性性，即它是否是另一随机变量的线性 函数； （2）无偏性，即它的均值或期望值是否等于总 体的真实值； （3）有效性，即它是否在所有线性无偏估计量 中具有最小方差。
二、参数估计量的概率分布及随机干扰 项方差的估计
ˆ ˆ 1、 参 数 估 计 量 0 和 1 的 概 率 分 布
ˆ 1 ~ N (1,

2 2 i

)
x
ˆ 0 ~ N ( 0 ,
n
X x
2 i 2 i

2
)

ˆ

1

2
/ xi
2

ˆ 0


n x
2
X
2 i
(1 )先 求 ˆ 0 与 ˆ 1 的 方 差
ˆ var( 1 ) var(

k iYi )

2
k i var( 0 1 X i i )
2

k i var( i )
2
ˆ var( 0
) var( w Y
i
2



xi
2 xi
ˆ* 1
cY
i
i
其中，ci=ki+di，di为不全为零的常数
则容易证明
ˆ* ˆ var( 1 ) var( 1 )
同 理 ， 可 证 明 0 的 最 小 二 乘 估 计 量 ˆ 0 具 有 最 的 小 方 差
普通最小二乘估计量（ordinary least Squares Estimators）称为最佳线性无偏估计量（best linear unbiased estimator, BLUE）
高斯—马尔可夫定理(Gauss-Markov theorem)
在给定经典线性回归的假定下，最小二乘估计 量是具有最小方差的线性无偏估计量。
ˆ 证 ： 1
xy x
i 2 i
i


x i (Yi Y )

xi
2

xY x
i 2 i
i

Y
x x
2 i
i
ˆ ˆ 2、 无 偏 性 ， 即 估 计 量 0 、 1 的 均 值 （ 期 望 ） 等 于 总 体 回 归
0


kii ) 1

k i E ( i ) 1
同样地，容易得出
ˆ E ( 0 ) E ( 0

wi i ) E ( 0 )

wi E ( i ) 0
3、 有 效 性 （ 最 小 方 差 性 ） 即 在 所 有 线 性 无 偏 估 计 量 ，
ˆ ˆ 中 ， 最 小 二 乘 估 计 量 0 、 1 具 有 最 小 方 差 。
k
i
X

2
x i 2 xi

2

2
1 n
X

2 xi
2
2


xi nX
2
n xi
2

2

X n x
2 i 2 i

（2）证明最小方差性
ˆ* 1 是 其 他 估 计 方 法 得 到 的 关 于 1 的 线 性 无 偏 估 计 量 ： 假设