最小二乘估计量

这三个准则也称作估计量的小样本性质。
拥有这类性质的估计量称为最佳线性无偏估计 量（best liner unbiased estimator, BLUE）。 当不满足小样本性质时，需进一步考察估计量的 大样本或渐近性质： （4）渐近无偏性，即样本容量趋于无穷大时，是 否它的均值序列趋于总体真值； （5）一致性，即样本容量趋于无穷大时，它是否 依概率收敛于总体的真值； （6）渐近有效性，即样本容量趋于无穷大时，是 否它在所有的一致估计量中具有最小的渐近方差。
k
i
X

2
x i 2 xi

2

2
1 n
X

2 xi
2
2


xi nX
2
n xi
2

2

X n x
2 i 2 i

（2）证明最小方差性
ˆ* 1 是 其 他 估 计 方 法 得 到 的 关 于 1 的 线 性 无 偏 估 计 量 ： 假设
2
和 ˆ 1 的 方 差 和 标 准 差 的 估 计 量 分 别 是 ：
ˆ
1
的样本方差： 样本标准差：
2 S ˆ ˆ
1
2


xi
2
2
ˆ 1 的
ˆ 0
ˆ 0
S ˆ ˆ
1
xi
的样本方差： 的样本标准差：
2 S ˆ ˆ
0
2

X
X
2 i
2 i
n xi
n xi
2
2
S ˆ ˆ
高斯—马尔可夫定理(Gauss-Markov theorem)
在给定经典线性回归的假定下，最小二乘估计 量是具有最小方差的线性无偏估计量。
ˆ 证 ： 1
xy x
i 2 i
i


x i (Yi Y )

xi
2

xY x
i 2 i
i

Y
x x
2 i
i
ˆ ˆ 2、 无 偏 性 ， 即 估 计 量 0 、 1 的 均 值 （ 期 望 ） 等 于 总 体 回 归
二、参数估计量的概率分布及随机干扰 项方差的估计
ˆ ˆ 1、 参 数 估 计 量 0 和 1 的 概 率 分 布
ˆ 1 ~ N (1,

2 2 i

)
x
ˆ 0 ~ N ( 0 ,
n
X x
2 i 2 i

2
)

ˆ 12源自/ xi2
ˆ 0


n x
2
X
2 i
(1 )先 求 ˆ 0 与 ˆ 1 的 方 差
ˆ var( 1 ) var(

k iYi )

2
k i var( 0 1 X i i )
2

k i var( i )
2
ˆ var( 0
) var( w Y
i
2



xi
2 xi
§2.2
最小二乘估计量的性质
一、最小二乘估计量的性质 二、参数估计量的概率分布及随机干 扰项方差的估计
一、最小二乘估计量的性质
当模型参数估计出后，需考虑参数估计值的 精度，即是否能代表总体参数的真值，或者说需 考察参数估计量的统计性质。 一个用于考察总体的估计量，可从如下几个方 面考察其优劣性： （1）线性性，即它是否是另一随机变量的线性 函数； （2）无偏性，即它的均值或期望值是否等于总 体的真实值； （3）有效性，即它是否在所有线性无偏估计量 中具有最小方差。
参 数 真 值 0 与 1
证：
易知 故
ˆ 1
kY k
i i
i
( 0 1 X i i ) 0 ki 1 ki X i
k
i
i

ki
x x
i 2 i
0

ki X
i
1
ˆ 1 1

kii
ˆ E (1) E (1

kii ) 1

k i E ( i ) 1
同样地，容易得出
ˆ E ( 0 ) E ( 0

wi i ) E ( 0 )

wi E ( i ) 0
3、 有 效 性 （ 最 小 方 差 性 ） 即 在 所 有 线 性 无 偏 估 计 量 ，
ˆ ˆ 中 ， 最 小 二 乘 估 计 量 0 、 1 具 有 最 小 方 差 。
0

2 i
ˆ 1的 概 率 分 布 ：
2、随机误差项的方差2的估计 2又称为总体方差。
由于随机项i不可观测，只能从i的估计——残 差ei出发，对总体方差进行估计。
可以证明，2的最小二乘估计量为
ˆ
2


ei
2
n2
ˆ 2 是 2的 无 偏 估 计 量 可以证明
在 随 机 误 差 项 的 方 差 估 计 出 后 ， 参 数ˆ 0
ˆ* 1
cY
i
i
其中，ci=ki+di，di为不全为零的常数
则容易证明
ˆ* ˆ var( 1 ) var( 1 )
同 理 ， 可 证 明 0 的 最 小 二 乘 估 计 量 ˆ 0 具 有 最 的 小 方 差
普通最小二乘估计量（ordinary least Squares Estimators）称为最佳线性无偏估计量（best linear unbiased estimator, BLUE）
) i
2


2 2

2
xi

w i var( 0 1 X i i )
2

(1 / n X k i )
2
2
2


1 1 2 2 2 X k i X k i n n
1 2 X n n
2