多元线性计量模型的参数估计总结

（1）最小样本容量 （2）满足基本要求的样本容量
2018/12/10
第三节 多元线性计量模型的参数估计
（1）最小样本容量 n>=k+1
ˆ (X X ) X Y B ee ˆ n k 1
' 1 ' 2
• 因此，必须有n>k+1 • 事实上，最小的样本容量是k+2，当然，用这 样小的样本数量估计模型，其准确性值得怀疑。
2
2018/12/10
第三节 多元线性计量模型的参数估计
（2）无偏性
1 ˆ E ( B) E[( X X ) X Y ]
E[( X X ) X ( XB U )]
1
E[( X X ) X XB ( X X ) X U ]
1 1
B ( X X ) E ( X U )
• 有
ˆ) B P Lim E ( B
n
ˆ) 0 P Lim Var ( B
n
• 一致性是一种大样本属性。
2018/12/10
第三节 多元线性计量模型的参数估计
4、样本容量
样本是一个重要的实际问题。模型依赖于实际
样本。获取样本需要成本，企图通过样本容量
的确定减轻收集数据的困难。
可以证明：由这些方程 组 所解出的参数估计值为 ： ˆ ( X ' X ) 1 X 'Y B
2018/12/10
第三节 多元线性计量模型的参数估计
ˆ ( X ' X ) 1 X 'Y B
2、 最 小 二 乘 估 计
y 1 y Y 2 ... yn
1 0 1 11 2 2 0 1 12 2
21
22
x u ... x u
k k1 k k2 k
...
1 2
y
n 0Leabharlann 1.......... x1n x2n ...
2
x u
kn
n

y 1 1 y 1 2 ... ... 1 yn Y XB U
1 1 X 1
x x x
11
12
1n
... 22 k2 .... x2n ... xkn
x x
21
...
x x
k1
1 1 ...... 1 ... x1n x11 x12 X x21 x22 ... x2 n ...... xk1 xk 2 ... xkn ˆ y y 0 1 ˆ1 y y ˆ ˆ ˆ 2 2 B e 1 ... ... ˆ ˆ yn yn k
2 i i
i
i
i
y y ˆi ˆ yi y i

ˆ y y
i
2
可以证明：
i
e 0; e x
i
2 i i
y y y y 0 ˆ ˆ
i i i j

0
2 2
ˆ y S总 S回 S残 ˆ y y y y y
第三节 多元线性计量模型的参数估计
2、 最 小 二 乘 估 计
ˆi Q e yi y
i 1 2 i i 1 n n


2

n
i 1

ˆ ˆ x1i ... ˆ x ki yi 0 1 k

2
ˆ Q0 0 Q0 ˆ 1 Q0 ˆ 2 ...... Q0 ˆ k
一致性（样本容量无穷大时满足无偏性和有效 性）
2018/12/10
第三节 多元线性计量模型的参数估计
（1）线性性
估计量都是被解释变量观测值的线性组合
即
1 ˆ B ( X X ) X Y
ˆ x ˆy
0 1 i i 1 2 i
y nx y x ˆ x n x
2018/12/10
第三节 多元线性计量模型的参数估计
（2）满足基本要求的样本容量
一般经验认为：
n>=30或者n>=3(k+1)才能满足模型估计的基本要 求。只有 n>=30时，u检验（标准正态）成立。 n>=3(k+1)时，t分布才稳定，检验才较为有效。 当样本容量接近最小样本容量时应引入非样本信 息。采用贝叶斯（Bayes）方法。 存在滞后变量的样本容量问题。
2018/12/10
x x x
11
12
x x x
21
22
...
1n
...
2n
... xk1 0 u1 ... xk 2 1 u 2 ... 2 ... ... ... xkn un k
ˆ y y
i
2
残差平方和
反映了除自变量外其他 因素的变化的引起被解 释变量Y的变动。
2018/12/10
第四节 多元线性计量模型的统计检验
ˆ 0 1 x y
S总
( xi , y i )
y
i
y
2
总平方和
yi ˆi y
S回 S残
ˆ y y
i i
根据高斯 马尔可夫定理，如此表 示的 方差在所有无偏估计中 最小
2018/12/10
第三节 多元线性计量模型的参数估计
（4）一致性
• 参数估计量在小样本下不完全具有无偏性和有效性， 但是随着样本容量增大，即当n趋于无穷大时，参数估 计量趋于参数真值——渐进无偏性，方差趋于所有线 性无偏估计中的最小——渐近有效性，则称该估计量 具有一致性。
第三节 多元线性计量模型的参数估计
矩阵形式表示
ˆ ˆ x ˆ x ... ˆ x ˆ y ˆ e , i 1,2,...,n yy
i 0 1 1i 2 2i k i i i
ki
y 1 ˆ1 y 1 ˆ 2 ... ... ˆ 1 yn ˆ XB ˆ Y
2018/12/10
第四节 多元线性计量模型的统计检验
一、拟合优度检验
• 检验模型对样本的拟合程度 称为拟合优度。 • 方法：构造一个表征拟合程 度的指标，根据一定准则进 行判断。
Y3F
30 20 10 0 -10 -20 -30 0 10 20 X 30 40
80 70 60
Y
• 例如左边两个问题，它们都 满足LS，但拟合程度明显不 同。
2018/12/10
第四节 多元线性计量模型的统计检验
模型统计检验的实质
• 模型统计检验不涉及模型的经济内涵；
• 旨在检验模型是否满足数学理论与方法上的要 求—统计差异显著性； • 拟合优度检验（R2）、方程显著性检验（F） 和变量显著性检验（T）通称称为模型的统计 检验； • 统计检验的结果表明模型是否能代表数据，或 者说观察到的事实是否支持模型。
当 r 0时，S回 y ˆi y 一般要求r 0.85。
2

ˆ y 0, y
2 i
此时拟合最差 可能通过检验
r
2
0 . 2 ~ 0 .3
2018/12/10
第四节 多元线性计量模型的统计检验
增加解释变量，S回至少是不减的
增加解释变量，将会使 模型的解释能力增强。 因此，增加解释变量， S回至少是不减的。 由此给人一种增加解释 变量个数，会提高模型 拟合精度的错觉。
2018/12/10
第四节 多元线性计量模型的统计检验
引入调整拟合优度的作用
í ¼ Ì Ó ½ â Ê Í ± ä Á ¿ £ ¬ Ô ò r2 Ô ö ¼ Ó ¡ £ µ ÷Õ û ¿ É ¾ ö Ï µ Ê ý R2 ¿ ¼ Â Ç Á Ë × Ô Ó É ¶ È £ ¬ Æ ä ² ¢ ² » ò µ ¼ ¥ µ Ø Ë æ × Å ½ â Ê Í ± ä Á ¿ ¸ ö Ê ý µ Ä Ô ö ¼ Ó ¶ ø Ô ö ´ ó £ ¬ µ ±± ä Á ¿ ¸ ö Ê ý Ô ö ¼ Ó µ ½ Ò » ¶ ¨³ Ì È Ê ¶ ±£ ¬ Ë ü ½ « ¿ ª Ê ¼ Ï Â ½ µ ¬ £ È ç Í ¼ Ë ù Ê ¾ ¡ £
第三节 多元线性计量模型的参数估计
1、多元线性模型的解析表达式 2、最小二乘估计
3、最小二乘估计量的性质
4、样本容量
2018/12/10
第三节 多元线性计量模型的参数估计
1、多元线性模型的解析表达式
y x x
数据： y， x1i ， x2 i ， xki
i
1 0 1 11

0
1
1
50 40 30 20 0 10 20 X 30 40
2018/12/10
第四节 多元线性计量模型的统计检验
1、总平方和=回归平方和+残差平方和
S总 S回
y y
i i
2
总平方和
反映了被解释变量偏离 平均值的总体程度，描 述了总体变动；
ˆ y y
2
回归平方和
反映了回归直线估计值 偏离平均值的程度，亦 即由解释变量 的变化引起被解释变量 Y的变动； S残
1
B
2018/12/10
第三节 多元线性计量模型的参数估计
（3）有效性
回忆：Cov( x) E ( x E ( x) ) ˆ ) E[(B ˆ E(B ˆ ))(B ˆ E(B ˆ ))]( k 1) ( k 1) Cov( B
2
( X X )
2
1
2
2

...
k
x u
k
i 1,2,...,n
21
y x x y x x
2 2 0 1 12 2
22
x u ... x u
k k1 k k2 k
...
1 2
y
n 0
1
.......... x1n x2n ...
y i y x 1 i i X Y ... y x ki i
ˆ
2

ee n k 1
2018/12/10
第三节 多元线性计量模型的参数估计
3、最小二乘估计量的性质
线性性（估计量都是被解释变量观测值的线性 组合）
无偏性（估计量的数学期望=被估计的真值） 有效性（估计量的方差是所有线性无偏估计中 最小的）
2018/12/10
x x x
11
12
x x x
21 22
... ... ... ...
...
1n
...
2n
ˆ 0 xk1 ˆ 1 xk 2 ˆ ... 2 ... xkn ˆ k
ˆ e Y Y
2
x u
kn
n

ˆ ˆ x ˆ x ... ˆ x ˆ y ˆ e , i 1,2,...,n yy
i 0 1 1i 2 2i k i i i
ki
2018/12/10
第三节 多元线性计量模型的参数估计
矩阵形式表示 y x x y x x
由这些方程201512142221121122211211201512143最小二乘估计量的性质线性性估计量都是被解释变量观测值的线性组合无偏性估计量的数学期望被估计的真值有效性估计量的方差是所有线性无偏估计中最小的一致性样本容量无穷大时满足无偏性和有效201512141线性性估计量都是被解释变量观测值的线性组合201512143有效性最小方差在所有无偏估计中马尔可夫定理如此表根据高斯回忆
2
回归平方和
ˆ ˆx ˆi y 0 1 i
ˆ y y
2
残差平方和
S总、S回、S残有何联系？
2018/12/10
第四节 多元线性计量模型的统计检验
1、总平方和=回归平方和+残差平方和
S总
y y y y ˆ y ˆ y
2 i
2

ˆ 2 y y
2018/12/10
第四节 多元线性计量模型的统计检验
2、调整的拟合优度--R2
• 用残差平方和与总平方和各自的自由度进行调 整。以防止企图通过增加解释变量个数来提高 拟合优度的错误倾向。
S残 2 2 n k 1 1 sr 1 2 R S总 sT n 1 S残 n 1 n 1 2 2 R 1 S总 n k 1 1 (1 r ) n k 1
i i
2018/12/10
第四节 多元线性计量模型的统计检验
拟合优度r2
• 解释变量引起的变动占总变动的百分比
• 取值在0～1之间，越大拟合越好
ˆi yi y S回 S残 1 1 S总 S总 yi y
2 i
r
2


2 2
当 r 1时， y
2
ˆ y
i
样本回归超平面通过所 有观测点