第三章 多元线性回归模型(本科生计量经济学)

R 1
与可决系数的关系：
2
RSS /(n k 1) TSS /(n 1)
2

(1 R )
2
n 1 n k 1
(1 R )
R2 R2
20
可决系数与调整可决系数的用途
要比较两个模型的拟合程度 ，当待估计 的参数个数相同时，可决系数较大、调 整的可决系数较大的模型拟合效果好； 当待估计的参数个数不相同时，可决系 数较大并不一定意味着模型拟合得更好； 调整的可决系数较大的模型拟合效果才 更好。
总离差平方和的分解 记 TSS yi2 (Yi Y )2
ˆ Y )2 ˆ i2 (Y ESS y i ˆ )2 RSS ei2 (Yi Y i
TSS的自由度：n-1 RSS的自由度：n-k-1
ESS的自由度：k
17
总离差平方和仍然可以分解：
35
二、多元线性回归模型中，参数的解释。
1、多元线性模型：
Yi 0 1 X1i 2 X 2i ... k X ki ui
E[Yi | ( X1i , X 2i ,..., X ki ] 0 1 X1i 2 X 2i ... k X ki
参数的意义：其他解释变量一定的 条件下，解释变量变化一个单位， 对被解释变量均值的影响。
9
多元线性回归模型经典假定下的一些推论：
1、在线性回归模型的经典假定下，随机扰动项独立同 服从正态分布，即
ui ~ N (0, )
2
i .i .d
2、Y ~ N (
iHale Waihona Puke Baidu
2 X ... X , ) 0 1 1i k ki
且被解释变量之间也独立。
10
经典假定之下，多元线性回归模型随 机扰动项方差的最小二乘估计为：
参数估计量的样本标准差
s^
j
^
2
k
i
2 ji
15
多元线性回归模型的参数的区间估计
Tj
j j
S^
j
^
~ t (n k 1)
β j置信区间：
( j t S ^ , j t S ^ )
2
^
^
j
2
j
16
3.2
多元线性回归模型的统计检验 总离差平方和（Total Sum of Squares） 回归平方和（Explained Sum of Squares） 残差平方和（Residual Sum of Squares ）
2
k (1 R )
2
１、Ｆ与可决系数同方向变化。 ２、Ｆ＝０与可决系数为０等价。
26
多元线性回归模型变量的显著性检验：
多元回归模型中，检验第j个解释变量Xj对被解 释变量是否有影响时检验的原假设与备择假设： H0：j=0 H1：j0
^
检验统计量：
Tj
j j
S^
j
~ t (n k 1)
29
2、满足基本要求的样本容量
• 从统计检验的角度： n-k8时或n 30时, t分布较为稳定 。
• 一般经验认为:
当n30或者至少n3(k+1)时，样本容量合适
30
§3.3
多元线性回归模型的预测
• 得到多元线性样本回归函数
ˆ ˆ X ... ˆ X ˆ Y i 0 1 1i k ki
nk 1
2 ei2
^
11
在上述假设之下：多元线性回归模型的普 通最小二乘估计具有如下性质：
1、无偏性
2、有效性（最小方差性）：在所有线性 无偏估计中，最小二乘估计具有最小方 差。（证明略） 3、一致性
12
结论:多元线性回归模型普通最小 二乘估计的高斯-马尔可夫定理
• 在满足基本经典假设的情况下，多元线 性模型参数的普通最小二乘估计仍具有 线性性、无偏性、有效性、一致性。
TSS=ESS+RSS 可决系数：
ESS RSS R 1 TSS TSS
2
意义：同一元线性回归模型的可决系数。
18
可决系数的缺陷：可决系数是解释变量个数的不减函数。
多元线性回归模型的可决系数的 调整：调整的可决系数。
19
• 调整的可决系数（adjusted coefficient of determination）
参数的意义：其他解释变量一定的 条件下，解释变量变化一个百分点， 被解释变量均值变动的百分点是多 少，参数反映的是弹性。
37
§3.5 受约束回归 Restricted Regression
3
^ ^ ^ (Yi 0 1 X 1i ... k X ki ) 0 ^ ^ ^ (Yi 0 1 X 1i ... k X ki ) X 1i 0 ... ^ ^ ^ (Y X ... X ) X 0 k ki ki i 0 1 1i
第三章
经典单方程计量经济学模型： 多元线性回归模型 Multiple Linear Regression Model
1
3.1、多元线性回归模型与参数估计
Y 0 1 X1 2 X 2 ... k X k u
多元线性回归函数
E[Y | ( X1, X 2 ,..., X k )] 0 1 X1 2 X 2 ... k X k
L) ln(n ) SC 2ln( n n (k 1)
注意：AIC、SC越小,模型拟合的越好。
22
多元线性回归模型的显著性检验：对 方程的显著性检验
方程的显著性检验，检验系统性因素（由解释变 量构成的整体）对被解释变量之间是否有显著影 响作出推断。
对方程是否显著的检验：联合检验
H 0 : 1 0, 2 0,, k 0
H1 : j ( j 1,2,, k )不全为 0
23
• 方程显著性检验的想法：
TSS=ESS+RSS 考虑如下比值：
ESS RSS yi 2 e i
^ 2
检验原理：如果这个比值较大，方程具有显著性。
否则，方程没有显著性。
24
统计量
ESS / k F ~ F (k , n k 1) RSS /(n k 1)
二元线性回归模型
33
需求函数模型
1 Q
ab 1 p u
Y a bX u
一元线性回归模型
34
方法2、取对数变换法
例如，Cobb-Dauglas生产函数：幂函数 Q = AKLeu Q：产出量，K：投入的资本；L：投入的劳动 方程两边取对数： ln Q = ln A + ln K + ln L+u 二元线性回归模型
36
2、双对数模型：解释变量、被解释变量均取对数。
ln Yi 0 1 ln(X1i ) 2 ln(X 2i ) ... k ln(X ki ) ui
E[lnYi | (ln X1i , ln X 2i ,...,ln X ki )] 0 1 ln X1i 2 ln X 2i ... k ln X ki
^ 0 0 Q 0 ^ 1 ... Q 0 ^ k
Q
正 规 方 程 组
^ ^ ^ (Yi 0 1 X 1i ... k X ki ) 0 ^ ^ ^ (Yi 0 1 X 1i ... k X ki ) X 1i 0 ... ^ ^ ^ (Y X ... X ) X 0 k ki ki i 0 1 1i
2
多元线性回归模型的参数估计
( X1i , X 2i ,..., X ki , Yi ),i 1,2,3,...,n
n ^ ^ ^ i 1
ˆ )2 Q ei2 (Yi Y i
i 1 i 1
n
n
Min[Yi ( 0 1 X 1i ... k X ki )]2
13
多元线性回归模型参数估计的分布 在上述关于多元线性回归模型的假设之下：
j ~ N ( j ,
( n k 1)
^ 2
^
2
k
i
2
2 ji
)( j 0,1,...,k )

2
~ (n k 1)
14
多元线性回归模型参数估计的方差
var( j ）
^
2
k
i
2 ji
残差： ei Yi Yi Yi 0 1 X 1i ... k X ki
^ ^ ^ ^
^
^
^
^
多元线性样本回归模型:
Yi 0 1 X 1i ... k X ki ei
^
^
^
6
正规方程组：普通最小二乘估计残差的性质
^ ^ ^ (Yi 0 1 X 1i ... k X ki ) 0 ^ ^ ^ (Yi 0 1 X 1i ... k X ki ) X 1i 0 ... ^ ^ ^ (Y X ... X ) X 0 k ki ki i 0 1 1i
e 0 e X 0
i i 1i
...
e X
i
ki
0
Y Y

^
ei Yi 0
^
e
i
yi 0
7
^
多元线性回归模型最小二乘 估计量的性质
8
对多元线性回归模型的经典假设：
多元模型的设定是正确的， k个它们之间不相关（即 无多重共线性） 随机扰动项期望为0，方差相同, 随机扰动项之间不相关;服从正 态分布。 解释变量与随机扰动项之 间不相关（相关系数为0）
若H0成立，则F应该比较小；反之，若F比较大， 则拒绝原假设。 给定显著性水平，可得到临界值F(k,n-k-1)， 由样本求出统计量F的数值，若F F(k,n-k-1)，则 拒绝原假设H0，方程总体上显著成立；否则，若
F<=F(k,n-k-1)则没有理由表明方程显著成立。
25
可决系数与方程显著性检验F统计量的关系
R 1
2
RSS /(n k 1) TSS /(n 1)
R2
ESS RSS 1 TSS TSS
1 R 1 nkn 1 kF
2
ESS / k F RSS /(n k 1)
F
R /k (1 R 2 ) /( n k 1)
2
1
( n 1) R
若|Tj| t/2 (n-k-1)，则拒绝原假设H0，即第 j个解释变量对被解释变量有显著的影响。
27
问题：一元线性回归模型的 方程的显著性检验是什么？
28
样本容量问题
1、最小样本容量 • 所谓“最小样本容量”，为了得到唯一 的普通最小二乘估计，所需要的最小样本 容量。
• 样本最小容量必须不少于模型中待估参数的 个数,即 n k+1
普通最小二乘估计是线性估计。
j k jiYi ( j 0,1,2,...,k )
i
4
^
多元线性回归模型参数估计与参数 的关系（证明略）:
j j k jiui ( j 0,1,2,...,k )
i
^
5
多元样本回归函数（模型的拟合值）
Yi 0 1 X 1i ... k X ki
现在给定解释变量的值X10， X20 … Xk0 ，对被 解释变量进行预测？
ˆ ˆ X ... ˆ X ˆ 显然： Y 0 0 1 10 k k0
预测的注意与一元线性回归模型的相同。
31
§3.4
可化为多元线性的多元非线性 回归模型
32
一、将一个模型转化为线性回归模型
方法1、直接置换法(如倒数模型、多项式模型） 例如，描述税收与税率关系的拉弗曲线：抛物线 s = a + b r + c r2 +u c<0 s：税收； r：税率 设X1 = r，X2 = r2， 则原方程变换为 s = a + b X1 + c X2 +u c<0
21
*、赤池信息准则和施瓦茨准则
为了比较所含解释变量个数不同的多元回归模型的 拟合优度，常用的标准还有: 赤池信息准则（Akaike information criterion, AIC）
AIC
2 ln( L) n

2( k 1) n
L:
似然函数值，k为解释变量个数，n为样本容量。
施瓦茨准则（Schwarz criterion，SC）