第4章 多元回归：估计与假设检验

• F与 R 之间的重要关系 可以证明，判定系数 R 2 与F值之间有如下重要关系：
2
其中，n为观察值的个数，k为包括截距在内的解释变量的个数。 • 因此，可以说，前面讨论过的F检验也可用于检验 的显著性。鉴于 此，对于总体回归方程的显著性的F检验可以采用 R 2的形式。方差分 析表也可以等价地表示为下表： R2
• 偏回归系数 三变量线性回归模型中的斜率系数 B2,B3 称为偏回 归系数(Partial regression coefficient)或偏斜率系数(partial slope coefficient)。 其表示的意义为 B2度量了在 X3 保持不变的情况下 单位X2变动引起Y均值的改变量； 同样，B3度量了在X2保持不变的情况下,单位X3变动 引起Y均值的改变量。
b1 Y b2 X 2 b3 X 3
b2
2 ( yt x2 t )( x3 t ) ( yt x3t )( x2 t x3t ) 2 2 2 ( x2 )( x ) ( x x ) 3t 2 t 3t t
b3
2 ( yt x3t )( x2 t ) ( yt x2 t )( x2 t x3t ) 2 2 2 ( x2 )( x ) ( x x ) 3t 2 t 3t t
F ～ F (k 1, n k ) F ～ F (2, n 3)
• F检验的理论原理是：如果Y由回归解释的部分（即由X2和 X3解释的部分）比未被回归解释的部分大，则F值将大于1 。因此，随着解释变量对应变量Y变异的解释比例逐渐增大 ，F值也将逐渐增大。因此，F值越大，则拒绝零假设的理 由越充分。 • 例如：古董钟拍卖价格一例（见课本第77页） 回归结果如下： 从结果来看，获得F值的概率几乎为0，所以，能够拒绝零 假设：钟表年代和竞标人数联合对古董竞标价格没有影响 。
ut
～
N (0, 2 )
二、三变量线性回归模型的OLS估计量
1.三变量线性回归模型的OLS估计量
设某三变量线性回归模型，其随机样本回归函数为：
其中，b1 、b2、b3 分别是 B1、B2、B3的估计量 et 为残差。确定样本回归函数为：
ˆ b b X b X Y t 1 2 2t 3 3t
se(b1 )
var(b1 )
2 2 2 ( x2 t )( x3t ) ( x2 t x3t )
var(b2 )
se(b2 )
x
2 3t
2
var(b2 )
2 2 2 ( x2 t )( x3t ) ( x2 t x3t )
var(b3 )
se(b3 )
例如：
E(Yt ) 15 1.2 X 2t 0.8 X 3t
多元回归模型
包含多个解释变量的回归模型称为多元回归模型。 多元是指由多种因素对应变量有影响。本章将以三变 量线性回归模型为例来讲解多元回归模型。一旦掌握 了三变量模型，就很容易将结论扩展到更多元的线性 回归模型。 多元线性回归模型的若干假定 (1)回归模型是参数线性的 (2)回归模型是正确设定的。 (3)解释变量与随机误差项不相关。 (4)随机误差项均值为零
2.校正的判定系数 R 2 R 校正的判定系数的提出是因为普通的判定系数 会随着 解释变量的个数的增加而变大，比如钟表拍卖价格一例。 2 R 这是因为，在 的定义中，并没有考虑到不同模型自由度 的差异。
正是基于以上不足，计量经济学者们提出了能根据模型中 解释变量的个数进行调整的，经过调整的判定系数，称为 校正判定系数 R 。其计算公式为：
P =
(0.0000)
(0.00000)
(0.00000) R2=0.89 F=118.06
• 注意，在两个双变量模型中，解释变量的影响包括了该解释变量的直 接影响和其他变量的间接影响；而在三变量模型中，当推导一个解释 变量对应变量的影响时，则是假设另外一个解释变量保持不变，这是 一种净影响或净效果。 • 除了以上的一点外，从以上三个回归方程式可以知道，钟表年代和竞 标人数无论是单独地，还是联合地都对拍卖价格有重要影响。因此， 如果从模型式中省略任何一个变量，都会导致设定偏差，或设定误差 。 经验告诉我们，建模过程中，要以经济理论为依据，并充分利用以 往的工作经验，一旦建立起模型，就不要随意地从模型中删除某个解 释变量。 2
1 2 3
H0 : B1 0; H1 : B1 0.
进行假设检验的检验统计量为： t
b1 B1 se(b1 )
t n 3
～
B3 的原假设和备择假设分别为： 针对 B2 ，
H 0 : B2 0; H1 : B2 0. 及 H0 : B3 0; H1 : B3 0.
检验统计量分别为：
Yt b1 b2 X 2t b3 X 3t et
根据OLS的原理，求解 b1 、b2 、b3 的方法是选择 b1、 b3 使得下式中的RSS最小化，即：
b1、b2、b3
b2、
min RSS: e (Yt b1 b2 X 2t b3 X 3t )
2 t
2
RSS（Yt真实值与估计值之差的平方和）
如何检验呢？可以采用方差分析的公式：
TSS ESS RSS
• 对于TSS、RSS、ESS来说，其自由度分别为：
平方和
TSS RSS ESS
自由度
n-1 n-k(k为待估参数个数) k-1
对于三变量线性回归模型来说，有下表
平方和
TSS RSS ESS
自由度
n-1 n-3(k为待估参数个数) 2
R 2 /(k 1) F (1 R 2 ) /(n k )
五、多元回归的其他问题
1.设定误差的定义
以钟表拍卖为例，可以设立拍卖价格和钟表年代的一元线性回归模型 ，拍卖价格和竞标人数的一元线性回归模型，拍卖价格和钟表年代、 竞标人数的三变量线性回归模型。其回归结果如下：
ˆ 191.6662 10.4856 X Y i 2i
• 在满足CLRM基本假定，在零假设：H0 : B2 可以证明变量
F ESS / d . f . ESS /( k 1) RSS / d . f . RSS /( n k )
由X 2 和X 3 解释的变异 未解释的变异
B3 0 下
服从分子自由度为k-1，分母自由度为n-k的F分布，即： 对于三变量线性回归模型来说，则有：
x
2 2t
2
var(b3 )
• 对于以上诸式中的未知量 2，可用其OLS估计量来代替，即 ：
ˆ2
e
2 t
n3
3.高斯-马尔柯夫定理 在满足古典线性回归模型假设的前提下，多元线性回 归模型中参数的估计量依然是总体回归模型参数的最优线 性无偏估计量（BLUE）。
三、多元回归拟合优度的判定：多元判定系 数
对于多元线性回归模型来说，也有如下等式的成 立：
TSS ESS RSS
2
其中， TSS 为应变量Ｙ的总平方和；ESS 为回归平方和 RSS 为残差平方和。
与双变量模型相同，决定系数 R 定义为：
ESS R TSS
2
四、多元回归的假设检验
在随机误差项服从正态分布以及多元回归的其他基本假定 的情况下，可以证明 b1、 b2、 b3 均服从均值分别为 B1、B2 Var (b ) Var (b ) 的正态分布。 和 B3，方差分别为Var (b ) 、 、 1.回归系数的显著性检验。针对 B1 的原假设和备择假设为：
• 对比参数的置信区间和零假设值，如果置信区间包含零假 设值，则不能拒绝零假设，否则，拒绝零假设。 2.检验联合假设： H0 : B2 B3 0或R2 0 对于一个多元线性回归模型来说，一个或多个解释变量 各自对应变量没有影响，但却有可能联合对应变量有影响 。所以有必要对这些变量的系数作联合的假设检验，即检 验假设： H 0 : B2 B3 0 H0 : R2 0 或 以上检验称为多元回归的总体显著性检验。
2
R 2 1 (1 R 2 )
校正的判定系数有如下性质： (1)如果 k 1 ，则 R 2 R 2。随着模型中解释变量个数的增加 ，校正判定系数越来越小于未校正判定系数。 (2)虽然未校正判定系数总为正，但校正判定系数可能为负 。 3.什么时候增加新的解释变量？
E (Yt ) B 1 B 2 X 2t B 3 X 3t
• 随机形式：
Yt B1 B2 X 2t B3 X 3t ut E (Yt ) ut
其中，Y为应变量；X1,X2为解释变量；u为随机误差项；t表 示第t期观察值。B1是截距，表示当X1,X2为零时Y的平均值 。B2、B3称为偏回归系数。 三变量线性回归模型的PRF也是给出了在给定解释变量的情 况下，相应的Y总体的条件均值。
t = (-0.7248) (5.8457) r2=0.5325 F=34.17
ˆ 807.95 54.57 X Y i 3i
t = (3.496) (2.345) r2=0.1549 F=5.502
ˆ 1336.049 12.741 X 85.764 X Y i 2i 3i
t ( 7.6226) (13.9653) (9.7437)
se(bi )
～ 1 的置信区间： 所以可以得到一个该参数的置信度为
满足：
(bi t / 2 (n 3) se(bi ), bi t / 2 (n 3) se(bi ))
P(bi t / 2 (n 3) se(bi ) Bi bi t / 2 (n 3) se(bi )) 1
(5)不同随机误差项的方差相同，即：
(6)不同随机误差项之间不相关，或者无自相关，即：
var(ut ) 2
cov(ui , u j ) 0, i j
(7)解释变量 X2和X3之间不存在完全共线性，即两个解释 变量之间无严格的线性关系。 • 如果变量 X2能表示为另一变量 X3的线性函数，则称 X2 和X3之间是共线性的。在X2和X3存在共线性的情况下,不 能通过一个样本估计出B2和B3的参数值。 注意：虽然在实际中很少遇到完全共线性的情况，但是 高度共线性或近似共线性的情况还是很常见的。 2 (8)随机误差项服从均值为零，方差为 的正态分布，即 ：
第四章 多元回归：估计与假设检验
本章要点
1.三变量线性回归模型 2.多元线性回归模型的若干假定 2.三变量线性回归模型的OLS估计量以及OLS估计量 的方差与标准误 3.多元回归的拟合优度：多元判定系数R^2 4.多元回归的假设检验 5.其他问题
一、三变量线性回归模型及古典模型的 假定
• 三变量线性回归模型的非随机总体回归函数（PRF）一般可 以表示为：
求解该最小化问题后得到如下正规方程式：
Y b 1 b 2 X2 b 3 X3
2 Y X b X b X X b X t 3t 1 3t 2 2t 3t 3 3t
YX
2t
2 b 1 X 2t b 2 X 2t b 3 X 2t X 3t
将以上三个正规方程做简单代数变换，得到：
yt Yt Y ） 其中，小写字母表示与其样本均值的离差，（例如：
2.三变量模型OLS估计量的方差与标准误
根据三变量线性回归模型OLS估计量的推导式可以知道， b1 、b2 、 b3 估计量的方差与标准误为：
2 2 2 2 1 X 2 x3t x3 x2t 2 X 2 X 3 x2 t x3t 2 var(b1 ) [ ] n x22t x32t ( x2t x3t )2
t
b2 B2 se(b2 )
tn 3
～
t
Βιβλιοθήκη Baidu
b3 B3 se(b3 )
t n 3
～
• 显著性检验法 1.对于假设 H0 : Bi 0; H1 : Bi 0, i 1, 2,3 2.计算t值 3.根据显著性水平 计算临界值并得到拒绝域 4.比较t值和拒绝域并作出判断 • 置信区间法 由于多元线性回归模型截距和系数的检验统计量为t统计 量，即： t bi Bi tn 3