多元回归分析：推断问题

(n k) ESS n k ESS / TSS (k 1) TSS ESS k 1 1 (ESS / TSS )
nk k 1
R2
1
R
2
Βιβλιοθήκη Baidu
R2 k 1 1 R2 n k
其中R2 ESS TSS ，R2和F的关系：
R2 0 F 0
R2越大 F值也越大
R2 =1 F值变为无穷大
H0 : 2 3 0
由于这一原假设是同时约束为零，故也称为联合原假设， 由于联合原假设是对所有斜率系数约束为零，因此这一 原假设是对模型的线性设定是否正确的检验，故称其为 总体显著性检验。
6
对应的备选假设可以是任一i不为0，或同时部分或全体不
为零，所以单个的显著性检验不能替代联合的原假设,
换言之，我们分别检验2 0或3 0，不能取代检验联合 假设2 3 0(同时为0)。理解这一问题的要点在于，对 于2和3，对于所选定的显著性水平，其置信水平为 1 置信区间分别为：
单个系数的检验：t检验
t
ˆ2 0 se(ˆ2 )
~
t(n
k), k
3
k：约束条件的个数，或待估参数的个数，或解释
变量的个数（注意截距项变量为1）
5
检验样本回归的总体显著性
1.多变量模型的方差分解和联合假设检验 总体回归的显著性是指所有斜率系数的显 著性即模型中的所有解释变量对于应变量具 有显著解释能力，即拒绝下述原假设：
选定显著性水平，若F值 F (k 1, n k)，则拒绝原假设。
若F值 F (k 1, n k)，则不能拒绝原假设。或者直接用
F检验统计量对应的p值，p ，则拒绝原假设。
暨南大学经济学院统计系 陈文静
10
R2和F的关系式：
F ESS / df ESS / (k 1) (n k )ESS RSS / df RSS / (n k ) (k 1)RSS
其中k为变量个数或待估参数的个数, n为样本长度。
显然，当计算的F
值大于对应的临界值，拒绝H
，隐含了
0
模型关于参数的线性设定是适当的，反之则不能拒绝H
，
0
其意义为模型关于参数的线性设定不合适。由于原假设
的参数同时为零，故在拒绝原假设时，并不排除个别参数
为零，且联合原假设暨不南大能学经济等学院同统计于系 个陈文别静 参数的显著性检验9。
H1：非全部斜率系数同时为零
计算：F R2 / (k 1) 1 R2 / (n k)
选定显著性水平，若F值 F (k 1, n k)，则拒绝原假设。
若F值 F (k 1, n k)，则不能拒绝原假设。或者直接用
F检验统计量对应的p值，p ，则拒绝原假设。
暨南大学经济学院统计系 陈文静
若t t，则拒绝原假设，否则不能拒绝原假设。
其它任何参数之间的线性等式之间的约束可按这一方法进行检验。
显然，这一检验方法，是在无约束估计之后进行的。而与之对应
的是，直接将线性约束或原假设代入模型之中，再进行估计，称
为受约束的最小二乘估计（RLS）。
暨南大学经济学院统计系 陈文静
22
F检验法：受约束的最小二乘法
检验系数之间的线性约束。
如对于C－D生产函数的对数型
ln Yi 0 2 ln X 2i 3 ln X3i ui
需检验规模报酬不变的假设：
H0 : 2 3 1
这是是模型参数之间的一种线性关系，检验这一类假设即
为检验线性等式约束。更为一般的，下述方法可用于检验
模型的任意个参数之暨间南大的学经线济学性院统等计系 式陈文约静 束。
1、早期皮肌炎患者，还往往 伴有全身不适症状，如-全身肌 肉酸痛，软弱无力，上楼梯时感 觉两腿费力；举手梳理头发时， 举高手臂很吃力；抬头转头缓慢 而费力。
受约束的最小二乘法：检验线性等式约束条件
上述是检验系数是否相等，这一原假设看作模型参数
之间的约束，可以用上述t统计量来检验这种约束，
更为一般的，出于经济学理论或实证研究的目的，需
相等，或其它线性或非线性关系，称为约束 条件； 4 检验所估计的模型在时间或不同的横截面 上是否具有稳定性； 5 检验回归模型的函数形式；
4
单个偏回归系数的检验
对于模型：Yi 1 2 X 2i 3 X 3i ui 在ui ~ i.i.d.N (0, 2 )之下，检验：
H0：2 0或3 0 H1：2 0或3 0
因此，F检验既是所估回归的总显著性的一个度量，
也是R2的一个显著性检验。
暨南大学经济学院统计系 陈文静
11
检验一个用R2表示的多元回归模型的总显著性：F检验 一般地, 对于多变量（大于3）模型，即
Yi 1 2 X 2i 3 X 3i k X k ui 检验原假设：H0 : 2 k 0
16
何时增加一个新变量
如新增变量的系数的t值在绝对值大1，R 2就会增加。 因此，使用增量贡献的准则为：如果增加一个变量 使R 2变大，即使RSS不显著地减少，这个变量从边 际贡献来看，是值得增加的。这一准则又可表示为： 仅当一个新增解释变量的F（=t 2）值大于1时，它的 增加才导致R 2的增加。
yi2 (ˆ2 yi x2i ˆ3 yi x3i ) uˆi2
TSS
ESS
RSS
由于对于已抽取的样本，
x
2 ji
,
j
2, 3已知，所以ESS仅为ˆ2和ˆ3
的函数，故自由度为2，而RSS的自由度为n 3, TSS则为n 1.
这样总离差就分解为
表8.2. 三变量回归的ANOVA表
变异来源
t
ˆ2 2 se(ˆ2 )
t
ˆ3 3 se( ˆ3 )
不同在于这里的自由度为n 3,其中3为待估参数个数.
暨南大学经济学院统计系 陈文静
3
多元回归中的假设检验：总评
1 个别偏回归系数的假设检验； 2 模型的总体显著性检验，即所有偏回归系
数的显著性检验； 3 检验某2或多个系数之间的关系，如是否
为正态假设之下，有：
t
(ˆ3
ˆ4 ) (3 se(ˆ3 ˆ4 )
4 )
ˆ3 ˆ4
~ t(n k)
var(ˆ3 ) var(ˆ4 ) 2 cov(ˆ3, ˆ4 )
若t t，则拒绝原假暨南设大学， 经济学否院统则计系不陈文能 静 拒绝原假设。 19
皮肌炎图片——皮肌炎的症状表现
皮肌炎是一种引起皮肤、肌肉、 心、肺、肾等多脏器严重损害的， 全身性疾病，而且不少患者同时 伴有恶性肿瘤。它的1症状表现 如下：
得出： ln Yi 0 (1 3) ln X 2i 3 ln X3i ui
0 ln X 2i 3 ln X3i ln X 2i ui ln Yi ln X 2i 0 3 ln X3i ln X 2i ui
ln(Yi / X 2i ) 0 3 ln( X3i / X 2i ) ui 受约束模型（2）
2
在总体扰动项的正态性假定之下，偏回归系数的OLS估计
量仍是BLUE，且等同于ML，进一步，偏回归系数也为正
态分布，由此，可类似二变量模型构造显著性检验统计量
（如t统计量）进行假设检验等，总之，假设检验和推断问
题与2元模型完全相同。如对于变量的显著性检验，与前述
二元变量模型一样，t检验为：
t
ˆ1 1 se(ˆ1)
先做Y 对X 2进行回归，并评估系数的显著性(t检验)
和总体显著性（F检验）。然后再把X
加到这个模
3
型中来，以判断X 3的加入是否显著地增加了ESS，从
而显著地增加拟合优度R2。若确实有所增加，则这一
贡献称为解释变量X
的增量或边际贡献。
3
在实际应用中，研究者不愿意在模型中放进那些对ESS
贡献很少的变量，也不愿意排除一些能实质上增加ESS
由于原假设为线性等式（H0 : 2 3 1），故将这种参数的线性
关系可直接代入模型中，而代入后的模型关于参数仍是线性的，
所以可用OLS，约束代入后的模型体现了参数之间的约束，故称 为RLS（相对于无约束的OLS）。 将原假设下的约束条件代入：
ln Yi 0 2 ln X 2i 3 ln X3i ui 无约束模型（1）
21
t检验法：首先实现无约束的回归，得到估计量，也即估计：
ln Yi 0 2 ln X 2i 3 ln X3i ui
得出ˆ2和ˆ3，然后由t检验的思想，可构造（在原假设和正态独
立假定下）的t统计量（H0 : 2 3 1）：
t
(ˆ2
ˆ3) (2 se(ˆ2 ˆ3)
3)
(ˆ2 ˆ3) 1 var(ˆ2 ) var(ˆ3) 2 cov(ˆ2, ˆ3)
第8章 多元回归分析：推断问题
暨南大学经济学院统计学系 陈文静
暨南大学经济学院统计系 陈文静
1
关于正态假定
对于回归模型：Yi 1 2 X 2i 3 X3i ui
如研究目的仅是估计模型的参数，则不需要对扰动作独 立正态性假定，因为OLS所产生的估计量为BLUE，但一 般而言，实证研究不仅要要对模型估计，也要进行假设检 验和推断，故需对扰动的分布作出假定，由于中心极限定 理, 对扰动假设为独立正态分布。
明显提高了
3
ESS，从而提高了R2，因此模型中应该加入X
。否则就不
3
加入X
。
3
F
(R新2 R旧2 ) /自由度 (1 R旧2 ) /自由度
(R新2 R旧2 ) / m(新加入的回归元的个数) (1 R旧2 ) / k(n 新模型中的待估参数的个数)
~
F (m, k)
暨南大学经济学院统计系 陈文静
的变量。可以通过方差分析来进行考察。
暨南大学经济学院统计系 陈文静
14
暨南大学经济学院统计系 陈文静
15
F Q2 / df Q4 / df
(ESS新 RSS新
ESS旧) / m(新加入的回归元的个数) / k(n 新模型中的待估参数的个数)
~
F (m,
k)
若F显著，则表明模型中新加入的解释变量X
12
一个解释变量的“增量”或“边际” 贡献
如果模型逐次增加一个变量, 由于增加一个 新的变量，ESS相对于RSS的增加，称为这个 变量的“增量贡献”或“边际贡献”。即模 型增加一个变量，是否相对于RSS而显著地
增加了ESS，从而显著增加R2 。问题：如何
度量这种相对增加
13
考察X
的增量贡献：
3
F (ˆ2 yi x2i ˆ3 yi x3i ) / 2 ESS / df ~ F (2, n 3)
uˆi2 / (n 3)
RSS / df
实现总体显著性(即原假设2 3 0)的F检验的统计量为
F ESS / df ESS / (k 1) ~ F (k 1, n k) RSS / df RSS / (n k)
检验多元回归模型的总显著性：F检验 一般地, 对于多变量（大于3）模型，即
Yi 1 2 X 2i 3 X3i k X k ui 检验原假设：H0 : 2 k 0
H1：非全部斜率系数同时为零 计算：F ESS / df ESS / (k 1)
RSS / df RSS / (n k)
的概率为(1 )(1 ),因为ˆ2和ˆ3 (cov(ˆ2 , ˆ3 ) 0)是不独立的，
这种不独立性意味着检验联合假设2 3 0，任一单个假设
(如3 0)都受到其它假暨设南大(学如经济学2 院统0计)系所陈含文静信息的影响。
7
如何检验这种联合假设, 为此我们首先进行方差分解。
上一章已证明：
SS
df
来自回归（ESS）ˆ2 yi x2i ˆ3 yi x3i 2
来自残差（RSS） uˆi2
总变异 （TSS）
yi2
n-3 n-1
MSS ESS/2
uˆi2 / n 3 ˆ 2
暨南大学经济学院统计系 陈文静
8
可证明,以下所构造的统计量在ui的独立正态假定和在
原假设H0 : 2 3 0下服从F分布。即：
17
何时增加一组变量
如果一组变量的加入（或删除）给出一个 大（小）于1的F 值，R 2将会增加（减少）， 这时可以加入（删除）这组变量。
18
检验某两个或若干个系数是否相等
对于下述模型：
Yi 1 2 X 2i 3 X 3i
若要检验：
k X k ui
H0 : 3 4或3 4 0 H A : 3 4或3 4 0 按检验显著性即检验 0的思想，在原假设和扰动
Pr ˆ2 t /2se(ˆ2 ) 2 ˆ2 t /2se(ˆ2 ) 1
Pr ˆ3 t /2se(ˆ3 ) 3 ˆ3 t /2se(ˆ3 ) 1
这一陈述对于单个的2和3是正确的，但不能据此推断2和3
同时落入以下的区间:
ˆ2 t /2se(ˆ2 ), ˆ3 t /2se(ˆ3 )