计量经济学)多元线性回归模型的统计检验
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 在多元回归模型中，也可以用该统计量来衡量 样本回归线对样本观测值的拟合程度。
总离差平方和、回归平方和及残差平方和
• 定义 T ( Y S i Y ) 2 S E ( Y ˆ i S Y ) 2 S R ( Y i S Y ˆ i ) 2 S
TSS为总离差平方和（Total Sum of Squares），反映被解释变 量样本观测值总体离差的大小；
所以，可以用回归平方和占总离差平方和的比重来衡量样本回 归线对样本观测值的拟合程度。也即用
R2
ESS (Yˆi TSS (Yi
Y)2 Y)2
yˆi2 yi2
1
ei2 yi2
检验模型的拟合优度。
R2叫做多重可决系数，也简称为可决系数或判定系数。
毫无疑问，R2越接近于1，模型的拟合优度越高。 但是在应用过程中人们发现，如果在模型中增加一个解释变量， 那么模型的回归平方和随之增大，从而R2也随之增大。 这就给人一个错觉：要使模型拟合得好，就必须增加解释变量。 所以，用来检验拟合优度的统计量必须能够防止这种倾向。
概率性质的反证法的根据是小概率事件原理。该原理认 为“小概率事件在一次试验中几乎是不可能发生的”。
具体思路是这样：在原假设 H0 下构造一个事件（该事件就 是拒绝域），这个事件在“原假设 H0 正确”的条件下是一个
小概率事件（其发生概率为 ）。随机抽取一组容量为 n 的
样本观测值进行该事件的试验，如果该事件发生了，说明“原 假设 H0 正确”是错误的，因为不应该出现的小概率事件出 现了，因而应该拒绝原假设 H0。反之，如果该小概率事件没 有出现，就没有理由拒绝原假设 H0，应该接受原假设 H0。
~F(k,nk1)
F
ESS
2
k
RSS
2
n k 1
ESS/k RSS（ / nk
1）(Yi(YYˆˆii)2Y/()n2/kk1)
~F(k,nk1)
直观上看，回归平方和ESS是解释变量整体对被解释变量Y的 线性作用的结果，如果ESS/RSS的比值较大，则解释变量整体对 Y的解释程度高，可以认为总体存在线性关系；反之，总体可能 不存在线性关系。因此,可以通过该比值的大小对总体线性关系 进行推断。该统计量即为用于方程显著性检验的F统计量。
• 那么，TSS、ESS、RSS之间存在的如下关系：
总离差平方和 = 回归平方和 + 残差平方和 TSS = ESS + RSS
关于TSS=ESS+ RSS的证明过程（教材P73）
证明： 将TSS，即总离差平方和进行分解：
TS S(YiY)2(Y (iY ˆi)(Y ˆiY)2 )
ei2eeY YB ˆX Y
*赤池信息准则和施瓦茨准则（教材P75）
为了比较所含解释变量个数不同的多元回归模型的 拟合优度，常用的标准还有:
(1)赤池信息准则（Akaike information criterion, AIC）
AIC lnee2(k1) nn
(2)施瓦茨准则（Schwarz criterion，SC）
而在第三版教材P72例3.2.2的中国内地城镇居民人均消费支出
模型（二元回归）中，R2 =0.975634，R2 0.973893
（注意：教材P75的表述有问题！） 可见，对于中国内地城镇居民的人均消费支出，二元回归比 一元回归的效果更好。
可决系数R2 的简捷计算公式： （☆）
R2
yˆi2 yi2
n11(Yi Y)2
1ei2yi2(n(nk1)1)
1(1R2) n1 nk1
式中，（n-k-1）为残差平方和RSS的自由度，（n-1）为总离差平 方和TSS的自由度。（教材P74）
在实际应用中，R2达到多大才算模型通过了检验？ 答案是：没有绝对的标准。
模型的拟合优度并不是判断模型质量的唯一标准， 有时甚至为了追求模型的经济意义，可以牺牲一点 拟合优度。
• 假设检验的程序：先根据实际问题的要求提出一个 论断，称为统计假设，记为H0 ；然后根据样本的有 关信息，对H0的真伪进行判断，作出拒绝H0或接受 H0的决策。
假设检验的基本思想是概率性质的反证法。也就是说， 为了检验原假设H0是否正确，先假定这个假设是正确 的，看由此能推出什么结果。如果导致一个不合理的 结果，则表明“假设H0为正确”是错误的，即原假设 H0不正确，因此要拒绝原假设H0。如果没有导致一个 不合理现象的出现，则不能认为原假设H0不正确，因 此不能拒绝原假设H0 。
~
2
(k)
。参见周纪芗《回归分析》P44-47
及
P8。
并且，RSS与ESS相互独立。
所以，统计量
F
ESS
2
k
RSS
2
n k 1
ESS/k RSS（ / nk
1）(Yi(YYˆˆii)2Y/()n2/kk1)
ei2 (n y ˆi2 k k1)( eiy 2i2( n e ki2 )1 k)
如果 F ＜ F (k,n k 1) ，即小概率事件没发生，则在(1－ )水平下
不能拒绝原假设 H0，即没有显著的证据表明模型的线性关系显著 成立，模型未通过方程显著性检验。
例 在第三版教材P72例3.2.2的中国内地城镇居民人 均消费模型(二元回归)中，k=2,n=31, F=560.565。
换句话说，这里构造了一个小概率事件（“检 验统计量的样本值落入拒绝域”）。如果在一 次试验中该事件就发生了，就违背了小概率事 件原理，也就意味着导致了一个不合理的结果。
பைடு நூலகம்
显著性检验的步骤： (★)
（1）提出原假设H0和备择假设H1； （2）计算检验统计量的样本值； （3）确定临界值和拒绝域； （4）下结论：是否拒绝H0 。
如：H·钱纳里等：《发展的型式1950-1970》，P5052，经济科学出版社。
在 应 用 软 件 中 ， 可 决 系 数 R2和 调 整 后 的 可 决 系 数 R2的 计 算 是 自 动 完 成 的 。
比如，第三版教材P53例2.6.1中的中国内地城镇居民人均消费
支出模型（一元回归）中，R2 =0.971419，R2 0.970433
但是二者又是关联的：F检验和拟合优度检验都是在总变差TSS 分解为回归平方和ESS与残差平方和RSS的基础上构造统计量进 行的检验；模型对样本观测值的拟合程度高，模型总体线性关系 的显著性就强；两个检验统计量之间存在如下的数量关系：
1
ei2 yi2
其中 yi2 (Y iY)2 Y i2nY2 yˆi2(YˆiY)2 ei2(YiYˆi)2
对于一元线性回归：
e i 2 y i 2 ˆ 1 2 x i 2 y i 2 ˆ 1 y ix i
对于多元线性回归：
H 0:12 k 0H 1 :1 、 2 、 、 k 不 0全
显然，当H0成立时，即表示模型的线性关系不成立；当H1成 立时，即表示模型的线性关系成立。
（2）可以证明，当
H0
成立时，有
TSS
2
~
2
(n
1)
，
RSS
2
~
2
(n
k
1)
，
ESS
2
直观上看，拟合优度高，则解释变量对被解释变量的解释程度就 高，可以推测模型总体线性关系成立；反之，就不成立。但这只 是一个模糊的推测，不能给出一个在统计上严格的结论。这就要 求进行方程的显著性检验。
方程的显著性检验所应用的方法，是数理统计学中的假 设检验。
1.关于假设检验（教材P46）
• 假设检验是统计推断的一个主要方面，它的基本任 务是根据样本所提供的信息，对未知总体某些方面 （如参数或分布类型）的假设作出合理的判断。
§3.2 多元线性回归模型的统计检验 Statistical Test of Multiple
Linear Regression Model
说明
• 计量经济学模型是应用数理统计方法建立的一类 经济数学模型，所以在模型参数估计出来后，必 须检验其估计的可靠程度是否满足数理统计学理 论与方法上的要求。
• 计量经济学模型的统计检验主要包括:
– 拟合优度检验 – 方程的显著性检验 – 变量的显著性检验
一、拟合优度检验
(Testing the Simulation Level)
• 拟合优度检验：检验模型对样本观测值的拟合 程度。
• 在一元回归模型中，拟合优度检验是通过构造 一个可以表征拟合程度的统计量R2来实现。
所以 从而
(YY ˆ)Y (ˆY)0
i ii
(Y i Y )2 (Y i Y ˆ i)2 (Y ˆ i Y )2
TSS=RSS+ESS
注意：回归平方和反映了总离差平方和中可由样本回归线解释 的部分，它越大，残差平方和越小，样本回归线对样本观测值 的拟合程度越高。 （教材P74）
给定α =0.05,查得Ｆ0.05（2,28)=3.34。 所以,该模型的线性关系在95%的置信水平下显著 成立。
⒊ 关于拟合优度检验与方程显著性检验关系的讨论
拟合优度检验和方程总体线性的显著性检验是从不同原理出发 的两类检验：前者是从已经得到估计的模型出发，检验它对样本 观测值的拟合程度；后者是从样本观测值出发检验模型总体线性 关系的显著性。
（3）根据给定的显著性水平 ，查 F 分布表，得到临界值 F (k,n k 1) 。
F ≥ F (k,n k 1) 为原假设 H0 下的一个小概率事件。
（4）如果 F ≥ F (k,n k 1) ，即小概率事件发生了，则在(1－ )水平下
拒绝原假设 H0，即模型的线性关系显著成立，模型通过方程显著 性检验。
(YY ˆ)22(YY ˆ)Y (ˆY)(Y ˆY)2
ii
i ii
i
其中 (Y i Y ˆ i)Y ˆ i( Y ) Y ˆ i(Y i Y ˆ i) Y (Y i Y ˆ i)
(ˆ0 ˆ1 X i1 ˆ2 X i2 ˆkX i) kY i( Y ˆ i) Y (Y i Y ˆ i)
由于在样本容量一定的情况下，增加解释变量必定使得待估参数 的个数增加，从而会损失残差平方和 RSS 的自由度。于是，可以 用自由度去修正多重可决系数 R2 中的残差平方和 RSS，计算如下 的修正的可决系数 R 2：
R2
1
n
1 k
RSS 1
1
n
1 k
1(Yi
Yˆ )2
i
1 TSS n 1
ESS为回归平方和（Explained Sum of Squares），反映被解 释变量回归估计值的变差大小，也是模型中的解释变量所解释 的那部分离差的大小；
RSS为残差平方和（Residual Sum of Squares），反映被解释 变量样本观测值与估计值偏离的大小，也是模型中解释变量未 解释的那部分离差的大小。
ˆ0 (Y i Y ˆi)ˆ1 X i1(Y i Y ˆi)ˆ2 X i2(Y i Y ˆi) ˆk X ik (Y i Y ˆi) Y (Y i Y ˆi)
根据正规方程组（见教材P67（3.2.6）式），有：
(Yi Yˆi)0 Xi1(Yi Yˆi)0 Xi2(Yi Yˆi)0 … Xik(Yi Yˆi)0
2.方程显著性的F检验（注意补充的内容！）
检验模型中被解释变量与解释变量之间的线性关系在总体上 是否显著成立，也就是要检验模型
Y i 0 1 X i 1 2 X i 2 k X i ki（i=1,2,…,n）
中的参数是否显著不为0。
（1）按照假设检验的原理与步骤，首先应提出假设： （注：教材P75有错！）
SC ln ee k ln n nn
这两准则均要求：仅当所增加的解释变量能够减少 AIC值或SC值时，才在原模型中增加该解释变量。
二、方程显著性检验（教材P75） Testing the Overall Significance
方程的显著性检验：对模型中被解释变量与解释变量之 间的线性关系在总体上是否显著成立作出推断。
总离差平方和、回归平方和及残差平方和
• 定义 T ( Y S i Y ) 2 S E ( Y ˆ i S Y ) 2 S R ( Y i S Y ˆ i ) 2 S
TSS为总离差平方和（Total Sum of Squares），反映被解释变 量样本观测值总体离差的大小；
所以，可以用回归平方和占总离差平方和的比重来衡量样本回 归线对样本观测值的拟合程度。也即用
R2
ESS (Yˆi TSS (Yi
Y)2 Y)2
yˆi2 yi2
1
ei2 yi2
检验模型的拟合优度。
R2叫做多重可决系数，也简称为可决系数或判定系数。
毫无疑问，R2越接近于1，模型的拟合优度越高。 但是在应用过程中人们发现，如果在模型中增加一个解释变量， 那么模型的回归平方和随之增大，从而R2也随之增大。 这就给人一个错觉：要使模型拟合得好，就必须增加解释变量。 所以，用来检验拟合优度的统计量必须能够防止这种倾向。
概率性质的反证法的根据是小概率事件原理。该原理认 为“小概率事件在一次试验中几乎是不可能发生的”。
具体思路是这样：在原假设 H0 下构造一个事件（该事件就 是拒绝域），这个事件在“原假设 H0 正确”的条件下是一个
小概率事件（其发生概率为 ）。随机抽取一组容量为 n 的
样本观测值进行该事件的试验，如果该事件发生了，说明“原 假设 H0 正确”是错误的，因为不应该出现的小概率事件出 现了，因而应该拒绝原假设 H0。反之，如果该小概率事件没 有出现，就没有理由拒绝原假设 H0，应该接受原假设 H0。
~F(k,nk1)
F
ESS
2
k
RSS
2
n k 1
ESS/k RSS（ / nk
1）(Yi(YYˆˆii)2Y/()n2/kk1)
~F(k,nk1)
直观上看，回归平方和ESS是解释变量整体对被解释变量Y的 线性作用的结果，如果ESS/RSS的比值较大，则解释变量整体对 Y的解释程度高，可以认为总体存在线性关系；反之，总体可能 不存在线性关系。因此,可以通过该比值的大小对总体线性关系 进行推断。该统计量即为用于方程显著性检验的F统计量。
• 那么，TSS、ESS、RSS之间存在的如下关系：
总离差平方和 = 回归平方和 + 残差平方和 TSS = ESS + RSS
关于TSS=ESS+ RSS的证明过程（教材P73）
证明： 将TSS，即总离差平方和进行分解：
TS S(YiY)2(Y (iY ˆi)(Y ˆiY)2 )
ei2eeY YB ˆX Y
*赤池信息准则和施瓦茨准则（教材P75）
为了比较所含解释变量个数不同的多元回归模型的 拟合优度，常用的标准还有:
(1)赤池信息准则（Akaike information criterion, AIC）
AIC lnee2(k1) nn
(2)施瓦茨准则（Schwarz criterion，SC）
而在第三版教材P72例3.2.2的中国内地城镇居民人均消费支出
模型（二元回归）中，R2 =0.975634，R2 0.973893
（注意：教材P75的表述有问题！） 可见，对于中国内地城镇居民的人均消费支出，二元回归比 一元回归的效果更好。
可决系数R2 的简捷计算公式： （☆）
R2
yˆi2 yi2
n11(Yi Y)2
1ei2yi2(n(nk1)1)
1(1R2) n1 nk1
式中，（n-k-1）为残差平方和RSS的自由度，（n-1）为总离差平 方和TSS的自由度。（教材P74）
在实际应用中，R2达到多大才算模型通过了检验？ 答案是：没有绝对的标准。
模型的拟合优度并不是判断模型质量的唯一标准， 有时甚至为了追求模型的经济意义，可以牺牲一点 拟合优度。
• 假设检验的程序：先根据实际问题的要求提出一个 论断，称为统计假设，记为H0 ；然后根据样本的有 关信息，对H0的真伪进行判断，作出拒绝H0或接受 H0的决策。
假设检验的基本思想是概率性质的反证法。也就是说， 为了检验原假设H0是否正确，先假定这个假设是正确 的，看由此能推出什么结果。如果导致一个不合理的 结果，则表明“假设H0为正确”是错误的，即原假设 H0不正确，因此要拒绝原假设H0。如果没有导致一个 不合理现象的出现，则不能认为原假设H0不正确，因 此不能拒绝原假设H0 。
~
2
(k)
。参见周纪芗《回归分析》P44-47
及
P8。
并且，RSS与ESS相互独立。
所以，统计量
F
ESS
2
k
RSS
2
n k 1
ESS/k RSS（ / nk
1）(Yi(YYˆˆii)2Y/()n2/kk1)
ei2 (n y ˆi2 k k1)( eiy 2i2( n e ki2 )1 k)
如果 F ＜ F (k,n k 1) ，即小概率事件没发生，则在(1－ )水平下
不能拒绝原假设 H0，即没有显著的证据表明模型的线性关系显著 成立，模型未通过方程显著性检验。
例 在第三版教材P72例3.2.2的中国内地城镇居民人 均消费模型(二元回归)中，k=2,n=31, F=560.565。
换句话说，这里构造了一个小概率事件（“检 验统计量的样本值落入拒绝域”）。如果在一 次试验中该事件就发生了，就违背了小概率事 件原理，也就意味着导致了一个不合理的结果。
பைடு நூலகம்
显著性检验的步骤： (★)
（1）提出原假设H0和备择假设H1； （2）计算检验统计量的样本值； （3）确定临界值和拒绝域； （4）下结论：是否拒绝H0 。
如：H·钱纳里等：《发展的型式1950-1970》，P5052，经济科学出版社。
在 应 用 软 件 中 ， 可 决 系 数 R2和 调 整 后 的 可 决 系 数 R2的 计 算 是 自 动 完 成 的 。
比如，第三版教材P53例2.6.1中的中国内地城镇居民人均消费
支出模型（一元回归）中，R2 =0.971419，R2 0.970433
但是二者又是关联的：F检验和拟合优度检验都是在总变差TSS 分解为回归平方和ESS与残差平方和RSS的基础上构造统计量进 行的检验；模型对样本观测值的拟合程度高，模型总体线性关系 的显著性就强；两个检验统计量之间存在如下的数量关系：
1
ei2 yi2
其中 yi2 (Y iY)2 Y i2nY2 yˆi2(YˆiY)2 ei2(YiYˆi)2
对于一元线性回归：
e i 2 y i 2 ˆ 1 2 x i 2 y i 2 ˆ 1 y ix i
对于多元线性回归：
H 0:12 k 0H 1 :1 、 2 、 、 k 不 0全
显然，当H0成立时，即表示模型的线性关系不成立；当H1成 立时，即表示模型的线性关系成立。
（2）可以证明，当
H0
成立时，有
TSS
2
~
2
(n
1)
，
RSS
2
~
2
(n
k
1)
，
ESS
2
直观上看，拟合优度高，则解释变量对被解释变量的解释程度就 高，可以推测模型总体线性关系成立；反之，就不成立。但这只 是一个模糊的推测，不能给出一个在统计上严格的结论。这就要 求进行方程的显著性检验。
方程的显著性检验所应用的方法，是数理统计学中的假 设检验。
1.关于假设检验（教材P46）
• 假设检验是统计推断的一个主要方面，它的基本任 务是根据样本所提供的信息，对未知总体某些方面 （如参数或分布类型）的假设作出合理的判断。
§3.2 多元线性回归模型的统计检验 Statistical Test of Multiple
Linear Regression Model
说明
• 计量经济学模型是应用数理统计方法建立的一类 经济数学模型，所以在模型参数估计出来后，必 须检验其估计的可靠程度是否满足数理统计学理 论与方法上的要求。
• 计量经济学模型的统计检验主要包括:
– 拟合优度检验 – 方程的显著性检验 – 变量的显著性检验
一、拟合优度检验
(Testing the Simulation Level)
• 拟合优度检验：检验模型对样本观测值的拟合 程度。
• 在一元回归模型中，拟合优度检验是通过构造 一个可以表征拟合程度的统计量R2来实现。
所以 从而
(YY ˆ)Y (ˆY)0
i ii
(Y i Y )2 (Y i Y ˆ i)2 (Y ˆ i Y )2
TSS=RSS+ESS
注意：回归平方和反映了总离差平方和中可由样本回归线解释 的部分，它越大，残差平方和越小，样本回归线对样本观测值 的拟合程度越高。 （教材P74）
给定α =0.05,查得Ｆ0.05（2,28)=3.34。 所以,该模型的线性关系在95%的置信水平下显著 成立。
⒊ 关于拟合优度检验与方程显著性检验关系的讨论
拟合优度检验和方程总体线性的显著性检验是从不同原理出发 的两类检验：前者是从已经得到估计的模型出发，检验它对样本 观测值的拟合程度；后者是从样本观测值出发检验模型总体线性 关系的显著性。
（3）根据给定的显著性水平 ，查 F 分布表，得到临界值 F (k,n k 1) 。
F ≥ F (k,n k 1) 为原假设 H0 下的一个小概率事件。
（4）如果 F ≥ F (k,n k 1) ，即小概率事件发生了，则在(1－ )水平下
拒绝原假设 H0，即模型的线性关系显著成立，模型通过方程显著 性检验。
(YY ˆ)22(YY ˆ)Y (ˆY)(Y ˆY)2
ii
i ii
i
其中 (Y i Y ˆ i)Y ˆ i( Y ) Y ˆ i(Y i Y ˆ i) Y (Y i Y ˆ i)
(ˆ0 ˆ1 X i1 ˆ2 X i2 ˆkX i) kY i( Y ˆ i) Y (Y i Y ˆ i)
由于在样本容量一定的情况下，增加解释变量必定使得待估参数 的个数增加，从而会损失残差平方和 RSS 的自由度。于是，可以 用自由度去修正多重可决系数 R2 中的残差平方和 RSS，计算如下 的修正的可决系数 R 2：
R2
1
n
1 k
RSS 1
1
n
1 k
1(Yi
Yˆ )2
i
1 TSS n 1
ESS为回归平方和（Explained Sum of Squares），反映被解 释变量回归估计值的变差大小，也是模型中的解释变量所解释 的那部分离差的大小；
RSS为残差平方和（Residual Sum of Squares），反映被解释 变量样本观测值与估计值偏离的大小，也是模型中解释变量未 解释的那部分离差的大小。
ˆ0 (Y i Y ˆi)ˆ1 X i1(Y i Y ˆi)ˆ2 X i2(Y i Y ˆi) ˆk X ik (Y i Y ˆi) Y (Y i Y ˆi)
根据正规方程组（见教材P67（3.2.6）式），有：
(Yi Yˆi)0 Xi1(Yi Yˆi)0 Xi2(Yi Yˆi)0 … Xik(Yi Yˆi)0
2.方程显著性的F检验（注意补充的内容！）
检验模型中被解释变量与解释变量之间的线性关系在总体上 是否显著成立，也就是要检验模型
Y i 0 1 X i 1 2 X i 2 k X i ki（i=1,2,…,n）
中的参数是否显著不为0。
（1）按照假设检验的原理与步骤，首先应提出假设： （注：教材P75有错！）
SC ln ee k ln n nn
这两准则均要求：仅当所增加的解释变量能够减少 AIC值或SC值时，才在原模型中增加该解释变量。
二、方程显著性检验（教材P75） Testing the Overall Significance
方程的显著性检验：对模型中被解释变量与解释变量之 间的线性关系在总体上是否显著成立作出推断。