3.3 多元线性回归模型的统计检验

e ′e ˆ σ = = n − k −1 n − k −1
2
e i2 ∑
因此，可构造如下t统计量
t= ˆ βj − βj S βˆ
j
=
ˆ βj − βj e′e c jj n − k −1
t (n − k − 1)
2.t检验 检验 检验的原假设与备择假设：
H 0 : β j = 0, H1 : β j ≠ 0 j = 0,1, 2,L , k
j j
2
2
教材71页 例3.7 教材 页
解 给定置信水平1-α，β j(j = 1,2)的置信区间是
ˆ ˆ ( β j − tα × S βˆ , β j + tα × S βˆ )
j j
2
2
ˆ ˆ 将β1 = −8.3553，β 2 = 0.1801，S βˆ = 2.2907，S βˆ = 0.1997
(2)如果模型对样本有较高的拟合优度，则F检验 一般都能通过。
(3)实际应用中不必过分苛求R 2 值的大小，重要的是 考察模型的经济意义是否合理。
如R = 0.4, n = 20, k = 2, 则
2
0.4 2 F= = 5.67 0.6 17
F0.05 (2,17) = 3.59
检验） 三、变量的显著性检验（t检验） 变量的显著性检验（ 检验 方程的整体线性 整体线性关系显著并不等于每个解释 整体线性 每个解释 变量对被解释变量的影响都是显著的。 变量 因此，必须对每个解释变量进行显著性检验， 以决定是否作为解释变量被保留在模型中。 1.t统计量 . 统计量 由于
2
n −1 R = 1 − (1 − R ) n − k −1
2 2
在样本容量一定的情况下，R 2具有下列性质：
(1) 若k ≥ 1，则R 2 < R 2；
（2）R 2 有可能出现负值。
问题：在实际应用中，R 2 达到多大才算模型 通过了拟合优度检验？
检验) 二、回归方程的显著性检验(F检验 回归方程的显著性检验 检验 1.回归方程的显著性检验 回归方程的显著性检验 回归方程的显著性检验，是指在一定的显著 性水平下，对模型中被解释变量与所有的解释变 量之间的线性关系在总体上是否显著成立进行的 一种统计检验。 方程的显著性检验是要检验模型
3.调整的样本可决系数（adjusted coefficient of 调整的样本可决系数（ 调整的样本可决系数 determination） ） R2作为拟合优度的度量出现上述问题的原因是， 我们没有考虑三个平方和的自由度，所以解决的办 法是:用平方和的自由度进行修正，以剔除 2对解 用平方和的自由度进行修正， 用平方和的自由度进行修正 以剔除R 释变量个数的依赖性。 释变量个数的依赖性。 自由度：统计量的自由度指可自由变化的样本观测 值个数，它等于所用样本观测值的个数减去对观测 值的约束个数。
∑e
2 i
( n − 2)
=
ˆ β12 ∑ xi2
∑e
2 i
( n − 2)
2
=
∑e
2 i 2 i
(n − 2)∑ xi2
2
ˆ β12
=
∑e
2 i
ˆ β1 = β ˆ 2 1 ( n − 2) ∑ x i
∑e
1 = t2 ⋅ n − 2 ∑ xi2
第三节 多元线性回归模型的统计检验
• • • • 拟合优度检验 回归方程的显著性检验(F检验) 变量的显著性检验（t检验） 参数的数（coefficient of determination） 样本可决系数（ 样本可决系数 ） 总离差平方和的分解： 总离差平方和的分解： 记
ˆ Var (β)=σ 2 (X′X)-1
′X)-1 主对角线上的第j个元素， 以c jj 表示矩阵(X ˆ 于是参数估计量的方差为：Var ( β j ) = σ 2 c jj
ˆ 易知β j 服从如下正态分布
ˆ βj N ( β j , σ 2 c jj )
其中σ2为随机误差项的方差，在实际计算时， 用它的估计量代替:
由样本求出统计量t的数值，给定显著性水平α， 可得到临界值tα/2(n-k-1)，通过 |t|> |t|> tα/2(n-k-1) ) 或 |t|≤ |t|≤tα/2(n-k-1) ) 来拒绝或接受原假设H0，从而判定对应的解释变 判定对应的解释变 量对被解释变量是否有显著的影响， 量对被解释变量是否有显著的影响，即是否应当 包括在模型中。 包括在模型中。
F检验的思想来自于总离差平方和的分解式： 检验的思想 TSS=RSS+ESS
ˆ 由于回归平方和RSS = ∑ yi2是解释变量X 的联合 体对被解释变量Y的线性作用的结果，考虑比值
RSS = ESS yi2 ∑ˆ ei2 ∑
如果这个比值较大，则X的联合体对Y的解释程 度高，可认为总体上存在线性关系，反之总体上可 能不存在线性关系。 因此, 因此,可通过该比值的大小对总体线性关系进行 推断。 推断 根据数理统计学中的知识，在原假设H0成立的条 件下，统计量
ˆ = β′X′Y − nY 2
问题： 问题： R2不能真实反映拟合优度 R2 是解释变量个数的递增函数，如果在模型 中增加解释变量， R2往往增大。 一个错觉：要使得模型拟合得好 这就给人一个错觉 要使得模型拟合得好，只 一个错觉 要使得模型拟合得好， 要增加解释变量即可。 要增加解释变量即可 但是，现实情况往往是，由增加解释变量个数 引起的R2的增大与拟合好坏无关，R2需调整。 ， 需调整。
2
该统计量越接近于1，模型的拟合优度越高。 2.三个平方和的计算 三个平方和的计算
TSS = ∑ (Yi − Y )2 =∑ Yi 2 − nY 2 = Y′Y − nY 2
ˆ ESS = ∑ ei2 = e′e = Y′Y − β′X′Y
ˆ RSS = TSS − ESS = Y′Y − nY 2 − (Y′Y − β′X′Y )
2
与
RSS / k F= ESS /(n − k − 1)
R2 / k 可推出： F = (1 − R 2 ) /(n − k − 1)
F 与R 2同向变化：当R 2 = 0时，F = 0；
R 2 越大，F 值也越大；
当R 2 = 1时，F 为无穷大。
结论：(1)对回归方程显著性的F 检验，实际上也是 对R 2的显著性检验。
教材69页 例3.6 教材 页 解 首先提出原假设和备则假设
H 0 : β j = 0, H1 : β j ≠ 0 j =1,2
计算t 计算 统计量的值 ˆ β1 −8.3553 t1 = = = −3.6474 S βˆ 2.2907
1
t2 =
ˆ β2 S βˆ
2
0.1801 = = 0.9016 0.1997
注意：一元线性回归中， 检验与F 注意：一元线性回归中，t检验与F检验是一致的 一方面， 检验与 检验与F检验都是对相同的原假设 一方面，t检验与 检验都是对相同的原假设 H0：β1=0 进行检验； 进行检验 检验； 另一方面，两个统计量之间有如下关系： 另一方面，两个统计量之间有如下关系：
F= y i2 ∑ˆ
Yi = β 0 + β1 X 1i + β 2 X 2i + L + β k X ki + ui
中的参数β1 , β 2 ,L , β k 是否显著不为0。
可提出如下原假设与备择假设：
H 0 : β1 = β 2 = LL = β k = 0 H1 : β1 , β 2 ,L , β k中至少有一个不为0
总离差平方和TSS = ∑ (Yi − Y )2 =∑ yi2
ˆ ˆ 回归平方和RSS = ∑ (Yi − Y ) 2 = ∑ yi2
ˆ 残差平方和ESS = ∑ (Yi − Yi )2 = ∑ ei2
自由度为n-1 自由度为k 自由度为n-k-1
调整的可决系数为：
ESS /(n − k − 1) R =1− TSS /(n − 1)
给定显著性水平α =0.05，查表得临界值F0.05 2，） 4.74 （ 7 =
判断比较：由于F > F0.05 2，），所以拒绝原假设H 0， （ 7 认为回归方程在总体上存在显著的线性关系。
2.关于拟合优度检验与方程显著性检验关系 . 的讨论 由
RSS ESS R = =1− TSS TSS
例3.5（教材 页） （教材67页 解：提出假设： 提出假设：
H 0 : β1 = β 2 = 0
H1 : β1 , β 2至少有一个不为0
计算检验统计量F的值： RSS / k 3046.8187 / 2 F= = = 26.4493 ESS /(n − k − 1) 403.1813/ 10- 2-1） （
四、参数的置信区间 在变量的显著性检验中已经知道： 在变量的显著性检验中已经知道：
t= ˆ βj − βj S βˆ
j
=
ˆ βj − βj e′e c jj n − k −1
t (n − k − 1)
容易推出：在(1-α )的置信水平下,β j的置信区间是
ˆ ˆ ( β j − tα × S βˆ , β j + tα × S βˆ )
对于给定的显著性水平α = 0.05，查t分布表 得临界值t0.025 (7) = 2.365。
t1 = 3.6474>2.365，所以否定H 0，β1显著地 不等于零，即可以认为该种商品的价格对商品 的需求量有显著性影响； 的需求量有显著性影响；
t2 = 0.9016<2.365，所以不否定H 0，即可以 认为消费者的平均收入对商品的需求量没有显 著性影响。
TSS = ∑ (Yi − Y )2 =∑ yi2 − − 总离差平方和