第5章 自变量的选择与逐步回归

ˆ ˆ ˆ ˆ ˆ y 0 m = β 0 + β1 x 01 + β 2 x 02 ⋯ + β m x 0 m 是 y0 的有偏估计。
（二）选模型正确而误用全模型的情况 选模型的预测值是因变量新值的无偏估计，全模型 的预测值为y0的有偏估计。
从预测方差的角度看，根据性质 4，选模型的预测方差 ˆ ˆ D（ y 0 p ）小于全模型的预测方差 D（ y 0 m ） 从均方预测误差的角度看，全模型的均方预测误差 2 2 ˆ ˆ ˆ E（ y 0 m − y 0 ） =D（ y 0 m ）+[E（ y 0 m ）-E（y0）] 包含预测方差与预测偏差的平方两部分 2 ˆ ˆ 而选模型的均方预测误差 E（ y 0 p -y0） =D（ y 0 p ）
ˆ ˆ ˆ ˆ 全模型的最小二乘参数估计为βm = (β 0 m , β1m ,⋯, β mm ) ′
ˆ ˆ 这条性质说明 D(β jp ) ≤ D(β jm ), j = 0,1预测残差为 e 0 p = y 0 p − y 0
1 ˆ σ = SSE n − p −1
2
此无偏估计式中也加入了惩罚因子n-p-1
ˆ 由以上分析，用平均残差平方和 σ 2 作为自变量选元准则是合理的，
2 那末它和调整的复判定系数 R a 准则有什么关系哪？实际上，这两个
准则是等价的，容易证明以下关系式成立
n −1 2 ˆ R =1− σ SST
2 a
二、自变量选择准则 如何选择一个最优的回归子集，衡量最优子集的标准是什么？ 在第3章，我们曾从数据与模型拟合优劣的直观考 虑出发，认为残差平方和SSE最小的回归方程就是最好 的。还曾用复相关系数R来衡量回归拟合的好坏。然而 这两种方法都有明显的不足，这是因为：
SSEp+1≤SSEp
R 2+1 ≥ R 2 p p
第五章 自变量的选择与逐步回归
5.1 自变量选择对估计和预测的影响 5.2 所有子集回归 5.3 逐步回归 5.4 本章小结与评注
从20世纪60年代开始，关于回归自变量的选择成为统 计学中研究的热点问题。统计学家们提出了许多回归选 元的准则，并提出了许多行之有效的选元方法。 本章从回归选元对回归参数估计和预测的影响开始， 介绍自变量选择常用的几个准则；扼要介绍所有子集回 归选元的几个方法；详细讨论逐步回归方法及其应用。
ˆ ˆ 仅包含预测方差这一项，并且 D（ y 0 p ）≤D（ y 0 m ）
因而从均方预测误差的角度看，全模型的预测误差将更大。
上述结论告诉我们，一个好的回归模型，并不是考虑 的自变量越多越好。在建立回归模型时，选择自变量的基 本指导思想是“少而精”。哪怕我们丢掉了一些对因变量y 还有些影响的自变量，由选模型估计的保留变量的回归系 数的方差，要比由全模型所估计的相应变量的回归系数的 方差小。而且，对于所预测的因变量的方差来说也是如此。 丢掉了一些对因变量y有影响的自变量后，所付出的代价是 估计量产生了有偏性。然而，尽管估计量是有偏的，但预 测偏差的方差会下降。另外，如果保留下来的自变量有些 对因变量无关紧要，那么，方程中包括这些变量会导致参 数估计和预测的有偏性和精度降低。
ˆ ˆ ˆ ˆ ˆ y 0 p = β 0 p + β1p x 01 + β 2 p x 02 ⋯ + β pp x 0 p
ˆ 作为 y0 的预测值是有偏的，即 E( y 0 p − y 0 ) ≠ 0 。
性质 3. 选模型的参数估计有较小的方差
ˆ ˆ ˆ ˆ 选模型的最小二乘参数估计为βp = (β 0 p , β1p ,⋯, β pp ) ′
设回归模型的似然函数为L(θ,x), θ的维数为p，x为样本，在 回归分析中样本为y=（y1，y2，…yn）′，则AIC定义为： ˆ AIC=-2lnL(θ ,x)+2p
L
其中 ˆ L 是θ的极大似然估计，p 是未知参数的个数。 θ θ
假定回归模型的随机误差项ε遵从正态分布，即
ε～N(0,σ2)
对数似然函数为
准则1 准则 自由度调整复相关系数达到最大
n −1 R = 1− (1 − R 2 ) n − p −1
2 a
显然有 Ra ≤R2， Ra 随着自变量的增加并不一定增大。
2 从拟合优度的角度追求“最优” ，则所有回归子集中 R a 最大者
2
2
对应的回归方程就是“最优”方程。
从另外一个角度考虑回归的拟合效果， 回归误差项方差σ2的无偏估计为：
Jp = = 1
n
σ2
1
ˆ ∑(y
i =1 n
− E ( yi )) 2 ip
σ2
ˆ ( β 0 p + β1 p xi1 + ⋯ + β pp xip − ( β 0 + β1 xi1 + ⋯ + β m xim )) 2 ∑ ˆ ˆ
i =1
可以证明，Jp的期望值是
E(J p ) =
E ( SSE p )
σ
2
− n + 2( p + 1)
略去无关的常数2，据此构造出Cp统计量为
SSE p SSE p Cp = − n + 2 p = (n − m − 1) −n+ 2p 2 ˆ σ SSEm
1 ˆ 其中σ = SSE m 是全模型中σ2 的无偏估计。 n − m −1
2
这样我们得到一个选择变量的 Cp 准则： 选择使 Cp 最小的自变量子集，这个自变量子集对应的回归 方程就是“最优”回归方程。
m m m m
n − m −1
把模型（5.2）式的参数估计向量记为
ˆ βp = (X ′ X p )-1 X ′ y p p
ˆ2 σp =
1 SSE p n − p −1
二、自变量选择对预测的影响 关于自变量选择对预测的影响可以分成两种情况： 第一种情况是全模型正确而误用了选模型； 第二种情况是选模型正确而误用了全模型式。
注：
选模型中的p个自变量x1,x2,…，xp并不一定是全体m个自 变量x1,x2,…，xm中的前p个， x1,x2,…，xp是在m个自变 量中按某种规则挑选出来的p个 模型选择不当会给参数估计和预测带来什么影响? 下面我们将分别给予讨论。
ˆ 为了方便，我们把模型（5.1）式的参数估计向量 β 和σ2的估计记为： 1 2 ˆ = (X′ X )-1 X′ y ˆm = σ SSEm β
自变量子集
R2 0.9728 0.9566 0.9508 0.9747 0.9784 0.9576 0.9811
2 Ra
AIC 40.06 48.48 50.74 40.76 37.93 50.09 37.52
Cp 4.134 16.151 20.452 4.734 2.005 17.461 2.000
例5.1
y表示某种消费品的销售额， x1表示居民可支配收入， x2表示该类消费品的价格指数， x3表示其他消费品平均价格指数。 表5.1给出了某地区18年某种消费品销售情况资 料，试建立该地区该消费品销售额预测方程。
表5.1
序号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 x1（元） 81.2 82.9 83.2 85.9 88.0 99.9 102.0 105.3 117.7 126.4 131.2 148.0 153.0 161.0 170.0 174.0 185.0 189.0 x2(%) 85.0 92.0 91.5 92.9 93.0 96.0 95.0 95.6 98.9 101.5 102.0 105.0 106.0 109.0 112.0 112.5 113.0 114.0 x3(%) 87.0 94.0 95.0 95.5 96.0 97.0 97.5 97.0 98.0 101.2 102.5 104.0 105.9 109.5 111.0 112.0 112.3 113.0 （百万元） 百万元） 7.8 8.4 8.7 9.0 9.6 10.3 10.6 10.9 11.3 12.3 13.5 14.2 14.9 15.9 18.5 19.5 19.9 20.5
§5.2
一、所有子集的数目
所有子集回归
假设在一个模型中，有m个可供选择的变量x1,x2,…， xm,由于每个自变量都有入选和不入选两种情况，这样y 关于这些自变量的所有可能的回归方程就有2m-1个。 从另一个角度看 选模型包含的自变量数p有从0到m共m+1种可能情 况，则所有模型的数目有：
0 1 m C m + C m + ⋯ + Cm = 2 m
§5.1 自变量选择对估计和预测的影响
一、全模型和选模型 全模型：是指基于影响响应变量y的所有因素建立的多元 线性回归模型。 如：设研究某一实际问题涉及到对因变量有影响的因 素共有m个，不妨记为x1,…,xm.则回归模型为： y=β0+β1x1+β2x2+…+βmxm+ε 称为全回归模型。 如果我们从所有可供选择的m个变量中挑选出p个，记 为x1,x2,…，xp,则由所选的p个自变量组成的多元线性的回 归模型为： y=β0p+β1px1+β2px2+…+βppxp+εp 称模型（5.2）式为选模型。 （5.2） （5.1）
（一）全模型正确而误用选模型的情况
性质 1. 在 xj 与 xp+1, …,xm 的相关系数不全为 0 时，选模型回归系数的 最小二乘估计是全模型相应参数的有偏估计,即
ˆ E(β jp ) = β jp ≠ β j （j=1,2， …,p） 。
性质 2. 选模型的的预测是有偏的。 给定新自变量值 x 0 p = ( x 01 , x 02 ,⋯, x 0 m ) ′ ，因变量新值为 y0=β0+β1x01+β2x02+…+βmx0m+ε0 用选模型的预测值为