逐步回归分析概要

从模型中剔除，不妨设xk2就是xm-1，进入步骤 （3）；
（3）重复前面的做法，直至回归方程中各变量
回归系数的F值均大于临界值，即方程中没有变 量可剔除为止，此时的回归方程就是最优的回归 方程。
后退法的一般步骤：
假设已经进行了l步剔除，模型中的自变量为x1，
x2，…，xm-l ，现进行第l+1步剔除： 建立x1，x2，…，xm-l 对y的回归方程，对方程 中x1，x2，…，xm-l的回归系数进行F检验，相
方程中
xl 1 , xl 2 , , x m 的回归系数检验统计量记
,F
l 1 l 2 l 1 m
为： Fl 1 若

l 1
l 1 l 1 l 1 l 1 F max F , F , , F ，记 , , F k l 1 l 2 m
l 1
1 k1
（3）分别将自变量组
， …， x1 , x， 2 x1 , x3

归方程中x2，x3，…，xm的回归系数检验统计
量F，记为：
x1 , xm 与因变量y建立二元回归方程，计算回
F
2 2
2 ，取其最大值 , F32 , , Fm


F max F , F , , F ，若 F F进 F 1，n 2 1
一切j k1
2
计算
F
SE
2
Vk22
～F（1，n-2-1），
n 2 1

2 其中 S E S T Vk22 ，
若F
F1 1, n 2 1，则筛选结束，第一步中所 建立的回归方程即最优回归方程；
F1 1, n 2 1 ，则选
2 S mm1
若F
x k 2进入模型，将
S mm1 化为
1
，进行第三步筛选；
2 S mm 1
2 s11 2 s 21 2 s k2 1 s 2 m1
s12
2
2 s 22
前进法的一般步骤： 假设已进行了l步筛选，并选入自变量x1， x2，…xl，现进行第l+1步筛选：
x1 , x2 ,, xl , xl 2 ， 分别将自变量组 x1 , x2 , , xl , xl 1 ， x1 , x2 ,, xl , xm 与y建立l+1元回归方程；回归 …，
2 k2 2 2 2 3 2 m


2 k2
则停止筛选，y与
2
x1之间的回归方程就是最优的 回归方程；若 Fk2 F进 F 1，n 2 1 ，选进xk2 ， 不妨设xk2是 x2，进入步骤（4）。
（4）对已经选入模型的变量，x1，x2，如同前
面的方法做下去，直到所有未被选入模型 的自变量的F值都小于相应的临界值为止， 这时的回归方程就是最优回归方程。
§4.6 逐步回归分析
4.6.1最优选择的标准
最优回归方程的含义： （1）方程中包含所有对因变量影响显著的变量； （2）方程中所包含的自变量要尽可能地少。 设n为观测样本数，X {x1 , x 2 , , x m } 为所有自变量构成的集合， A
x
i1
, xi2 , , xil

为X的子集。
此时的回归方程就是最优的回归方程；
若
是xm，进入步骤（2）。
Fk11 F出 F 1，n m 1 ，剔除xk1，不妨设xk1
（2）建立x1，x2，…，xm-1与因变量y的回归
方程 ，对方程中自变量的回归系数进行F检验，
相应的F值记为：F1

2
2 , F22 ,, Fm 1 ，取最小值
1
x k1 的作用是否显著进行统计检验：
SE
1

F
1
Vk1
1
n 1 1
1
～F（1，n-1-1）
S E S T Vk1
若
F F1 1, n 1 1，则结束所有自变量皆与y无 关，不能建立回归方程；若 F F1 1, n 1 1 ，则 1 将xk1选入模型，并将S转化为S mm1 ，进行第
1 Fkll F ( 1 , n ( l 1 ) 1 ) ，停止筛选 ，上一步 1 得到的回归方程，即为最优的回归方程；
若
F F (1, n (l 1) 1)，将 进行下一步筛选。
l 1 kl 1
x kl 1 选进模型，
Hale Waihona Puke Baidu前进法的缺点：不能反映自变量选进模型后的变
s1m
2
2 s2 m

2 sm 2

2 2 sk s k2m 22 2 s mm
s1 y 2 s2 y 2 sk 2y 2 s my
2
其中
s ij
2
1 sk 2j 1 当i k 2，j k 2 s k2k2 1 1 s s ik k2 j 1 2 s ij 1 当i k 2，j k 2 s k2k2 1 当i j k 2 1 s k2k2 1 s ik2 当i k ，j k 2 2 1 s k2k2
（4）AIC或BIC准则
2l AIC ( A) ln S E A n l ln n BIC ( A) ln S E A n
2
或
达到最小
（5）修正 R 准则
ni 2 R 1 (1 R ) 达到最大 nl
2
4.6.2 选择最优回归子集的方法 （1）选择最优子集的简便方法： 逐步筛选法（STEPWISE） 向前引入法或 前进法（FORWARD） 向后剔除法或后退法（BACKWARD）
4.6.3.3 逐步筛选法 原理：
该方法在前进法的基础上，引进后退法的思想。 即对每一个自变量随着其对回归方程贡献的变化， 随时地引入或剔除模型，使得最终回归方程中的 变量对y的影响都是显著的，而回归方程外的变 量对y的影响都是不显著的，该方法即通常所说 的逐步回归法。
设y是因变量，x1，x2，…，xm是所有自变量，
l 1 l 1 l 1 F , F , , F 应的F统计量记为 ： 1 2 m l ，取最小值

F
l 1 kl 1
l 1 F F 1, n m l 1 ，若 min{ F , F , , F } k
l 1 1
l 1 2
l 1 m l
l 1
量y的回归方程，对方程中m个自变量的回归系 数b1，b2，…，bm进行F检验，相应的F值记
为：F

1 1
, F , , F
1 2
1 m

1 1 1 1 F min F , F , , F ，取最小值 k1 1 2 m


1 F ，n m 1，没有自变量可剔除， 若 k1 F出 F 1
4.6.3.1前进法（FORWARD） 原理： 事先给定挑选自变量进入方程的显著性水平， 按自变量对因变量y的贡献由大到小依次挑选自 变量进入方程，直到方程外没有显著的自变量可 引入为止。 该方法的特点是：自变量一旦被选入，就永远保留 在模型中。
图4.1 逐步回归的基本步骤
步骤
（1）将全部m个自变量，分别与因变量y建立
（2）计算量最大的全子集法：
R2选择法（RSQUARE） Cp选择法（CP） 修正R2选择法（ADJRSQ）。
（3）计算量适中的选择法： 最小R2增量法（MINR） 最大R2增量法（MAXR） 4.6.3逐步回归的基本思想与步骤 基本思想：逐个引入自变量，每次引入对y影响 最显著的自变量，并对方程中的老变量逐个进行 检验，把变得不显著的变量逐个从方程中剔除， 最终的回归方程中既不漏掉对y影响显著的变量， 又不包含对y影响不显著的变量。
s (1) s k1 y (1) s my s
(1) 1y (1) 2y
其中 s ij
1
s k1i 当i k1，j k1 s k1k1 s ik1 s k1 j 当i k1，j k1 s ij s k1k1 1 当i j k 1 s k1k1 s ik1 当i k1，j k1 s k1k1
则停止筛选，
y与x1，x2，…，xm-l 之间的回归
l 1 F 方程即为最优的回归方程；若 kl 1 F 1, n m l 1
则剔除
筛选。
x kl 1 ，不妨设 x kl 1 为 x m l ，进行下一步
后退法的缺点：开始把全部自变量都引入模型，
计算量大。
化情况 。
4.6.3.2 后退法（BACKWARD）
原理：
事先给定从方程中剔除自变量的显著性水平，开 始全部自变量都在模型中，然后按自变量对y的贡 献由小到大依次剔除，直至方程中没有不显著的 变量可剔除为止。
该方法的特点是：自变量一旦被剔除，就不再进入 模型，
（1）建立全部自变量x1，x2，…，xm对因变
第三步：
从第三步开始，先检验已经引入方程中的自变量
是否满足显著性水平 2，若有不满足显著性水平 2 的自变量，依次剔除最不显著的，再从方程 外挑选满足著性水平的最显著的自变量进入模型 （即从第三步开始，先进行变量的剔除，再进行 变量的选进）。
s12 s 22
s1m s 2m
s m 2 s mm
s1 y s2 y s my
（2）逐步筛选自变量
第一步筛选：
①计算各自变量的贡献： V j 取最大值 ②对
1

s
2 jy
s jj
V
(1) k1
max V j
1 j m
第二步筛选:
①按
Sm m1 计算各自变量的贡献
2
i
1
模型外自变量的贡献： V 模型中自变量
s
iy
2
sii
xk1 的贡献：Vk
1
2
s
s
(1) k1k1
(1) 2 k1 y
②取模型外自变量的最大贡献值，即
V
(2) k2
max V j


F min F , F ,, F
2 k2 2 1 2 2

2 m1

2 F ，若 k2 F出 F 1，n (m 1) 1
则无自变量可剔除，此时的回归方程即最优的回
2 F ，n (m 1) 1，将xk2 归方程； 若 k2 F出 F 1
（1）均方误差s2最小
S ( A ) E s A
2
n l 1
达到最小
（2）预测均方误差最小
n l 1 J ( A) S E A 达到最小 n l 1
（3） C p 统计量最小准则
C p A
S E A
SE
2l n 达到最小
n m 1
yi，xi1，xi2，…，xim（i＝1，2，…，n）是独 立抽取的n组样本。设自变量被选进模型的显著 性水平为 1 ，被剔除模型的显著性水平为 2 ， 且 0 1 2 1 。
逐步筛选法的步骤为：
（1）计算离差矩阵S
S S mm
s11 s 21 s m1
二步筛选；
S m( m 1)
1
s s (1) s k11 s (1) m1
(1) 11 (1) 21
s s s
(1) 12 (1) 22
s s s
(1) 1m (1) 2m

(1) k1 2

(1) k1m

(1) sm 2

(1) s mm
一元回归方程； （2）分别计算这m个一元回归方程中回归系数 1 的检验统计量F，记为： F11 , F21 , , Fm ，


取最大值 F
1 k1
1 k1
max F , F , , F ，
1 1 1 2 1 m
若 F F进 F 1，n 2 ，停止筛选； 若 F F进 F 1，n 2 ，选入 x k1 ，不 妨设 x k1 是 x1 ，进入步骤（3）；