第9章 SPSS的线性回归分析

默认:回归系数检验值大于a(0.10),则剔除出方程
• •
如果新方程中所有变量的回归系数t值都是显著的,则 变量筛选过程结束. 否则,重复上述过程,直到无变量可剔除为止.
(四)自变量逐步筛选法(stepwise)
• •
即:是“向前法”和“向后法”的结合。
向前法只对进入方程的变量的回归系数进行显著性检
2



SSE SST 2 y y

2
对于多元线性回归方程：
R
2
R2
SSE 1 SST SSE/ n p 1 1 SST / n 1
在多元线性回归分析中，引起判定系数增加的原因有两个：一个是方程 中的解释变量个数增多，另一个是方程中引入了对被解释变量有重要影 响的解释变量。如果某个自变量引入方程后对因变量的线性解释有重要
ˆi yi (0 1x1 2 x2 ... p x p ) ei yi y
对于线性回归分析来讲，如果方程能够较好的反映被解 释变量的特征和规律性，那么残差序列中应不包含明显的规
律性。残差分析包括以下内容：残差服从正态分布，其平均
值等于0；残差取值与X的取值无关；残差不存在自相关；残 差方差相等。
验，而对已经进入方程的其他变量的回归系数不再进
行显著性检验，即：变量一旦进入方程就不会被剔除
•
随着变量的逐个引进，由于变量之间存在着一定程度 的相关性，使得已经进入方程的变量其回归系数不再 显著，因此会造成最后的回归方程可能包含不显著的 变量。
•
逐步筛选法则在变量的每一个阶段都考虑剔除一个变 量的可能性。
n2

对于多元线性回归方程，检验统计量为：
ti
i
2 ( x x ) ij i
~ t (n p 1)
其中， S y
2 ˆ ( y y ) i i
n p 1
• 9.3.4 残差分析
残差是指由回归方程计算得到的预测值与实际样本值之间 的差距，定义为：
0 y bx
多元线性回归模型
多元线性回归方程： y=β0+β1x1+β2x2+...+βkxk

β1、β2、βk为偏回归系数。 β1表示在其他自变量保持不变的情况下，自变量x1变动 一个单位所引起的因变量y的平均变动。
9.3 回归方程的统计检验
9.3.1 回归方程的拟合优度
回归直线与各观测点的接近程度称为回归方程的拟合优度， 也就是样本观测值聚集在回归线周围的紧密程度 。 1、离差平方和的分解：
默认:回归系数检验的概率值小于a(0.05)才可以进入方程.
反复上述步骤,直到没有可进入方程的自变量为止.
(三)自变量向后筛选法(backward)
• • •
即:自变量不断剔除出回归方程的过程.
首先,将所有自变量全部引入回归方程；
其次,在一个或多个t值不显著的自变量中将t值最小的
那个变量剔除出去,并重新拟和方程和进行检验;
（3）Descriptive：输出各解释变量和被解释变量 的均值、标准差、相关系数矩阵及单侧检验概率 p值。
（4）Model fit：SPSS默认输出项，输出判定系 数、调整的判定系数、回归方程的标准误差、回 归方程显著F检验的方程分析表。 （5）R squared change：输出每个解释变量进 入方程后引起的判定系数的变化量和F值的变化 量。
1、对于残差均值和方差齐性检验可以利用残差图进行分析。如果 残差均值为零，残差图的点应该在纵坐标为0的中心的带状区域 中随机散落。如果残差的方差随着解释变量值（或被解释变量值 ）的增加呈有规律的变化趋势，则出现了异方差现象。 2、DW检验。 DW检验用来检验残差的自相关。检验统计量为：
2 ( e e ) t t 1 t 2 n
DW
et
t 2
n
2(1 )
2
DW=2表示无自相关，在0-2之间说明存在正自相关，在 2-4之间说明存在负的自相关。一般情况下，DW值在1.5-2.5 之间即可说明无自相关现象。
9.4 多元回归分析中的其他问题
9.4.1 解释变量的筛选问题
(一)自变量筛选的目的
• •
多元回归分析引入多个自变量. 如果引入的自变量个数较少,则 不能很好的说明因变量的变化; 并非自变量引入越多越好.原因: 有些自变量可能对因变量的解释没有贡献
• 9.3.3 回归系数的显著性检验（t检验）
回归系数的显著性检验是要检验回归方程中被解释变量
与每一个解释变量之间的线性关系是否显著。 对于一元线性回归方程，检验统计量为：
t
1
2 ( x x ) i
~ t ( n 2)
其中， S y
2 ˆ ( y y ) i i
2 ˆ ( y y ) /1 SSR/ 1 F ~ F（ 1，n 2） 2 ˆ ) /(n 2) SSE /(n 2) ( y y
•
对于多元线性回归方程，检验统计量为：
ˆ y)2 / p (y SSR/ p F ~ F（p，n p 1） 2 ˆ ) /(n p 1) SSE /(n p 1) ( y y
2、Options选项，出现的窗口可供用户设置多元 线性回归分析中解释变量筛选的标准以及缺失值 的处理方式。 3、Plot选项，出现的窗口用于对残差序列的分析 。
（5）第三和第四步中确定的中。通常在回归分析中不止一组
待进入方程的解释变量和相应的筛选策略，可以单击
Next和Previous按钮设置多组解释变量和变量筛选策 略并放置在不同的块中。
（6）选择一个变量作为条件变量放到Selection
Variable框中，并单击Rule按钮给定一个判断条件。只 有变量值满足判定条件的样本才参与线性回归分析。 （7）在Case Labels框中指定哪个变量作为样本数据点 的标志变量，该变量的值将标在回归分析的输出图形中。
贡献，那么必然会使误差平方和显著减小，并使平均的误差平方和也显
著减小，从而使调整的判定系数提高。 所以在多元线性回归分析中，调整的判定系数比判定系数更能准确的反
映回归方程的拟合优度。
• 9.3.2 回归方程的显著性检验（方差分析F检验）
回归方程的显著性检验是要检验被解释变量与所有的解
释变量之间的线性关系是否显著。 • 对于一元线性回归方程，检验统计量为：
4、条件指数。指最大特征根与第i个特征根比的平方根。通常，当条件
指数在0-10之间时说明多重共线性较弱；当条件指数在10-100之间 说明多重共线性较强；当条件指数大于100时说明存在严重的多重共
线性。
ki
m i
9.5 线性回归分析的基本操作 （1）选择菜单Analyze－Regression－Linear， 出现窗口：
（2）选择被解释变量进入Dependent框。 （3）选择一个或多个解释变量进入 Independent(s)框。
（4）在Method框中选择回归分析中解释变量的 筛选策略。其中Enter表示所选变量强行进入回 归方程，是SPSS默认的策略，通常用在一元线 性回归分析中；Remove表示从回归方程中剔除 所选变量；Stepwise表示逐步筛选策略； Backward表示向后筛选策略；Forward表示 向前筛选策略。
2、可决系数（判定系数、决定系数）
回归平方和在总离差平方和中所占的比例可以作为一个统 计指标，用来衡量X与Y 的关系密切程度以及回归直线的代表
性好坏，称为可决系数。
对于一元线性回归方程：
SSR SST SSE R 1 SST SST 2 y y y 2 R 1 2 y y y
（6）Part and partial correlation：输出方程中 各解释变量与被解释变量之间的简单相关、偏相 关系数。
（7）Covariance matrix：输出方程中各解释变量 间的相关系数、协方差以及各回归系数的方差。
（8）Collinearity Diagnostics：多重共线性分析 ，输出各个解释变量的容忍度、方差膨胀因子、特 征值、条件指标、方差比例等。 （9）在Residual框中：Durbin-waston表示输出 DW检验值；Casewise Diagnostic表示输出 标准化残差绝对值大于等于3（SPSS默认值）的 样本数据的相关信息，包括预测值、残差、杠杆值 等。
y y
2
2 y y y y


2
总离差平方和（SST)=回归离差平方和（SSR) +剩余离差平方和(SSE) 其中： •SSR是由x和y的直线回归关系引起的，可以由回归直线做出解释； •SSE是除了x对y的线性影响之外的随机因素所引起的Y的变动，是回归直 线所不能解释的。
9.4.2 多重共线性分析
•
多重共线性是指解释变量之间存在线性相关关系的现象
。测度多重共线性一般有以下方式：
2
1、容忍度：
Ri
Toli 1 Ri
2
其中， 是第i个解释变量与方程中其他解释变量间的 复相关系数的平方，表示解释变量之间的线性相关程度。 容忍度的取值范围在0-1之间，越接近0表示多重共线性越 强，越接近1表示多重共线性越弱。
自变量间可能存在较强的线性关系,即:多重共线性. 因而不能
全部引入回归方程.
(二)自变量向前筛选法(forward)
即:自变量不断进入回归方程的过程.
• • •
首先,选择与因变量具有最高相关系数的自变量进入方程,
并进行各种检验; 其次,在剩余的自变量中寻找偏相关系数最高的变量进入 回归方程,并进行检验;
9.2 线性回归模型 一元线性回归模型的数学模型：