SPSS课件第10章

第10章回归分析
回归分析是解决一个变量与另一个变量或者是一个变量与一组变量之间的依存关系的统计方法，在经济和金融研究及应用中有十分广泛的应用；例如，分析投资对国家经济增长的拉动作用，分析利率及消费者物价指数（CPI）的变动和存款金额的依存关系等等。

在回归分析中，将自由变化的量称为自变量，将受自变量影响而变化的量称为因变量1。

自变量和因变量的确定是回归分析首先要解决的一个重要问题，一般说来，自变量和因变量之间都存在因果关系，自变量通常是可以被控制或者研究比较透彻的量，表示原因；而因变量通常是不易控制或者了解不深入的变量，通过研究自变量和因变量的关系可以通过自变量影响因变量或者通过对自变量的研究了解因变量的变化，表示结果；习惯上将表示原因的变量选为自变量，表示结果的变量确定为因变量。

例如第一个例子中投资就是自变量，经济增长是因变量，相对来说投资可以控制，而经济增长难于控制，但是可以通过投资影响经济增长；第二个例子中利率和消费者物价指数是自变量，存款金额是因变量，存款金额的变化规律难于了解，但是可以通过对CPI和利率的研究间接了解其变化。

回归分析与相关分析的关系非常密切，但是两者又有区别：两者都是研究变量之间关系的方法，但两者侧重不同，相关分析着重说明变量之间的关系密切程度，对变量之间的关系没有要求，变量地位是对等的，同时也不能具体说明一个变量的变化将如何影响另一个变量；回归分析着重说明变量之间依存关系，即因变量是如何依靠自变量的因果关系，因此，回归分析要求变量有因变量和自变量之分，变量地位不再对等，同时将说明自变量的变化将怎样导致因变量变化，获取的信息比相关分析丰富。

在统计研究中，可以将回归分析作为相关分析的后续分析，首先说明变量之间有密切关系，在区分变量的因果关系后，进一步分析变量之间关系的具体形式。

在SPSS中，相关分析主要依靠菜单Correlate来完成，而回归分析主要依靠菜单Regression来完成。

图10-1 回归分析菜单
回归分析有多种分类标准，按照变量之间依存关系的类型，回归可以分为线性回归和非线性回归；在SPSS中，分别对应Regression菜单下的Linear菜单和Curve Estimation，菜单如图10-1所示；按照回归中自变量的多少，可以将回归分为一元回归和多元回归，前者主要研究一个变量与另一个变量的关系，而后者研究一个变量和一组变量的依存关系；将两种关系进行组合，可以得到四种回归模型，分别是一元线性回归，一元非线性回归，多元线性回归，多元非线性回归，我们将详细讨论四种模型的差异和处
1部分书籍写作“应变量”，与本文“因变量”同义，下文不再解释，直接用“因变量”一词。

第10章 回归分析
『 2 』 理方法的不同；另外，SPSS 中还提供一些处理特殊数据的特殊回归模型，例如Logistic 回归模型，Probit 回归模型等都在SPSS 中有对应处理菜单，这些都在图10-1中标出，也会在下面叙述中谈到。

本章安排四节内容，第一节 一元线性回归，是回归分析中最基础，最简单的模型，在本节讲述回归分析的基本模型和基本条件，通过案例讲解回归分析的SPSS 实现及结果分析，第二节 多元线性回归 主要说明从一元回归模型演化到多元线性回归模型，在模型和处理方法上有哪些不同；第三节 曲线回归，说明曲线回归模型的概述，与线性模型的优势和不同以及Curve Estimation 菜单的使用；第四节介绍Logistic 回归等其他特殊回归模型和相应菜单使用。

10.1 一元线性回归
一元线性回归是回归分析中最简单、最基础的模型，研究两个变量之间的线性依存关系。

一元线性回归作为数学模型，有着模型应用的条件和假设；满足这些条件和假设，应用一元线性回归分析可以得到合理的模型，发掘出变量之间的关系，但是如果不满足条件假设而强行应用一元线性回归，将很可能得到错误的模型和结论，因此在本节的第一部分，将首先介绍一元线性回归的模型和假设条件。

10.1.1回归的思想和假设
一元线性回归是研究两个变量依存关系的统计方法，它是由英国统计学家高尔顿（Galton ）在研究父子身高的关系时首先提出的。

两个变量中假设因变量用y 表示，自变量用x 表示，一元线性回归的一般模型是：
y x αβε=++
所谓依存关系是指两个变量之间不严格的“趋势”关系，和严格的函数关系相区别，依存关系无法用精确的函数表达，只能用统计方法分析变量间“平均意义”上的变化，即当x 变化时，y 平均看来将如何变化，不能分析y 的精确变化。

其中，α称为线性方程的截距，β称为线性方程的斜率，这两个方程的参数是不变的；ε称为方程的随机误差，标明自变量x 以外的其他因素对因变量y 影响，在每次x 、y 取值时随机变化，从上述公式中可知，由于ε的影响，y 和x 之间只能是不严格的依存关系，想通过x 精确把握y 的变化是做不到的。

如果观察了n 次两个变量的变化，记录相应数值，可以得到如下n 个方程：
,1,2,...,i i i y x i n αβε=++=
因为y 和x 关系不严格，少数几次观测对于确定两个变量的关系是不够的，因此必须大量观察记录y 和x 的数值，
才有可能从大量数据中发现变量的变化规律，这也正是统计方法发现规律的做法。

在这n 个方程中，随机误差项必须满足以下条件：
线性是合理的，即因变量和自变量之间只存在线性关系，没有非线性关系存在，
随机误差零均值，相互独立，且方差相等，即满足下列3个等式：
2()0,var(),cov(,,1,2,...,,.i i i j E i j n i j εεσεε===≠)=0,
第三篇 SPSS 深入分析
随机误差具有相同的分布，都服从正态分布，即
2(0,),1,2,...,i N i n εσ=
随机误差与自变量相互独立，即
cov(,)0,,1,2,...,i j x i j n ε==
虽然SPSS 中没有要求对数据进行上述四项检验，但是在应用回归模型时，应当首先对四个条件进行检验，当以上四个条件满足时，就可以用一元线性回归方程拟合因变量和自变量的关系，否则将不能应用一元线性回归方程。

通过下面的例子，可以了解如何应用SPSS 进行条件检验和完成回归方程的拟合。

10.1.2 引例：回归方程的拟合
在下面的例子中，我们将应用SPSS 完成一元线性回归模型的拟合，伴随例子的分析，我们将阐述一元回归的一般流程及SPSS 实现，同时将在重要地方给出标注。

表10-1 某地能源消耗与工业总产值数据
年份
能源消耗
（十万吨）
工业总产值 （亿元） 年份 能源消耗 （十万吨） 工业总产值 （亿元） 1
991
35 24 1999 62 41 1
992
38 25 2000 64 40 1
993
40 24 2001 65 47 1
994
42 28 2002 68 50 1
995
49 32 2003 69 49 1
996
52 31 2004 71 51 1
997
54 37 2005 72 48 1
998
59 40 2006 76 58
在回归分析中，对模型条件的检验一般是针对残差的分析来完成，因此必须首先拟合模型，得到残差，然后验证残差
是否满足条件，最后根据残差反馈的信息对模型进行修正。

『 4 』
第10章回归分析
以下将基于这些数据拟合能源消耗和工业总产值的回归方程。

我们将基于以下步骤进行：
1.做两个变量的散点图，观察两个变量的相关性；
做散点图选项是
Step1：选择【Graphs】菜单→【Legacy Dialogs】菜单→【Scatter/Dot】菜单→【Simple Scatter】菜单在图10-2所示对话框散点图绘制对话框中，和第9章图9-2一样，这里就不再解释说明了。

图10-2 散点图设置
Step2：选择做散点图变量
工业总产值（output）→Y Axis //选择工业总产值为作散点图的纵坐标Y
能源消耗（ener）→X Axis // 选择能源消耗为作散点图的横坐标X
设置完成以后点击完成操作。

注意：变量散点图的绘制是回归分析中必不可少的步骤，除非读者能够确定变量之间确实存在线性依存关系。

通过散点图，可以达到两个目的：第一、观察到变量数据是否存在线性依存关系，从而确定是否进行线性回归方程拟合；第二、可以预先观察到模型的一些问题，例如异方差、非线性、异常值等，可以参考相关其他书籍论述，此处不再赘述。

第三篇 SPSS 深入分析
图10-3 能源消耗与工业总产值散点图
从图中可以明显看出这两个变量有较强的线性相关关系，可以用一元线性回归方程拟合两个变量，另外从图中没有发现明显的非线性、异方差、异常值等问题，考虑直接用线性模型拟合。

2. 选定自变量和因变量，进行回归拟合；
根据两个变量的经济意义，显然能源消耗是原因，工业总产值是结果，因此，将能源消耗作为自变量，工业总产值作为因变量，进行回归方程拟合，回归方程为：
6.5160.796,1,2,...,i i i y x e i n =-++=
图 1-1 其中 -6.516，0.796分别是对线性方程截距α和斜率β的估计。

i e 称为残差，是对方程
随机误差项i ε的估计。

回归方程的获得涉及回归结果解释，具体可参考10.1.3的说明。

3. 回归方程的检验；
回归方程的检验涉及方程意义检验，方程显著性检验，方程系数显著性检验，以及残差分析，具体请参看10.1.3的相关说明。

4. 回归方程的修正；
根据方程检验的结果，确定回归方程是否成立，同时确定是否需要对方程进行修正；如果方程不需修正，则方程拟合完毕，如果方程需要修正，则将修正的方程重复2，3，4步骤，直到方程不需要修正为止。

说明：此处主要说明回归方程拟合的一般步骤，方程拟合结果、方程检验等内容请参考后续相关小节，SPSS 实现请参考10.1.4小节。

10.1.3 回归方程的检验
回归方程建立以后，必须对方程进行检验，通过检验，可以证明两个变量的关系是合理的，也可以说明变量间的关系是统计显著的；只有通过检验的方程才能应用于说明变量关系和进行因变量的预测。

回归方程的检验主要包括：
方程意义检验
方程意义检验主要检验的自变量与因变量关系的合理性，包括回归方程参数正负、大小、关系是否合理，是否符合相关的理论等。

如果符合，就可以通过检验，反之将不能通过检验，必须寻找原因，重新拟合。

方程拟合优度检验
方程拟合优度检验主要检验自变量对因变量的解释程度，应用可决系数2
R 进行检验，可决系数定义为： 21reg SS RSS R SS SS
=-=
第10章 回归分析
『 6 』 式中SS 表明因变量的方差，reg SS 表示回归平方和，即自变量说明因变量方差的部分，RSS 表明残差平方和，即自变量不能解释的其他随机因素对因变量的影响，可决系数描述了因变量的方差中，自变量能够解释的方差。

可决系数取值为0到1之间，取值越大，说明模型拟合效果越好，一般可决系数大于0.7，认为拟合效果较好，否则认为拟合效果较差。

SPSS 中会自动计算可决系数，读者可根据其计算值完成检验。

方程显著性检验
方程显著性检验旨在检验变量之间的线性关系是否统计显著，如果线性关系统计显著，说明自变量确实能影响因变量，就可以用自变量的取值去预测因变量的取值；相反，如果线性关系统计不显著，则说明变量之间没有线性关系，不能应用自变量对因变量进行操作。

方程显著性检验通过F 检验完成，F 统计量构造如下：
//(1)reg SS k
F RSS n k =--
式中， k 表示自变量个数，在一元线性回归中1k =。

F 检验依赖F 分布确定检验临界值，如果计算出的F 值大于临界值或者计算出的显著性水平概率小于0.05，一般认为方程显著性检验能通过，自变量与因变量线性关系统计显著。

在SPSS 中会自动给出F 值和对应的P 值，根据P 值可以完成检验。

系数显著性检验
和方程显著性检验是不同的，系数显著性检验旨在检验单个自变量和因变量之间的线性关系是否统计显著，方程显著性检验是检验自变量全体对因变量的线性关系和解释能力，系数显著性检验重点检验每个自变量对因变量的解释能力。

有可能出现这样的情况，有三个自变量，对因变量线性关系统计显著，但是其中只有第一个和第二个自变量对因变量有显著影响，第三个自变量对因变量没有显著影响，则方程显著性检验能通过，系数显著性检验前两个变量能通过，第三个变量不能通过。

总之，方程显著性检验是针对自变量全体的检验，而系数显著性检验是针对单个自变量的检验。

系数显著性检验通过t 检验完成，t 统计量构造如下：
ˆˆˆ()i i t Se
ββ= 式中，ˆi
β表示对参数的估计值，ˆˆ()i Se β表示参数估计值的标准差，两者相除即得t 统计量的值。

t 检验依赖t 分布计算临界值，如果计算出的t 值大于临界值或者计算出的显著性水平概率小于0.05，一般认为系数显著性检验能通过，单个自变量与因变量线性关系统计显著。

在SPSS 中会自动给出t 值和对应的P 值，根据P 值可以完成检验。

注意：在一元线性回归中，由于自变量只有一个，因而自变量全体和单个自变量等价，所以方程显著性检验和系数显
著性检验等价，这是一种特殊情况，在多元线性回归中，两者不再等价。

残差分析
残差分析主要通过对残差的分析，来说明随机误差满足10.1.1列出的条件。

残差分析包括分布分析，异方差分析，自相关分析和非线性趋势分析，将在下面的例子中看到具体残差分析过程。

第三篇SPSS深入分析
10.1.4 回归结果的解释
利用10.1.2数据进行一元线性回归，其操作步骤为：
Step1：【Analyze】菜单→【Regression】菜单→【Linear】菜单
在图10-4的对话框中，如标注所示，左边列出了SPSS数据集所有的变量，中间Dependent是因变量框，而Independent(s)：是自变量框，中间下部分Selection Variable框是选择变量框，可以根据选择变量选定满足条件的案例进行分析；Case Label是标注框，选择标准变量（通常是字符串变量）对每个案例进行标注，WLS Weight是加权最小二乘框，用于进行加权最小二乘。

右边四个按钮是选项按钮。

图10-4 Linear线性回归选项对话框
Step2：选择因变量和自变量
工业总产值（output）→Dependent://选择工业总产值为因变量
能源消耗（ener）→Independent(s)://选择能源消耗为自变量
Step3：选择回归分析选项，进行设置
点击按钮，将会看到如图10-5所示的关于统计量的对话框：
图10-5 Statistics子对话框
选中Residuals复选框组中Durbin-Watson选项，表示选择进行自相关检验的统计量，接下来点击按钮返回主对话框，选择选项按钮，会看到如图10-6所示的对话框，对话框由7部分构成：
左上部是预测值“Predict Values”复选框组，包含四项：
Unstandized：非标准化预测值，即将x值代入拟合方程得到的拟合y值；
选中此项
『8 』
第10章回归分析
Standized：标准化预测值，即预测值减去y的均值，除以方差，此预测值均值为0，方差为1；
Adjusted：去掉当前记录后，其余数据拟合新模型，新模型对y的预测值，类似交互检验的思想；
S.E. of mean prediction：预测值的标准差，可以用于构造预测值的置信区间。

右上部分是残差“Residuals”复选框组，包含五项：
Unstandized：非标准化残差，即因变量真实值减去拟合值；
Standized：标准化残差，即残差除以其标准差；
Studentized：学生化残差，即对残差进行t变换，计算其t统计量的值；
Deleted：将当前记录删除，剩余数据拟合新模型，得到新模型的拟合值，从而计算出的残差，有助于发现强影响点；
Studentized Deleted：Deleted预测值的t变换。

图10-6 Save按钮子对话框
左边中间是距离“Distance”复选框组，包含三项：
Mahalanobis：马氏距离，记录样本点到到平均值的距离，如果马氏距离过大，则样本可能是离群点；
Cook’s：如果该记录去除，残差将会发生多大变化，一般Cook’s距离大于1，则样本可能是离群点或强影响点；
Leverage values：杠杆值，用于测量样本的影响程度，一般大于2p/n，即为强影响点，p为参数个数，n为样本量。

第三篇SPSS深入分析
另外SPSS还提供一组专门判断强影响点的统计量，即是Influence Statistics复选框组中的选项，这里简单解释如下：
DfBeta(s)：Difference in Beta的缩写，即如果去掉该组数据重新拟合回归模型，模型的回归系数变化值；
Standized DfBeta：标准化的DfBeta值，当它大于2
DfFit：即Difference in fit value的缩写，即去掉该数据重新拟合回归模型，该预测值的变化；
Standized DfFit：标准化的DfFit值，当它大于2
Covariance ratio：去掉该组数据的协方差阵与原协方差阵的比率。

其绝对值大于3p/n时，即为强影响点。

SPSS还提供预测值区间复选框组，将变量值存储到新变量或新文件复选框组等，这里就不解释了。

选中Residuals框中的Unstandardized选项，选择保存非标准化残差，点击按钮完成操作。

以下将结合结果对回归模型进行分析。

Regression标题说明以下是回归分析的结果，如表10-2所示。

表10-2 Variables Entered/Removed(b)
Model Variables Entered Variables Removed Method
1 能源消耗(a) . Enter
a All requested variables entered.
b Dependent Variable: 工业总产值
表10-2是回归分析的一般说明，包括自变量是能源消耗，因变量是工业总产值，回归选择的方法是所有变量直接进入模型，由于这里只有一个自变量，因此只有一个模型，当多元回归时，可能出现多个模型的情形。

说明：关于回归方程的方法选择请参考相关SPSS书籍，本书不做特别说明。

表10-3 Model Summary(b)
Model R R Square Adjusted R Square Std. Error of the Estimate Durbin-Watson
1 .976(a) .95
2 .949 2.45674 1.900
b Dependent Variable: 工业总产值
表10-3主要是回归方程的拟合优度检验，其中R Square表明可决系数的取值，上述例子中可决系数等于0.952，非常接近1，说明因变量的方差中，自变量能解释95.2%，模型拟合效果很好。

另外，最后一列给出了模型的Durbin-Watson取值，将在下面残差分析中用到。

说明：关于表中其他内容说明如下：R表明变量的相关指数，等于R Square值的平方根，在线性回归中即是相关系数的
第10章 回归分析
『 10
』 绝对值，在非线性回归中另有含义；Adjusted R Square 表明修正的可决系数，将在多元回归中解释；Std. Error of the Estimate 表明估计的标准误差，这项在回归分析中很少用到。

Model
Sum of Squares df Mean Square F Sig. 1 Regression
1676.440 1 1676.440 277.761 .000(a) Residual
84.498 14 6.036 Total 1760.938 15
a Predictors: (Constant), 能源消耗
b Dependent Variable: 工业总产值
表10-4是方差分析表，主要列出了方程显著性检验的结果，表格的第二行、第三行、第四行分别表明回归平方和reg SS 、残差平方和RSS 和因变量总方差（总平方和）SS 。

表格第三列说明模型总平方和为1760.938，回归平方和为1676.44，残差平方和为84.498，回归与残差平方和相加即得到总平方和；第四列说明回归平方和、残差平方和、总平方和各自的自由度为1，14，15；第五列说明平方和的平均数，等于第三列数值除以对应第四列数值，表格第六列和第七列给出F 统计量的值和对应的显著水平P 值。

在SPSS 中，方程显著性检验主要通过观察表格的最后一列P 值来给出，本例中显著水平小于0.0001，当然小于0.05，说明方程显著性检验能够通过，工业总产值和能源消耗线性关系显著。

表10-5 Coefficients(a)
Model
Unstandardized Coefficients Standardized Coefficients
t Sig.
B
Std. Error Beta 1 (Constant)
-6.516 2.803 -2.325 .036 能源消耗 .796 .048 .976 16.666 .000 a Dependent Variable: 工业总产值
表10-6是系数表，主要说明两部分内容，其一是回归方程的形式，其二是系数显著性检验的结果，表格的最后两行说明方程系数的情况，“Constant ”代表截距，“能源消耗”代表能源消耗变量的斜率，表格第三、四列表明非标准化系数的估计值和标准差，第五列是标准化系数值，第六列和第七列是t 统计量的取值和相应的显著水平，在SPSS 中，系数显著性检验主要通过最后一列的P 值来完成。

根据表格第三列截距和斜率的取值，可以得出回归方程为
6.5160.796,1,2,...,i i i y x e i n =-++=
进行方程意义检验，上面例子中，截距为-6.516，说明在没有能源消耗的情况下，工业总产值将净损失6.516亿元，这是因为没有能源消耗将不能进行工业生产，机器折旧、原材料成本，工人工资等将成为净损失，故截距为负是合理的。

而斜率为0.796，说明能源的增加和工业总产值的增加呈现正相关关系，这是合理的。

而0.796也是一个合理的数值，如果斜率出现负值，或者值超出了合理的范围，例如大于单位消耗最大产值或小于单位消耗最小产值，说明方程拟合出现问题，必须重新拟合。

接着进行系数显著性检验，截距的t 统计量取值为-2.325，相应显著水平是0.036，小于0.05说明截距显著不为0，斜率的t 统计量取值为16.666，相应的显著水平为0.000，小于0.05，说明斜率显著不为
0。

综上所述，回归方程就是上述公式形式。

注意：方程意义的检验涉及许多背景知识，每次拟合都要结合背景知识进行检验，在此就不多叙述了；由于方程显著性检验和系数显著性检验在一元回归时等价，故本例中，可以从两种显著性检验结果中选择一种分析，但是在多元回归中，两个结果都要分析。

以下将进行残差分析，首先进行残差的分布分析，通过做残差的P-P图，P-P图SPSS操作在第3章已经讲过了，这里简单复习。

Step1：选择【Analysis】菜单→【Descriptive Statistics】菜单→【P-Pplot】菜单
将看到如图10-7所示的对话框：
图10-7 P-P图的参数
Step2：选择检验变量和检验分布
Unstandardized Residual (res_1)→Variables: // 选择作图变量
Test Distribution:选择Normal //选择作正态P-P图
选择按钮
可以看到残差的分布与正态分布的关系，P-P图如10-8所示：
通过P-P图，可以看到残差数据基本服从正态分布，从而可知随机误差服从正态分布这个条件得到满足。

』
图10-8残差分布的P-P 图
接下来我们进行残差自相关的分析，残差自相关分析主要通过Durbin-Watson 统计量进行检验，D.W.统计量定义如下：
2
1
2
2
1
()..n
i
i i n
i
i e e
DW e
-==-=
∑∑
D.W.统计量取值在0-4之间，当残差正相关时，即1,i i e e -接近，则D.W.统计量取值接近0，同理，当残差负相关时，即1,i i e e --接近，则D.W.统计量取值接近4，当D.W.统计量取值接近2时，说明随机误差不存在自相关。

本例中，D.W.统计量取值为1.9，接近2，说明序列不存在自相关。

最后，我们进行残差异方差和非线性分析，通过做残差图关于自变量的散点图，散点图的操作不再赘述，只是写出过程
【Graphs 】→【Legacy Dialogs 】→【Scatter/Dot 】→【Simple Scatter 】 Unstandardized Residual (res_1)→Y Axis 能源消耗（ener ）→X Axis 单击按钮
可以看到残差的分布情况，如图10-9所示：
图10-9 残差散点图
从10-9残差散点图中，可以看出残差基本没有异方差性，但是有比较弱的非线性趋势，这一点我们将在10.3节曲线回归中对此模型进行修正。

如果对模型要求不是特别严格，可以认为残差没有非线性趋势，残差满足一元线性回归的条件，故不需要对方程进行修正，10.1.2介绍的回归流程中第4步骤省略。

本例中回归拟合的直线方程合理有效，可以用于预测和控制。

综上所述，在一元线性回归中，应该遵循选择变量、作散点图、拟合方程、方程检验、方程修正的顺序完成，最终通过方程检验以后的线性回归方程才能用于解释变量关系以及用作预测和控制等。

多元线性回归和一元线性回归过程基本相同，只是有些步骤更加复杂一些。

下面我们就进入多元线性回归的分析。

10.2 多元线性回归
在一元回归中，自变量只有1个，因变量只和1个因素有关。

这在实际情况中是不常见的。

常见的情况是1个自变量无法将因变量的变化信息完全解释，往往需要多个自变量才能解释因变量的变化信息，这时就牵涉到1个因变量和1组自变量的线性回归方程，这在回归分析中称为多元线性回归，下面我们就来讲解这个模型。

10.2.1 引例，多元线性回归的引入
本节中，我们还是通过一个具体的例子让读者理解为什么要引入多元线性回归，多元线性回归的条件，在拟合多元线性回归模型时应注意的问题，以及多元线性回归的SPSS操作和结果解释。

请看下面的例子：
在本例中，被解释变量非常清楚，就是粮食产量，但是自变量的选择就比较费思量了，影响粮食产
2数据来源，中国统计局、中国农业部官方网站，中国门户发展网、中经专网统计数据库。

数据收集，西南财经大学“2008年SPSS软件应用大赛”盛钰等。