第八章 回归分析-SPSS

第六章回归分析一、基本概念变量之间的联系可以分为两类：1．一类是确定性的关系确定型的关系是指某一个或某几个现象的变动必然会引起另一个现象确定的变动，它们之间的关系可以使用数学函数式确切地表达出来，即函数关系y=f(x)。

2．另一类是非确定关系称为统计关系或相关关系。

3．回归分析和相关分析的区别区别主要是模型的假设以及研究的目的有所不同。

在模型的假设方面，大致可分为两类：（1）第一类是两个变量一个是非随机变量，而另一个是随机变量。

（2）第二类是两个变量都是不能控制的随机变量，形成一个二维分布。

统计学中把前者的分析称为回归分析，把后者的分析称为相关分析。

概括地说,线性回归分析是处理两个或两个以上变量间线性依存关系的统计方法。

二、SPSS提供了丰富的回归分析，内容分为以下几种:Linear: 线性回归分析Curve Estimation: 曲线拟合估计Binary Logistic:二维logistic回归分析Multinomial Logistic:多维logistic回归分析Ordinal: Ordinal回归分析Probit:概率单位回归分析Nonline:非线性回归分析Weight Estimation:加权估测分析2-Stage least Squares:两阶最小二乘法分析本章主要介绍Linear Regression线性回归分析，它包括一元线性回归和多元线性回归，其他不做要求。

第一节一元线性回归一、一元线性回归模型及假设一元线性回归模型是两个变量之间的关系可以通过有关的参数直接用直线关系来表达，其模型是:Yi=a+bXi+εi式中：Yi表示变量Y在总体中的某一个具体的观察值;Xi表示在研究总体中相应的另一个变量的x的具体观察数值;a与b是参数，分别称为回归常数和回归系数;εi是一个随机变量，其均值为0，方差为σ2。

对一元线性回归模型做出以下的几点假设:1.Xi为一自变量，是预先确定的，因而是一个非随机变量。

2．当确定某一个Xi时，相应的Y就有许多Yi与之对应。

Yi是一个随机变量，这些Yi构成一个在X取值为Xi条件下的条件分布，并假设其服从正态分布。

3．所有的εi的均值和方差是相等的。

4．εi与εj之间是相互独立的。

简单概括起来，"线性"、"正态"、"独立"、"方差齐性"是线性回归的四个条件。

二、一元线性回归模型的检验确定了回归直线之后，需要评价直线回归方程是否有效地反映了这两个变量之间的关系。

检查和评价回归方程的方法可以从两方面入手。

1．残差图的评价（不作要求）残差图以方程的自变量为横坐标，以残差εi为纵坐标，将每一个自变量所对应的残差都画在平面上所形成的图形。

2．技术指标的检查（1）对样本回归系数a、b的检验检验的假设是：Ho：b=0。

(2) 方差分析(3) r2测定系数(Coefficient of Determination)如果各点愈接近回归直线，r2就趋近于1，说明配合好。

否则，如果r2不接近1，就说明配合不够令人满意。

(4) Durbin-Watson检验（不作要求）目的是检验"回归模型中的误差项是独立的"这一假设是否成立。

检验的参数为D，其取值范围为区间(0，4)，表达意义为:D的数值在2附近，说明残差之间是独立的。

D<2，说明残差之间是正相关的。

D>2，说明残差之间是负相关的。

第二节多元线性回归一、多元回归模型及其假设多元回归模型的一般形式为:Yi=a+bX1i+X2i+εi应用多元回归模型必须满足以下假设1.Xi可以是任意确定的变量，也可以是有意选择的变量。

2.对于每一个i, εi都是正态独立的分布，其均值为0，方差为σ2。

3.每个因素之间是相互独立的。

4.因变量和自变量之间的关系是线性的。

二、多元线性回归模型的评价1．残差图的评价2．技术指标的检查（1）对样本回归系数a,b的检验假设是所有的系数为0，即Ho：bi=0。

若回归系数的效果显著，则回归函数有一定的合理性。

反之，如果结论是不能拒绝假设，即回归系数的效果不显著，可能是来源于两个原因：第一，自变量对因变量Y无显著性影响，此时应舍弃这个模型；第二，自变量对因变量Y有显著影响，但不能用线型关系来表述，此时可以考虑采用其他非线性回归分析。

（2）方差分析与一元线性回归模型的方差检验的原理相同。

（3）偏回归系数的显著性检验偏回归系数的显著性检验的目的是：探明是否每一个自变量对因变量都是重要的。

在偏回归系数的检验中，假设总体回归系数为0。

当回归检验表明某个自变量的系数不显著时，则相应的自变量被认为在回归方程中不起什么作用，应从回归方程中剔除，重新建立起更为简单的回归方程。

偏回归系数检验使用的统计量为t统计量。

（4）残差的正态型检验检验残差是否正态分布可以通过残差的直方图、累积概率图等来判断。

第三节在SPSS中建立回归方程一、建立数据文件，并利用散点图大致观察一下数据的分布。

（一）几种散点图状况：1，两个变量间的关系基本呈线性，可做回归分析；2，曲线关系；3，两个变量虽然呈线性关系，但有一个异常点，需先进行处理，再做回归分析；4，有异常点，容易错误地把它当作正常情况处理，应个别处理。

（二）一元线性回归方程举例1．下列10对数据是为确定某心理量与物理量之间的关系而做的实验结果，假设两者呈线性关系，试以这10对数据建立该心理量与物理量的回归方程。

A B C D E F G H I J心理量(y) 1 1 3 3 4 5 6 7 8 9物理量(x) 0 2 1 5 4 2 6 2 5 72．下列数据是20名工作人员的智商和某一次技术考试成绩，根据这个结果求出考试成绩队智商的回归方程。

如果另有一名工作人员智商为120，则估计一下若让他也参加技术考试，将会得多少分？工作人员 A B C D E F G H I J K L M N O P Q R S T智商(X) 89 97 126 87 119 101 130 115 108 105 84 121 97 101 92 110 128 111 99 120考试(Y) 55 74 87 60 71 54 90 73 67 70 53 82 58 60 67 80 85 73 71 90二、用SPSS建立回归模型的操作步骤1．操作步骤操作命令：Analyze→Regression→Linear→打开Linear Regression对话框。

在对话框中，可以具体设定要建立什么样的回归模型，需要输出哪些结果。

2.选择因变量进入右边Dependent框内，选出一个或多个变量进人Independent(s)框内作为自变量。

3．注意因变量和自变量必须都是数值型变量，不能是其他类型的变量。

4．采用不同的自变量、因变量和回归方法可建立不同的回归模型。

5． Method"栏。

选项有:Enter、Stepwise、Remove、Backward、Forward。

(1)Enter选项:系统的默认选项，表示让所有选择的自变量都进入回归模型。

(2)Stepwise选项:逐步进入法。

（3）Remove选项:消去法。

在建立回归模型时，根据设定的条件，删除部分自变量。

（4）Backward选项：向后剔除法。

首先让所有的自变量进入回归方程之中，然后逐一删除它们。

删除变量的判决标准是Options对话框中设定的F值。

（5）Forward选项：向前选择法。

这种变量选择方法恰好与"Backward"选项的方法相反，根据Options对话框中设定的判决标准F值，逐一地让自变量进入回归方程。

首先在所有的自变量中间，让和因变量之间有正最大或负最小相关系数的自变量进入回归方程，当然，这个自变量应满足进入标准。

然后使用同样的方法，逐一地让自变量进入回归方程，直到没有满足进入标准的自变量时为止。

6．选择Selection Variables对话框，在己有变量中选取满足某个条件的变量来分析。

（1）从左边的源变量对话框中，将变量选入右边Selection Variables框中。

（2）单击Rule按钮打开Set Rule对话框。

7．在左边的源变量对话框中，选择观测量标签。

8．单击WLS按钮，可以选择一个作为权重的变量进入WLS Weight框中。

9．单击"Statistics"按钮，打开Statistics对话框。

（1）Regression Coefficient栏，在此栏内选择回归系数。

A. Estimates默认复选项，输出回归系数估计值（B）及其标准误，标准化回归系数（Beta）；B的t值及双侧显著性水平等相关测量。

B．Confident Interval复选项，输出回归系数的95%的置信区间。

C．Covariance复选项，输出协方差和相关矩阵。

（2）Model fit复选项，默认选项，列出进入或从模型中剔除的变量，输出复相关系数R，测定系数R2，调整R2，估计值的标准误，方差表。

（3）R squared change复选项，R2,F值的改变，以及方差分析P值的改变。

（4）Descriptive复选项，它显示了变量均值、标准差，单侧检验及相关系数矩阵。

（5）Part and partial correlation复选项，输出零阶相关系数(Zero-order, 即Pearson 相关)、偏相关系数，要求方程中至少有2个自变量。

（6）Co-linearity diagnostics复选项，共线性诊断。

（7）Residuals栏，分析残差的选择项。

A．Durbin-Watson复选项，用于残差分析。

B．Casewise diagnostics复选项，输出满足选择条件(条件设置在Outlier outside栏内) 的观测量诊断表。

C．Outlier outside栏：设置奇异值的判断条件，默认值n=3。

D．All cases选项，可输出所有关测量的残差值，标准化残差，实测值和预测值，残差。

10．单击Plots按钮，打开Plots对话框。

（1）在左上角上源变量框，ZPRED选项，标准化的预测值。

ZRESID选项，标准化的残差。

DRESID选项，删除的残差。

ADJPRED选项，修正后的预测值。

SRESID选项，用户化的残差。

SDRESID选项，用户化的删除的残差。

（2）在左下角的Standardize Residual Plots框内，有两个选项。

Histogram复选项，输出带有正态曲线的标准化残差的直方图。

Normal probability复选项，输出标准化残差的正态概率图。

通常用来检验残差的正态性。

(3)Produce all partial plots复选项，它对每一个自变量，会产生一个自变量与因变量残差的散点图。