数学建模之回归分析法

什么是回归分析

回归分析（regression analysis)是确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法。运用十分广泛，回归分析按照涉及的自变量的多少，可分为一元回归分析和多元回归分析；按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。如果在回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。

回归分析之一多元线性回归模型案例解析

多元线性回归，主要是研究一个因变量与多个自变量之间的相关关系，跟一元回归原理差不多，区别在于影响因素（自变量）更多些而已，例如：一元线性回归方程为：

毫无疑问，多元线性回归方程应该为：

上图中的x1, x2, xp分别代表“自变量”Xp截止，代表有P个自变量，如果有“N组样本，那么这个多元线性回归，将会组成一个矩阵，如下图所示：

那么，多元线性回归方程矩阵形式为：

其中：代表随机误差，其中随机误差分为：可解释的误差和不可解释的误差，随机误差必须满足以下四个条件，多元线性方程才有意义（一元线性方程也一样）

1：服成正太分布，即指：随机误差必须是服成正太分别的随机变量。

2：无偏性假设，即指：期望值为0

3：同共方差性假设，即指，所有的随机误差变量方差都相等

4：独立性假设，即指：所有的随机误差变量都相互独立，可以用协方差解释。

今天跟大家一起讨论一下，SPSS---多元线性回归的具体操作过程，下面以教程教程数据为例，分析汽车特征与汽车销售量之间的关系。通过分析汽车特征跟汽车销售量的关系，建立拟合多元线性回归模型。数据如下图所示：（数据可以先用excel建立再通过spss打开）

点击“分析”——回归——线性——进入如下图所示的界面：

将“销售量”作为“因变量”拖入因变量框内，将“车长，车宽，耗油率，车净重等10个自变量拖入自变量框内，如上图所示，在“方法”旁边，选择“逐步”，当然，你也可以选择其它的方式，如果你选择“进入”默认的方式，在分析结果中，将会得到如下图所示的结果：（所有的自变量，都会强行进入）

如果你选择“逐步”这个方法，将会得到如下图所示的结果：（将会根据预先设定的“F统计量的概率值进行筛选，最先进入回归方程的“自变量”应该是跟“因变量”关系最为密切，贡献最大的，如下图可以看出，车的价格和车轴跟因变量关系最为密切，符合判断条件的概率值必须小于0.05，当概率值大于等于0.1时将会被剔除）

“选择变量(E)" 框内，我并没有输入数据，如果你需要对某个“自变量”进行条件筛选，可以将那个自变量，移入“选择变量框”，有一个前提就是：该变量从未在另一个目标列表中出现！，再点击“规则”设定相应的“筛选条件”即可，如下图所示：

点击“统计量”弹出如下所示的框，如下所示：

在“回归系数”下面勾选“估计，在右侧勾选”模型拟合度“和”共线性诊断“两个选项，再勾选“个案诊断”再点击“离群值”一般默认值为“3”，（设定异常值的依据，只有当残差超过3倍标准差的观测才会被当做异常值）点击继续。

提示：

共线性检验，如果有两个或两个以上的自变量之间存在线性相关关系，就会产生多重共线性现象。这时候，用最小二乘法估计的模型参数就会不稳定，回归系数的估计值很容易引起误导或者导致错误的结论。所以，需要勾选“共线性诊断”来做判断

通过容许度可以计算共线性的存在与否？容许度TOL=1-RI平方或方差膨胀因子（VIF): VIF=1/1-RI平方，其中RI平方是用其他自变量预测第I个变量的复相关系数，显然，VIF为TOL的倒数，TOL的值越小，VIF的值越大，自变量XI与其他自变量之间存在共线性的可能性越大。

提供三种处理方法：

1：从有共线性问题的变量里删除不重要的变量

2：增加样本量或重新抽取样本。

3：采用其他方法拟合模型，如领回归法，逐步回归法，主成分分析法。

再点击“绘制”选项，如下所示：

上图中：

DEPENDENT( 因变量）ZPRED(标准化预测值）ZRESID(标准化残差）DRESID(剔除残差）ADJPRED(修正后预测值）SRSID(学生化残差）SDRESID(学生化剔除残差）一般我们大部分以“自变量”作为X 轴，用“残差”作为Y轴，但是，也不要忽略特殊情况，这里我们以“ZPRED（标准化预测值）作为"x" 轴，分别用“SDRESID（血生化剔除残差）”和“ZRESID(标准化残差）作为Y轴，分别作为两组绘图变量。

再点击”保存“按钮，进入如下界面：

如上图所示：勾选“距离”下面的“cook距离”选项（cook 距离，主要是指：把一个个案从计算回归系数的样本中剔除时所引起的残差大小，cook距离越大，表明该个案对回归系数的影响也越大）

在“预测区间”勾选“均值”和“单值”点击“继续”按钮，再点击“确定按钮，得到如下所示的分析结果：(此分析结果，采用的是“逐步法”得到的结果）