第十章 相关分析和回归分析(副)

Bivariate过程用于进行两个或多个变量间的相关分 析，如为多个变量，给出两两相关的分析结果。
Partial过程，当进行相关分析的两个变量的取值都受到 其他变量的影响时，就可以利用偏相关分析对其他变量进行控 制，输出控制其他变量影响后的偏相关系数。 Distances过程用于对各样本点之间或各个变量之间进行 相似性分析，一般不单独使用，而作为聚类分析和因子分析等 的预分析。
i 1 2 i 2 i 1 i i n n i 1 2 i 2 i 1 i i n n
• 在小样本下，在零假设成立时， Spearman等级相关系数
服从Spearman分布；在大样本下， Spearman等级相关 系数的检验统计量为Z统计量，定义为：
Z r n 1
Z统计量近似服从标准正态分布。
3、特征根和方差比。根据解释变量的相关系数矩阵求 得的特征根中，如果最大的特征根远远大于其他特征 根，则说明这些解释变量间具有相当多的重复信息。 如果某个特征根既能够刻画某解释变量方差的较大部 分比例（0.7以上），又能刻画另一解释变量方差的 较大部分比例，则表明这两个解释变量间存在较强的 线性相关关系。 4、条件指数。指最大特征根与第i个特征根比的平方根 。通常，当条件指数在0-10之间时说明多重共线性 较弱；当条件指数在10-100之间说明多重共线性较 强；当条件指数大于100时说明存在严重的多重共线 性。
i i 2 i
0 y bx
多元线性回归模型
多元线性回归方程： y=β0+β1x1+β2x2+...+βkxk

β1、β2、βk为偏回归系数。 β1表示在其他自变量保持不变的情况下，自变量x1变动 一个单位所引起的因变量y的平均变动。
10.3.3
线性回归方程的统计检验
10.3.3.1 回归方程的拟合优度
• 10.3.3.4残差分析
残差是指由回归方程计算得到的预测值与实际样本值之间 的差距，定义为：
ˆ ei yi yi yi (0 1x1 2 x2 ... p x p )
对于线性回归分析来讲，如果方程能够较好的反映被解 释变量的特征和规律性，那么残差序列中应不包含明显的规 律性。残差分析包括以下内容：残差服从正态分布，其平均 值等于0；残差取值与X的取值无关；残差不存在自相关；残 差方差相等。
练习1
P143页实例
10.3线性回归分析
10.3.1线性回归分析概述 • 线性回归分析的内容 能否找到一个线性组合来说明一组自变量和因变量的关 系 如果能的话，这种关系的强度有多大，也就是利用自变 量的线性组合来预测因变量的能力有多强 整体解释能力是否具有统计上的显著性意义 在整体解释能力显著的情况下，哪些自变量有显著意义 • 回归分析的一般步骤 确定回归方程中的解释变量（自变量）和被解释变量（ 因变量） 确定回归方程 对回归方程进行各种检验 利用回归方程进行预测

对于多元线性回归方程，检验统计量为：
ˆ SSR/ p ( y y )2 / p ~ F（p，n p 1） F ˆ SSE /(n p 1) ( y y) 2 /(n p 1)
• 10.3.3.3回归系数的显著性检验（t检验）
回归系数的显著性检验是要检验回归方程中被解释变量 与每一个解释变量之间的线性关系是否显著。 对于一元线性回归方程，检验统计量为：

第二，对样本来自的两总体是否存在显著的线性 关系进行推断。
对不同类型的变量应采用不同的相关系数来度量，常用 的相关系数主要有Pearson简单相关系数、Spearman等 级相关系数和Kendall 相关系数等。 10.2.2.1 Pearson简单相关系数（适用于两个变量都是数值 型的数据）
r
相关系数r的取值在-1～+1之间 R>0表示两变量存在正的线性相关关系；r<0表示两变 量存在负的线性相关关系 R＝1表示两变量存在完全正相关；r＝-1表示两变量存 在完全负相关；r＝0表示两变量不相关 |r|>0.8表示两变量有较强的线性关系； |r|<0.3表示 两变量之间的线性关系较弱
相关分析通过图形和数值两种方式，有效地 揭示事物之间相关关系的强弱程度和形式。 • 10.2.1 散点图 它将数据以点的的形式画在直角坐标系上， 通过观察散点图能够直观的发现变量间的相关关 系及他们的强弱程度和方向。
10.2.2 相关系数 利用相关系数进行变量间线性关系的分析通常需 要完成以下两个步骤： 第一，计算样本相关系数r；
r 1
n(n 1)
2
6 D
2 i
，其中 D (Ui Vi )
i 1 2 i i 1
n
n
2
• 如果两变量的正相关性较强，它们秩的变化具有同步性，于 •
是 D (U V ) 的值较小，r趋向于1； 如果两变量的正相关性较弱，它们秩的变化不具有同步性， 于是 D (U V ) 的值较大，r趋向于0；
i i
R 其中， i 是第i个解释变量与方程中其他解释变量间的复
2
相关系数的平方，表示解释变量之间的线性相关程度。容忍 度的取值范围在0-1之间，越接近0表示多重共线性越强，越 接近1表示多重共线性越弱。 2、方差膨胀因子VIF。方差膨胀因子是容忍度的倒数。VIF越 大多重共线性越强，当VIF大于等于10时，说明存在严重的 多重共线性。
回归直线与各观测点的接近程度称为回归方程的拟合优度， 也就是样本观测值聚集在回归线周围的紧密程度 。 1、离差平方和的分解：
可由
( y y)2 来反映，称为总变差。引起总变差的
建立直线回归方程可知：y的观测值的总变动
原因有两个：
由于x的取值不同，使得与x有线性关系的y值不同；
随机因素的影响。
10.2.3 计算相关系数的基本操作
• 相关分析用于描述两个变量间关系的密切程度，其特点是
变量不分主次，被置于同等的地位。
• 在Analyze的下拉菜单Correlate命令项中有三个相关
分析功能子命令Bivariate过程、Partial过程、 Distances过程，分别对应着相关分析、偏相关分析和 相似性测度（距离）的三个SPSS过程：
直线做出解释；SSE是除了x对y的线性影响之外的随机因素所 引起的Y的变动，是回归直线所不能解释的。
2、可决系数（判定系数、决定系数）
回归平方和在总离差平方和中所占的比例可以作为一个统 计指标，用来衡量X与Y 的关系密切程度以及回归直线的代表
性好坏，称为可决系数。
对于一元线性回归方程：
SSR SST SSE R 1 SST SST 2 y y 1 y 2 R 2 y y y
(et et 1 ) 2
t 2
et
t 2
n
2(1 )
2
DW=2表示无自相关，在0-2之间说明存在正自相关， 在2-4之间说明存在负的自相关。一般情况下，DW值在 1.5-2.5之间即可说明无自相关现象。
• 10.3.3.5多重共线性分析
多重共线性是指解释变量之间存在线性相关关系的现象 。测度多重共线性一般有以下方式： 2 1、容忍度： Tol 1 R
第十章
SPSS相关与回归分析
10.1 相关分析和回归分析概述
客观事物之间的关系大致可归纳为两大类，即


函数关系：指两事物之间的一种一一对应的关系，如商品 的销售额和销售量之间的关系。 相关关系（统计关系）：指两事物之间的一种非一一对应 的关系，例如家庭收入和支出、子女身高和父母身高之间 的关系等。相关关系又分为线性相关和非线性相关。
Bivariate相关分析步骤
【打开数据：休闲调查1】 Analyze－Correlate－Bivariate
（2）把参加计算相关系数的变量选到Variables框 （3）在Correlation Coefficents框中选择计算哪种相关系数 （4）在Test of Significance框中选择输出相关系数检验的双 边（Two-Tailed）概率p值或单边（One-Tailed）概率 p值 （5）选中Flag significance correlation选项表示分析结果 中除显示统计检验的概率p值外，还输出星号标记，以标明 变量间的相关性是否显著；不选中则不输出星号标记 （6）在Option按钮中的Statistics选项中，选中Crossproduct deviations and covariances表示输出两变量的 离差平方和协方差
( x x )( y y ) (x x ) ( y y )
i i 2 i i
2
Pearson简单相关系数的检验统计量为：
t r n2 1 r2
10.2.2.2 Spearman等级相关系数
• Spearman等级相关系数用来度量定序变量间的线性
相关关系，设计思想与Pearson简单相关系数相同， 只是数据为非定距的，故计算时并不直接采用原始数 据 ( xi , yi )，而是利用数据的秩，用两变量的秩(U i ,Vi ) 代替 ( xi , yi ) 代入Pearson简单相关系数计算公式中 ，于是其中的 xi 和 y i 的取值范围被限制在1和n之间 ，且可被简化为：
2



SSE SST 2 y y

2
对于多元线性回归方程：
R
2
R2
SSE 1 SST SSE/ n p 1 1 SST / n 1
在多元线性回归分析中，引起判定系数增加的原因有两个：一 个是方程中的解释变量个数增多，另一个是方程中引入了对被解释 变量有重要影响的解释变量。如果某个自变量引入方程后对因变量 的线性解释有重要贡献，那么必然会使误差平方和显著减小，并使 平均的误差平方和也显著减小，从而使调整的判定系数提高。所以 在多元线性回归分析中，调整的判定系数比判定系数更能准确的反 映回归方程的拟合优度。