SPSS课件9-回归分析

多元线性回归模型
（概念要点）
1.
2.
3.
一个因变量与两个及两个以上自变量之间的回归 描述因变量 y 如何依赖于自变量 x1 ， x2 ，…， xp 和误差项 的方程称为多元线性回归模型 涉及 p 个自变量的多元线性回归模型可表示为
2.
对一个具体的观测值来说，变差的大小可 以通过该实际观测值与其均值之差 y y 来 表示
离差平方和的分解
（图示）
y
( xi , y i )
y y
{}
}

ˆ y y ˆ y y
ˆ ˆ ˆ y b 0 + b1 x
y
离差分解图
x
离差平方和的分解
（三个平方和的关系）
1. 从图上看有

ˆ ˆ y y y y + y y


独立性意味着对于一个特定的 x 值，它所对应的ε与 其他 x 值所对应的ε不相关 对于一个特定的 x 值，它所对应的 y 值与其他 x 所 对应的 y 值也不相关
回归方程
（概念要点）
1.
2. 3.
描述 y 的平均值或期望值如何依赖于 x 的方程 称为回归方程 简单线性回归方程的形式如下 E( y ) = b0+ b1 x
“回归”一词的由来
Galton把这种孩子的身高向中间值靠近 的趋势称之为一种回归效应，而他发展的研 究两个数值变量的方法称为回归分析。 这也叫高尔顿的“普遍回归定律”。 高尔顿在智力遗传的方面也得到了类似的结 果：一般来说，天才是要遗传的。但是天才 的后代却要比他们的父辈们平庸，也就是他 们的智力水平将“回归”到中等水平；而一 个智商一般的父母，其孩子却可能是个天才！
Model 1
(Constant) 人 收 均 入
t 6.650 72.007
Sig . .000 .000
a. Dependent Variable: 人 消 均 费
P0=0.000<0.05 , 常数项显著不为零 P1=0.000<0.05，人均消费变量的系数显著不为零
9.2 多元线性回归
9.2.1 9.2.2 9.2.3 9.2.4 多元线性回归模型 回归参数的估计 回归方程的显著性检验 回归系数的显著性检验
第9章 线性回归分析
9.1 9.2 9.3 9.4 一元线性回归 多元线性回归 逐步回归 spss在回归中的应用
“回归”一词的由来
“回归”这个词最先由由英国著名统计学家F.高 尔顿（Francis Galton） 在19世纪末期研究孩子 及他们的父母的身高时提出来的。高尔顿研究发 现，父母和孩子的身高有这样的一个趋势：父母 高，儿女就高；父母矮，儿女也矮。但是高个父 母的儿女们平均起来并不像他们的父母那样高。 儿女辈的平均身高将“退化”到或者说“回归” 到全体人口的平均身高。对于比较矮的父母情形 也类似：他们的孩子比较矮，但这些孩子的平均 身高要比他们的父母的平均身高高。
P=0.000<0.05 拒绝H0, 线性关系显著
回归系数的显著性检验
（要点）
1. 检验 x 与 y 之间是否具有线性关系，或 者说，检验自变量 x 对因变量 y 的影响 是否显著 ˆ 的抽样分布 2. 理论基础是回归系数 b 1 3. 在一元线性回归中，等价于回归方程的 显著性检验
回归系数的显著性检验
3.
残差平方和(SSE)

判定系数 r
1.
2
回归平方和占总离差平方和的比例
2. 反映回归直线的拟合程度 3. 取值范围在 [ 0 , 1 ] 之间 4. r2 1，说明回归方程拟合的越好；r20 ，说明回归方程拟合的越差 5. 判定系数等于相关系数的平方，即r2＝(r)2
Model Summary Model 1 R .999a R Sq uare .998 Adjusted R Sq uare .998 Std. Error of the Estimate 13.49860
一元线性回归模型


对于只涉及一个自变量的简单线性回归模 型可表示为 y = b0 + b1 x +



模型中，y 是 x 的线性函数(部分)加上误差项 线性部分反映了由于 x 的变化而引起的 y 的变化 误差项 是随机变量
反映了除 x 和 y 之间的线性关系之外的随机因素对 y 的影响 是不能由 x 和 y 之间的线性关系所解释的变异性

方程的图示是一条直线，因此也称为直线回归方程
b0是回归直线在 y 轴上的截距，是当 x=0 时 y 的期
望值
b1是直线的斜率，称为回归系数，表示当 x 每变动
一个单位时，y 的平均变动值
估计(经验)的回归方程
1. 总体回归参数 b 0 b1 和 是未知的，必需利用样本数 据去估计 ˆ ˆ 2. 用样本统计量 b 0 和 b 1代替回归方程中的未知参 数 b 0和 b1 ，就得到了估计的回归方程 3. 简单线性回归中估计的回归方程为
a. Predictors: (Constant), 人 收 均 入
R2=0.998
回归方程的显著性检验
（线性关系的检验 ）
1.
2.
检验自变量和因变量之间的线性关系是否 显著 具体方法是将回归离差平方和(SSR)同剩余 离差平方和(SSE)加以比较，应用F检验来 分析二者之间的差别是否显著
如果是显著的，两个变量之间存在线性关系 如果不显著，两个变量之间不存在线性关系


b0 和 b1 称为模型的参数
一元线性回归模型
（基本假定）
1.
2. 3.
误差项ε是一个期望值为0的随机变量，即E(ε)=0。 对于一个给定的 x 值，y 的期望值为E ( y ) =b 0+ b 1x 对于所有的 x 值，ε的方差σ2 都相同 误差项ε是一个服从正态分布的随机变量，且相 互独立。即ε~N( 0 ,σ2 )
（步骤）
1.
2.
提出假设 H0: b1 = 0 (没有线性关系) H1: b1 0 (有线性关系) 计算检验的统计量
3. 确定显著性水平，并进行决策

t>t2，或P< , 拒绝H0； t<t2，或P> 接受H0
回归系数的显著性检验
对前例的回归系数进行显著性检验(＝0.05)
n i
2. 两端平方后求和有
y
i 1
ˆ ˆ y yi y + yi y
2 2 i 1 i 1
n
n
2
总变差平方和 （SST）
残差平方和 （SSE）
SST = SSR + SSE
{
离差平方和的分解
（三个平方和的意义）
1.
9.1.3 回归方程的显著性检验

拟合优度检验（判定系数r 2 检验） 回归方程的显著性检验（F检验） 回归系数的显著性检验（t检验）
离差平方和的分解
1.
因变量 y 的取值是不同的，y 取值的这种 波动称为变差。变差来源于两个方面

由于自变量 x 的取值不同造成的 除 x 以外的其他因素(如x对y的非线性影响、 测量误差等)的影响
回归分析与相关分析的区别
1.
2.
相关分析中，变量 x 变量 y 处于平等的地 位；回归分析中，变量 y 称为因变量，处 在被解释的地位，x 称为自变量，用于预 测因变量的变化 相关分析主要是描述两个变量之间线性关 系的密切程度；回归分析不仅可以揭示变 量 x 对变量 y 的影响大小，还可以由回归 方程进行预测和控制
ˆ ˆ ˆ y b 0 + b1 x
b 是直线 b 其中：ˆ 0是估计的回归直线在 y 轴上的截距， ˆ1 的斜率，它表示对于一个给定的 x 的值，是 y 的估计 值，也表示 x 每变动一个单位时， y 的平均变动值
9.1.2 参数 b0 和 b1 的最小二乘 估计
最小二乘估计法
1. 使因变量的观察值与估计值之间的离差平方和 ˆ ˆ 达到最小来求得 b0 和 b1 的方法。即

尽管“回归”这个名称的由来具有其特定的含义，人 们在研究大量的问题中变量x与y之间的关系并不具有 这种“回归”的含义，但借用这个词把研究变量x与y 之间的统计关系的数学方法称为“回归分析”，也算 是对高尔顿这个伟大的统计学家的一种纪念。
回归分析主要解决以下几方面问题
1.
2.
3.
从一组样本数据出发，确定变量之间的数学 关系式 对这些关系式的可信程度进行各种统计检验， 并从影响某一特定变量的诸多变量中找出哪 些变量的影响显著，哪些不显著 利用所求的关系式，根据一个或几个变量的 取值来预测或控制另一个特定变量的取值， 并给出这种预测或控制的精确程度
总平方和(SST)

反映因变量的 n 个观察值与其均值的总离差
2.
回归平方和(SSR)

反映自变量 x 的变化对因变量 y 取值变化的影 响，或者说，是由于 x 与 y 之间的线性关系引 起的 y 的取值变化，也称为可解释的平方和
反映除 x 以外的其他因素对 y 取值的影响，也 称为不可解释的平方和或剩余平方和
ANOVAb Model 1 Sum of Squares 944762.6 2004.336 946766.9 df 1 11 12 Mean Square 944762.588 182.212 F 5184.954 Sig . .000a
Reg ression Residual Total
a. Predictors: (Constant), 人 收 均 入 b. Dependent Variable: 人 消 均 费
x
最小二乘法
ˆ和 ˆ 根据最小二乘法的要求，可得求解b 0 b 1的标 准方程如下