第9章 SPSS 线性回归分析
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
了解多元回归分析中自变量筛选的策略，以及对 应结果的分析
了解SPSS残差分析和多重共线检测的基本操作， 并能分析结果
.
9.1回归分析概述
9.1.1什么是回归分析 “回归”一词最初源于英国统计学家F.Galton
（高尔顿）描述父亲的身高和其成年儿子身高 之间的关系，发现成年儿子的身高会趋向于子 辈身高的平均值，F.Galton称这种现象为“回 归”。 用于分析事物之间的统计关系，并通过回归方 程的形式描述变量间的数量变化规律，帮助人 们准确把握变量受一个或多个变量的影响程度， 进而为预测提供依据。
b b b b c ˆ ˆ y ˆ ˆ n
2
一元二乘估计：Q( , ) = min (
)
0
1
b b, 0
1 i=1
i
0
1i
多元二乘估计（略）
.
9.3回归方程的统计检验
拟合优度检验 回归方程的显著性检验 回归系数的显著性检验 残差分析
.
9.3.1回归方程的拟合优度检验
用于检验样本数据点聚集在回归线周围的密集程 度，从而评价回归线对样本数据的代表程度。 思想：因变量y（儿子身高）取值的变化受两个因 素的影响：自变量x（父亲身高）不同取值的影响， 其他因素（环境、饮食等）的影响。 可表示如下: ➢ 因变量总变差 = 自变量引起的 + 其他因素引起的 ➢ 即因变量总变差= 回归方程可解释的+不可解释的 ➢ 即，因变量总离差平方和SST =回归平方和 SSA + 剩余平方和SSE
确定回归方程中的解释变量（父亲身高x）和被 解释变量（儿子身高y）
确定回归模型（线性与非线性） 建立回归方程，并估计出模型中的参数 对回归方程进行各种检验 利用方程进行预测
.
9.2 线性回归分析和线性回归模型
观察被解释变量y和一个或多个解释变量xi 的散点图，当发现y与xi之间呈现出显著的线性 关系时，应采用线性回归分析的方法，建立y关 于xi的线性回归模型。
.
图示：
y y i
y
Yi
ei =Βιβλιοθήκη Baidui yˆi
yˆ i
yˆ y i
yˆ=+bx
yy=y ˆy+ . e
两边平方：
y y2 = y yˆ+ yˆ y2 = y yˆ2 + yˆ y2 + 2y yˆyˆ y = y yˆ2 + yˆ y2
Lyy = y y2 为总离差平方和； U = yˆ y2 为回归平方和，是 x 对 y 的线性影响造成的； Q = y yˆ2 为剩余平方和，是除了 x 对 y 的线性影响之外的一切因
.
说明
R2越接近于1，则说明回归平方和占了绝大部 分比例，因变量y的变差主要由自变量x的取值 造成，回归方程对样本数据点拟合得好
在一元线性回归中，判定系数R2=相关系数r2; 因此，从这个意义上讲，判定系数能够比较好 地反映回归直线对样本数据的代表程度和线性 相关性。
.
二、多元线性回归方程
素对 y 的影响造成的。
.
一、一元线性回归方程
拟合优度的检验采用R2统计量，称为判定系数 R2=SSA/SST=1-SSE/SST.
n
n
(yˆi y)2
(yi yˆ)2
R2
=
i=1 n
=1
i=1 n
(yi y)2
(yi y)2
i=1
i=1
R2体现了回归方程所能解释的因变量变差的 比例;1-R2体现了回归方程所无法解释的变差 比例。
^y=β^0+β1^x 1 +β2x^ 2 …. +βpx^p
.
9.2.3回归参数的最小二乘估计
（ordinary least square estimation ,OLSE）
估计思想：
使每个样本点（xi , yi）与回归线上的对应点（ xi , E （yi ））在垂直方向上偏差距离的二次方总和达 到最小的原则来估计参数 即，∑（ yi - E（yi ））2 =最小
线性回归模型可分为：
➢ 一元线性回归模型 ➢ 多元线性回归模型
.
9.2.1一元线性回归模型（只有1个解释变量）
数学模型为： y=β0+β1x+ε
上式表明：y的变化可由两部分解释：第一，由 解释变量x的变化引起的y的线性变化部分，即 y=β0+β1x；第二，由其他随机因素引起的y的变 化部分，即ε。
函数拟合
首先，通过散点图观察变量之间的统计关系，得 到对回归线的感性认知，并据之确定最简洁的数 学函数（回归模型）；
其次，利用样本数据在一定的拟合准则下，估计 回归模型中各个参数，得到确定的回归方程；
最后，由于回归参数是在样本数据的基础上得到 的，存在随机性。因此需要进行各种检验。
.
9.1.3回归分析的一般步骤
.
回归分析和相关分析
1.相关分析
变量性质：都是随机变量且关系对等 分析方法：图表法（散点图）和相关系数 分析目的：判定变量之间相关方向和关系的密切程
度
2.回归分析
变量性质：自变量（确定型变量）和因变量（随机 变量）的关系且不对等
分析方法：建立回归模型 分析目的：研究变量间数量依存关系
.
9.1.2如何得到回归线
β0 、β1 都是模型中的未知参数，β0为回归常数， β1为y对x回归系数（即x每变动一个单位所引起 的y的平均变动） 。
ε称为随机误差。且满足：E(ε)=0，Var(ε)=σ2 。
.
一元线性回归方程：
E（y）=β0+β1x
表明x和y之间的统计关系是在平均意义下表 述的。
估计的一元线性回归方程：yˆ
=
bˆ
0
+
bˆ c 1
估计方程是平面上的一条直线，即回归直线。 参数分别代表回归直线的截距和斜率。
.
9.2.2多元线性回归模型
多元数学模型：
y=β0+β1x 1+β2x 2 ….+βpx p +ε 多元线性回归方程：
E（y）=β0+β1x 1+β2x 2 ….+βpx p
估计多元线性回归方程：
第9章 SPSS的线性回归分析
9.1 回归分析概述 9.2 线性回归分析和线性回归模型 9.3 回归方程的统计检验 9.4 多元回归分析中的其他问题 9.5 线性回归分析的基本操作 9.6 线性回归分析的应用举例
.
学习的内容与目标
掌握线性回归分析的主要指标，了解最小二乘法 的基本思想
熟练掌握线性回归分析的具体操作，读懂分析结 果；掌握计算结果之间的数量关系，写出回归方 程，对回归方程进行各种统计检验
了解SPSS残差分析和多重共线检测的基本操作， 并能分析结果
.
9.1回归分析概述
9.1.1什么是回归分析 “回归”一词最初源于英国统计学家F.Galton
（高尔顿）描述父亲的身高和其成年儿子身高 之间的关系，发现成年儿子的身高会趋向于子 辈身高的平均值，F.Galton称这种现象为“回 归”。 用于分析事物之间的统计关系，并通过回归方 程的形式描述变量间的数量变化规律，帮助人 们准确把握变量受一个或多个变量的影响程度， 进而为预测提供依据。
b b b b c ˆ ˆ y ˆ ˆ n
2
一元二乘估计：Q( , ) = min (
)
0
1
b b, 0
1 i=1
i
0
1i
多元二乘估计（略）
.
9.3回归方程的统计检验
拟合优度检验 回归方程的显著性检验 回归系数的显著性检验 残差分析
.
9.3.1回归方程的拟合优度检验
用于检验样本数据点聚集在回归线周围的密集程 度，从而评价回归线对样本数据的代表程度。 思想：因变量y（儿子身高）取值的变化受两个因 素的影响：自变量x（父亲身高）不同取值的影响， 其他因素（环境、饮食等）的影响。 可表示如下: ➢ 因变量总变差 = 自变量引起的 + 其他因素引起的 ➢ 即因变量总变差= 回归方程可解释的+不可解释的 ➢ 即，因变量总离差平方和SST =回归平方和 SSA + 剩余平方和SSE
确定回归方程中的解释变量（父亲身高x）和被 解释变量（儿子身高y）
确定回归模型（线性与非线性） 建立回归方程，并估计出模型中的参数 对回归方程进行各种检验 利用方程进行预测
.
9.2 线性回归分析和线性回归模型
观察被解释变量y和一个或多个解释变量xi 的散点图，当发现y与xi之间呈现出显著的线性 关系时，应采用线性回归分析的方法，建立y关 于xi的线性回归模型。
.
图示：
y y i
y
Yi
ei =Βιβλιοθήκη Baidui yˆi
yˆ i
yˆ y i
yˆ=+bx
yy=y ˆy+ . e
两边平方：
y y2 = y yˆ+ yˆ y2 = y yˆ2 + yˆ y2 + 2y yˆyˆ y = y yˆ2 + yˆ y2
Lyy = y y2 为总离差平方和； U = yˆ y2 为回归平方和，是 x 对 y 的线性影响造成的； Q = y yˆ2 为剩余平方和，是除了 x 对 y 的线性影响之外的一切因
.
说明
R2越接近于1，则说明回归平方和占了绝大部 分比例，因变量y的变差主要由自变量x的取值 造成，回归方程对样本数据点拟合得好
在一元线性回归中，判定系数R2=相关系数r2; 因此，从这个意义上讲，判定系数能够比较好 地反映回归直线对样本数据的代表程度和线性 相关性。
.
二、多元线性回归方程
素对 y 的影响造成的。
.
一、一元线性回归方程
拟合优度的检验采用R2统计量，称为判定系数 R2=SSA/SST=1-SSE/SST.
n
n
(yˆi y)2
(yi yˆ)2
R2
=
i=1 n
=1
i=1 n
(yi y)2
(yi y)2
i=1
i=1
R2体现了回归方程所能解释的因变量变差的 比例;1-R2体现了回归方程所无法解释的变差 比例。
^y=β^0+β1^x 1 +β2x^ 2 …. +βpx^p
.
9.2.3回归参数的最小二乘估计
（ordinary least square estimation ,OLSE）
估计思想：
使每个样本点（xi , yi）与回归线上的对应点（ xi , E （yi ））在垂直方向上偏差距离的二次方总和达 到最小的原则来估计参数 即，∑（ yi - E（yi ））2 =最小
线性回归模型可分为：
➢ 一元线性回归模型 ➢ 多元线性回归模型
.
9.2.1一元线性回归模型（只有1个解释变量）
数学模型为： y=β0+β1x+ε
上式表明：y的变化可由两部分解释：第一，由 解释变量x的变化引起的y的线性变化部分，即 y=β0+β1x；第二，由其他随机因素引起的y的变 化部分，即ε。
函数拟合
首先，通过散点图观察变量之间的统计关系，得 到对回归线的感性认知，并据之确定最简洁的数 学函数（回归模型）；
其次，利用样本数据在一定的拟合准则下，估计 回归模型中各个参数，得到确定的回归方程；
最后，由于回归参数是在样本数据的基础上得到 的，存在随机性。因此需要进行各种检验。
.
9.1.3回归分析的一般步骤
.
回归分析和相关分析
1.相关分析
变量性质：都是随机变量且关系对等 分析方法：图表法（散点图）和相关系数 分析目的：判定变量之间相关方向和关系的密切程
度
2.回归分析
变量性质：自变量（确定型变量）和因变量（随机 变量）的关系且不对等
分析方法：建立回归模型 分析目的：研究变量间数量依存关系
.
9.1.2如何得到回归线
β0 、β1 都是模型中的未知参数，β0为回归常数， β1为y对x回归系数（即x每变动一个单位所引起 的y的平均变动） 。
ε称为随机误差。且满足：E(ε)=0，Var(ε)=σ2 。
.
一元线性回归方程：
E（y）=β0+β1x
表明x和y之间的统计关系是在平均意义下表 述的。
估计的一元线性回归方程：yˆ
=
bˆ
0
+
bˆ c 1
估计方程是平面上的一条直线，即回归直线。 参数分别代表回归直线的截距和斜率。
.
9.2.2多元线性回归模型
多元数学模型：
y=β0+β1x 1+β2x 2 ….+βpx p +ε 多元线性回归方程：
E（y）=β0+β1x 1+β2x 2 ….+βpx p
估计多元线性回归方程：
第9章 SPSS的线性回归分析
9.1 回归分析概述 9.2 线性回归分析和线性回归模型 9.3 回归方程的统计检验 9.4 多元回归分析中的其他问题 9.5 线性回归分析的基本操作 9.6 线性回归分析的应用举例
.
学习的内容与目标
掌握线性回归分析的主要指标，了解最小二乘法 的基本思想
熟练掌握线性回归分析的具体操作，读懂分析结 果；掌握计算结果之间的数量关系，写出回归方 程，对回归方程进行各种统计检验