spss第十五讲回归分析

线性关系的检验
(检验的步骤)
1. 提出假设 H0：1=0 线性关系不显著 2. 计算检验统计量F SSR 1 MSR F ~ F (1 , n k 1) SSE (n k 1) MSE 3. 确定显著性水平，并根据分子自由度1和分母自 由度n-2求统计量的P值（一元） 4. 作出决策：若P<，拒绝H0。表明两个变量之间 的线性关系显著
估计标准误差
(standard error of estimate)
1、实际观察值与回归估计值误差平方和的均方根 2、反映实际观察值在回归直线周围的分散状况 3、对误差项的标准差的估计，是在排除了x对y的 线性影响后，y随机波动大小的一个估计量 4、反映用估计的回归方程预测y时预测误差的大小 5、计算公式为（k为自变量个数）
标准差： ˆ
1

2 x x i

ˆ 1的估计的标 由于 未知，需用其估计量se来代替得到 准差 se sˆ1 2 x x i
回归系数的检验和推断
(检验步骤)
1. 提出假设 H0: 1 = 0 (没有线性关系) H1: 1 0 (有线性关系) 2. 计算检验的统计量
第十讲
回归分析、线性回归和曲线估计

第一部分 上一讲回顾 第二部分 回归分析 第三部分 线性回归

第四部分 曲线估计
第一部分 第十讲回顾
在对其他变量的影响进行控制 的条件下，衡量多个变量中某两个 变量之间的线性相关程度的指标称 为偏相关系数。
偏相关分析的公式表达 r01 r02r12 r01.2 2 2 1 r 1 r 02 12
误差项 满足条件
正态性。 是一个服从正态分布的随机变量，
且期望值为0，即 ~N(0 , 2 ) 。对于一个给定的 x 值，y 的期望值为E(y)=0+ 1x
方差齐性。对于所有的 x 值， 的方差一个特定
的值，的方差也都等于 2 都相同。同样，一个特定 的x 值， y 的方差也都等于2
3 、 因变量与自变量之间的关系用一个线性
方程来表示
线性回归的过程
一元线性回归模型确定过程 一、做散点图(Graphs ->Scatter->Simple) 目的是为了以便进行简单地观测（如： Salary与Salbegin的关系)。 二、建立方程 若散点图的趋势大概呈线性关系，可以建立线性方 程，若不呈线性分布，可建立其它方程模型，并比较R2 (-->1)来确定一种最佳方程式（曲线估计）。 多元线性回归一般采用逐步回归方法-Stepwise。
y i
se
i 1
n
2 y ˆi
n k 1

SSE n k 1

MSE
（四） 显著性检验
线性关系的检验 1、检验自变量与因变量之间的线性关系是否显著； 2、将回归均方 (MSR)同残差均方 (MSE)加以比较， 应用F检验来分析二者之间的差别是否显著


回归均方（ MSR ）：回归平方和 SSR 除以相应的 自由度(自变量的个数k) 残差均方（ MSE ）：残差平方和 SSE 除以相应的 自由度(n-k-1)

(x2 , y2)



ei = yi＾ -yi
(x1 , y1)

(xi , yi)
x
参数的最小二乘估计
( ˆ 0和 ˆ 1 的计算公式) 根据最小二乘法，可得求解 ˆ 0和 ˆ 1 的 公式如下：
ˆ 0
（三） 回归直线的拟合优度
一、变差 1、因变量 y 的取值是不同的，y 取值的这种波动称为变 差。变差来源于两个方面
1、总平方和(SST—total sum of squares)

反映因变量的 n 个观察值与其均值的总误差
2 、 回 归 平 方 和 (SSR—sum of squares of regression)

反映自变量 x 的变化对因变量 y 取值变化的影响， 或者说，是由于 x 与 y 之间的线性关系引起的 y 的取值变化，也称为可解释的平方和 反映除 x 以外的其他因素对 y 取值的影响，也称 为不可解释的平方和或剩余平方和
s ˆ1 3. 确定显著性水平 ，计算出统计量的 P 值，并
做出决策
t
ˆ1
~ t (n 2)

P<，拒绝H0，表明自变量是影响因变量的一个显 著因素
回归系数的检验和推断
(1和0的置信区间)
1. 1在1- 置信水平下的置信区间为
ˆ ±t ( n 2 ) 1 2
se
距离分析

距离分析的概念 距离分析：对观测量之间或变量之间相似或 不相似程度的一种测度，是计算一对变量之间 或一对观测量之间的广义的距离。 在距离分析过程中，主要利用变量间的 相似性测度（Similarities）和不相似性测 度（Dissimilarities）度量两者之间的关系
距离分析命令语句
x
误差平方和的分解 (误差平方和的关系)
y
i 1
n
i
ˆ i y yi y ˆ y y
2 2 i 1 i 1
n
n
2
{
回归平方和 (SSR)
总平方和 (SST)
{
残差平方和 (SSE)
SST = SSR + SSE
{
误差平方和的分解
(三个平方和的意义)
2 ( x x ) i i 1 n
2. 0在1- 置信水平下的置信区间为
1 ˆ0 ± t 2 (n 2) se
n
(x)
2 ( x x ) i i 1 n
回归系数的检验和推断
1. 检验 x 与 y 之间是否具有线性关系，或者说 ，检验自变量 x 对因变量 y 的影响是否显著
ˆ 的抽样分布 2. 理论基础是回归系数 1
3. 在一元线性回归中，等价于线性关系的显著性 检验
4. 采用t检验
回归系数的检验和推断
(样本统计量 的分布)
ˆ 1是根据最小二乘法求出的样本统计量，它有自 1. 己的分布 ˆ 1的分布具有如下性质 2. 分布形式：正态分布 ˆ1 ) 1 数学期望：E (
相关分析的命令语句

PARTIAL CORR /VARIABLES= 身高 肺活量 BY 体重 /SIGNIFICANCE=TWOTAIL /STATISTICS=DESCRIPTIVES CORR /MISSING=LISTWISE .
结果分析

一、描述性统计量
相关系数
零阶相关矩阵关系

由于自变量 x 的取值不同造成的 除 x 以外的其他因素(如x对y的非线性影响、测量误差等) 的影响
2 、对一个具体的观测值来说，变差的大小可以通过该 y y 来表示 实际观测值与其均值之差
误差分解图
y
( xi , y i )

ˆ y y
y y
ˆ ˆx ˆ y 0 1
y
ˆy y
PROXIMITIES 身高 体重 肺活量 /VIEW=VARIABLE /MEASURE= CORRELATION /STANDARDIZE= NONE .

结果分析

距离分析的个案处理摘要

距离分析的 相似性矩阵
第二部分 回归分析
什么是回归分析？
1、重点考察一个特定的变量(因变量)，而 把其他变量 ( 自变量 ) 看作是影响这一变 量的因素，并通过适当的数学模型将变 量间的关系表达出来 2、利用样本数据建立模型的估计方程 3、对模型进行显著性检验 4、进而通过一个或几个自变量的取值来估 计或预测因变量的取值
回归分析的过程
在回归过程中包括：
Liner：线性回归 Curve Estimation：曲线估计


Binary Logistic： 二分变量逻辑回归 Multinomial Logistic：多分变量逻辑回归； Ordinal 序回归；Probit：概率单位回归； Nonlinear：非线性回归； Weight Estimation：加权估计； 2-Stage Least squares ：二段最小平方法； Optimal Scaling 最优编码回归 我们只讲前面2个简单的（一般教科书的讲法）
独立性。独立性意味着对于一个特定的 x 值，
它所对应的ε与其他 x 值所对应的ε不相关；对于一 个特定的 x 值，它所对应的 y 值与其他 x 所对应的 y 值也不相关
估计的回归方程
(estimated regression equation)
1. 总体回归参数β0和β1是未知的，必须利用样本数 据去估计 ˆ0 和 ˆ1 代替回归方程中的未知参 2. 用样本统计量 数β0和β1 ，就得到了估计的回归方程 3. 一元线性回归中估计的回归方程为
ˆ0 ˆ1 x ˆ y ˆ0是估计的回归直线在 y 轴上的截距， ˆ1是直线的 其中： 斜率，它表示对于一个给定的 x 的值， y ˆ 是 y 的估计值， 也表示 x 每变动一个单位时， y 的平均变动值
（二） 参数的最小二乘估计


德国科学家Karl Gauss(1777—1855)提出用最 小化图中垂直方向的误差平方和来估计参数 使因变量的观察值与估计值之间的误差平方和 ˆ0和 ˆ1的方法。即 达到最小来求得
注：线性部分反映了由于x的变化而引起的y的变 化；误差项 反映了除 x 和y 之间的线性关系之 外的随机因素对 y 的影响，它是不能由 x 和y之 间的线性关系所解释的变异性。
一元线性回归模型（基本假定） 1、因变量x与自变量y之间具有线性 关系 2、在重复抽样中，自变量x的取值 是固定的，即假定x是非随机的 3 、误差项 满足条件
2 2 ˆ ˆ 最小 ˆ ) ( yi ( yi y 0 1 xi )
n
n
i 1
i 1
注：用最小二乘法拟合的直线来代表x与y之间的 关系与实际数据的误差比其他任何直线都小。
Karl Gauss的最小化图
y
(xn , yn)

ˆ ˆx ˆ y 0 1
3、残差平方和(SSE—sum of squares of error)

判定系数R2
(coefficient of determination)
回归平方和占总误差平方和的比例
R2 SSR SST
2 ˆ y y i
n
2 y y i
i 1
i 1 n
1、反映回归直线的拟合程度 2、取值范围在 [ 0 , 1 ] 之间 3、R2 1，说明回归方程拟合的越好； R2 0，说明回归方程拟合的越差 4、决定系数平方根等于相关系数
r01.23
r0i .12L (i 1)(i 1)L p
r02 r03.2r13.2
1 r2 03.2
1 r2 3.2
r0i .12L (i 1)(i 1)L ( p 1) r0 p.12L ( p 1)rip.12L (i 1)(i 1)L ( p 1)
1 r2 1 r2 0 p.12L ( p 1) ip.12L ( i 1)( i 1)L ( p 1)
回归分析的模型
一、分类 按是否线性分：线性回归模型和非线性回归模型 按自变量个数分：简单的一元回归和多元回归 二、基本的步骤
利用SPSS得到模型关系式，是否是我们所要的？ 要看回归方程的显著性检验（F检验） 回归系数的显著性检验(T检验) 拟合程度R2 (注：相关系数的平方，一元回归用R Square，多元回归 用Adjusted R Square)
第三部分 线性回归
线性回归分为一元线性回归和多元线性回归。
一、一元线性回归：
1、涉及一个自变量的回归
2、因变量y与自变量x之间为线性关系


被预测或被解释的变量称为因变量(dependent variable) ， 用y表示 用来预测或用来解释因变量的一个或多个变量称为自变量 (independent variable)，用x表示
(一) 一元线性回归模型
(linear regression model)
1、描述因变量 y 如何依赖于自变量 x 和误差项 的方程称为回归模型 2、一元线性回归模型可表示为
Y是x 的线性函数 (部分)加上误差项
y = 0 1 x
Baidu Nhomakorabea0 和 1 称为模
型的参数
误差项 是随机 变量