第十一章 简单回归分析

Y | X X
(9 2)
5
ˆ Y a bX 称为样本回归方程，它是对
两变量总体间线性关系的一个估计。
6
1 概述
Y 因变量 (dependent variable, response variable) X 自变量 (independent variable)
ˆ 简单回归的形式：Y
i 1
n
n
0.4999 0.78655 0.4040
ˆ sy,x为 Y 的剩余标准差(或回归的剩余标准差) ：
s y .x ˆ ( Y Y )
i 1 i i 2
n2

3.2492 0.4999 13
X的离均差平方和为 ：
14.7 2 ( X i X ) 2 14.81 0.4040 15 i 1
( X X )(Y Y ) l b l (X X )
2
XY XX
a Y bX
ˆ Y a bX
表 12-1 15 例健康成人凝血酶浓度(X)与凝血时间(Y)的测量值 No 自变量 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 . X 1.1 1.2 1.0 0.9 1.2 1.1 0.9 0.6 1.0 0.9 1.1 0.9 1.1 1.0 0.7 Y 14 13 15 15 13 14 16 17 14 16 15 16 14 15 17
18
③绘制回归直线
计算不太接近的两点的Y值： ˆ Y 21.77393 6.9802 X X=1.1单位/毫升时 Y=21.77393-6.9802×1.1=14.0957（s） X=0.6单位/毫升时 Y=21.77393-6.9802×0.6=17.5858 （s）
③绘制回归直线
图12-3 凝血酶浓度（X）与凝血时间（Y）的散点分布及拟合直线
4 回归方程的意义及性质
ˆ a bX Y
1) b的意义： 2) a 的意义：
b 的意义
回归系数b称为斜率(slope)，表示自变量增 加一个单位时，应变量平均改变的量。 ˆ Y 21.77393 6.9802 X 凝血酶浓度每增加1 单位/ml,则凝血时间平 均减少 6.9802秒 b 的单位为 (Y的单位/X的单位) 回归与相关均表示两变量间的线性关系，故 回归系数b与相关系数r的正负号是相同的。
38
Y的总变异分解
ˆ ˆ Y Y Y Y Y Y
Y Y
2
ˆ Y 2 ˆ Y Y Y



2
总变异 SS总
回归平方和 SS回
剩余平方和 SS剩
39
6 因变量总变异的分解

P
(X,Y)
Y
（Y Y ）


Y
（Y Y）
（ Y） Y
恰好为“LINE”。
给定X时，Y是正态分布、等方差示意图
y
x
给定X时，Y是正态分布、不等方差示意图
y
x
3 估计回归参数，建立回归模型
最小二乘法(least square estimation，LSE)
基本思想：使各实测值Y与回归直线上对应的估 ˆ ˆ 计值 Y 之差的平方和 (Y Y ) 2为最小，在这个 准则下，可导出a、b的最小二乘估计如下：
SS 19.68416
3.24917 22.93333
v 1
13 14
MS F P 19.6841 78.76 <.01
0.24994
44
决定系数
R
2
SS回 SS总
决定系数反映了回归贡献的相对程度,也就是在Y的总变异中回归 能解释的百分比。因此，R2越接近1，说明应用相关分析的 意义越大，即贡献越大；相反的意义亦成立。
对于两变量，R2=r2
45
回归系数的 t 检验
b0 tb ， sb
n2
sY . X sb l XX sY X

ˆ Y Y

2
n2
46
总体回归系数的假设检验
建立假设，确定检验水准 H0: β=0，即两指标间无直线回归关系； H1:β≠0 ，即两指标间有直线回归关系； = 0.05 计算检验统计量：
反应变 量
①先作散点图，以判断两变量间是否呈线性趋势
17
血间 凝时y
13 .6 1.2 x
凝 酶 度 血 浓 x
凝血酶浓度（X）与凝血时间(Y)数据
no 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 合计 x 1.1 1.2 1 .9 1.2 1.1 .9 .6 1 .9 1.1 .9 1.1 1 .7 14.7 y 14 13 15 15 13 14 16 17 14 16 15 16 14 15 17 224 x2 1.2 1.4 1 .81 1.4 1.2 .81 .36 1 .81 1.2 .81 1.2 1 .49 14.81 y2 196 169 225 225 169 196 256 289 196 256 225 256 196 225 289 3368 xy 15.4 15.6 15 13.5 15.6 15.4 14.4 10.2 14 14.4 16.5 14.4 15.4 15 11.9 216.7
②求直线回归方程
回归系数b：
( X i )( Yi )
i 1 i 1 n n
b
l xy l xx

X iYi
i 1
n
n ( X i ) 2
i 1 n
X
i 1
n
2 i
(14.7)(224) 216.7 15 6.98020 2 (14.7) 14.81 15
a 的意义
ˆ a bX Y
a 截距或常数项(intercept, constant) X=0 时，Y的估计值 a的单位与Y值相同
ˆ 估计值 Y 的意义
给定X时，Y的平均值。
ˆ X=1.1时, Y =14.0957, 即凝血酶浓度为1.1单 位/ml的健康成人中，估计其平均凝血时间
为14.0957秒。 X=0.6时，ˆ =17.5858, Y 即凝血酶浓度为0.6单位/ml的健康成人中，
35
样本回归系数 b
总体回归系数
H0：总体回归系数为0， =0，
即两指标间无直线回归关系；
H1：总体回归系数不为0，0；
即两指标间有直线回归关系；
=0.05。
36
回归系数的 方差分析
37
6 因变量总变异的分解

P
(X,Y)
Y
（Y Y ）


Y
（Y Y）
（ Y） Y
Y
Y
X
估计其平均凝血时间为17.5858秒
ˆ Y Y 的意义
ˆ Y Y 为残差：点到直线的纵向距离。各点残差要求尽可能小．
回归直线的有关性质
直线通过均点 ( X ,Y ) 直线上方各点到直线的纵向距离之和
= 直线下方各点到直线的纵向距离之和 ˆ 即: (Y Y ) 0
各点到该回归线纵向距离平方和较到其它任
H 0：两指标间无直线回归关系； H 1：两指标间有直线回归关系。 = 0.05。 lXX，lYY，lXY
SS总= lYY= 22.93333 SS回 = lXY 2/ lXX == 19.68416
SS剩 = lYY – lXY 2/ lXX= 3.24917
43
方差分析表
变异来源 回 归
剩 余 总变异
大；
b<0，直线从左上方走向右下方，Y 随 X 增大而减
小；
b=0，表示直线与 X 轴平行，X 与Y 无直线关系。
b 的统计学意义是：X 每增加(减)一个 单位，Y 平均改变b个单位。
9
2 回归模型的前提假设
线性(linear) 独立(independent) 正态(normal) 等方差(equal variance)
b t / 2 , n 2 S b
29
观测对象 p （1） 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
实测值
实测值ቤተ መጻሕፍቲ ባይዱ
预测Y的均值
残差
Xp
（2） 1.1 1.2 1.0 0.9 1.2 1.1 0.9 0.6 1.0 0.9 1.1 0.9 1.1 1.0 0.7
ˆ 何直线者为小。 即 Y Y


2
最小
26
ˆ )2 的意义 ( Y Y
残差平方和或剩余平方和 (residual sum of squares)。 综合表示点距直线的距离。
在所有的直线中，回归直线的残差平方和 是最小的。(最小二乘)
5总体回归系数β的统计推断
区间估计 假设检验
总体回归系数β的置信区间
Y
Y
X
40
Y的总变异分解
SS总 SS回 SS剩
总 回 剩
总 n 1， 回 1， 剩 n 2
41
方差分析表
变异来源
回 归 剩 余 总变异
SS
SS回 SS剩 SS总
v
1 n-2 n-1
MS
F
SS回/1 MS回/ MS剩 SS剩/n-2
42
回归方程的假设检验---方差分析
n
截距a：
224 14.7 a Y bX ( 6.98020 ) 21.77393 15 15
ˆ Y 21.77393 6.9802 X
由凝血酶浓度x估计凝血时间y
观测对象 p （1） 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 实测值 实测值 预测Y的均值