简单线性回归
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
简单线性回归
本章内容
第一节 第二节 第三节 第四节
简单线性回归 线性回归的应用 残差分析 非线性回归
第一节 简单线性回归
双变量计量资料：每个个体有两个变量值 总体：无限或有限对变量值 样本：从总体随机抽取的n对变量值 （X1,Y1）, （X2,Y2）, …, （Xn,Yn） 目的：研究X和Y的数量关系 方法：回归与相关
儿子身高（Y，英寸）与父亲身高（X， 英寸）存在线性关
系：Yˆ 33.73 0.516 X 。
也即高个子父代的子代在成年之后的身高平均来 说不是更高，而是稍矮于其父代水平，而矮个子父代的子 代的平均身高不是更矮，而是稍高于其父代水平。Galton 将这种趋向于种族稳定的现象称之“回归”
“回归”已成为表示变量之间某种数量 依存关系的统计学术语，相关并且衍生出“回 归方程”“回归系数”等统计学概念。如研 究糖尿病人血糖与其胰岛素水平的关系，研 究儿童年龄与体重的关系等。
6.98020
15
a 224 (6.98020) 14.7 21.77393
15
15
Yˆ 21.77393 6.9802 X
除了图中所示两变量呈直线关系外，一 般还假定每个 X 对应 Y 的总体为正态分布， 各个正态分布的总体方差相等且各次观测 相互独立。这样，公式（12-2）中的 Yˆ 实际 上是 X 所对应 Y 的总体均数 Y |X 的一个样本 估计值，称为回归方程 的预测值（predicted value）,而 a 、 b 分别为 和 的样本估计。
lXX
(X X )2
a Y bX
式 中 lXY 为 X 与 Y 的 离 均 差 乘 积 和 :
lXY
(X
X
)(Y
Y
)
XY
(
X
)( n
Y
)
本例：n=15 ΣX=14.7 ΣX2=14.81
ΣY=224 ΣXY=216.7 ΣY2=3368
216.7 (14.7)(224)
b
15 14.81 (14.7)2
线性回归的概念及其统计描述
直线回归的概念
目的：研究因变量Y对自变量X的数量依 存关系。
特点：统计关系。 X值和Y的均数的关系， 不同于一般数学上的X 和Y的函数关系
为了直观地说明直线回归的概念，以15
名健康人凝血酶浓度（X）与凝血时间(Y)
数据（表12-1）进行回归分析，得到图 12-1所示散点图（scatter plot）
variable)，用 X 表示；凝血时间称为因变 量(dependent variable)，用 Y 表示
由图12-1可见，凝血时间随凝血酶浓度的增加而减低 且呈直线趋势，但并非所有点子恰好全都在一直线上，此 与两变量间严格的直线函数关系不同，称为直线回归 （linear regression）,其方程叫直线回归方程，以区别 严格意义的直线方程。回归是回归分析中最基本、最简单 的一种，故又称简单回归。
公式（12-2）称为样本回归方程，它 是对两变量总体间线性关系的一个估计。 根据散点图我们可以假定，对于 X 各个取 值，相应Y 的总体均数 Y|X 在一条直线上
（图 12-2），表示为 Y |X X
回归参数的估计 ——最小二乘原则
➢ 残差(residual)或剩余值，即实测值Y与假定
简单、基本——直线回归、直线相关
历史背景：
英国人类学家 F.Galton首次在《自然遗传》 一书中，提出并阐明了“相关”和“相关系数” 两个概念，为相关论奠定了基础。其后，他和英 国统计学家 Karl Pearson对上千个家庭的身高、 臂长、拃长（伸开大拇指与中指两端的最大长度）
做了测量，发现：
简单线性回归模型
Yi X i i
样本线回归方程
Yˆ a bX (12 1)
Yˆ 为各X处Y的总体均数的估计。
1．a 为回归直线在 Y 轴上的截距 ➢ a > 0，表示直线与纵轴的交点在
原点的上方 ➢ a < 0，则交点在原点的下方 ➢ a = 0，则回归直线通过原点
2. b为回归系数，即直线的斜率
回归线上的估计值 Yˆ 的纵向距离 Y Yˆ 。
➢ 求解a、b实际上就是“合理地”找到一条能 最好地代表数据点分布趋势的直线。
原则：最小二乘法(least sum of squares)，即可 保证各实测点至直线的纵向距离的平方和最小
回归参数的估计方法
b lXY ( X X )(Y Y )
➢ b>0，直线从左下方走向右上方，Y 随 X 增大而增大； ➢ b<0，直线从左上方走向右下方，Y 随 X 增大而减小； ➢ b=0，表示直线与 X 轴平行，X 与Y 无直线关系
b 的统计学意义是：X 每增加(减) 一个单位，Y 平均改变b个单位
回归模型的前提假设
线性回归模型的前提条件是：
线性(linear) 独立(independent) 正态(normal) 等方差(equal variance)
解题步骤
1．由原始数据及散点图观察两变 量间是否有直线趋势
2．计算 X 、Y 的均数 X 、Y ，离均 差平方和 l XX 、 lYY 与离均差积和 l XY 。
3、计算有关指标的值 4、计算回归系数和截距 5、列出回归方程
绘制回归直线
此直线必然通过点( ,X )且Y 与纵坐标轴相交于
截距a 。如果散点图没有从坐标系原点开
No. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 X 1.1 1.2 1.0 0.9 1.2 1.1 0.9 0.6 1.0 0.9 1.1 0.9 1.1 1.0 0.7 Y 14 13 15 15 13 14 16 17 14 16 15 16 14 15 17
在定量描述健康人凝血酶浓度（X）与凝 血时间(Y)数据的数量上的依存关系时，将 凝血酶浓度称为自变量(independent
始，可在自变量实测范围内远端取易于读 数的 值代入回归方程得到一个点的坐标， 连接此点与点( , )也可X绘出Y 回归直线。
总体回归系数β的的统计推断
样本回归系数b的标准误
sb
s y.x
n
(Xi X )2
i1
sy.x
n
(Yˆi Yi )2
i 1
n2
wenku.baidu.com
sy.x sb
本章内容
第一节 第二节 第三节 第四节
简单线性回归 线性回归的应用 残差分析 非线性回归
第一节 简单线性回归
双变量计量资料：每个个体有两个变量值 总体：无限或有限对变量值 样本：从总体随机抽取的n对变量值 （X1,Y1）, （X2,Y2）, …, （Xn,Yn） 目的：研究X和Y的数量关系 方法：回归与相关
儿子身高（Y，英寸）与父亲身高（X， 英寸）存在线性关
系：Yˆ 33.73 0.516 X 。
也即高个子父代的子代在成年之后的身高平均来 说不是更高，而是稍矮于其父代水平，而矮个子父代的子 代的平均身高不是更矮，而是稍高于其父代水平。Galton 将这种趋向于种族稳定的现象称之“回归”
“回归”已成为表示变量之间某种数量 依存关系的统计学术语，相关并且衍生出“回 归方程”“回归系数”等统计学概念。如研 究糖尿病人血糖与其胰岛素水平的关系，研 究儿童年龄与体重的关系等。
6.98020
15
a 224 (6.98020) 14.7 21.77393
15
15
Yˆ 21.77393 6.9802 X
除了图中所示两变量呈直线关系外，一 般还假定每个 X 对应 Y 的总体为正态分布， 各个正态分布的总体方差相等且各次观测 相互独立。这样，公式（12-2）中的 Yˆ 实际 上是 X 所对应 Y 的总体均数 Y |X 的一个样本 估计值，称为回归方程 的预测值（predicted value）,而 a 、 b 分别为 和 的样本估计。
lXX
(X X )2
a Y bX
式 中 lXY 为 X 与 Y 的 离 均 差 乘 积 和 :
lXY
(X
X
)(Y
Y
)
XY
(
X
)( n
Y
)
本例：n=15 ΣX=14.7 ΣX2=14.81
ΣY=224 ΣXY=216.7 ΣY2=3368
216.7 (14.7)(224)
b
15 14.81 (14.7)2
线性回归的概念及其统计描述
直线回归的概念
目的：研究因变量Y对自变量X的数量依 存关系。
特点：统计关系。 X值和Y的均数的关系， 不同于一般数学上的X 和Y的函数关系
为了直观地说明直线回归的概念，以15
名健康人凝血酶浓度（X）与凝血时间(Y)
数据（表12-1）进行回归分析，得到图 12-1所示散点图（scatter plot）
variable)，用 X 表示；凝血时间称为因变 量(dependent variable)，用 Y 表示
由图12-1可见，凝血时间随凝血酶浓度的增加而减低 且呈直线趋势，但并非所有点子恰好全都在一直线上，此 与两变量间严格的直线函数关系不同，称为直线回归 （linear regression）,其方程叫直线回归方程，以区别 严格意义的直线方程。回归是回归分析中最基本、最简单 的一种，故又称简单回归。
公式（12-2）称为样本回归方程，它 是对两变量总体间线性关系的一个估计。 根据散点图我们可以假定，对于 X 各个取 值，相应Y 的总体均数 Y|X 在一条直线上
（图 12-2），表示为 Y |X X
回归参数的估计 ——最小二乘原则
➢ 残差(residual)或剩余值，即实测值Y与假定
简单、基本——直线回归、直线相关
历史背景：
英国人类学家 F.Galton首次在《自然遗传》 一书中，提出并阐明了“相关”和“相关系数” 两个概念，为相关论奠定了基础。其后，他和英 国统计学家 Karl Pearson对上千个家庭的身高、 臂长、拃长（伸开大拇指与中指两端的最大长度）
做了测量，发现：
简单线性回归模型
Yi X i i
样本线回归方程
Yˆ a bX (12 1)
Yˆ 为各X处Y的总体均数的估计。
1．a 为回归直线在 Y 轴上的截距 ➢ a > 0，表示直线与纵轴的交点在
原点的上方 ➢ a < 0，则交点在原点的下方 ➢ a = 0，则回归直线通过原点
2. b为回归系数，即直线的斜率
回归线上的估计值 Yˆ 的纵向距离 Y Yˆ 。
➢ 求解a、b实际上就是“合理地”找到一条能 最好地代表数据点分布趋势的直线。
原则：最小二乘法(least sum of squares)，即可 保证各实测点至直线的纵向距离的平方和最小
回归参数的估计方法
b lXY ( X X )(Y Y )
➢ b>0，直线从左下方走向右上方，Y 随 X 增大而增大； ➢ b<0，直线从左上方走向右下方，Y 随 X 增大而减小； ➢ b=0，表示直线与 X 轴平行，X 与Y 无直线关系
b 的统计学意义是：X 每增加(减) 一个单位，Y 平均改变b个单位
回归模型的前提假设
线性回归模型的前提条件是：
线性(linear) 独立(independent) 正态(normal) 等方差(equal variance)
解题步骤
1．由原始数据及散点图观察两变 量间是否有直线趋势
2．计算 X 、Y 的均数 X 、Y ，离均 差平方和 l XX 、 lYY 与离均差积和 l XY 。
3、计算有关指标的值 4、计算回归系数和截距 5、列出回归方程
绘制回归直线
此直线必然通过点( ,X )且Y 与纵坐标轴相交于
截距a 。如果散点图没有从坐标系原点开
No. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 X 1.1 1.2 1.0 0.9 1.2 1.1 0.9 0.6 1.0 0.9 1.1 0.9 1.1 1.0 0.7 Y 14 13 15 15 13 14 16 17 14 16 15 16 14 15 17
在定量描述健康人凝血酶浓度（X）与凝 血时间(Y)数据的数量上的依存关系时，将 凝血酶浓度称为自变量(independent
始，可在自变量实测范围内远端取易于读 数的 值代入回归方程得到一个点的坐标， 连接此点与点( , )也可X绘出Y 回归直线。
总体回归系数β的的统计推断
样本回归系数b的标准误
sb
s y.x
n
(Xi X )2
i1
sy.x
n
(Yˆi Yi )2
i 1
n2
wenku.baidu.com
sy.x sb