回归直线方程最小二乘法

Yi=bx i+a（i=1 ，2，…，n）
y
3.它与实际收集得到的 yi之间偏差是
yi-Yi=yi-(bx i+a)（i=1 ，2，…，n）
（xi ，yi ） yi-Yi （x1 ，y1）
这样，用这 n个偏差的和来刻画
“各点与此直线的整体偏差”
是比较合适的。
BG
（x2 ，y2）
7
(x1 ,y1)
(xi ,yi)
i=1
n
Σ（yi-Yi ）2的最小值
i=1
? ?
n
? xi yi ? n x y
??? b ? ? ?
i? 1 n
? i? 1
xi2 ?
2
nx
,
?a ? y ? bx
? ?
n
? ( xi ? x)( yi ? y)
?? b ? ? ? ?
1
n
? ( xi ? x) 2 1
?a ? y ? bx
Q=(y1-bx1-a) 2+(y2-bx2-a) 2+…+(yn-bxn-a) 2
(x2 ,y2)
yi-(bxi+a)
因此用 y=bx+a的“整体距离”
表示各点到直线
BG
8
由于绝对值使得计算不方便，在实际应用 中人们更喜欢用
Q ? ?y1 ? bx1 ? a?2 ? ?y2 ? bx2 ? a?2 ?? ? ?yn ? bxn ? a?2
(x1,y1)
yi ? ?bxi ? a ?
图散 点
回 归 直 线
BG
1
回归直线概念：散点图中心的分布从整体上看 大致是一条直线附近，该直线称为回归直线
求出回归直线的方程
我们就可以比较清楚地了解年龄与体 内脂肪含量之间的相关性
由此可以预测相应年龄段的脂肪含量
那我们又该如何具体求这个回归方程呢？
BG
2
方法汇总
法一
1.选取两点作 直线 ps：使直线两 侧 的点的个 数基本相同。
(x1,y1)
(xi，yi) (xn ， yn)
(x2，y2)
BG
10
Q? ?y1 ?bx1 ? a?2 ? ?y2 ? bx2 ? a?2 ?? ? ?yn ?bxn ? a?2
这样通过求此式的最小值而得到回 归直线的方法，即使得样本数据的 点到回归直线的距离的平方和最小
的方法叫做 最小二乘法.
当a，b取什么值时，Q的值最小，即总体偏差最小
BG
12
求线性回归方程的步骤：
(1)求平均数
；
(2)计算 xi 与 yi 的乘积,再求
；
(3)计算
；
(4)将上述有关结果代入公式，写出回归 直线方程.
BG
13
年 龄 23 27 39 41 45 49 50 53 54 56 57 58 60 61
脂 肪 9.5 17.8 21.2 25.9 27.5 26.3 28.2 29.6 30.2 31.4 30.8 33.5 35.2 34.6
根据最小二乘法公式，
利用计算机可以求出
其回归直线方程
回
归
图散
y ? 0.577 x ? 0.48 点
直 线
BG
14
年 龄 23 27 39 41 45 49 50 53 54 56 57 58 60 61 脂 肪 9.5 17.8 21.2 25.9 27.5 26.3 28.2 29.6 30.2 31.4 30.8 33.5 35.2 34.6
思考：将表中的年龄作为x代入回归方程，看看得
出的数值与真实数值之间的关系，从中你体会到
了什么？ y ? 0.577x ? 0.48
存在样本
点不在直线上
x=27时，y=15.099% x=37时，y=20.901%
可利用回归方程
预测不同年龄段
的体内脂肪含量
的百分比。
BG
15
（2012山东临沂二模， 20,12）假设关于某设备的 使用年限 x和所有支出的维修费用 y（万元），有如 下表的统计资料：
法二
法三
1.画一条直线 2.测量出各点 与它的距离
3.移动直线， 到达某一位置 使距离的和最 小，测量出此
时直线的斜率 与截距，得到
回归方程。
1.在散点图中 多取几组点，
确定出几条直 线的方程
2.分别求出各 条直线的斜率、
截距的平均数
3.将这两个平 均数当成回归 方程的斜率与
截距。
BG
法四
？ ？ 3
问题:在一次对人体脂肪含量与年龄关系的研究中， 研究人员获得了一组样本数据：
年 龄 23 27 39 41 45 49 50 53 54 56 57 58 60 61
脂 肪 9.5 17.8 21.2 25.9 27.5 26.3 28.2 29.6 30.2 31.4 30.8 33.5 35.2 34.6
上面三种方法都有一定的道理，但总让人感到 可靠性不强 .
回归直线与散点图中各点的位置用数学的方法 来刻画应具有怎样的关系？
BG
4
方法汇总
法一
1.选取两点作 直线 ps：使直线两 侧 的点的个 数基本相同。
法二
法三
1.画一条直线 2.测量出各点 与它的距离
3.移动直线， 到达某一位置 使距离的和最 小，测量出此
根据有关数学原理推导， a，b的值由下列公式给出
? ?? ? n
n
? ? xi ? x yi ? y
xi yi ? n xy
? ? ? b ? i?1 n xi ? x 2
? ?
i?1 n
xi 2
?
2
nx
i?1
i?1
a ? y? bx
BG
百度文库
11
n
Σ（yi-Yi ）的最小值
i=1
n
Σ|yi-Yi| 的最小值
下面讨论如何表达这些点与一条直线y=bx+a 之间的距离。
BG
6
最小二乘法的公式的探索过程如下：
1.设已经得到具有线性相关关系的变量的一组数据：
（x 1，y 1），（ x 2， y2）， …，（ x n，y n）
2.设所求的回归直线方程为 Y=bx+a ，其中a，b是待 定的系数。当变量 x取x1，x2，…，xn时，可以得到
(xi，yi) (xn ， yn)
(x2，y2)
BG
9
这样，问题就归结为：当 a，b取什么值时 Q最小？即
点到直线 y ? bx ? a 的“整体距离”最小 .
Q? ?y1 ? bx1 ? a?2 ? ?y2 ? bx2 ? a?2 ?? ? ?yn ?bxn ? a?2
yi ? ?bxi ? a ?
时直线的斜率 与截距，得到
回归方程。
1.在散点图中 多取几组点，
确定出几条直 线的方程
2.分别求出各 条直线的斜率、
截距的平均数
3.将这两个平 均数当成回归 方程的斜率与
截距。
BG
法四
最 小 二 乘 法
5
求回归方程的关键
——如何使用数学方法来刻画“从整体上看，
各点到此直线的距离最小”。
假设两个具有线性相关关系的变量的一组数 据:(x 1, y1),(x2, y2),...... (xn, yn)