最小二乘估计
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
解 (1)作散点图如图所示
由散点图知两个变量是线 性相关的，计算各种数据 如下表
于是： 则：
分步计算 减少出错
于是，线性回归方程为 y=57.557-1.648x
2)由回归方程知，当某天的气温是-3℃ 时，卖出的热茶杯数为
57.557-1.648×(-3)≈63(杯）
利用试验数据进行拟合时，所用数据越多，拟合效果 越好.但即使选取相同的样本数，得到的直线方程也可能 是不相同的，这是由样本的随机性造成的,样本量越大， 所估计的直线方程越能更好地反映变量之间的关系.
判断下列变量之间的关系：
1. 角度和它的正弦值。 2. 身高和体重。 3. 高二13班的学生身高和14班
的学生身高。
知识要 点
回归直线
从散点图可以看出：所有的点大致在一 条直线附近波动，我们称这两个变量间存在 线性相关关系，这条直线叫做 回归直线 (regression line) 。
问题1：
?y1 ? ?a ? bx1??2 ? ?y2 ? ?a ? bx2 ??2 ? ?y3 ? ?a ? bx3 ??2 ? ?y4 ? ?a ? bx4 ??2 ? ?y5 ? ?a ? bx5 ??2
抽象概括：
若有n个样本点：（ x1，y1）,… ,（xn，yn），可以 用下面的表达式来刻画这些点与直线 y＝a+bx的接近程 度:
（A）（2，2）
（B）（1.5，0）
（C）（1，2）
（D）（1.5，4）
x0123 y1357
1、最小二乘法的思想 2、线性回归方程的系数：
n
? xi yi ? nxy
? i?1 n ? (x i )2 ? n(x) 2 i ?1
例2.下面是两个变量的一组数据：
x12345678 y 1 4 9 16 25 36 47 64 请用最小二乘法求出这两个变量之间的线性回归方程
1 2 3 4 5 6 7 8 合计 36
11
1
44
8
9
9
27
16 16 64
25 25 125
36 36 216
49 49 343
64 64 512
204 204 1296
使上式达到最小值的直线 y=a+bx就是所求的直线，这 种方法称为最小二乘法。
如果用x表示 x1 ? x2 ? ... ? xn ,用y表示 y1 ? y2 ? ... ? yn 则可得到
n
n
b?
x 1 y 1 ? ... ? x n y n
x
2 1
?
...
?
x
2 n
?
?
nxy
2
,a
nx
?
y ? bx
2、回归直线必经过点 ( x , y )
.下表是某小卖部6天卖出热茶的杯数(y)与当天气温(x)的对比表： 气温（xi）／ ℃ 26 18 13 10 4 -1 杯数（yi）／杯 20 24 34 38 50 64
(1)试用最小二乘法求出线性回归方程； (2)如果某天的气温是-3℃，请预测这天可能会卖出热茶多少杯
用什么样的线性关系刻画会更 好一些？
想法：保证这条直线与所有点都近 （也就是距离最小）。
最小二乘法就是基于这种想法。
问题2：
用什么样的方法刻画点与直线的距离会方便有效？
设直线方程为y=a+bx，样本点A（xi，yi）
方法一、点到直线的距离公式
d ? bxi ? yi ? a b2 ? 1
y
?x i , y i ?
（A ）
A.y=x+1 B. y=x+2
C. y=2x+1
D. y=x-1
解析：因为x ? 1? 2 ? 3 ? 4 ? 2.5, y ? 3.5而回归直线必过点 4
（x, y）,所以把点?2.5，3.5?代入各个选项检验知.
已知x，y之间的一组数据如下表，则y与x的线性回归方
程y=a+bx必经过点 ( D )
y ? a ? bx
? 方法二、 yi ? ?a ? bxi ??2
0
?xi , a ? bx i ?
我们用方法二来表示二者之间的接近程度
问题3：
怎样刻画多个点与直线的接近程度？
例如有5个样本点，其坐标分别为（x1，y1）， （x2，y2），（x3，y3），（x4，y4），（x5，y5）
与直线y=a+bx的接近程度：
这样得到的直线方程称为 线性回归方程 ，a,b为其系数。
最小二乘法的计算公式：
n
n
?
(xi ?
x)( y ? i
y)
?
x
i
y i
?
nx
y)
b ? i?1 n
2
? (xi? x)
i?1
? x ? nx ? i?1 n
2
, 2
ቤተ መጻሕፍቲ ባይዱ
i?1 i
a ? y ? bx
注：
1、在回归直线方程中，b是回归直线方程的
课堂练习：
1.设一个回归方程为 y=3-1.2x ，则变量x增加一个单位时
( A)
A.y平均减少1.2个单位 B.y平均增加1.2个单位
C.y 平均减少 3个单位
D.y 平均减少 3个单位
2.在一次实验中，测得（ x,y）的四组值为 (1，2)，(2， 3)，(3，4)，(4，5)，则y与x之间的回归直线方程为
y=-15+9x.
思考：哪一个对呢？ 你认为问题出在哪 里呢？
【说明】
1.利用最小二乘法估计时，首先要作出数据的散点图， 利用散点图观察数据是否具有线性关系 . 2.散点图呈现线性关系时，利用最小二乘法公式求出 方程. 3.直线拟合只是拟合的方式之一，散点图呈现其他的 规律时，我们也可以利用其他的曲线进行拟合 .
斜率，a是截距；b的含义容易理解成增加的单 位数，而实际上，它代表x每增加一个单位，y 的平均增加单位数。
一般的说，当回归系数b＞0时，说明两个 变量呈正相关关系，它的意义是：当x每增加一 个单位时，y就增加b个单位；当b＜0时，说明 两个变量呈负相关关系，它的意义是：当x每增 加一个单位时，y就减少b个单位。
由散点图知两个变量是线 性相关的，计算各种数据 如下表
于是： 则：
分步计算 减少出错
于是，线性回归方程为 y=57.557-1.648x
2)由回归方程知，当某天的气温是-3℃ 时，卖出的热茶杯数为
57.557-1.648×(-3)≈63(杯）
利用试验数据进行拟合时，所用数据越多，拟合效果 越好.但即使选取相同的样本数，得到的直线方程也可能 是不相同的，这是由样本的随机性造成的,样本量越大， 所估计的直线方程越能更好地反映变量之间的关系.
判断下列变量之间的关系：
1. 角度和它的正弦值。 2. 身高和体重。 3. 高二13班的学生身高和14班
的学生身高。
知识要 点
回归直线
从散点图可以看出：所有的点大致在一 条直线附近波动，我们称这两个变量间存在 线性相关关系，这条直线叫做 回归直线 (regression line) 。
问题1：
?y1 ? ?a ? bx1??2 ? ?y2 ? ?a ? bx2 ??2 ? ?y3 ? ?a ? bx3 ??2 ? ?y4 ? ?a ? bx4 ??2 ? ?y5 ? ?a ? bx5 ??2
抽象概括：
若有n个样本点：（ x1，y1）,… ,（xn，yn），可以 用下面的表达式来刻画这些点与直线 y＝a+bx的接近程 度:
（A）（2，2）
（B）（1.5，0）
（C）（1，2）
（D）（1.5，4）
x0123 y1357
1、最小二乘法的思想 2、线性回归方程的系数：
n
? xi yi ? nxy
? i?1 n ? (x i )2 ? n(x) 2 i ?1
例2.下面是两个变量的一组数据：
x12345678 y 1 4 9 16 25 36 47 64 请用最小二乘法求出这两个变量之间的线性回归方程
1 2 3 4 5 6 7 8 合计 36
11
1
44
8
9
9
27
16 16 64
25 25 125
36 36 216
49 49 343
64 64 512
204 204 1296
使上式达到最小值的直线 y=a+bx就是所求的直线，这 种方法称为最小二乘法。
如果用x表示 x1 ? x2 ? ... ? xn ,用y表示 y1 ? y2 ? ... ? yn 则可得到
n
n
b?
x 1 y 1 ? ... ? x n y n
x
2 1
?
...
?
x
2 n
?
?
nxy
2
,a
nx
?
y ? bx
2、回归直线必经过点 ( x , y )
.下表是某小卖部6天卖出热茶的杯数(y)与当天气温(x)的对比表： 气温（xi）／ ℃ 26 18 13 10 4 -1 杯数（yi）／杯 20 24 34 38 50 64
(1)试用最小二乘法求出线性回归方程； (2)如果某天的气温是-3℃，请预测这天可能会卖出热茶多少杯
用什么样的线性关系刻画会更 好一些？
想法：保证这条直线与所有点都近 （也就是距离最小）。
最小二乘法就是基于这种想法。
问题2：
用什么样的方法刻画点与直线的距离会方便有效？
设直线方程为y=a+bx，样本点A（xi，yi）
方法一、点到直线的距离公式
d ? bxi ? yi ? a b2 ? 1
y
?x i , y i ?
（A ）
A.y=x+1 B. y=x+2
C. y=2x+1
D. y=x-1
解析：因为x ? 1? 2 ? 3 ? 4 ? 2.5, y ? 3.5而回归直线必过点 4
（x, y）,所以把点?2.5，3.5?代入各个选项检验知.
已知x，y之间的一组数据如下表，则y与x的线性回归方
程y=a+bx必经过点 ( D )
y ? a ? bx
? 方法二、 yi ? ?a ? bxi ??2
0
?xi , a ? bx i ?
我们用方法二来表示二者之间的接近程度
问题3：
怎样刻画多个点与直线的接近程度？
例如有5个样本点，其坐标分别为（x1，y1）， （x2，y2），（x3，y3），（x4，y4），（x5，y5）
与直线y=a+bx的接近程度：
这样得到的直线方程称为 线性回归方程 ，a,b为其系数。
最小二乘法的计算公式：
n
n
?
(xi ?
x)( y ? i
y)
?
x
i
y i
?
nx
y)
b ? i?1 n
2
? (xi? x)
i?1
? x ? nx ? i?1 n
2
, 2
ቤተ መጻሕፍቲ ባይዱ
i?1 i
a ? y ? bx
注：
1、在回归直线方程中，b是回归直线方程的
课堂练习：
1.设一个回归方程为 y=3-1.2x ，则变量x增加一个单位时
( A)
A.y平均减少1.2个单位 B.y平均增加1.2个单位
C.y 平均减少 3个单位
D.y 平均减少 3个单位
2.在一次实验中，测得（ x,y）的四组值为 (1，2)，(2， 3)，(3，4)，(4，5)，则y与x之间的回归直线方程为
y=-15+9x.
思考：哪一个对呢？ 你认为问题出在哪 里呢？
【说明】
1.利用最小二乘法估计时，首先要作出数据的散点图， 利用散点图观察数据是否具有线性关系 . 2.散点图呈现线性关系时，利用最小二乘法公式求出 方程. 3.直线拟合只是拟合的方式之一，散点图呈现其他的 规律时，我们也可以利用其他的曲线进行拟合 .
斜率，a是截距；b的含义容易理解成增加的单 位数，而实际上，它代表x每增加一个单位，y 的平均增加单位数。
一般的说，当回归系数b＞0时，说明两个 变量呈正相关关系，它的意义是：当x每增加一 个单位时，y就增加b个单位；当b＜0时，说明 两个变量呈负相关关系，它的意义是：当x每增 加一个单位时，y就减少b个单位。