8.2一元线性回归模型参数的最小二乘估计(第二课时)课件-人教A版选择性必修第三册
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
我们将 y
式，其图形称为经验回归直线. 这种求经验回归方程的方法叫做最小二乘法.
2. 什么是最小二乘估计?
经验回归方程中的参数计算公式为：
n
( xi x )( yi y )
bˆ i 1 n
2
(
x
x
)
i
i 1
aˆ y bx
n
x y
i 1
n
i
i
nx y
注意点：在含有一元线性回归模型中，决定系数R2=r2．在线性回归模型中有0≤R2≤1，
因此R2和r都能刻画用线性回归模型拟合数据的效果．
|r|越大，R2就越大，线性回归模型拟合数据的效果就越好．
编
号
1
2
3
4
5
6
7
8
t
1896
1912
1921
1930
1936
1956
1960
1968
0.591
-0.284
，
8.
两个经验回归方程的残差(精确到0.001)如下表所示.
编
号
1
2
3
4
5
6
7
8
t
1896
1912
1921
1930
1936
1956
1960
1968
0.591
-0.284
-0.301
-0.218
-0.196
0.111
0.092
0.205
-0.001
0.007
-0.012
0.015
-0.018
2. 求经验回归方程：
由散点图可知，散点看上去大致散布在一条直线附近，好像可用一元线性回归模型建
立经验回归方程.
根据最小二乘法，由表中数据可得经验回归方程为 yˆ 1 0.02033743t 49.76913031.
①
将经验回归方程叠加到散点图，如图(3)所示.
由图形可知，散点并不是随机
注意到100m短跑的第一个世界纪录产生于1896年，因此可认为散点集中在曲线
y=c1+c2ln(t-1895)的周围. 其中c1和c2为未知参数，且c2 < 0.
用上述函数刻画数据变化的趋势，这是一个非线性经验回归函数，其中c1, c2 是待
定参数. 现在问题转化为如何利用成对数据估计参数c1和c2.
通过前面的讨论我们知道，当残差的平方和越小，经验回归模型的拟合效果就越好，故
我们可以用决定系数R2来验证模型的拟合效果.
决定系数R2的计算公式为
n
R2 1
2
ˆ
(
y
y
)
i i
i 1
n
2
(
y
y
)
i
.
i 1
R2越大，表示残差平方和越小，即模型的拟合效果越好；
R2越小，表示残差平方和越大，即模型的拟合效果越差.
第八章成对数据的统计分析
8.2.2一元线性回归模型参数的最小二乘估计
（第二课时）
李思
目录
CONTENT
01
02
03
04
知识回顾
残差分析与非
线性回归分析
典型例题
课堂总结
P A R T. 0 1
1. 什么是经验回归方程？
ˆ aˆ 称为Y关于x的经验回归方程，也称经验回归函数或经验回归公
ˆ bx
因此经验回归方程②的刻画效果比经验回归方程①的好很多.
刻画回归效果的三种方法1．残差图法：残差点比较均匀地落在水平的带状区域内说
明选用的模型比较合适．2．残差平方和法：残差平方和越小，模型的拟合效果越
好．3．决定系数法：R2＝越接近1，表明回归模型的拟合效果越好．
典例2：在建立两个变量y与x的回归模型中，分别选择了4个不同的模型，模型1～4
不一定，还有其他影响儿子身高的因素，
父亲的身高不能完全决定儿子的身高. 不
过, 我们可以作出估计, 当父亲的身高为
176cm时, 儿子身高一般在177cm左右.
P A R T. 0 2
残差的概念：对于响应变量 Y，通过观测得到的数据称为观察值，通过经验回归方程得到
∧
的y称为预测值，观测值减去预测值称为残差．
下面通过残差来比较这两个经验回归方程对数据刻画的好坏.
用ti表示编号为i的年份数据，用yi表示编号为i的纪录数据，则经验回归方程①和②的残
，；
8
差计算公式分别为 eˆi yi 0.02033743t i 49.76913031，i 1, 2，
eˆi yi 0.4264398( t i 1895) 11.8012653，i 1, 2，
10.40
10.30
10.20
10.10
10.00
9.95
作出上表的散点图：
12.0
11.5
11.0
10.5
10.0
9.5
由散点图可知，现在散点的散布呈现出很
Y /s
强的线性相关特征，故可以一元线性回归
模型建立经验回归方程.
yˆ 2 = -0.4264398 x + 11.8012653
0
1
2
3
4
5
散布在经验回归直线的周围，
而是环绕着经验回归直线有一
定的变化规律，即成对样本数
据呈现出明显的非线性相关的
特征.
3. 修改模型：
记录 / s
12.0
11.5
散点更趋向于落在中间下凸且递减的某 11.0
10.5
条曲线附近.
10.0
函数y=-lnx的图象具有类似的形状特征. 9.5
1890 1900 1910 1920 1930 1940 1950 1960 1970 年份
0.091
10
166
168
168.231
－0.231
11
182
178
181.655
－3.655
12
173
172
174.104
－2.104
13
164
165
66.553
－1.553
14
180
182
179.977
2.023
为了使数据更加直观，用父亲身高作为横坐标，残差作为纵坐标，画出残差图，如下：
残差/cm
1
i
1
i
8
8
i 1
i 1
残差平方和：残差平方和越小，模型拟合效果越好，残差平方和越大，模型拟合效果越差．
可知Q2小于Q1. 因此在残差平方和最小的标准下，
非线性回归模型
Y c2 ln( t 1895) c1 u，
2
E
(
u
)
0
，
D
(
u
)
的拟合效果要优于一元线性回归模型的拟合效果.
5
4
3
2
1
0
160
-1
-2
-3
-4
-5
视察残差的散点图可以发现，残差比较均匀
•
•
165
•
170
• ••
•
• 175
•
•
•
地散布在横轴的两边. 说明残差比较符合一元
•
父亲身高/cm
180
185
线性回归模型的假定。
可见，通过视察残差图可以直观判断模型是
否满足一元线性回归模型的假设.
•
•
残差图法：作图时纵坐标为残差，横坐标可以选为样本编号，或身高数据，或体重
通过视察发现，图(4)的
残差比较均匀地散布在以取
值为0的横轴为对称轴的水
平带状区域内. 所以在四幅
残差图中，只有图(4)满足
一元线性回归模型对随机误
差的假设.
典例 1：下面给出了根据某地区 2013～2019 年水果人均占有量 y(单位：kg)和年份代码
x 绘制的散点图和经验回归方程的残差图(2013～2019 年的年份代码 x 分别为 1～7).
的R2值分别是0.98，0.80，0.60，0.55，则其中拟合效果最好的模型是 A
(
)A．模型1
B．模型2C．模型3 D．模型4
P A R T. 0 3
例1：为研究质量x(单位：g)对弹簧长度y(单位：cm)的影响，对不同质量的6
个物体进行测量，数据如下表：
x
5
10
15
20
25
30
y
7.25
8.12
(3)由残差图可知，残差点均匀地分布在以取值为 0 的横轴为对称轴的水平带状区域内，
故经验回归方程的拟合效果较好．
问题：人们常将男子短跑100m的高水平运动员称为“百米飞人”. 下表给出了1968
年之前男子短跑100m世界纪录产生的年份和世界纪录的数据. 试根据这些成对数据，
建立男子短跑100m世界纪录关于纪录产生年份的经验回归方程.
8.95
9.90
10.
9பைடு நூலகம்
11.
8
(1)作出散点图并求经验回归方程；(2)求出R2并说明回归模型拟
合的效果；(3)进行残差分析．
解：(1)散点图如图所示．
样本点散布在一条直线附近，
所以y与x具有线性相关关系．
∧
∧
b≈0.183，a≈6.285，
∧
故所求经验回归方程为y＝6.285＋0.183x.
1.057
2
170
176
171.587
4.413
3
173
170
174.104
－4.104
4
169
170
170.748
－0.748
5
182
185
181.655
3.345
6
172
176
173.265
2.735
7
180
178
179.977
－1.977
8
172
174
173.265
0.735
9
168
170
169.909
(1)根据散点图说明 y 与 x 之间的相关关系:
(2)y 关于 x 的经验回归方程；
(3)根据经验回归方程的残差图，分析经验回归方程的拟合效果．
解：(1)正相关；
∧
（2）b＝
4 508－7×4×153
28
＝8，
∧－
－
a＝ y －b x ＝153－8×4＝121，
∧
∧
所以 y 关于 x 的经验回归方程为y＝8x＋121.
2
2
x
nx
i
i 1
编号
1
2
3
4
5
6
7
8
9
10
11
12
13
14
父亲身
高/cm
174
170
173
169
182
172
180
172
168
166
182
173
164
180
儿子身
高/cm
176
176
170
170
185
176
178
174
170
168
178
172
165
182
对于上表中的数据，利用我们学过的公式可
መ
以计算出=0.839
，ො
=28.957，
求出儿子身高Y关于父亲身高x的经验回归方
程为
ŷ 0.839 x 28.957
相应的经验回归直线如图所示.
ŷ 0.839 x 28.957
ො
思考:当x=176时，≈177.
如果一位父亲身高为176cm,他儿子长大成人后的身高一
定是177cm吗? 为什么?
11.0
10.5
ˆ = -0.4264398ln( t - 1895) + 11.8012653
y
10.0
9.5
1890 1900 1910 1920 1930 1940 1950 1960 1970 t
2
我们发现，散点图中各散点都非常靠近②的图像, 表明非线性经验回归方程②对于
原始数据的拟合效果远远好于经验回归方程①.
0.052
-0.021
-0.022
ê
û
视察各项残差的绝对值，发现经验回归方程②远远小于①，
即经验回归方程②的拟合效果要远远好于①.
在一般情况下，直接比较两个模型的残差比较困难，因为在某些散点上一个模型的残差
的绝对值比另一个模型的小，而另一些散点的情况则相反. 可以通过比较残差的平方和
来比较两个模型的效果. 由 Q ( eˆ )2 0.669， Q ( uˆ )2 0.004，
估计值等，这样作出的图形称为残差图．
若残差点比较均匀地散布在以取值为0的横轴为对称轴的水平带状区域内，带状区域
越窄，则说明拟合效果越好．
一般地，建立经验回归方程后，通常需要对模型刻画数据的效果进行分析.借助残差
分析还可以对模型进行改进，使我们能根据改进模型作出更符合实际的预测与决策.
思考:以下四幅残差图，你认为哪一个残差满足一元线性回归模型中对随机误差的假定?
残差是随机误差的估计结果，通过对残差的分析可以判断模型刻画数据的效果，以及判断
原始数据中是否存在可疑数据等，这方面工作称为残差分析。
残差分析：
残差表：将残差以表格的情势呈现；
残差图：将残差以图象的情势呈现。
残差表：
编号
父亲身高/cm
儿子身高观测值/cm
儿子身高预测值/cm
残差/cm
1
174
176
174.943
-0.301
-0.218
-0.196
0.111
0.092
0.205
-0.001
0.007
-0.012
0.015
-0.018
0.052
-0.021
-0.022
ê
û
由上述残差表可算出经验回归方程①和②的决定系数R2分别为
R12 0.7325，
R22 0.9983，
2
2
由于 R2 R1 ，
为了利用一元线性回归模型估计参数c1和c2，引进一个中间变量x，令x=ln(t-1895).
通过x=ln(t-1895)，将年份变量数据进行变换，得到新的成对数据(精确到0.01)，如
下表所示.
编号
1
2
3
4
5
6
7
8
x
0.00
2.83
3.26
3.56
3.71
4.11
4.17
4.29
Y/s
11.80
10.60
ˆ 2 = -0.4264398ln( t - 1895) + 11.8012653 ②
x y
在同一坐标系中画出成对数据散点图、非线性经验回归方程②的图像(蓝色)以及经验
回归方程①的图像(红色)，如图所示.
记录 / s
12.0
11.5
yˆ 1 = -0.02033743t + 49.76913031
式，其图形称为经验回归直线. 这种求经验回归方程的方法叫做最小二乘法.
2. 什么是最小二乘估计?
经验回归方程中的参数计算公式为：
n
( xi x )( yi y )
bˆ i 1 n
2
(
x
x
)
i
i 1
aˆ y bx
n
x y
i 1
n
i
i
nx y
注意点：在含有一元线性回归模型中，决定系数R2=r2．在线性回归模型中有0≤R2≤1，
因此R2和r都能刻画用线性回归模型拟合数据的效果．
|r|越大，R2就越大，线性回归模型拟合数据的效果就越好．
编
号
1
2
3
4
5
6
7
8
t
1896
1912
1921
1930
1936
1956
1960
1968
0.591
-0.284
，
8.
两个经验回归方程的残差(精确到0.001)如下表所示.
编
号
1
2
3
4
5
6
7
8
t
1896
1912
1921
1930
1936
1956
1960
1968
0.591
-0.284
-0.301
-0.218
-0.196
0.111
0.092
0.205
-0.001
0.007
-0.012
0.015
-0.018
2. 求经验回归方程：
由散点图可知，散点看上去大致散布在一条直线附近，好像可用一元线性回归模型建
立经验回归方程.
根据最小二乘法，由表中数据可得经验回归方程为 yˆ 1 0.02033743t 49.76913031.
①
将经验回归方程叠加到散点图，如图(3)所示.
由图形可知，散点并不是随机
注意到100m短跑的第一个世界纪录产生于1896年，因此可认为散点集中在曲线
y=c1+c2ln(t-1895)的周围. 其中c1和c2为未知参数，且c2 < 0.
用上述函数刻画数据变化的趋势，这是一个非线性经验回归函数，其中c1, c2 是待
定参数. 现在问题转化为如何利用成对数据估计参数c1和c2.
通过前面的讨论我们知道，当残差的平方和越小，经验回归模型的拟合效果就越好，故
我们可以用决定系数R2来验证模型的拟合效果.
决定系数R2的计算公式为
n
R2 1
2
ˆ
(
y
y
)
i i
i 1
n
2
(
y
y
)
i
.
i 1
R2越大，表示残差平方和越小，即模型的拟合效果越好；
R2越小，表示残差平方和越大，即模型的拟合效果越差.
第八章成对数据的统计分析
8.2.2一元线性回归模型参数的最小二乘估计
（第二课时）
李思
目录
CONTENT
01
02
03
04
知识回顾
残差分析与非
线性回归分析
典型例题
课堂总结
P A R T. 0 1
1. 什么是经验回归方程？
ˆ aˆ 称为Y关于x的经验回归方程，也称经验回归函数或经验回归公
ˆ bx
因此经验回归方程②的刻画效果比经验回归方程①的好很多.
刻画回归效果的三种方法1．残差图法：残差点比较均匀地落在水平的带状区域内说
明选用的模型比较合适．2．残差平方和法：残差平方和越小，模型的拟合效果越
好．3．决定系数法：R2＝越接近1，表明回归模型的拟合效果越好．
典例2：在建立两个变量y与x的回归模型中，分别选择了4个不同的模型，模型1～4
不一定，还有其他影响儿子身高的因素，
父亲的身高不能完全决定儿子的身高. 不
过, 我们可以作出估计, 当父亲的身高为
176cm时, 儿子身高一般在177cm左右.
P A R T. 0 2
残差的概念：对于响应变量 Y，通过观测得到的数据称为观察值，通过经验回归方程得到
∧
的y称为预测值，观测值减去预测值称为残差．
下面通过残差来比较这两个经验回归方程对数据刻画的好坏.
用ti表示编号为i的年份数据，用yi表示编号为i的纪录数据，则经验回归方程①和②的残
，；
8
差计算公式分别为 eˆi yi 0.02033743t i 49.76913031，i 1, 2，
eˆi yi 0.4264398( t i 1895) 11.8012653，i 1, 2，
10.40
10.30
10.20
10.10
10.00
9.95
作出上表的散点图：
12.0
11.5
11.0
10.5
10.0
9.5
由散点图可知，现在散点的散布呈现出很
Y /s
强的线性相关特征，故可以一元线性回归
模型建立经验回归方程.
yˆ 2 = -0.4264398 x + 11.8012653
0
1
2
3
4
5
散布在经验回归直线的周围，
而是环绕着经验回归直线有一
定的变化规律，即成对样本数
据呈现出明显的非线性相关的
特征.
3. 修改模型：
记录 / s
12.0
11.5
散点更趋向于落在中间下凸且递减的某 11.0
10.5
条曲线附近.
10.0
函数y=-lnx的图象具有类似的形状特征. 9.5
1890 1900 1910 1920 1930 1940 1950 1960 1970 年份
0.091
10
166
168
168.231
－0.231
11
182
178
181.655
－3.655
12
173
172
174.104
－2.104
13
164
165
66.553
－1.553
14
180
182
179.977
2.023
为了使数据更加直观，用父亲身高作为横坐标，残差作为纵坐标，画出残差图，如下：
残差/cm
1
i
1
i
8
8
i 1
i 1
残差平方和：残差平方和越小，模型拟合效果越好，残差平方和越大，模型拟合效果越差．
可知Q2小于Q1. 因此在残差平方和最小的标准下，
非线性回归模型
Y c2 ln( t 1895) c1 u，
2
E
(
u
)
0
，
D
(
u
)
的拟合效果要优于一元线性回归模型的拟合效果.
5
4
3
2
1
0
160
-1
-2
-3
-4
-5
视察残差的散点图可以发现，残差比较均匀
•
•
165
•
170
• ••
•
• 175
•
•
•
地散布在横轴的两边. 说明残差比较符合一元
•
父亲身高/cm
180
185
线性回归模型的假定。
可见，通过视察残差图可以直观判断模型是
否满足一元线性回归模型的假设.
•
•
残差图法：作图时纵坐标为残差，横坐标可以选为样本编号，或身高数据，或体重
通过视察发现，图(4)的
残差比较均匀地散布在以取
值为0的横轴为对称轴的水
平带状区域内. 所以在四幅
残差图中，只有图(4)满足
一元线性回归模型对随机误
差的假设.
典例 1：下面给出了根据某地区 2013～2019 年水果人均占有量 y(单位：kg)和年份代码
x 绘制的散点图和经验回归方程的残差图(2013～2019 年的年份代码 x 分别为 1～7).
的R2值分别是0.98，0.80，0.60，0.55，则其中拟合效果最好的模型是 A
(
)A．模型1
B．模型2C．模型3 D．模型4
P A R T. 0 3
例1：为研究质量x(单位：g)对弹簧长度y(单位：cm)的影响，对不同质量的6
个物体进行测量，数据如下表：
x
5
10
15
20
25
30
y
7.25
8.12
(3)由残差图可知，残差点均匀地分布在以取值为 0 的横轴为对称轴的水平带状区域内，
故经验回归方程的拟合效果较好．
问题：人们常将男子短跑100m的高水平运动员称为“百米飞人”. 下表给出了1968
年之前男子短跑100m世界纪录产生的年份和世界纪录的数据. 试根据这些成对数据，
建立男子短跑100m世界纪录关于纪录产生年份的经验回归方程.
8.95
9.90
10.
9பைடு நூலகம்
11.
8
(1)作出散点图并求经验回归方程；(2)求出R2并说明回归模型拟
合的效果；(3)进行残差分析．
解：(1)散点图如图所示．
样本点散布在一条直线附近，
所以y与x具有线性相关关系．
∧
∧
b≈0.183，a≈6.285，
∧
故所求经验回归方程为y＝6.285＋0.183x.
1.057
2
170
176
171.587
4.413
3
173
170
174.104
－4.104
4
169
170
170.748
－0.748
5
182
185
181.655
3.345
6
172
176
173.265
2.735
7
180
178
179.977
－1.977
8
172
174
173.265
0.735
9
168
170
169.909
(1)根据散点图说明 y 与 x 之间的相关关系:
(2)y 关于 x 的经验回归方程；
(3)根据经验回归方程的残差图，分析经验回归方程的拟合效果．
解：(1)正相关；
∧
（2）b＝
4 508－7×4×153
28
＝8，
∧－
－
a＝ y －b x ＝153－8×4＝121，
∧
∧
所以 y 关于 x 的经验回归方程为y＝8x＋121.
2
2
x
nx
i
i 1
编号
1
2
3
4
5
6
7
8
9
10
11
12
13
14
父亲身
高/cm
174
170
173
169
182
172
180
172
168
166
182
173
164
180
儿子身
高/cm
176
176
170
170
185
176
178
174
170
168
178
172
165
182
对于上表中的数据，利用我们学过的公式可
መ
以计算出=0.839
，ො
=28.957，
求出儿子身高Y关于父亲身高x的经验回归方
程为
ŷ 0.839 x 28.957
相应的经验回归直线如图所示.
ŷ 0.839 x 28.957
ො
思考:当x=176时，≈177.
如果一位父亲身高为176cm,他儿子长大成人后的身高一
定是177cm吗? 为什么?
11.0
10.5
ˆ = -0.4264398ln( t - 1895) + 11.8012653
y
10.0
9.5
1890 1900 1910 1920 1930 1940 1950 1960 1970 t
2
我们发现，散点图中各散点都非常靠近②的图像, 表明非线性经验回归方程②对于
原始数据的拟合效果远远好于经验回归方程①.
0.052
-0.021
-0.022
ê
û
视察各项残差的绝对值，发现经验回归方程②远远小于①，
即经验回归方程②的拟合效果要远远好于①.
在一般情况下，直接比较两个模型的残差比较困难，因为在某些散点上一个模型的残差
的绝对值比另一个模型的小，而另一些散点的情况则相反. 可以通过比较残差的平方和
来比较两个模型的效果. 由 Q ( eˆ )2 0.669， Q ( uˆ )2 0.004，
估计值等，这样作出的图形称为残差图．
若残差点比较均匀地散布在以取值为0的横轴为对称轴的水平带状区域内，带状区域
越窄，则说明拟合效果越好．
一般地，建立经验回归方程后，通常需要对模型刻画数据的效果进行分析.借助残差
分析还可以对模型进行改进，使我们能根据改进模型作出更符合实际的预测与决策.
思考:以下四幅残差图，你认为哪一个残差满足一元线性回归模型中对随机误差的假定?
残差是随机误差的估计结果，通过对残差的分析可以判断模型刻画数据的效果，以及判断
原始数据中是否存在可疑数据等，这方面工作称为残差分析。
残差分析：
残差表：将残差以表格的情势呈现；
残差图：将残差以图象的情势呈现。
残差表：
编号
父亲身高/cm
儿子身高观测值/cm
儿子身高预测值/cm
残差/cm
1
174
176
174.943
-0.301
-0.218
-0.196
0.111
0.092
0.205
-0.001
0.007
-0.012
0.015
-0.018
0.052
-0.021
-0.022
ê
û
由上述残差表可算出经验回归方程①和②的决定系数R2分别为
R12 0.7325，
R22 0.9983，
2
2
由于 R2 R1 ，
为了利用一元线性回归模型估计参数c1和c2，引进一个中间变量x，令x=ln(t-1895).
通过x=ln(t-1895)，将年份变量数据进行变换，得到新的成对数据(精确到0.01)，如
下表所示.
编号
1
2
3
4
5
6
7
8
x
0.00
2.83
3.26
3.56
3.71
4.11
4.17
4.29
Y/s
11.80
10.60
ˆ 2 = -0.4264398ln( t - 1895) + 11.8012653 ②
x y
在同一坐标系中画出成对数据散点图、非线性经验回归方程②的图像(蓝色)以及经验
回归方程①的图像(红色)，如图所示.
记录 / s
12.0
11.5
yˆ 1 = -0.02033743t + 49.76913031