关于最小二乘法与曲线拟合课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
极小值，
故 a 0 和 a 1 应满足下列条件：
F(a0,a1)
F(aa00,a1) a1
m
2 (a0
i1
m
2 (a0
i1
a1xi a1xi
yi) 0 yi)xi 0
即得如下正规方程组
a0m a1
m
m i1
xi
m
m i1
yi
m
a1 i1 xi2 a0 i1 xi i1 xi yi
来拟合所给定的数据，与线性拟合类似，使偏差的 平方和
为最小
n
m
Q (yi ajxij)2
i1
j0
n
m
Q (yi ajxij)2
i1
j0
由于Q可以看作是关于 ( j=0,1,2,…, m)的多元函 数, 故上述拟合多项式的构造问题可归结为多元 函数的极值问题。令
Q0,k0,1,2,,m ak
n
m
得
(yi ajxij)xik0, k0,1, ,m
i (xi)f(xi) (i0,1, ,n)
不都严格地等于零。即为矛盾方程组。
但是,为了使近似曲线能尽量反映所给数据点的 变化趋势,要求 i 按某种度量标准最小。若记向量
e0,1, ,nT
即要求向量 e的某种范数 e 最小,如 e的1-范数 e 1
或∞-范数 e
为了便于计算、分析与应用，通常要求 e的2-范数
强度
编号 拉伸倍数 kg/mm2
编号
拉伸倍数
1
1.9
1.4
13
5.0
2
2.0
1.3
14
5.2
3
2.1
1.8
15
6.0
4
2.5
2.5
16
6.3
5
2.7
2.8
17
6.5
6
2.7
2.5
18
7.1
7
3.5
3.0
19
8.0
8
3.5
2.7
20
8.0
9
4.0
4.0
21
8.9
10
4.0
3.5
22
9.0
11
4.5
4.2
解：设 y=a+bx
则：
a 1 .9 b 1 .4
a
2 .0 b
1 .3
a
9 .5b
8 .1
a 10 . 0 8 . 1
由ATAxATb
计算出它的正规方程得
24 a12.57b11.13 12.57a82.69b173.610
解得： a=0.15 , b=0.859 直线方程为：y=0.15+0.859x
求解该方程组，解得 a0与a1
代人 y(x)a0a1x即得拟合曲线。
解法二：
也可将条件带入构成矛盾方程组
y1 a0 a1x1
y 2 a 0 a 1 x 2
y m a 0 a 1 x m
1
其中
A
1 1
1
x 1 x2 x m
y1
b
y2
y m
利用 ATAxATb
分布大致为一条直线。
作拟合直线 y(x)a0a1x
该直线不是通过所有的数据点 xi , yi ,
而是使偏差平方和
m
F(a0,a1) (a0a1xi yi)2 为最小， i1
解法一：
其中每组数据与拟合曲线的偏差为
y(xi)yia0a 1xiyi i1,2,,m
根据最小二乘原理，应取 a 0 和 a 1使 F(a0,a1) 有
1
1
e n
2 i0
i2 2
n i0
(xi)f(xi)2 2
即
n
n
2
e2 2 i2 (xi)f(xi)
i0
i0
为最小。这种要求误差（偏差）平方和最小的
拟合称为曲线拟合的最小二乘法。
实质仍然是求矛盾方程组的最小二乘解。
（1）直线拟合
设已知数据点 x i,y i,i 1 ,2 , ,m ,
即得如下正规方程组
a0m a1
m
m i1
xi
m
m i1
yi
m
a1 i1 xi2 a0 i1 xi i1 xi yi
求解该方程组，解得 a0与a1
代人 y(x)a0a1x即得拟合曲线。
例：某种合成纤维的强度与其拉伸倍数有直接关 系，下表是实际测定的24个纤维样品的强度与 相应拉伸倍数的记录。试确定这种关系。
解得 a03.93,74 a 17.4626
即得拟合直线 y3.93 774 .46x26
（2）多项式拟合
有时所给数据点的分布并不一定近似地呈一条 直线,这时仍用直线拟合显然是不合适的,可用多项 式拟合。
对寻求于给次定数的不一超组过数m 据(m，<<nx i),y 的i多,i 项 式1 ，,2 , ,n y a 0 a 1 x a 2 x2 a m xm
则正规方程组为
4a0
a1
4 i1
xi
4 i1
yi
4
4
4
a0 i1 xi a1 i1 xi2 i1 xi yi
其中
4
xi 7.32
i1
4
yi 70.376
i1
4
xi2 13.8434
i1
4
xi yi 132.12985
i1
将以上数据代入上式正规方程组,得
4a0 7.32a1 70.376 7.32a013.843a1413.122985
关于最小二乘法与曲线拟合
最小二乘法与曲线拟合
如果已知函数f(x)在若干点xi(i=1,2,…,n)处 的值yi,便可根据插值原理来建立插值多项式作为 f(x)的近似。但在科学实验和生产实践中，往往会 遇到这样一种情况，即节点上的函数值并不是很精 确的，这些函数值是由实验或观测得到的数据，不 可避免地带有测量误差，如果要求所得的近似函数 曲线精确无误地通过所有的点(xi,yi),就会使曲线保 留着一切测试误差。
为此,我们希望从给定的数据(xi,yi)出发,构造一个近
似函数 (x) ,不要求函数 (x) 完全通过所有的数据点
，只要求所得的近似曲线能反映数据的基本趋势，
如图5-7所示。
y
•
图5-7
曲线拟合示意 图
•
•
•
••
•• ••
•
• •
•• •
o
x
曲线拟合函数 (x) 不要求严格地通过所有数据点
也就是说拟合函数(x) 在xi处的偏差(亦称残差）
23
9.5
12
4.6
3.5
24
10.0
强度 kg/mm2
5.5 5.0 5.5 6.4 6.0 5.3 6.5 7.0 8.5 8.0 8.1 8.1
Baidu Nhomakorabea
（提示：将拉伸倍数作为x, 强度作为y, 在座标纸上标出各点，可以发现什么?）
9
8
7
6
5
4
3
2
1
0
0
2
4
6
8
10
12
从上图中可以看出强度与拉伸倍数大致成线形关系， 可用一条直线来表示两者之间的关系。
例 设有某实验数据如下：
i1 2 3 4
x i 1.36 1.37 1.95 2.28
y i 14.094 16.844 18.475 20.963
用最小二乘法求以上数据的拟合函数
解:把表中所给数据画在坐标纸上,将会看到数据 点的分布可以用一条直线来近似地描述,
设所求的拟合直线为
y(x)a0a1x
故 a 0 和 a 1 应满足下列条件：
F(a0,a1)
F(aa00,a1) a1
m
2 (a0
i1
m
2 (a0
i1
a1xi a1xi
yi) 0 yi)xi 0
即得如下正规方程组
a0m a1
m
m i1
xi
m
m i1
yi
m
a1 i1 xi2 a0 i1 xi i1 xi yi
来拟合所给定的数据，与线性拟合类似，使偏差的 平方和
为最小
n
m
Q (yi ajxij)2
i1
j0
n
m
Q (yi ajxij)2
i1
j0
由于Q可以看作是关于 ( j=0,1,2,…, m)的多元函 数, 故上述拟合多项式的构造问题可归结为多元 函数的极值问题。令
Q0,k0,1,2,,m ak
n
m
得
(yi ajxij)xik0, k0,1, ,m
i (xi)f(xi) (i0,1, ,n)
不都严格地等于零。即为矛盾方程组。
但是,为了使近似曲线能尽量反映所给数据点的 变化趋势,要求 i 按某种度量标准最小。若记向量
e0,1, ,nT
即要求向量 e的某种范数 e 最小,如 e的1-范数 e 1
或∞-范数 e
为了便于计算、分析与应用，通常要求 e的2-范数
强度
编号 拉伸倍数 kg/mm2
编号
拉伸倍数
1
1.9
1.4
13
5.0
2
2.0
1.3
14
5.2
3
2.1
1.8
15
6.0
4
2.5
2.5
16
6.3
5
2.7
2.8
17
6.5
6
2.7
2.5
18
7.1
7
3.5
3.0
19
8.0
8
3.5
2.7
20
8.0
9
4.0
4.0
21
8.9
10
4.0
3.5
22
9.0
11
4.5
4.2
解：设 y=a+bx
则：
a 1 .9 b 1 .4
a
2 .0 b
1 .3
a
9 .5b
8 .1
a 10 . 0 8 . 1
由ATAxATb
计算出它的正规方程得
24 a12.57b11.13 12.57a82.69b173.610
解得： a=0.15 , b=0.859 直线方程为：y=0.15+0.859x
求解该方程组，解得 a0与a1
代人 y(x)a0a1x即得拟合曲线。
解法二：
也可将条件带入构成矛盾方程组
y1 a0 a1x1
y 2 a 0 a 1 x 2
y m a 0 a 1 x m
1
其中
A
1 1
1
x 1 x2 x m
y1
b
y2
y m
利用 ATAxATb
分布大致为一条直线。
作拟合直线 y(x)a0a1x
该直线不是通过所有的数据点 xi , yi ,
而是使偏差平方和
m
F(a0,a1) (a0a1xi yi)2 为最小， i1
解法一：
其中每组数据与拟合曲线的偏差为
y(xi)yia0a 1xiyi i1,2,,m
根据最小二乘原理，应取 a 0 和 a 1使 F(a0,a1) 有
1
1
e n
2 i0
i2 2
n i0
(xi)f(xi)2 2
即
n
n
2
e2 2 i2 (xi)f(xi)
i0
i0
为最小。这种要求误差（偏差）平方和最小的
拟合称为曲线拟合的最小二乘法。
实质仍然是求矛盾方程组的最小二乘解。
（1）直线拟合
设已知数据点 x i,y i,i 1 ,2 , ,m ,
即得如下正规方程组
a0m a1
m
m i1
xi
m
m i1
yi
m
a1 i1 xi2 a0 i1 xi i1 xi yi
求解该方程组，解得 a0与a1
代人 y(x)a0a1x即得拟合曲线。
例：某种合成纤维的强度与其拉伸倍数有直接关 系，下表是实际测定的24个纤维样品的强度与 相应拉伸倍数的记录。试确定这种关系。
解得 a03.93,74 a 17.4626
即得拟合直线 y3.93 774 .46x26
（2）多项式拟合
有时所给数据点的分布并不一定近似地呈一条 直线,这时仍用直线拟合显然是不合适的,可用多项 式拟合。
对寻求于给次定数的不一超组过数m 据(m，<<nx i),y 的i多,i 项 式1 ，,2 , ,n y a 0 a 1 x a 2 x2 a m xm
则正规方程组为
4a0
a1
4 i1
xi
4 i1
yi
4
4
4
a0 i1 xi a1 i1 xi2 i1 xi yi
其中
4
xi 7.32
i1
4
yi 70.376
i1
4
xi2 13.8434
i1
4
xi yi 132.12985
i1
将以上数据代入上式正规方程组,得
4a0 7.32a1 70.376 7.32a013.843a1413.122985
关于最小二乘法与曲线拟合
最小二乘法与曲线拟合
如果已知函数f(x)在若干点xi(i=1,2,…,n)处 的值yi,便可根据插值原理来建立插值多项式作为 f(x)的近似。但在科学实验和生产实践中，往往会 遇到这样一种情况，即节点上的函数值并不是很精 确的，这些函数值是由实验或观测得到的数据，不 可避免地带有测量误差，如果要求所得的近似函数 曲线精确无误地通过所有的点(xi,yi),就会使曲线保 留着一切测试误差。
为此,我们希望从给定的数据(xi,yi)出发,构造一个近
似函数 (x) ,不要求函数 (x) 完全通过所有的数据点
，只要求所得的近似曲线能反映数据的基本趋势，
如图5-7所示。
y
•
图5-7
曲线拟合示意 图
•
•
•
••
•• ••
•
• •
•• •
o
x
曲线拟合函数 (x) 不要求严格地通过所有数据点
也就是说拟合函数(x) 在xi处的偏差(亦称残差）
23
9.5
12
4.6
3.5
24
10.0
强度 kg/mm2
5.5 5.0 5.5 6.4 6.0 5.3 6.5 7.0 8.5 8.0 8.1 8.1
Baidu Nhomakorabea
（提示：将拉伸倍数作为x, 强度作为y, 在座标纸上标出各点，可以发现什么?）
9
8
7
6
5
4
3
2
1
0
0
2
4
6
8
10
12
从上图中可以看出强度与拉伸倍数大致成线形关系， 可用一条直线来表示两者之间的关系。
例 设有某实验数据如下：
i1 2 3 4
x i 1.36 1.37 1.95 2.28
y i 14.094 16.844 18.475 20.963
用最小二乘法求以上数据的拟合函数
解:把表中所给数据画在坐标纸上,将会看到数据 点的分布可以用一条直线来近似地描述,
设所求的拟合直线为
y(x)a0a1x