计算方法课件第六章最小二乘法与曲线拟合
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
如果由试验提供的数据量比较大，又必然使得插值多项式的次数过高而效果不理 想。
从给定的一组试验数据出发，寻求函数的一个近似表达式y=(x)，要求近似表 达式能够反映数据的基本趋势而又不一定过全部的点(xi,yi)，这就是曲线拟合问题， 函数的近似表达式y=(x)称为拟合曲线。本章介绍用最小二乘法求拟合曲线。
2.最小二乘解的存在唯一性
引理1：设n元实函数f(x1,x2,…,xn)在点P0(a1,a2,…,an)的某个邻域内连续，且有一阶及 二阶连续的偏导数，如果
(1) (2)矩阵
f
0
(k 1,2,, n)
xk P0
2 f
x12 P0
M
2 f
x2x1
P0
2 f
xnx1 P0
2 f
x1x2 P0 2 f x22 P0 2 f
令
n
i aij x j bi
(i 1,2,, N)
称 为 i偏差。
j 1
工程实际中的许多问题都可以归结为矛盾方程组，实际中需要寻求矛盾方程组的
一组解，以使得偏差的绝对值之和 尽可能地小。为了便于分析
计算和应用，常采用使偏差的平N 方和
i
i 1
Q
N
2 i
N
n
2 aij x j bi
bN
j1
2a1k
a2k
aNk
(
Ax
b)
Q
故 x1
Q
x2
Q
2
AT
(
Ax
b)
2(
AT
Ax
AT
b)
xn
令
Q 0
(k 1,2,, n)
即
ATxAk x
AT b
（*）
因为rankA=n，故由引理2知，上式有唯一解。设解为x1=a1, x2=a2,…, xn=an，
又因方程组（*）式有唯一解，故Q存在的极小值就是最小值，线性方程组（*） 式的解就是最小值点。
Remark1：线性方程组（*）式称为正则方程组。
证毕
Remark2：该定理说明，只要矛盾方程组的系数矩阵A的秩rankA=n，则 （1）矛盾方程组的最小二乘解存在； （2）正则方程组有唯一解，此解就是矛盾方程组的最小二乘解。
因为
Q
n
xk
2a1k ( a1 j x j b1)
j 1
n
n
2a2k ( a2 j x j b2 ) 2aNk ( aNj x j bN )
j 1
j 1
n a1 j x j b1
j1
n
2 a1k
a2k
aNk
a2 j x j b2
j 1
n
aNj x j
xnx2 P0
2 f
x1xn
P0
2 f
x2xn
P0
2 f
xn2 P0
是正（负）定矩阵，则f(a1,a2,…,an)是n元实函数f(x1,x2,…,xn)的极小（大） 值。
引理2：设非齐次线性方程组 则
的系数矩阵AA=x(aij)Nb×n，若rankA=n，
(1)矩阵ATA是对称正定矩阵；
(2)n阶线性方程组
有唯A一T 的Ax解 。
AT b
证明：（1）矩阵ATA显然是对称矩阵。
设齐次线性方程组
Ax 0
因有为ran，kA从=n而，故齐次方程组有 唯一零解。因此 ，对于任意的
，
( Ax)T
( Ax)
xT
x ( AT
0 A)x
0
Ax
0
故矩阵ATA是对称正定矩阵。
(一2的)因解为。矩阵ATA是正定矩AT阵A，x故ranAkT(AbTA)=n，从而线性方程组 证毕 有唯
2
i
1
ai1ai 2
N
i 1
ai1ain
N
ai1ai2
i 1
N
ai22
i 1
N
ai2ain
i 1
N
ai1ai3
i 1 N
ai2ai3
i 1
N
ai3ain
i 1
N
ai1ain
i 1 N
i 1
ai 2 ain
2
AT
A
N
ai2n
i 1
由引理2知，当rankA=n时，矩阵M是对称正定阵，M满足引理1的条件（2）， 故由引理1知，二次函数Q存在极小值。
§6.1 用最小二乘法求解矛盾方程组
一、矛盾方程组的定义
设线性方程组
或写为 其矩阵形式为
a11x1 a12x2 a1n xn b1 a21x1 a22x2 a2n xn b2
aN1x1 aN 2 x2 aNn xn bN
n
aij x j bi ( j 1,2,, N )
第六章 最小二乘法与曲线拟合
§6.0 问题的提出 §6.1 用最小二乘法求解矛盾方程组 §6.2 多项式拟合
§6.0 问题的提出
如果实际问题要求解在[a,b]区间的每一点都“很好地” 逼近f(x)的话，运用插 值函数有时就要失败。另外，插值所需的数据往往来源于观察测量，本身有一定的 误差。要求插值曲线通过这些本身有误差的点，势必使插值结果更加不准确。
i 1
i1 j 1
达到最小值，这一条件称为最小二乘原则。
按照最小二乘原则来选择未知数x1,x2,…,xn的一组取值的方法称为求解矛盾方 程组的最小二乘法。符合条件的一组取值称为矛盾方程组的最小二乘解。
把Q看成是n个自变量x1,x2,…,xn的二次函数，记为Q＝f(x1,x2,…,xn)，因 此，求矛盾方程组的最小二乘解就是求二次函数Q＝f(x1,x2,…,xn)的最小值点。 问题：二次函数Q＝f(x1,x2,…,xn)是否存在最小值？若最小值存在，如何求出 该最小值点？
引理2说明,在条件RankA=n下,无论线性方程组Ax=b是否有解,构造的n阶方程组 ATAx=ATb一定有唯一解。
定理：设矛盾方程组的系数矩阵的秩为n，则二次函数
2
Q
f (x1, x2 ,, xn )
N
n
aij x j bi
i1 j1
一定存在最小值。
证明：因为Q是x1,x2,…,xn的二次函数，故Q不仅是连续函数，且有连续的一阶 及二阶偏导数。
j 1
Hale Waihona Puke Baidu
Ax b
当方程组的系数矩阵合增广矩阵的秩不相等时，方程组无解，此时方程组称 为矛盾方程组。对于rankA＝n（A的秩为n）的矛盾方程组（N>n），我们寻 求其最小二乘意义下的解。
二、用最小二乘法求解矛盾方程组
1.最小二乘原则
由于矛盾方程组的精确解不存在，我们转而寻求其某种意义下，即最小 二乘意义下的解。
记为点P0(a1,a2,…,an)，即二元函数Q存在点P0，使
。故满足引理1的条
件（1）。
f 0 xk P0
(k 1,2,, n)
因为
2Q xk xt
2(a1k a1t
a2k a2t
aNk aNt )
N
2 aikait i 1
(k,t 1,2,, n)
故
N
ai21
i 1 N
M
从给定的一组试验数据出发，寻求函数的一个近似表达式y=(x)，要求近似表 达式能够反映数据的基本趋势而又不一定过全部的点(xi,yi)，这就是曲线拟合问题， 函数的近似表达式y=(x)称为拟合曲线。本章介绍用最小二乘法求拟合曲线。
2.最小二乘解的存在唯一性
引理1：设n元实函数f(x1,x2,…,xn)在点P0(a1,a2,…,an)的某个邻域内连续，且有一阶及 二阶连续的偏导数，如果
(1) (2)矩阵
f
0
(k 1,2,, n)
xk P0
2 f
x12 P0
M
2 f
x2x1
P0
2 f
xnx1 P0
2 f
x1x2 P0 2 f x22 P0 2 f
令
n
i aij x j bi
(i 1,2,, N)
称 为 i偏差。
j 1
工程实际中的许多问题都可以归结为矛盾方程组，实际中需要寻求矛盾方程组的
一组解，以使得偏差的绝对值之和 尽可能地小。为了便于分析
计算和应用，常采用使偏差的平N 方和
i
i 1
Q
N
2 i
N
n
2 aij x j bi
bN
j1
2a1k
a2k
aNk
(
Ax
b)
Q
故 x1
Q
x2
Q
2
AT
(
Ax
b)
2(
AT
Ax
AT
b)
xn
令
Q 0
(k 1,2,, n)
即
ATxAk x
AT b
（*）
因为rankA=n，故由引理2知，上式有唯一解。设解为x1=a1, x2=a2,…, xn=an，
又因方程组（*）式有唯一解，故Q存在的极小值就是最小值，线性方程组（*） 式的解就是最小值点。
Remark1：线性方程组（*）式称为正则方程组。
证毕
Remark2：该定理说明，只要矛盾方程组的系数矩阵A的秩rankA=n，则 （1）矛盾方程组的最小二乘解存在； （2）正则方程组有唯一解，此解就是矛盾方程组的最小二乘解。
因为
Q
n
xk
2a1k ( a1 j x j b1)
j 1
n
n
2a2k ( a2 j x j b2 ) 2aNk ( aNj x j bN )
j 1
j 1
n a1 j x j b1
j1
n
2 a1k
a2k
aNk
a2 j x j b2
j 1
n
aNj x j
xnx2 P0
2 f
x1xn
P0
2 f
x2xn
P0
2 f
xn2 P0
是正（负）定矩阵，则f(a1,a2,…,an)是n元实函数f(x1,x2,…,xn)的极小（大） 值。
引理2：设非齐次线性方程组 则
的系数矩阵AA=x(aij)Nb×n，若rankA=n，
(1)矩阵ATA是对称正定矩阵；
(2)n阶线性方程组
有唯A一T 的Ax解 。
AT b
证明：（1）矩阵ATA显然是对称矩阵。
设齐次线性方程组
Ax 0
因有为ran，kA从=n而，故齐次方程组有 唯一零解。因此 ，对于任意的
，
( Ax)T
( Ax)
xT
x ( AT
0 A)x
0
Ax
0
故矩阵ATA是对称正定矩阵。
(一2的)因解为。矩阵ATA是正定矩AT阵A，x故ranAkT(AbTA)=n，从而线性方程组 证毕 有唯
2
i
1
ai1ai 2
N
i 1
ai1ain
N
ai1ai2
i 1
N
ai22
i 1
N
ai2ain
i 1
N
ai1ai3
i 1 N
ai2ai3
i 1
N
ai3ain
i 1
N
ai1ain
i 1 N
i 1
ai 2 ain
2
AT
A
N
ai2n
i 1
由引理2知，当rankA=n时，矩阵M是对称正定阵，M满足引理1的条件（2）， 故由引理1知，二次函数Q存在极小值。
§6.1 用最小二乘法求解矛盾方程组
一、矛盾方程组的定义
设线性方程组
或写为 其矩阵形式为
a11x1 a12x2 a1n xn b1 a21x1 a22x2 a2n xn b2
aN1x1 aN 2 x2 aNn xn bN
n
aij x j bi ( j 1,2,, N )
第六章 最小二乘法与曲线拟合
§6.0 问题的提出 §6.1 用最小二乘法求解矛盾方程组 §6.2 多项式拟合
§6.0 问题的提出
如果实际问题要求解在[a,b]区间的每一点都“很好地” 逼近f(x)的话，运用插 值函数有时就要失败。另外，插值所需的数据往往来源于观察测量，本身有一定的 误差。要求插值曲线通过这些本身有误差的点，势必使插值结果更加不准确。
i 1
i1 j 1
达到最小值，这一条件称为最小二乘原则。
按照最小二乘原则来选择未知数x1,x2,…,xn的一组取值的方法称为求解矛盾方 程组的最小二乘法。符合条件的一组取值称为矛盾方程组的最小二乘解。
把Q看成是n个自变量x1,x2,…,xn的二次函数，记为Q＝f(x1,x2,…,xn)，因 此，求矛盾方程组的最小二乘解就是求二次函数Q＝f(x1,x2,…,xn)的最小值点。 问题：二次函数Q＝f(x1,x2,…,xn)是否存在最小值？若最小值存在，如何求出 该最小值点？
引理2说明,在条件RankA=n下,无论线性方程组Ax=b是否有解,构造的n阶方程组 ATAx=ATb一定有唯一解。
定理：设矛盾方程组的系数矩阵的秩为n，则二次函数
2
Q
f (x1, x2 ,, xn )
N
n
aij x j bi
i1 j1
一定存在最小值。
证明：因为Q是x1,x2,…,xn的二次函数，故Q不仅是连续函数，且有连续的一阶 及二阶偏导数。
j 1
Hale Waihona Puke Baidu
Ax b
当方程组的系数矩阵合增广矩阵的秩不相等时，方程组无解，此时方程组称 为矛盾方程组。对于rankA＝n（A的秩为n）的矛盾方程组（N>n），我们寻 求其最小二乘意义下的解。
二、用最小二乘法求解矛盾方程组
1.最小二乘原则
由于矛盾方程组的精确解不存在，我们转而寻求其某种意义下，即最小 二乘意义下的解。
记为点P0(a1,a2,…,an)，即二元函数Q存在点P0，使
。故满足引理1的条
件（1）。
f 0 xk P0
(k 1,2,, n)
因为
2Q xk xt
2(a1k a1t
a2k a2t
aNk aNt )
N
2 aikait i 1
(k,t 1,2,, n)
故
N
ai21
i 1 N
M