计算方法课件第六章最小二乘法与曲线拟合讲义资料

a0 a1x1 a2x12 amx1m y1 a0 a1x2 a2x22 amx2m y2
a0 a1xN a2xN2 amxNm yN
其矩阵形式为
Axb
其中
1 A1
x1
x2
x12 x22
xx12m m,xaa1 0,byy1 2
1 xN
xN 2
xN m
am
yN
(x)在xi的偏差就是矛盾方程组各方程的偏差。曲 线拟合的条件就是确定a0,a1,…,am，使得偏差的平方 和Q达到最小值。
故矩阵ATA是对称正定矩阵。 (从2而)因线为性矩方阵程A组TAA T 是A 正x 定A 矩有T b 阵唯，一故的r解an。k(ATA证)=毕n，
引理2说明,在条件RankA=n下,无论线性方程组 Ax=b是否有解,构造的n阶方程组ATAx=ATb一定有
定理：设矛盾方程组的唯系一数解矩。阵的秩为n，则二次
N
xim1 a2
N
xim2 am
N
xi2m
N
ximyi
i1
i1
i1
i1
i1
三、解的存在唯一性
定理：设x1,x2,…,xN互异，且N>m+1，则上面的
正则方程组有唯一的解。
证明：只需证明矛盾方程组的系数矩阵A的秩rankA=m＋
矛盾方程组的系数矩阵A是N×(m+1)的矩阵，记
A的前m＋1行构成m＋1阶子矩阵
引理2：设非齐次线性方程组 Ax的b系数矩阵
A=(aij)N×n，若rankA=n，则
((12))矩n阶阵线AT性A是方对程称组正A T 定A x 矩 阵有A T ；唯b 一的解。
证设明齐：次（线1性）方矩程阵组ATAA显x 然0 是对称矩阵。
因因为 此( A r，x a) n对T k( A 于Ax =任) n ，意x T 故的( A 齐xT A 次) 0x 方， 程有0 组Ax有唯0 ，一从零而解。
3.写出矛盾方程组。 4.写出正则方程组。（可由多项式模型直接得到）
5.求解正则方程组，得到拟合曲线的待定系数。 6.将正则方程组的解带回到数学模型中，得到拟 合曲线。
Remark
1.同一问题可以有不同的拟合曲线，通常根据均方误
差 N [(xi )和最yi大]2 偏差
m 1iNax(xi)yi
i1
接根据矛盾方程组得到正则方程组而求解。当待定常 数不是线性形式时，则应该先将待定常数线性化，再 根据矛盾方程组写出正则方程组而求解。
例1： y aebx
lnylnabx
u ln y ,A ln a ,B b uABx
例2：
y
a
1 bx
u 1 y
1 a bx y uabx
曲线拟合应用实例:
函数
Q f(x1,x2, ,xn)N n
2 a ijxjb i
i 1 j 1
一定存在最小值。
证明：因为Q是x1,x2,…,xn的二次函数，故Q不仅是
连续函数，且有连续的一阶及二阶偏导数。
因为
xQ k 2a1k(jn1a1jxj b1)
n
n
2a2k( a2jxj b2)2aNk( aNxj j bN)
解得：a0.688617b0.483880
则： p 1 1.452186ebp0.702684 a
则拟合方程为： r101.7.40522618c84o6s
阵A的秩rankA=n，则
（1）矛盾方程组的最小二乘解存在；
（2）正则方程组有唯一解，此解就是矛盾方程组的 最小二乘解。
3.最小二乘法解矛盾方程组
计算步骤：
（1）判断方程组的秩是否满足rankA=n？
（2）写出正则方程组；
（3）求解正则方程组，其解就是矛盾方程组 的最小二乘解。
§6.2 多项式拟合
(2)矩阵
2 f
x12 P0
2 f x1x2 P0
2 f
x1xn
P0
M
2 f
x2x1
P0
2 f x22 P0
2 f
x2xn
P0
2 f
2 f
2 f
xnx1 P0 xnx2 P0
xn2 P0
是正（负）定矩阵，则f(a1,a2,…,an)是n元实函 数f(x1,x2,…,xn)的极小（大）值。
r 2.70 2.00 1.61 1.20 1.02
480
670
830 1080 1260
解:变形为: 1 1 e cos , 则有如下数据
r pp
y1 r
0.370370 0.50000 0.621118 0.83333 0.980392
tcos0.669131 0.390731 0.121869 -0.309017 -0.587785
一、曲线拟合模型
定义：依据某种标准选择一条“最好”的简单
曲线作为一组离散数据(xi,yi)iN0 的连续模型。
确定曲线的类型：一般选取简单的低次多项式。
求一个次数不高于N－1次的多项式： y ( x ) a 0 a 1 x a 2 x 2 a m x m ( m N 1 )
（其中a0,a1,…,am待定），使其“最好”的拟合
第六章 最小二乘法与曲线拟合
§6.0 问题的提出 §6.1 用最小二乘法求解矛盾方程组 §6.2 多项式拟合
§6.0 问题的提出
如果实际问题要求解在[a,b]区间的每一点都“很 好地” 逼近f(x)的话，运用插值函数有时就要失败。
另外，插值所需的数据往往来源于观察测量，本身有 一定的误差。要求插值曲线通过这些本身有误差的点， 势必使插值结果更加不准确。
1
A1
1
x1
x2
1 xm1
x12 x22
x2 m1
x1m x2m
xmm1
该矩阵是范德蒙矩阵，由x1,x2,…,xN互异知行列式 不为零，从而有rankA=m＋1。由引理2知，正则方程
组有唯一解。
证毕
四、最小二乘法拟合曲线的步骤
1..通过观察、分析得到拟合曲线的数学模型，或 根据经验公式确定数学模型。 2.将拟合曲线的数学模型转换为多项式。
乘解据，此也可就知是，正a则0,a方1,程…组,am就A 是T 矛A x 的盾 解方A T 。程b 组的最小二
二、曲线拟合的最小二乘解法
N
N
ATA
xi
i1
N
i1
xim
N
xi
i1 N
xi2
i1
N
xm1 i
i1
N
xi2
i1
N
xi3
i1
N
xm2 i
i1
N
xim
N
yi
iN i 11xim1,ATb
记 a 1 ,b e ，得拟合模型：abty
p
p
则矛盾方程组为：
1 0.669131
0.370370
1
1 1
0.390731 00.1.32019806197
a b
0.500000
0.621118 0.833333
1 0.587785
0.980392
得正则方程组为：
0 .2 5 .0 849 1 0 ..0 2 25 8 96 4 2 9 b a 4 2 2 9 3 0 .3 .30 15 4 2 8
如果由试验提供的数据量比较大，又必然使得插值 多项式的次数过高而效果不理想。
从给定的一组试验数据出发，寻求函数的一个近似
表达式y=(x)，要求近似表达式能够反映数据的基本 趋势而又不一定过全部的点(xi,yi)，这就是曲线拟合 问题，函数的近似表达式y=(x)称为拟合曲线。本章
介绍用最小二乘法求拟合曲线。
则有: uABx
将x,u带入得到关于A,B的矛盾方程组，进而得正规 方程组并求出A,B，由A,B得到a,b即可。 （具体计算数据见书P141页例6.3）
例2. 对彗星1968Tentax的移动在某极坐标系下有如 下表所示的观察数据，假设忽略来自行星的干扰,坐
标应满足：r 1epc其os中：p为参数，e为偏心率,试用 最小二乘法拟合p和e。
例1: 试用最小二乘法求一个形如 y (aae,bbx 为常数) 的
经验公式,使它与下列数据相拟合(取四位小数)
xi 1 2 3 4 5 6 7 8 yi 15.3 20.5 27.4 36.6 49.1 65.6 87.8 117.6
解:由于经验公式中待定常数a,b是非线性形式,故做
如下变形: lnylnabx 令: u ln y ,A ln a ,B b
j1
j1
n a1 j x j b1
j1
n
2 a1k
a2k
aNk
a2 j x j b2
j 1
n
aNj x j
bN
j1
2 a 1 ka 2 k a N ( A x k b )
Q
故
x1
Q
x2
Q
2
AT
(
Ax
b)
2(
AT
Ax
AT
b)
rankA＝n（A的秩为n）的矛盾方程组（N>n），
我们寻求其最小二乘意义下的解。
按照最小二乘原则来选择未知数x1,x2,…,xn的一
组取值的方法称为求解矛盾方程组的最小二乘法。 符合条件的一组取值称为矛盾方程组的最小二乘解。
把Q看成是n个自变量x1,x2,…,xn的二次函数， 记为Q＝f(x1,x2,…,xn)，因此，求矛盾方程组的最 小二乘解就是求二次函数Q＝f(x1,x2,…,xn)的最小
i1 N
xi yi
i1
N
N
i1 xi2m
i1
ximyi
正则方程组为：
N
N百度文库
N
N
a0Na1 xi a2 xi2 am xim yi
i1
i1
i1
i1
N
N
N
N
N
a0 xi a1 xi2 a2 xi3 am xim1 xi yi
i1
i1
i1
i1
i1
a0
N
xim a1
i1 N
i1
ai2ain2ATA
N
ai2n
i1
由引理2知，当rankA=n时，矩阵M是对称正定阵， M满足引理1的条件（2），故由引理1知，二次函数 Q存在极小值。
又因方程组（*）式有唯一解，故Q存在的极小值就
是最小值，线性方程组（*）式的解就是最小值点。
证毕 Remark1：线性方程组（*）式称为正则方程组。 Remark2：该定理说明，只要矛盾方程组的系数矩
因为
2Q xkxt
2(a1ka1t
a2ka2t
aNkaNt)
N
2 aikait i1
(k,t 1,2,,n)
故
N
ai21
i1 N
M2i1
ai1ai2
N
i1
ai1ain
N
ai1ai2
i1
N
ai22
i1
N
ai2ain
i1
N
ai1ai3
i1 N
ai2ai3
i1
N
ai3ain
i1
N ai1ain
这组数据。“最好”的标准是：使得(x)在xi的
偏差
i ( x i) y i( i 1 ,2 , ,N )
的平方和
N
N
Qi2(xi)yi2
i1
i1
达到最小。
由于拟合曲线y=(x)不一定过点(xi,yi)，因此，把 点(xi,yi)带入y=(x) ，便得到以a0,a1,…,am为未知
量的矛盾方程组
值点。
问题：二次函数Q＝f(x1,x2,…,xn)是否存在最小值？
若最小值存在，如何求出该最小值点？
2.最小二乘解的存在唯一性
引理1：设n元实函数f(x1,x2,…,xn)在点P0(a1,a2,…,an)
的某个邻域内连续，且有一阶及二阶连续的偏导数，如
果 (1)
f 0
xk P 0
(k1,2, ,n)
的大小来衡量拟合曲线的优劣。均方误差和最大偏差
较小的拟合曲线为较优的拟合曲线。
2.在解决实际问题时，有时通过观察选择多个函数类
型进行计算、分析、比较，最终获得较好的数学模型； 有时把经验公式作为数学模型，只是用最小二乘法来 确定公式中的待定常数。
Remark 3.当拟合曲线(x)中的待定常数是线性形式时，可直
xn
令
Q0
(k1,2, ,n)
即
A T xA kx A T b
（*）
因为rankA=n，故由引理2知，上式有唯一解。设
解为x1=a1, x2=a2,…, xn=an，记为点P0(a1,a2,…,an)， 即1的二条元件函（数1Q）存。在点P0，使xfk P0 0 (k。1,2故, 满,n)足引理
§6.1 用最小二乘法求解矛盾方程组
一、矛盾方程组的定义
设线性方程组
或写为 其矩阵形式为
a11x1 a12x2 a1nxn b1 a21x1 a22x2 a2nxn b2
aN1x1 aN2x2 aNnxn bN
n
aijxj bi (j1,2, ,N)
j1
Axb
当方程组的系数矩阵合增广矩阵的秩不相等时， 方程组无解，此时方程组称为矛盾方程组。对于