第六章_曲线拟合的最小二乘法

25
24
o
1 2 3 4 5 6 7 8
t
(0 , 0 ) (0 , 1 ) a0 (0 , f ) ( , ) ( , ) a ( , f ) 1 1 1 1 1 0
计算系数
(0 , 0 ) 1 8
bt y
则矛盾方程组为：
1 1 1 1 1 0.669131 0.370370 0.390731 0.500000 a 0.621118 0.121869 b 0.309017 0.833333 0.980392 0.587785
例1. 对彗星1968Tentax的移动在某极坐标系下有如 下表所示的观察数据，假设忽略来自行星的干扰,坐 r 标应满足： 1 e p 其中：p为参数，e为偏心率, cos
试用最小二乘法拟合p和e。

r
2.70 480
2.00 670
1.61 830
1.20 1080
1.02 1260
得正则方程组为：
5.0 0.284929 0.284929 a 3.305214 b 0.314887 1.056242
解得： a 0.688617
b 0.483880
1 则： p 1.452186 e bp 0.702684 a 1.452186 则拟合方程为： r 1 0.702684 cos
第六章 曲线拟合的最小二乘法
§6.1 引言
§6.2 线性代数方程组的最小二乘解
§6.3 曲线最小二乘拟合
§1 引言
如果实际问题要求解在[a,b]区间的每一点都 “很好地” 逼近f(x)的话，运用插值函数有时就要 失败。另外，插值所需的数据往往来源于观察测量， 本身有一定的误差。要求插值曲线通过这些本身有误 差的点，势必使插值结果更加不准确。 如果由试验提供的数据量比较大，又必然使得插 值多项式的次数过高而效果不理想。 从给定的一组试验数据出发，寻求函数的一个近 似表达式y=(x)，要求近似表达式能够反映数据的基 本趋势而又不一定过全部的点(xi,yi)，这就是曲线拟 合问题，函数的近似表达式y=(x)称为拟合曲线。本 章介绍用最小二乘法求拟合曲线。
(1 , 0 ) ti 28,
i 0 7
7
i 0 7
(0 , 1 ) ti 28, (1 , 1 ) ti 140,
2 i 0 7 i 0 7
7
(0 , f ) yi 208.5, (1 , f ) yi ti 717.0
试根据上面的试验数据建立 y 和 t 之间的经验公 式 y f (t ).
解 首先确定 f (t ) 的类型.
如图，在坐标纸上画出这些点，经观察可以认为
y
y=f (t)服从线性关系。
y c00 (t ) c11 (t )
27
26
0 (t ) 1 1 (t ) t
建立法方程组
yi
4
的有一定的偏差.
5 25.7 6 25.3 7 24.3
ti
实测 y i
0 27.0
2.最小二乘解的存在唯一性
引理1：设n元实函数f(x1,x2,…,xn)在点P0(a1,a2,…,an) 的某个邻域内连续，且有一阶及二阶连续的偏导数，如 f 果 0 ( k 1,2, , n) (1) x
k
(2)矩阵
2 f x12 P 0 2 f M x2 x1 P0 2 f xn x1 P 0
如果试图插值，即 ( xi ) yi (i 0,1, 2,, n) 则得到关于未知数
c0 , c1 ,, cm的线性方程组
c00 ( x0 ) c11 ( x0 ) cmm ( x0 ) y0 c (x ) c (x ) c (x ) y 0 0 1 1 1 1 m m 1 1 c00 ( xn ) c11 ( xn ) cmm ( xn ) yn
曲线拟合问题的关键：
选择合适的曲线类型：根据问题的物理规律或数 据特点，选择合适函数空间 0 ( x),1 ( x),, m ( x) ，则拟合曲线可以表示为
( x) c00 ( x) c11 ( x) cmm ( x)(m n)
在曲线类型中选择“最好”曲线：即确定拟合曲 线的系数。其误差的度量形式很多，选用使
引理2说明,在条件RankA=n下,无论线性方程组Ax=b 是否有解,构造的n阶方程组ATAx=ATb一定有唯一解。
定理：设矛盾方程组的系数矩阵的秩为n，则二次 函数 2 N n Q f ( x1 , x2 , , xn ) aij x j bi i 1 j 1 T T 一定存在最小值，且最小值点为方程组 A Ax A b 的解。
N 2 i 1
的大小来衡量拟合曲线的优劣。均方误差和最大偏差
较小的拟合曲线为较优的拟合曲线。
2.在解决实际问题时，有时通过观察选择多个函数类
型进行计算、分析、比较，最终获得较好的数学模型； 有时把经验公式作为数学模型，只是用最小二乘法来 确定公式中的待定常数。
Remark
3.当拟合曲线(x)中的待定常数是线性形式时，可直
i 0
i 0
代入方程组得
8c0 28c1 208.5 28c0 140c1 717
解此方程组，得到
c0 27.125, c1 0.3036
这样便得到所求拟合曲线为
y f (t ) 27.125 0.3036t
由上式算出的函数值 f ( t i ) 与实测 现列表比较如下：
或写为
a x
j 1 ij
n
j
bi
其矩阵形式为 当方程组的系数矩阵和增广矩阵的秩不相等时， 方程组无解，此时方程组称为矛盾方程组。对于 rankA＝n（A的秩为n）的矛盾方程组（N>n），我 们寻求其最小二乘意义下的解。
( j 1,2,, N ) Ax b
1.最小二乘原则
由于矛盾方程组的精确解不存在，我们转而 寻求其某种意义下，即最小二乘意义下的解。 n 令 i aij x j bi (i 1,2,, N ) 称 i 为偏差。 工程实际中的许多问题都可以归结为矛盾方程组， 实际中需要寻求矛盾方程组的一组解，以使得偏差的 N 绝对值之和 i 尽可能地小。为了便于分析
i 1
j 1
计算和应用，常采用使偏差的平方和 达到最小值，这一条件称为最小二乘原则。
Q aij x j bi i 1 i 1 j 1
N N n 2 i 2
按照最小二乘原则来选择未知数x1,x2,…,xn的 一组取值的方法称为求解矛盾方程组的最小二乘法。 符合条件的一组取值称为矛盾方程组的最小二乘解。 把Q看成是n个自变量x1,x2,…,xn的二次函数， 记为Q＝f(x1,x2,…,xn)，因此，求矛盾方程组的 最小二乘解就是求二次函数Q＝f(x1,x2,…,xn)的 最小值点。 问题：二次函数Q＝f(x1,x2,…,xn)是否存在最小 值？若最小值存在，如何求出该最小值点？
T A Ax A b
T
Remark1：线性方程组 程组。称为正则方3.最小二乘法解矛盾方程组
计算步骤：
（1）判断方程组的秩是否满足rankA=n？
（2）写出正则方程组；
（3）求解正则方程组，其解就是矛盾方程组 的最小二乘解。
§3 曲线最小二乘拟合
设曲线拟合模型为
( x) c00 ( x) c11 ( x) cmm ( x)(m n)
P 0
2 f x1x2

P0
2 f 2 x2 P 0 2 f xn x2 P

0
P0 2 f x2 xn P 0 2 f 2 xn P 0 2 f x1xn
是正（负）定矩阵，则f(a1,a2,…,an)是n元实函 数f(x1,x2,…,xn)的极小（大）值。
例2：为了测定刀具的磨损速度，我们做这样的实验： 经过一定时间(如每隔一小时)，测量一次刀具的厚 度,得到一组试验数据如下：
0 1 2 3 4 5 6 7 顺序编号 i 0 1 2 3 4 5 6 7 时间 t i (小时) 刀具厚度 yi (毫米) 27.0 26.8 26.5 26.3 26.1 25.7 25.3 24.3
(k , j ) k ( xi ) j ( xi ),
i 0
n
(k , b) k ( xi ) yi
i 0
n
Remark
1.同一问题可以有不同的拟合曲线，通常根据均方误
差 和最大偏差 max ( xi ) yi 1i N [ ( xi ) yi ]
引理2：设非齐次线性方程组 Ax b 的系数矩阵 A=(aij)N×n，若rankA=n，则
(1)矩阵ATA是对称正定矩阵； T T (2)n阶线性方程组A Ax A b 有唯一的解。 证明：（1）矩阵ATA显然是对称矩阵。 设齐次线性方程组 Ax 0 因为rankA=n，故齐次方程组有唯一零解。 因此，对于任意的 x 0，有Ax 0 ，从而 T T T ( Ax ) ( Ax ) x ( A A) x 0 故矩阵ATA是对称正定矩阵。 (2)因为矩阵ATA是正定矩阵，故rank(ATA)=n，从 T T 而线性方程组 A Ax A b 有唯一的解。 证毕
解:变形为: 1 1 e cos , 则有如下数据
r
p
p
1 y r
0.370370 0.669131
0.50000 0.390731
0.621118
0.83333
0.980392
t cos
0.121869 -0.309017 -0.587785
记
a
1 e ,b ，得拟合模型：a p p
接根据矛盾方程组得到正则方程组而求解。当待定常 数不是线性形式时，则应该先将待定常数线性化，再 根据矛盾方程组写出正则方程组而求解。
y aebx 例1： ln y ln a bx u ln y, A ln a, B b u A Bx 1 1 y 例2： a bx a bx y 1 u a bx u y
明显该方程组无解，是矛盾方程组，可以寻 求其在最小二乘意义下的解。对应的正规方程 组为
(0 , 0 ) (0 , 1 ) (0 , m ) c0 (0 , b) ( , ) ( , ) ( , ) c ( , b) 1 1 1 m 1 1 0 1 (m , 0 ) (m , 1 ) (m , m ) cm (m , b)
( xi ) yi
i 0
n
2
最小做为确定参数的方法称为最小二乘法。
§2 线性代数方程组的最小二乘解
设线性方程组
a11 x1 a12 x2 a1n xn b1 a x a x a x b 21 1 22 2 2n n 2 a N 1 x1 a N 2 x2 a Nn xn bN