数值分析之最小二乘法与最佳一致逼近

(1,1) i xi2 74, i0
4
(0 , f ) i fi 47, i0
4
(1, f ) i xi fi 145.5. i0
0 (x) 1,
14
n
(k , j )a j dk
j 0
可得方程组
(k 0,1, , n).
82a20a0 227a41a14174, 5.5.
4
S的(x一) 般表达式为线性形式.
若 是k (x次) 多k项式，
S (x) 就是 n次多项式.
为了使问题的提法更有一般性，通常在最小二乘法中
考虑S加(x权) 平 a方0和0 (x) a11(x) ann (x) (n m)
m
( , ) (xi )[S (xi ) yi ]2 , i0
y 3.071e0.505x.
22
利用下面的程序，可在Matlab中完成曲线拟合.
x=[1.00 1.25 1.50 1.75 2.00]; y=[5.10 5.79 6.53 7.45 8.46]; y1=log(y); aa=poly(x,y1,1); a=aa(1); b=exp(aa(2)); y2=b*exp(a*x); plot(x,y,’r+’,x,y2,’k’) xlabel(‘x’); ylabel(‘y’); gtext(‘y=a*exp(bx))’;
( xPk ( x), Pk ( x)) (Pk ( x), Pk ( x))
i0
( xPk , Pk )
(Pk , Pk )
m
k
( xi )Pk2 ( xi )
i0
m
(
xi
)
P2 k 1
(
xi
)
(Pk , Pk ) (Pk 1, Pk 1 )
i0
(k 1,2, , n 1).
求解法方程时将出现系数矩阵
为G 病态的问题，
我们在下面考虑用正交多项式的方法解决。
通常对 n 的1简单情形都可通过求法方程得到
S *(x).
n
(k , j )a j dk
j 0
(k 0,1, , n).
11
例1 已知一组实验数据如下，求它的拟合曲线.
xi 1 2 3 4 5 fi 4 4.5 6 8 8.5
下面用归纳法证明这样给出的 {Pk是(x正)}交的.
28
Pk 1(x) (x k 1)Pk ( x) k Pk 1( x)
(k 1,2, , n 1).
由
的表达式，有1
(P0 , P1) (P0 , xP0 ) 1(P0 , P0 )
( P0
,
x P0
)
( xP0 , P0 ) (P0 , P0 )
解得 a0 2.58, a1 1.20. 于是所求拟合曲线为
S1*(x) 2.58 1.20x.
15
关于多项式拟合，Matlab中有现成的程序
a polyfit (x, y, m)
其中输入参数 x,为y 要拟合的数据， 为m拟合多项式的次数， 输出参数 a为拟合多项式的系数.
利用下面的程序，可在Matlab中完成上例的多项式拟合.
16
x=[1 1 2 3 3 3 4 5]; f=[4 4 4.5 6 6 6 8 8.5]; aa=poly(x,f,1); y=polyval(aa,x); plot(x,f,’r+’,x,y,’k’) xlabel(‘x’); ylabel(‘y’); gtext(‘y=s1(x)’）
17
结果如下：
这里
m
m
wenku.baidu.com
2 i
[S * (xi ) yi ]2
i0
i0
m
min
S ( x)
i0
[S (xi )
yi ]2 ,
S(x) a00 (x) a11(x) ann (x) (n m).
3
这个问题称为最小二乘逼近，几何上称为曲线拟合的 最小二乘法.
用最小二乘求拟合曲线时,首先要确定 S的(形x)式. 确定 S的(x形) 式问题不仅是数学问题, 还与问题的 实际背景有关. 通常要用问题的运动规律及给定的数据进行数据描图, 确定S (的x)形式, 然后通过实际计算选出较好的结果.
4 2.00 8.46
解 用给定数据描图可确定拟合曲线方程为 y aebx , 它不是线性形式. 两边取对数得
20
ln y ln a bx.
若令 y ln y, A ln a, 则得 y A bx, {1, x}. 为确定A,，b 先将 (xi ,转yi化) 为 (xi , yi ),数据表见表3-1.
函数族，即
( j ,k )
m i0
(xi ) j (xi )k (xi )
0,
Ak
0,
j k, j k,
25
则方程的n 解(为k , j )a j dk
(k 0,1, , n).
j 0
m
ak*
( f ,k ) (k ,k )
(xi ) f (xi )k (xi )
i0
m
(
xi
)
2 k
(
xi
)
(k 0,1, , n).
i0
且平方误差为
n
( , ) ( f , f ) Ak (ak* )2. k 0
26
接下来根据给定节点 x0 , x1,及权,函xm数
构造带权 ( x正)交的多项式 {P. n (x)}
注意 n，用m递推公式表示 ，P即k (x)
(x) 0,
PP10((xx))
23
结果如下：
24
2 用正交多项式做最小二乘拟合
用最小二乘法得到的法方程组，其系数矩阵
G是病n 态的.
(k , j )a j dk
(k 0,1, , n). （5.6）
如j果0 0 (x),1(x)是,关,于点n (集x)
{xi} (i 0,1, , m) 带权 (xi ) (i 0,1, , m)
这里 (x)是 0 上[a的, b权] 函数，它表示不同点
处的数据比重不同.
(xi , f (xi ))
5
S(x) a00 (x) a11(x) ann (x) (n m)
用最小二乘法求拟合曲线的问题，就是在
S (x)中求一函数 y S，*(x) 使误差取得最小.
这样，最小二乘问题就转化为求多元函数
1, (x
1
)
P0
(
x),
Pk 1(x) (x k 1)Pk ( x) k Pk 1( x)
(k 1,2, , n 1).
这里 Pk (是x)首项系数为1的 次k多项式， 正交性，得
根据 Pk (的x)
27
m
k 1
( xi ) xi Pk2 ( xi )
i0
m
( xi )Pk2 ( xi )
8.46 2.135
21
4
(0 , y) yi 9.404, i0
4
(1, y) xi yi 14.422. i0
故有法方程
解得
5A 7.50b 9.404, 7.50A 11.875b 14.422.
A1.122, b 0.505, a eA 3.071.
于是得最小二乘拟合曲线为
I (a0 , a1, , an )
m
n
(xi )[ a j j (xi ) f (xi )]2
i0
j 0
的极小点 (a0*, a1*,问,题an*.)
由求多元函数极值的必要条件，有
I
ak
m
n
2 (xi )[ a j j (xi )
i0
j 0
f (xi )]k (xi ) 0
(k 0,1, , n).
于是
方程存在唯一的解
ak ak* , k 0,1, , n. 从而得到
函数 f (x的) 最小n二乘解为
(k , j )a j dk (k 0,1, , n).
j 0
9
S *(x) a0*0 (x) a1*1(x) an*n (x).
这样得到的 S *(，x) 对任何的
S (x) 都有
( P0
,
P0
)
0.
假定 (Pl , Ps ) 对0(l s) 及s 0,1, , l 1 l 0,1, , k,
k n 均成立，要证 (Pk1, Ps对) 0 s 均 成0,1立,. , k
有
(Pk 1, Ps ) (( x k 1)Pk , Ps ) k (Pk 1, Ps ) (xPk , Ps ) k 1(Pk , Ps ) k (Pk 1, Ps ).
29
由归纳法假定，当 0 s k时 2
18
有时根据给定数据图形，其拟合函数 表面上不 是线性模型的形式，但通过变换仍可化为线性 模型.
例如， S(x)， aebx 若两边取对数得
ln S(x) ln a bx,
此时，若令
S (x) ln S(x), A ln a, B b,
S (x) A Bx, 这样就变成了线性模型 .
n
不同的零点，则称 0 (x),1(x),在 点,集n (x)
{xi , i 0,1, , m}上满足哈尔(Haar)条件.
显然 1, x,在任, x意n
个m点(m上满n足) 哈尔条件.
如果 0 (x),1(x), ,在n (x)上[满a,足b] {xi}0m
哈尔条件，则法方程 的系数矩阵 非奇异，
i 2 1 3 1 1
12
解 将所给数据在坐标纸上标出，见图3-4.
图3-4 从图中看到各点在一条直线附近，故可选择线性函数作 拟合曲线，
13
令 S1(x) a0 a1x, 这里 m 4, n 1,
1(x) x, 故
4
(0 ,0 ) i 8, i0
4
(0 ,1) (1,0 ) i xi 22, i0 4
6
若记
m
( j ,k ) (xi ) j (xi )k (xi ), i0 m
( f ,k ) (xi ) f (xi )k (xi ) dk i0 (k 0,1, , n).
上式可改写为
n
(k , j )a j dk
j 0
(k 0,1, , n).
这个方程称为法方程，可写成矩阵形式
要使j法0 方程有唯一解， 就要求矩阵 非奇G异，
而 0 (x),1(x),在 ,n上(x线) 性[无a,关b]不能推出
矩阵 G非奇异，必须加上另外的条件.
8
定义10 设 0 (x),1(x), ,的n (任x)意线[a, b]
性组合在点集 {xi ,i 0,1, , m上}至(m多只n有) 个
记误差
i S *(xi ) yi , i 0,1, , m, 则 δ (0 ,1,的,各 m分)T量分别为 个数据m点上的误差.
2
设 0 (x),1(x是), ,n上(x线) 性无C[关a,函b]数族， 在 span{0 (x),1(中x)找,一,函n数(x)} ，
使误差平方和
S * ( x)
7
Ga d,
其中 a (a0 , a1, , an )T , d (d0 , d1, , dn )T ,
(0 ,0 ) (0 ,1)
G
(1
,
0
)
(1 , 1 )
(0 ,n )
(1
,
n
)
.
n (n ,0 ) (n ,1) (n ,n )
(k , j )a j dk (k 0,1, , n).
m
m
(xi )[S *(xi ) f (xi )]2 (xi )[S (xi ) f (xi )]2 ,
i0
i0
故 S *(确x)是所求最小二乘解.
S(x) a00 (x) a11(x) ann (x) (n m)
10
给定 f的(x离) 散数据 {( xi , yi ), i， 0,1, , m} 一般可取 span{1, x，,但,这xn样} 做当 时， n 3
0 (x) 1,1(x) x,(x) 1,
得
表3 1
(0 ,0 ) 5,
i
0
41
2
3
4
xi
(10.,001) 1.2x5i 71.5.5, 0 i0
1.75
2.00
yi
yi
5.10 54.79 6.53 7.45
(1.16,219) 1i.70 5x6i2 111.8.87765, 2.008
19
例2 设数据 (xi , yi )(i 0由,1,表2,33-,14给) 出， 表中第4行为 ln yi yi ,通过描点可以看出数学模型为 y aebx, 用最小二乘法确定 a及 b.
表31
i0 xi 1.00 yi 5.10
1 1.25 5.79
2 1.50 6.53
3 1.75 7.45
§4 曲线拟合的最小二乘法
1 最小二乘法及其计算
在函数的最佳平方逼近中 f (x) C如[a果, b],
f (x)
只在一组离散点集 {xi , i 0,1,上给, m定}，这就是科 学实验中经常见到的实验数据 {( xi , yi ), i 0的,1, , m} 曲线拟合.
1
问题为利用 yi f (xi ), i 求0出,1一,个, m函,数 y S*(x) 与所给数据{( xi , yi ), i 0,拟1,合. , m}