应用数值分析第三章2

y beax：非线性
ln y ln b ax
z ln y , a ln b, a a 0 1
z a0 a1x：线性
ye e e
z
a0 a1x
例3.5 已知实测数据表如下, 确定数学模型 y=aebx,用最小二乘法确定a，b。
i xi yi 0 1 2 1.50 6.53 3 1.75 7.45 4 2.00 8.46
j
( xi ) k ( xi ) i yi k ( xi )
i 0
m
引进内积
, ( x ) ( x ), y, y ( x ) ，
j k i 0 i j i k i k i 0 i i k i
m
m
法方程为
Ga d
(3-20)
根据最小二乘法，0 (x) =1,1 (x) =x， ( x) 1, (0 (x),0 (x) ) =1 5
i 0 4
(0 (x),1 (x) ) =(1 (x),0 (x) ) = xi =7.5
(1 (x),1 (x) ) = xi2 =11.875
i 0 4 4 4
将数据代入正则方程组，可得
9a0 0 3.75a2 18.1660 0 3.75a1 0 8.4857 3.75a 0 2.7656a 7.6169 0 2
其解为
a0 2.0019, a1 2.2629, a2 0.0397
所以此数据组的最小二乘二次拟合多项式为
方法二： >> p=polyfit(x,y,2) %x 和 y 是要拟合的数据，2 是要拟合的多项式
次数，p 是拟合多项式的向量表示 p= 0.0397 “病态问题” 。 2.2629 2.0019 理论分析和大量数值实验表明，多项式拟合当次数很大时，属于
二、通过变换将非线性拟合转化为线性拟合问题 我们的基本思路是通过作变换，将非线性拟合问 题转化为线性拟合问题求解，然后经反变换求出非线 性拟合函数。仅以指数函数为例说明，如果数据组
n
0 , 1 ,, n 在点集 X {xi , i 0,1,, m}
上满足哈尔（Haar）条件，
G 0
* n 于是方程(3-20)存在惟一的解 {ak }k 0 ，
从而可获得最小二乘拟合函数 S ( x)
*
* a j j ( x) 。 j 0
n
可以证明这样得到的 S ( x) 的确是最小二乘解。
1 2
注 1： （1）绘制拟合函数的图形以评估结果。如果结题 过程中使用了变换的话，那么一般也应该检查未变换的 模型和数据的图形。 （2）虽然某些数据经过变换之后可以得到一个令人满 意的拟合结果，但是结果变回原始坐标系之后不一定 是合理的。原因是，虽然变换后数据的残差平方达到 了最小值，但这并不能保证未变换数据的残差平方也 达到最小值。由于实际计算时，人们主要关心的是问 题的简化，就把两者较小的差别忽略了。
(0 , n ) (1 , n ) ( n , n )
注意：0 ( x),, n ( x)在C[a, b]上线性无关， 不能保证其系数矩阵非奇异.
例如，0 sin x, 1 sin 2 x, x [0, 2 ], xk k , k 0,1, 2. (0 , 0 ) (0 , 1 ) G 0 (1 , 0 ) (1 , 1 )
i 0 j 0
m
n
极小值问题。
I 由极值的必要条件 0 (k 0,1,, n) ，得方程组 xk
[ a
i 0 i j 0 j
m
n
j
( xi ) yi ] k ( xi ) 0 (k 0,1,, n)
即
a
j 0 j i 0 i
n
m
( xi , yi ) (i 0, 2,, m) 的分布近似指数曲线，则可考
虑用指数函数 y be 去拟合数据，按最小二乘原理，
ax
a , b 的选取使得 F (a, b) ( yi beaxi ) 2 为最小。由
i 0
m
此导出的方程组是关于参数 a , b 的非线性方程组，称其 为非线性最小二乘问题。
4
i 0
(0 (x),z ) = zi =9.404, (1 (x),z ) = xi zi =14.422.
i 0 i 0
法方程组为 7.50 a0 9.404 5 7.50 11.875 a 14.422 , 1 解得 a0 1.122,a1 0.505,b e a0 3.071, 于是最小二乘拟合曲线为 y 3.071e0.505 x
2 P ( x ) 2.0019 2.2629 x 0.0397 x 2
Matlab 求解 方法一： >> x=[-1 -0.75 -0.5 -0.25 0 0.25 0.5 0.75 1]’; >> y=[-0.2209 0.3295 0.8826 1.4329 2.0003 2.5645 3.1334 3.7601 4.2836]’; >> A=[ones(9,1)x x.^2]; >> z=A\y z= 2.0019 2.2629 0.0397
2 i i
3.3.1最小二乘原理
最小二乘法的一般提法： 根据给定的实验数据组 ( xi , yi )(i 0,1,, m) ，选 取近似函数形式， 设 0 , 1 ,, n 为 C[a, b] 上的线性 无关族，令 span{0 , 1 ,, n } 。求函数
m
其中 ( x)是 a, b 上的权函数。
3.3.2 法方程
在指定的函数类 中求拟合已知数据的最小二乘 解 S * ( x)
* k
a ( x)
j 0 j j
n
的关键在于确定系数
a (k 0,1,, n) 。
它可转化为多元函数
I (a0 , a1 ,, an ) i [ yi a j j ( xi )]2
S * ( x) 称为这组数据的最小二乘解。
更一般提法, 使S *( x)满足
2 2 ||δ||2 ( x )[ S *( x ) f ( x )] i i 2 i i i 0 i 0 m m
min
s ( x )
2 ( x )[ S ( x ) f ( x )] i i i i 0
i yi yi* yi a1xi a0 (i 1, 2,3, 4)
称为残差。显然，残差的大小可作为衡量近似函数好坏 的标准。 常用的准则有以下三种： (I) 使残差的绝对值之和最小，即 min

i
i
i
(II) 使残差的最大绝对值最小，即 min max i (III) 使残差的平方和最小，即 min
其中 a0 ( f , 0 ) (0 , 0 ) (0 , 1 ) a ( f , ) ( , ) ( , ) 1 1 1 a 1 ,d ,G 1 0 an ( f , n ) (n , 0 ) (n , 1 )
例 3.6 已知实验数据如下表所示，用最小二乘法求 形如y a bx 2的经验公式，并计算均方误差。
i xi yi 0 1 19 25 19.0 32.3
4
2 31 49.0
3 38 73.3
4 44 97.8
解：0 (x) =1,1 (x) =x 2， ( x) 1, (0 (x),0 (x) ) = 1 5 ，
*
3.3.3 常用的拟合方法
一、多项式拟合 数据是 ( xi , yi )(i 0,1,, m) ，
i 1 , i ( x) xi (i 0,1,, n) 。
法方程为
m k j m j ak xi yi xi ( j 0,1,, n) k 0 i 0 i 0
i 0
(0 (x),1 (x) ) =(1 (x),0 (x) ) = xi2 =5327
i 0
4
(1 (x),1 (x) ) = xi4 =7277699
i 0
4
(0 (x),y ) = yi =271.4, (1 (x),y) = xi2 yi =369321.5
S ( x) a ( x) ，使得
* i 0 * i i 2 * 2 [ y S ( x )] min i i i i 0 i 0 m m S ( x ) 2 [ y S ( x )] i i i 0 m
n
这种求近似函数的方法称为数据拟合的最小二乘法，
例 3.4 求数据表
i
1 -1 -0.2209 2 -0.75 0.3295 3 -0.5 0.8826 4 -0.25 1.4329 5 0 2.0003 6 0.25 2.5645 7 0.5 3.1334 8 0.75 3.7601 9 1 4.2836
xi
yi
的最小二乘二次拟合多项式。
2 解 设二次拟合多项式为 P ， ( x ) a a x a x 2 0 1 2
1.00 1.25 5.10 5.79
解：曲线方程不是线形形式，两边取对数得 ln y ln a bx, 若令 z lny, a0 lna, a1 b,则得 z a0 a1 x, {1,x}.
i xi yi zi
0
1
2
3
4
1.00 1.25 1.50 1.75 2.00 5.10 5.79 6.53 7.45 8.46 1.629 1.756 1.876 2.008 2.135
n
即
m m m m 2 n ( m 1) a a x a x a x 0 1 i 2 i n i yi i 0 i 0 i 0 i 0 m m m m m 2 3 n 1 a x a x a x a x yi xi 0 i 1 i 2 i n i i 0 i 0 i 0 i 0 i 0 m n m n m n n 1 n2 2n n a x a x a x a x y x 1 i 2 i n i i i 0 i i 0 i 0 i 0 i 0 i 0
3.3 曲线拟合的最小二乘法
例 3.3 给定一组数据如下：
xi yi
求 x , y 的函数关系。
2 1.1
4 2.8
6 4.9
8 7.2
解先作草图。如图 3.2 所示， 这些点的分布接近一条直线， 因此可设想 y 为 x 的一次函数。 设
y a1x a0 (3-19)
假设 a0 , a1 已确定， yi* a1 xi a0 (i 1,, 4) 为由 近似函数求得的近似值，它与观测值 y i 之差
定义 3.4 设 0 , 1 ,, n C[a, b] 的任意线性组合在 点集 X {xi , i 0,1,, m}(m n) 上至多பைடு நூலகம்有 n 个 不同的零点，则称 0 , 1 ,, n 在点集
X {xi , i 0,1,, m}
上满足哈尔（Haar）条件。 显然 1, x,, x 在任意 m(m n) 个点上满足哈尔条件。
i 0 i 0
4
4
法方程组为 5327 a 271.4 5 5327 7277699 b 369321.5 , 得 a 0.972579, b 0.050035 于是最小二乘拟合曲线为 y 0.972579 0.050035 x 2 4 2 均方误差 = [ y ( xi ) yi ] 0.1226 i 0