最小二乘法与高斯消元法

(n ann )
b1 ( 2) b2 ( 3) b3 (n) bn
(4.1.4) 这就完成了消元过程。
(2)从数据的图形看，可以选用指数函数进行拟合。设 ( x ) e ， 其中 0, 0。这是一个非线性模型， 不能直接用上面讨论的方法求解。 对于一般的非线性最小二乘问题.，用常规方法求解的难度较大。这里的非 线性模型比较简单，可以把它转化成线性模型，然后用上面讨论的方法求 解。
ti 1.0000 0.5000 0.33333 0.2500 0.1667 0.1250 0.1000 0.0833 0.0714 0.0625 zi 1.3863 1.8575 2.0807 2.1736 2.2544 2.2885 2.3351 2.3437 2.3542 2.3681
1 ( x) x。易得发方程
* 这样，求极小值问题（2.5.1）的解 ( x ) ,就是求多元二次函数
* * * I (a0 , a1 ,an ) 的极小点 (a0 , a1 ,an ),使得
* * * I (a0 , a1 ,an )
a0 ,a1 ,a n R
min I (a0 , a1 ,an ).
由求多元函数极值的必要条件有
( xi ) ak k ( x ), i 0,1,, m .
k 0 n
因此，（2.5.1）右边的和式是参数 a0 , a1 ,an 的函数，记作
I (a0 , a1 , an )
i [ yi ak k ( xi )]2 .
i 0 k 0
m
n
（2.5.2）
x
对说函数 ( x ) e x的两边取之然对数，得 ln ( x) ln x 。 若令 t 1 x , z ln ( x ), A ln ，则有z=A+βt。这是一个线性模型。 将本题离散数据作相应的转换，见表2-9。
表2-9
i 0 1 2 3 4 5 6 7 8 9
m n I 2 i [ yi ak k ( xi )] j ( xi ) 0, j 0,1,, n. a j i 0 k 0
按内积的定义，上式可写为
a
k 0
n
k
( k , j ) ( y , j ), j 0,1,, n.
（2.5.3）
i
16 4.00 yi 10.61
6.41
8.01
8.79
9.53
9.86
10.33 10.42 10.53
解 (1)观察数据点的图形(见图2-3),选择二次多项式作为拟合模型。 取所有权数为1，按（2.5.3）有
76 826 a0 88.49 10 826 10396 a1 757.59 . 76 826 10396 140434 a 8530 01 . 2 * ， * ， * 解得 a0 4.1490 a1 1.1436 a2 0.048320 ，从而拟合函数为
* , * , * 解此方程组得 a0 0.1214 a1 0.5726 a2 1.2114。从而，拟合多项式为
* ( x ) 0.1214x 0.5726x 1.2114x 2 ,
其平方误差
2 2
* 0.0337 。拟合曲线 ( x ) 的图形见图2-2。

a1n
( a22 ) n ( a33) n


(3 ann)
b1 ( 2) b2 b3(3) ( 3) bn
运算量： (n-2)*(1+n-1)=(n-2)n
类似的做下去，我们有：
( aikk ) 第k步：第k行 第i行, i k 1,, n (k ) akk
* ( x) 4.1490 1.1436x 0.048320 2 x
平方差 2 3.9486 , ( x ) 的图形见图2-3。有平方误差和 ( x ) 的 图形可见，拟合的效果不佳。因此，不宜直接选用多项式作拟合。
2 *
*
y
11
*
* * * * * *
*
*
3
o1
*
16 T
这方程称为法方程(或正规方程)。这里，y( xi ) yi , i 0,1,n. 由于 0 , 0 ,, n , 线性无关，故（2.5.3）的系数矩阵非奇异，方程 * 组（2.5.3）存在唯一的解 ak ak , k 0,1,, n, 从而得
( x)
*

n
k 0
在许多实际问题中，变量之间的关系不一定能用多项式很好的拟 合。如何找到更符合实际情况的数据拟合，一方面要根据专业知识和 经验来确定拟合曲线的形式，另一方面要根据数据点的图形性状及特 点来选择适当的曲线拟合这些数据。
例 2.14 已知函数y=f(x)的数据如表2-8。试选择适当的数学模型进行拟合。
表2-8 i 9 x 0 1 1 2 2 3 3 4 4 6 5 8 6 10 7 12 8 14
b1 ( 2) b2 ( 2) bn
运算量： (n-1)*(1+n)
2 ai(2 ) 第二步： 2行 第 第i行, i 3,, n ( 2) a22 a11 a12 a13 b1 a11 a12 a1n (2 (2 0 a22 ) a23 ) ( 2) ( 2) ( 2) 0 (3 0 a22 a2 n b2 0 a33) ( 2) ( 2) ( 2) 0 a ann bn ( n2 0 0 an3) 3
a11 a21 a n1 a12 a1n a22 a2 n an 2 ann b1 b2 bn a11 0 0 a12 a1n
(2 ( a22 ) a22 ) n ( (2 an2 ) ann ) 2
[ y
i 0 i
n
k 0
i
( x )] m i n i [ yi ( x )]2
* 2
n
( x )
i 0
(2.5.1)
* m 则称 ( x )为离散数据{ xi , yi }i 0在子空间 中带权 {i }m 0 的最小二乘拟合。 i
函数 ( x )在离散点处的值为
2.5.1 最小二乘拟合
a min xi ,
0i m
b max xi
0i m
{ k ( x)}m0 ， 在连续函数空间C[a,b]中选定n+1个线性无关的基函数 k { 并记由它们生成的子空间 span 0 ( x),1 ( x), n ( x)} 。如果 n * 存在 * ( x ) ak * ( x ) , 使得
y
1.96
*
*
o*
按（2.5.3）有
*
1 x
图2-2
2.5 1.875 a0 4.31 5 1.875 1.5625 a1 3.27 2.5 1.875 1.5625 1.3828 a 2.7975 2
n
例 2.13 用多项式拟合表2-7中的离散数据。
表2-7
i xi yi
0 0.00 0.10
1 0.25 0.35
2 0.50 0.81
3 0.75 1.09
4 1.00 1.96
解 作数据点的图形如图2-2，从图形看出用二次多项式拟合比较合适。这 2 时n=2，子空间 的基函数 0 ( x) 1,1 ( x) x,2 ( x) x 。数据中没有给 出权数，不妨都取为1，即 i 1, i 0,1,,4 。
对表2-9种的数据，作线性拟合，这时n=1，子空间Φ的基函数为0 ( x) 1,
2.6923 A 21.4362 10 2.6923 1.49302 4.9586 .
解得A=2.4284,β=-1.0579,从而
设有点集 xi ，函数
m i 0
f ( x ) 和 g ( x ) 在离散意义下的内积定义为
( f , g)
w
i 0
m
i
f ( x i ) g( x i )
(2.4.1)
f ( x ) 的2范数定义为
其中
w 0为给定的权数。在离散意义下，函数
i
f

2
( f , f )
(2.4.2)
运算量： (n－k)*(1＋n－k＋1)=(n－k)(n－k＋2) n－1步以后，我们可以得到变换后的矩阵为：
a11 0 0 0
a12 a
( 2) 22
a13 a a
来自百度文库( 2) 23 ( 3) 33

a1n
( 2) 2n ( 3) 3n
a
0 0
a
0
e A 11.3411 。于是，所求的拟合函数为
* ( x) 11.3411 1.0579 x , e
平方误差为 合效果较好。
2 2
。它比方法（1）的 0.1109
2 2
小得多，拟 3.9486
步骤如下： 第一步消元:假设 a11
(1)
0 ,作初等行变换运算
ai1 第1行 第i行, i 2,, n a11
2.4 正交多项式和最佳平方逼近
正交多项式是数值计算中的重要工具，这里只介绍正交多项式 的基本概念、某些性质和构造方法。离散情形的正交多项式用于下 节的数据拟合，连续情形的正交多项式用于生成最佳平方逼近多项 式和下章的高斯型求积公式的构造。它们在数值分析的其他领域中 也有不少应用。
2.4.1 离散点集上的正交多项式
* a k k ( x ) .
* 可以证明，这样得到的 ( x )，对于任何 (x) ，都有
[ y
i 0 i
n
i
( x )] i [ yi ( x )]2 ,
* 2 i 0
2
n
* * 故 ( x)是所求的最小二乘拟合。记 y ( x ) ，显然，平方误差 2 或 均方误差 2 越小，拟合的效果越好。平方误差有与（2.4.15）相同 形式的表达式。
2.5.2 多项式的拟合
前面讨论了子空间 中的最小二乘拟合。这是一种线性拟合模型。在离 m 散说据 { xi , yi }i 0的最小二乘拟合中，最简单、最常用的数学模型是多项式
( x) a0 a1 x an x n .
{ 即在多项是空间 span 1, x,, x } 中作曲线拟合，称为多项式拟合。 这是一种特定的线性模型，因此可用上面讨论的方法求解。子空间 得基 k 函数为 k ( x) x , k 0,1, , n。
n
有了内积，就可以定义正交性。若函数 f ( x ) 和 g( x ) 的内 积 ( f , g ) 0 ，则称两者正交。若多项式组 k ( x) 在离散意义 下的内积满足
k 0
2.5
离散数据的曲线拟合
m 对于已知的m+1的离散数据 {xi , yi }i 0和权数 {i }im 0 ，记