曲线拟合的最小二乘法 共21页PPT资料

第3章 曲线拟合的最小二乘法
1 拟合曲线
给出一组离散点，确定一个函数逼近原函数，插值是这样 的一种手段。在实际中，数据不可避免的会有误差，插值函数 会将这些误差也包括在内。
因此，我们需要一种新的逼近原函数的手段： ①不要求过所有的点（可以消除误差影响）； ②尽可能表现数据的趋势，靠近这些点。
第3章 曲线拟合的最小二乘法
{k (x)}kn0
在点列 {
x
i
}
m i
0
处的值向量组
{
k
}
n k

0
线性无关，则最小二乘问题存在唯一
n
解 *(x) k*k (x) ，其中 (0*,1*, ,n*)T为正规方程的解. k0
注: (1) 最小二乘问题的解与所选基函数无关。即对于n +1维连
续函数空间
{k (x)}kn0 ，并记由它们生成的子空间为：
span{ 0(x),1(x), ,n(x)}
n
{ (x)|(x) kk(x), 0,1, ,n R } k0 n
若有 *(x) k*k(x) 使得 k0
m
m
i 0 [y i* (x i)]2 m (x i ) n i 0 [y i(x i)]2
的任何基
{k (x)}kn0
，只要它们在点列
{
x
i
}
m i
0
处的值向量组
{
k
}
n k

0
线性无关，就可以用相应的正规方程求
解，从而得到相同的拟合曲线。
(2)
在离散点列
{xi
,
yi
}m i0
中，对自变量序列
{
x
i
}
m i
0
没有特别
要求，既不需要有序，也可以重复。
(3) Gram矩阵G由子空间 的基函数 {k (x)}kn0 和自变量
k0
即： (( 0 0,, 1 0)) (0,n)
(( 1 1,, 1 0)) (1,n)
(( n n,, 1 0)) 1 0((y y,, 1 0)) (n,n)n (y,n)
G

d
方程 G d 称之为正规方程 ( 或法方程 ) 。
其中
k
为函数
k
(x)
在点列
{
x
i
}
m i
0
处取值的向量，由向量
内积的定义，可得：
(k,l)m im0k(xi)l(xi), k,l 0,1, ,n (y,l)i0 yil(xi), l 0,1, ,n
故方程 (3) 可写成:
n
k(k,l)(y,l), l0,1, ,n
这种构造近似函数 的方法称为曲线拟合，P差(x”)
称为拟合函数
ቤተ መጻሕፍቲ ባይዱ
“使 i =P (xi) yi 尽可能地小”有不同的准
则
常见做法：
较复杂，
使 m 1im a|P x(xi)yi |最小
m
使 | P(xi ) yi | 最小 i1
m
使 | P(xi ) yi |2最小 i1
(1 )
则称 * ( x ) 为离散数据 {xi , yi}im0 在子空间 中的最小二乘
拟合。
对于选定的基函数 {k (x)}kn0 ，定义中的拟合曲线即拟合模
n
型 (x)
kk (x) ，是待定参数
{
k
}n k0
的线性函数，故
k0
称之为线性最小二乘问题。
n
由于 (xi) kk(xi), i0,1 ,2, ,m
即： n k mk (x i)l(x i) m y i l(x i) , l 0 ,1 , ,n ( 3 )
k 0 i 0
i 0
记 m +1 维向量:
y k ([y 0 k ,( y x 1 0 ,),,k y (m x ) 1 T ), , k(x m )]T, k 0 ,1 ,2 , ,n
k 0
m
n
记： I(0,1, , n) [yi k k(xi)]2
i0
k0
则最小二乘问题，即求极小值问题 (1) 的解 * ( x ) ，也就是求
多元二次函数 I(0,1, ,n) 的极小值点 (0*,1*, ,n*) ，
使得： I (0 * ,1 * ,,n * ) 0 , m 1 ,i n , n R I (0 ,1 ,,n ) ( 2 )
(4)
序{列x i }
m i
0
确定，与离散点的函数{值y
形式化描述
仍然是已知 x1 … xm ; y1 … ym, 求一个简单易算的近 似函数 P (x) 来拟合这些数据。
但是 ① m 很大；
② yi 本身是测量值，不准确，即 yi f (xi)
这时没必要取 P (xi) = yi , 而要使 i=P (xi) yi 总体上
尽可能地小。
称为“残
问题：极值问题 (2) 的解是否存在，是否唯一，即最小二乘问 题 (1) 的解是否存在唯一？如果存在唯一，如何求之？
正规(法)方程和解的存在唯一性
由于 I(0,1, ,n) 是关于待定参数 0,1, ,n 的二次多
项式函数，所以 (2) 式有解的必要条件为：
I (0 , 1 , l ,n ) 2 i m 0 [ y i k n 0kk ( x i) ]l( x i) 0 ,l 0 ,1 , ,n
由此可见，最小二乘问题存在唯一解的必要条件就是正规方程 的系数矩阵 G 非奇异。显然G 为对称矩阵，称为Gram 矩阵.
定理1：Gram 矩阵
G 非奇异的充要条件是向量组
{
k
}
n k

0
线
性无关。
定理2：对于已知的
m
+1
对离散数据
{xi
,
yi
}m i0
，选定
n
+1维连
续函数空间
，如果它有一组基
称为均方误差。由于计算其最小值的方法容易实现而被广 泛采用。按均方误差达到极小构造拟合曲线的方法称为最 小二乘法。
1 线性拟合和最小二乘拟合
对于已知的 m +1 对离散数据
{xi
,
yi
}m i0
，记
a0 m ii n m {xi}, bm 0 ia x m {xi}
在连续函数空间C [a , b]中选定n +1个线性无关的基函数