数值分析(21)离散数据的最小二乘拟合

求s(x) span 0 ( x ), 1 ( x ), ..., n ( x )
其中 0 ( x ), 1 ( x ), ..., n ( x )线性无关。s(x)= cii ( x )
i=0
n
由( f s , k ) ( f c j j , k ) 0( k 0,1, , n) 得法方程 ( 0 , 0 )c0 (1 , 0 )c1 ( n , 0 )cn ( f , 0 ) ( , )c ( , )c ( , )c ( f , ) 0 1 0 1 1 1 n 1 n 1 ( 0 , n )c0 (1 , n )c1 ( n , n )cn ( f , n )
法方程GC F (0 , 0 ) (1 , 0 ) ( , ) ( , ) 1 1 0 1 其中G (0 , n ) (1 , n ) (n , 0 ) (n , 1 ) (n , n )
法方程就变成 ATWAC ATWY
当W I时, 法方程为 AT AC ATY
T 0 T T 1 , , ..., A A n 0 1 T n (0 , 0 ) T 0 0 T n 0 T 0 n T n n
显然这是不能成立的。只能求出C 使 AC Y
2 2
n
i=0
min
C是矛盾方程组 AC Y 的最小二乘解。 线性最小二乘问题：求矛盾方程组 AC Y 的最小二乘解。
AC Y
2 2
min ( yi s( xi ))2 min
i 0
m
数值分析 数值分析
数值分析
连续函数最佳平方逼近问题的一般提法
(0 , n ) G (n , 0 ) (n , n )
数值分析
数值分析
注： （1）若{ j ( x )}n 0 于X { xi }im 0 上满足Haar条件,则A是 j 列满秩矩阵，所以AT A是(n+1)(n+1)的对称正定阵， 可用Cholesky分解法求解法方程 A AC A Y。

0
0 ( x jn ) 1 ( x jn )n ( x jn )
成立，则称函数系 { j ( x)}
m
n j 0
于点集 X 上满足 Haar 条件。
定义7-3等价于 0 ( x ), 1 ( x ), ..., n ( x ) C[a , b]的任意线 性组合在点集 xi i 0 ( m n)上至多只有n个不同零点。
数值分析
第三节 离散数据的最小二乘曲线拟合
一、问题的提法与计算
给定m 1个数据点 xi x0 , x1 , , xm , f ( xi ) f ( x0 ), f ( x1 ), , f ( xm ), 及权系数0 , 1 , ..., m ,并已知函数模型s( x , c )。用给 定的数据点，按给定的函数模型，构造拟合函数s( x ) 逼近未知函数f ( x ), 使
数值分析
数值分析
可以证明，如果 0 ( x ), 1 ( x ), ..., n ( x )在 xi i 0 上满足
m
Haar条件，则法方程的系数矩阵非奇异。
数值分析
数值分析
法方程的另一种形式 记 A (0 , 1 , ..., n ), 由矩阵乘法可知 G ATWA， F ATWY
f ( x0 ) f ( x1 ) Y f ( xm )
Baidu Nhomakorabea
数值分析
数值分析
法方程可改写为 (0 , 0 )c0 (1 , 0 )c1 (n , 0 )cn (Y , 0 ) ( , )c ( , )c ( , )c (Y , ) 0 1 0 1 1 1 n 1 n 1 (0 , n )c0 (1 , n )c1 (n , n )cn (Y , n )
T T
证：x 0, x A Ax ( Ax, Ax) 0
T T
法方程 GC F(或AT AC ATY ) 存在唯一解.
m
还需加上Haar条件。
定义 7-3
若函数系 { j ( x)} j 0 于点集 X {xi }i 0 中任意
n
m
（ ，都有 n 1 （ n m ）个点 x jk ， k 0,1, , n ）
0 ( x j 0 ) 1 ( x j 0 )n ( x j 0 ) 0 ( x j1 ) 1 ( x j1 )n ( x j1 )
成立，则称 { j ( x)} j 0 在点集 X 上线性相关。否则称函数
n
系 { j ( x)}
m 1
函数系 { ( x)}
n 上线性无关。 j 0 在点集 m n i i 0 j j 0 关于点集
X
X {x } 的线性无关性等价
于R
中向量系 { }
集 X 中必存在 n 1 （ n m ）个点 x j 0 , x j1 , , x jn X ，
n j j 0
的线性无关性，此亦等价于在点
使得行列式 0 ( x j 0 ) 1 ( x j 0 )n ( x j 0 )
0 ( x j1 ) 1 ( x j1 )n ( x j1 )
0
数值分析
0 ( x jn ) 1 ( x jn )n ( x jn )
若s* ( x )存在, 则称其为f ( x )在[a, b]上的最佳平方 逼近函数。 在C[a, b]中，定义带权 ( x )内积
( f , g ) ( x ) f ( x ) g( x )dx
a b
及内积范数 f
2

f ( x), f ( x) a ( x) f ( x)
s( x0 ) c0 0 ( x0 ) c11 ( x0 ) ... cn n ( x0 ) y0 s( x ) c ( x ) c ( x ) ... c ( x ) y 1 0 0 1 1 1 1 n n 1 1 s( xm ) c0 0 ( xm ) c11 ( xm ) ... cn n ( xm ) ym S Y AC Y
在内积空间C[a, b]中，设f ( x) C[a, b], 但f ( x) ,
在中寻找一个函数s* ( x ) c j j ( x )
使得 f ( x ) s ( x ) 2 min f ( x ) ( x ) 2
* 2 2
n
j 0
( x )
若 0 ( x ), 1 ( x ), ..., n ( x )在点集 xi i 0 上线性无关，
m
数值分析
且n<m，则0 , 1 , ..., n是Rm 1中线性无关的向量组。 例：取 0 ( x ) 1，1 ( x ) x , , n ( x ) x n ,
数值分析
n
i 0
数值分析
若记向量C (c0 , c1 , cn )T R n1 法方程用矩阵形式表示为 GC F ,
法方程GC=F存在惟一解的充要条件显然是系数矩阵 即Gram矩阵G非奇异。
由函数 j ( x)和点集 x0 , x1 ,... xm 定义一个向量
j ( x0 ) j ( x1 ) j R m 1 , j 0,1, ..., n ( x ) j m
A [0 , 1 ,..., n ]
1 det( A) 1 1
n x0 x0 n x1 x1

n xn xn

1 j i n

n
( xi x j ) 0
所以0 ,1 ,...,n是Rn1中线性无关的向量组。
数值分析
数值分析
要使 0 ( x ), 1 ( x ), ..., n ( x )在点集 xi i 0 上线性无关，
j ( x0 ) x0j j j ( x1 ) x1 j R n1 , j 0,1, ..., n j ( x ) xn 设 j n
x0 , x1 , ... xn为n+1个互异点
i 0 m
（不严格）
其中
W diag ( 0 , 1 , ..., m ) Y ( f ( x0 ), f ( x1 ), ..., f ( xm ))T
( ( x0 ), ( x1 ), ..., ( xm ))T
数值分析
数值分析
线性最小二乘曲线拟合问题的法方程
*
2
即
i ( f ( xi ) s* ( xi ))2 min
i 0
若s* ( x )存在, 则称其为f ( x )在[a, b]上的最佳平方逼近 函数（最小二乘拟合曲线）。
数值分析
数值分析
在C [a , b]中，定义带权 i ( i 0,1, ..., m )的内积 （ f ( x ), ( x ) i f ( xi ) ( xi ) Y TW Y , )
2. 非线性最小二乘曲线拟合 s( x , c )是关于系数c (c0 , c1 , , cn1 , cn )T 的非线性函数。 如：s( x , c ) c0 x c1e c2 x
数值分析
xn
x2
c1e x c0，这也是
数值分析
若求s(x)= cii ( x )，使s( xi ) yi , i 0,1, ..., m
T
F (Y , 0 ) (Y , 1 ) (Y , n )
数值分析
数值分析
定义 7-2
设点集 X {xi }i 0 ，若存在不全为 0 的 j 使得
m
00 ( xi ) 11 ( xi ) nn ( xi ) 0, (i 0,1,, m)
b

2
dx
数值分析

1 2
数值分析
离散数据的最佳平方逼近问题的一般提法
在内积空间C[a, b]中，设f ( x) C[a, b], 但f ( x) ,
在中寻找一个函数s* ( x ) c j j ( x )
j 0
n
使得
m
f ( x ) s ( x ) 2 min
i ( f ( xi ) s( xi ))2 min
i 0
m
(1)
此问题称为最小二乘曲线拟合，又称为离散数据的 最佳平方逼近。
使拟合误差的平方和最小——最小二乘原理
数值分析
数值分析
两种拟合问题
1. 线性最小二乘曲线拟合 如：取s( x , c ) cn x n cn 1 x n 1 c1 x c0 s( x , c )是关于系数c (c0 , c1 , , cn 1 , cn )T 的线性函数。 这是多项式拟合。 若取s( x , c ) cn e c2e 关于系数的线性拟合。