数值分析(21)离散数据最小二乘拟合
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
数值分析
第三节 离散数据的最小二乘曲线拟合
一、wk.baidu.com题的提法与计算
给定m 1个数据点 xi x0 , x1 , , xm , f ( xi ) f ( x0 ), f ( x1 ), , f ( xm ), 及权系数0 , 1 , ..., m ,并已知函数模型s( x , c )。用给 定的数据点，按给定的函数模型，构造拟合函数s( x ) 逼近未知函数f ( x ), 使
法方程GC=F存在惟一解的充要条件显然是系数矩阵 即Gram矩阵G非奇异。
由函数 j ( x)和点集 x0 , x1 ,... xm 定义一个向量
j ( x0 ) j ( x1 ) m 1 j R , j 0,1, ..., n ( x ) j m
显然这是不能成立的。只能求出C 使 AC Y
2 2
n
i=0
min
C是矛盾方程组 AC Y 的最小二乘解。 线性最小二乘问题：求矛盾方程组 AC Y 的最小二乘解。
AC Y
2 2
min ( yi s( xi ))2 min
i 0
m
数值分析 数值分析
数值分析
连续函数最佳平方逼近问题的一般提法
i=0
n
由( f s , k ) ( f c j j , k ) 0( k 0,1, 得法方程 ( 0 , 0 )c0 (1 , 0 )c1 ( , )c ( , )c 0 1 0 1 1 1 ( 0 , n )c0 (1 , n )c1
在中寻找一个函数s* ( x ) c j j ( x )
j 0
n
使得
m
f ( x ) s ( x ) 2 min
*
2
即
* 2 ( f ( x ) s ( x )) min i i i i 0
若s* ( x )存在, 则称其为f ( x )在[a, b]上的最佳平方逼近 函数（最小二乘拟合曲线）。
在内积空间C[a, b]中，设f ( x) C[a, b], 但f ( x) ,
在中寻找一个函数s* ( x ) c j j ( x )
使得 f ( x ) s ( x ) 2 min f ( x ) ( x ) 2
* 2
n
j 0
2
( x )
若s* ( x )存在, 则称其为f ( x )在[a, b]上的最佳平方 逼近函数。 在C[a, b]中，定义带权 ( x )内积
( f , g ) ( x ) f ( x ) g( x )dx
a b
及内积范数 f
2
f ( x), f ( x) a ( x) f ( x)
b
2
dx
数值分析
1 2
数值分析
离散数据的最佳平方逼近问题的一般提法
在内积空间C[a, b]中，设f ( x) C[a, b], 但f ( x) ,
数值分析
数值分析
在C [a , b]中，定义带权 i ( i 0,1, ..., m )的内积 （Y , ) f ( x ), ( x ) i f ( xi ) ( xi ) Y TW
i 0 m
（不严格）
其中
W diag ( 0 , 1 , ..., m ) Y ( f ( x0 ), f ( x1 ), ..., f ( xm ))T
f ( x0 ) f ( x ) 1 Y f ( xm )
2. 非线性最小二乘曲线拟合 s( x , c )是关于系数c (c0 , c1 , 如：s( x , c ) c0 x c1e c2 x
数值分析
c1 x c0
, cn 1 , cn )T 的线性函数。
x2
xn
c1e x c0，这也是
, cn1 , cn )T 的非线性函数。
数值分析
若求s(x)= cii ( x )，使s( xi ) yi , i 0,1, ..., m
s( x0 ) c0 0 ( x0 ) c11 ( x0 ) ... cn n ( x0 ) y0 s( x ) c ( x ) c ( x ) ... c ( x ) y 1 0 0 1 1 1 1 n n 1 1 s( xm ) c0 0 ( xm ) c11 ( xm ) ... cn n ( xm ) ym S Y AC Y
2 ( f ( x ) s ( x )) min i i i i 0 m
(1)
此问题称为最小二乘曲线拟合，又称为离散数据的 最佳平方逼近。
使拟合误差的平方和最小——最小二乘原理
数值分析
数值分析
两种拟合问题
1. 线性最小二乘曲线拟合 如：取s( x , c ) cn x n cn 1 x n 1 s( x , c )是关于系数c (c0 , c1 , 这是多项式拟合。 若取s( x , c ) cn e c2e 关于系数的线性拟合。
i 0
, n)
( n , 0 )cn ( f , 0 ) ( n , 1 )cn ( f , 1 ) ( n , n )cn ( f , n )
数值分析
数值分析
若记向量C (c0 , c1 ,
cn )T R n1
法方程用矩阵形式表示为 GC F ,
( ( x0 ), ( x1 ), ..., ( xm ))T
数值分析
数值分析
线性最小二乘曲线拟合问题的法方程
求s(x) span 0 ( x ), 1 ( x ), ..., n ( x )
n
其中 0 ( x ), 1 ( x ), ..., n ( x )线性无关。s(x)= cii ( x )
第三节 离散数据的最小二乘曲线拟合
一、wk.baidu.com题的提法与计算
给定m 1个数据点 xi x0 , x1 , , xm , f ( xi ) f ( x0 ), f ( x1 ), , f ( xm ), 及权系数0 , 1 , ..., m ,并已知函数模型s( x , c )。用给 定的数据点，按给定的函数模型，构造拟合函数s( x ) 逼近未知函数f ( x ), 使
法方程GC=F存在惟一解的充要条件显然是系数矩阵 即Gram矩阵G非奇异。
由函数 j ( x)和点集 x0 , x1 ,... xm 定义一个向量
j ( x0 ) j ( x1 ) m 1 j R , j 0,1, ..., n ( x ) j m
显然这是不能成立的。只能求出C 使 AC Y
2 2
n
i=0
min
C是矛盾方程组 AC Y 的最小二乘解。 线性最小二乘问题：求矛盾方程组 AC Y 的最小二乘解。
AC Y
2 2
min ( yi s( xi ))2 min
i 0
m
数值分析 数值分析
数值分析
连续函数最佳平方逼近问题的一般提法
i=0
n
由( f s , k ) ( f c j j , k ) 0( k 0,1, 得法方程 ( 0 , 0 )c0 (1 , 0 )c1 ( , )c ( , )c 0 1 0 1 1 1 ( 0 , n )c0 (1 , n )c1
在中寻找一个函数s* ( x ) c j j ( x )
j 0
n
使得
m
f ( x ) s ( x ) 2 min
*
2
即
* 2 ( f ( x ) s ( x )) min i i i i 0
若s* ( x )存在, 则称其为f ( x )在[a, b]上的最佳平方逼近 函数（最小二乘拟合曲线）。
在内积空间C[a, b]中，设f ( x) C[a, b], 但f ( x) ,
在中寻找一个函数s* ( x ) c j j ( x )
使得 f ( x ) s ( x ) 2 min f ( x ) ( x ) 2
* 2
n
j 0
2
( x )
若s* ( x )存在, 则称其为f ( x )在[a, b]上的最佳平方 逼近函数。 在C[a, b]中，定义带权 ( x )内积
( f , g ) ( x ) f ( x ) g( x )dx
a b
及内积范数 f
2
f ( x), f ( x) a ( x) f ( x)
b
2
dx
数值分析
1 2
数值分析
离散数据的最佳平方逼近问题的一般提法
在内积空间C[a, b]中，设f ( x) C[a, b], 但f ( x) ,
数值分析
数值分析
在C [a , b]中，定义带权 i ( i 0,1, ..., m )的内积 （Y , ) f ( x ), ( x ) i f ( xi ) ( xi ) Y TW
i 0 m
（不严格）
其中
W diag ( 0 , 1 , ..., m ) Y ( f ( x0 ), f ( x1 ), ..., f ( xm ))T
f ( x0 ) f ( x ) 1 Y f ( xm )
2. 非线性最小二乘曲线拟合 s( x , c )是关于系数c (c0 , c1 , 如：s( x , c ) c0 x c1e c2 x
数值分析
c1 x c0
, cn 1 , cn )T 的线性函数。
x2
xn
c1e x c0，这也是
, cn1 , cn )T 的非线性函数。
数值分析
若求s(x)= cii ( x )，使s( xi ) yi , i 0,1, ..., m
s( x0 ) c0 0 ( x0 ) c11 ( x0 ) ... cn n ( x0 ) y0 s( x ) c ( x ) c ( x ) ... c ( x ) y 1 0 0 1 1 1 1 n n 1 1 s( xm ) c0 0 ( xm ) c11 ( xm ) ... cn n ( xm ) ym S Y AC Y
2 ( f ( x ) s ( x )) min i i i i 0 m
(1)
此问题称为最小二乘曲线拟合，又称为离散数据的 最佳平方逼近。
使拟合误差的平方和最小——最小二乘原理
数值分析
数值分析
两种拟合问题
1. 线性最小二乘曲线拟合 如：取s( x , c ) cn x n cn 1 x n 1 s( x , c )是关于系数c (c0 , c1 , 这是多项式拟合。 若取s( x , c ) cn e c2e 关于系数的线性拟合。
i 0
, n)
( n , 0 )cn ( f , 0 ) ( n , 1 )cn ( f , 1 ) ( n , n )cn ( f , n )
数值分析
数值分析
若记向量C (c0 , c1 ,
cn )T R n1
法方程用矩阵形式表示为 GC F ,
( ( x0 ), ( x1 ), ..., ( xm ))T
数值分析
数值分析
线性最小二乘曲线拟合问题的法方程
求s(x) span 0 ( x ), 1 ( x ), ..., n ( x )
n
其中 0 ( x ), 1 ( x ), ..., n ( x )线性无关。s(x)= cii ( x )