曲线拟合的最小二乘法

6 曲线拟合的最小二乘法
背景：
离散数据的特点
数据不准确 数据多,甚至是是大量的 数据采样一般基本上反映函数的基本性态
离散数据建模方法
插值法：经过离散点，高次插值不可靠，分段插值 不够光滑
曲线拟合：曲线符合离散点分布的基本轮廓，或符 合某理论规律，不要求曲线精确通过每一离散点。
2020年6月15日星期一
定理3.6 如果离散Gram矩阵是实正定对称矩阵, 则 向量 C * (c0* , c1* , , cn* )T使得二次函数I(C)取
最小值的充分必要条件是向量 C*是线性方程组
GnC=Y 的解向量.
Remark 1 当Gn是实对称正定矩阵时,det(Gn)0 , 定理中的线性方程组的解向量是存在惟一的, 此时最 小二乘曲线拟合问题有惟一的解函数. 称定理中的方 程组为线性空间上最小二乘问题的法方程组.
YFNie@nwpu.edu.cn
5
最小二乘问题的矩阵形式表述
n
求 *(x) ci*i (x) ＝span0,1, ,n )使得 i0
r(*)
2 2
min
r ( )
2 2
min
m
jrj2 min
j0
ci R
m
j
n
cii
(x
j
)
y
j
2
j 0
i0
0in
min I (c0, c1,...,cn ) ci R 0in
YFNie@nwpu.edu.cn
1
6.1 曲线拟合的过程
造型：通过作图分析或直接依据物理规律 选取合适的曲线类型，即拟合模型：
(x; c0 , c1, , cn )
•线性拟合模型：
待定参数数目n通常 远小于节点数目m.
(x) c00 (x) c11(x) cnn (x)
•非线性拟合模型：
(x) eaxb ;
(x)
x axb
2020年6月15日星期一
YFNie@nwpu.edu.cn
2
（拟合过程续）
选择最好的曲线
依据某种标准选择一条“最好”的简单曲线作为离散数
据(
xi
,
yi
) m i0
的连续模型。
标准：拟合残差向量r的某种范数最小.
残差向量 r=(r0,r1,r…j ,rm)(Tx=j r;(cc00,,cc11,,…,cnn)) y j
i0 j0
i0
C (c0 ,c1, , cn )T
2020年6月15日星期一
Y ((0 , y), (1, y), , (n , y))T
YFNie@nwpu.edu.cn
7
最小二乘问题等价于
（矩阵表述续）
I (C) CTGnC 2CTY ( y, y) min
C (c0 ,c1, , cn )T
m
离散内积 : ( f , g) j f (x j )g(x j ) j0
I (c0, c1,...,cn ) n cii y, n cii y
i0
i0பைடு நூலகம்
2020年6月15日星期一
YFNie@nwpu.edu.cn
6
最小二乘问题等价于
（矩阵表述续）
n
求 * (x) ci*i (x), 使 i0
(y,y) (* , * )
( y, y) (*, y)
( y, y) Y TC*
2020年6月15日星期一
YFNie@nwpu.edu.cn
11
离散Gram矩阵的进一步讨论
(i , k
行向量
)
m
j 0
j
i
(x
j
(i (x 0 ),i
)k (x j (x1 ),
) , i
Y ((0, y),(1, y), , (n , y))T
(0,0 ) (0,1)
Gn
(1,0
)
(1,1)
(n ,0 ) (n ,1)
(0,n )
(1,n
)
(n ,n )
离散
Gram 矩阵
2020年6月15日星期一
YFNie@nwpu.edu.cn
8
法方程组
n
解函数 * (x) ci*i (x) i0
cii
i0
)
n
i0
cii
)
(0 , y)
(1
,
y
)
(n , y)
((10
,*)
,
*
)
(0 ,
(1,
y)
y)
(n
,
*
)
(n , y)
左乘向量C*的转置
(*,*) (*, y)
2020年6月15日星期一
YFNie@nwpu.edu.cn
10
误差估计表示
2 (* y,* y) (*,*) 2(*, y) ( y, y)
I (c0* , c1* , , cn* )
min I (c0 , c1, , cn )
ci R 0in
I (c0 , c1 , , cn ) ( y, y)
n cii y, n cii y
i0
i0
(,) 2(, y) ( y, y)
nn
n
cic j (i, j ) 2 ci (i , y) ( y, y) CT GnC 2CTY ( y, y)
第j个节点的残差
max
范数：正数ωj是第j个采样点处r的权 。
切比雪夫意义下的曲线拟合
0 jm
j | rj |
min
最小二乘意义下的曲线拟合
m
r 2
jrj2 min
j0
2020年6月15日星期一
YFNie@nwpu.edu.cn
3
（拟合过程续）
总结
切比雪夫意义下的曲线拟合模型
Th. Page 89，可行，不是最有效的)
2020年6月15日星期一
YFNie@nwpu.edu.cn
4
6.2 最小二乘法拟合模型的求解
问题的矩阵形式表述 法方程组 平方误差 法方程组系数矩阵（Gram矩阵）的表示 矛盾方程以及加号逆 举例 基于离散正交多项式的最小二乘拟合
2020年6月15日星期一
求 * (x) ＝ (x; c0, c1, , cn ) : ci R,0 i n使得
r(*) min r( )
最小二乘意义下的曲线拟合模型
求 * (x) ＝ (x; c0, c1, , cn ) : ci R,0 i n使得
r(*) 2
min
r( )
2
确定函数类的一种方法：多项式（简单，Weierstrass
2020年6月15日星期一
YFNie@nwpu.edu.cn
9
(0,0 ) (0,1)
(1
,0
)
(1,1)
(n ,0 ) (n ,1)
(0 ,n (1,n
)
)
cc10**
(0 ,
(1,
y) y)
(n
,n
)
cn*
(n , y)
(0 ,
(1
,
(n ,
n
cii
)
i0 n