数值分析 第五章 曲线拟合和函数逼近

an xi n yi ) 0 an xi n yi ) xi 0
an xi n yi ) xi n 0
6
可以化为如下的法方程组或正则方程组：
1 xi n 1 xi
x x
i
i 2
x x x
i
2 3
i i
x x
x
,n 1
( xPk , Pk ) 由 ( Pk 1 , Pk ) 0 k 1 ( Pk , Pk )
2 x P i i k ( xi ) i 0 m
m
P ( x )
i 0 2 i k i
， k 0,1, 2,
, n 1
由 ( Pk 1 , Pk 1 ) 0 k
12
y 1 /(ax b) y x /(ax b) y 2 ax2 bx c y x /(ax bx c)
2
设y 1 / y 设y 1 / y , x 1 / x 设y y 2 x 设y y 设x 1 / x
b c y a 2 x x
求解线性方程组有 a 2, b 1.05 。
3
最小二乘原理
曲线拟合问题：对给定的数据 ( xi , yi ) (i 0,1,
, m) ，在取定的函 , m)
(i 0,1, 数类 中， 求函数 P( x) ， 使偏差 ri P( xi ) yi ，
的平方和最小，即
2 r ( P ( x ) y ) i i i min 2 i 0 i 0 m m
,x 。
n
11
非线性最小二乘拟合
可化为线性拟合问题的常见函数类型
1 y ae (a 0) 设y ln y, x x y 1 /(a be x )(a 0) 设x e x , y 1 / y
b/ x
y a bx (a ln a ) y a bx y ax b y a bx y ax2 bx c y ax2 bx c y a bx cx 2
m m ik ( xi ) j ( xi ) ak i j ( xi ) yi i 0 k 0 i 0 n
即
j 0,1,
,n
对应的法方程可以写为
i02 ( xi ) i0 ( xi )1 ( xi ) ( x ) ( x ) i 0 i n i
这就是最小二乘曲线拟合问题。这样的 P ( x) 称为最小二乘拟 合函数或者最小二乘解，求最小二乘拟合函数 P ( x) 的方法叫做曲 线拟合的最小二乘法。
多项式拟合
给定实验数据
xi yi
x0 y0
x1 y1
an xn (n m) ，使得
xm
ym
求 n 次多项式 P n ( x) a0 a1x
故 a ea 85.9527,
b 0.1323.
正交多项式曲线拟合
定义：设有 0 ( x), 1 ( x),
m
,n ( x) ，若其在点集 {xi }im 0 上满足
jk 0, ( j ,k ) i j ( xi )k ( xi ) ， 2 i 0 || j ||2 , j k
m
Q ( Pn ( xi ) yi ) 2 min
i 0
将拟合函数取为多项式的曲线拟合问题称为 多项式拟合问题 。拟合曲线
Pn ( x) a0 a1x
an xn 也称最小二乘拟合多项式。
问题：如何求解系数 a0 , a1, , an ？
Q(a0 , a1 ,
j 0,
3
3
3
4 2 a0 8.2 对应的法方程组为 a 2 6 14.1 1
得到 a0 1.05, a1 2 ,
则对应的一次拟合多项式为 y 1.05 2 x 。
解二：设一次拟合多项式为 y a0 a1 x ，
i 0
2
n i akk ( xi ) yi min 。 k 0 i 0
m
2
10
问题如何求解系数 a0 , a1, , an ？
m n Q Q 要使 Q 最小，只需 0 ，即 2i akk ( xi ) yi j ( xi ) 0 a j a j i 0 k 0
例. 给定数据如下表，用最小二乘法求形如 y aebx 的经验公式。
x
y
2.2 65
2.7 60
3.5 53
4.1 50
4.8 46
解： y aebx ln y ln a bx ，记 a ln a,
y a bx ，
4.1 50 4.8 46
x
y
2.2 65 4.1744
( x ) ( x ) (x )
i 1 i 0 i i i 2 1
( x ) ( x ) a ( x ) ( x ) a
i n i 0 i i n i 1 i
( x ) ( x )
i 1 i n i

i
2 n
,n ( x) 为 n 1 线性无关的函数，而 span{0 ( x),1 ( x), ,n ( x)}(n m) 。
n
对给定的一组数据 {( xi , yi )}
m
m i 0 ，在
中求函数 P( x) akk ( x) ，使得平方和
k 0
Q i P( xi ) yi
n2
n 3
i
a y i 0 n 1 a xi yi 1 i 。 2 n an n xi xi yi
n i
思考：若记矛盾线性方程组对应的系数矩阵为 A ， 法方程组对应的系数矩阵为 B ， 那么， A, B 有什么关系？
得到 a0 1.05, b 2 ，
拟合多项式为： y 1.05 2 x 。
线性最小二乘拟合的一般形式
把多项式拟合问题做两个方面的推广：
i 1. 函数系由多项式空间 x i ( x) 线性无关


2. 加权系数 i (i 0,1,
, m)
设 0 ( x), 1 ( x),
, Pn ( x)} 为点集 {xi }im 0 上带权 i 的离散正交多项式系。
在离散正交函数系条件下，法方程组对应的系数矩阵就化为对角阵，方程组求 解非常容易。因此，问题化为如何构造正交函数系，而正交多项式系是最简单的正 交函数系。
14
正交多项式的构造
假设已知节点 x0 , x1 ,
n 列 {P ( x )} i i 0 ：
第五章 曲线拟合和函数逼近
最小二乘原理和多项式拟合 最小二乘原理 多项式拟合 一般的最小二乘拟合 正交多项式曲线拟合 函数逼近
最小二乘原理
例：已知一组实验数据
xi yi
-1 -0.9
0 1
1 3
2 5.1
如何建立 x 与 y 之间的关系？
观察得知两个变量之间大约成线性关系，我们就用直线方程 来描述，设 P 1 ( x) ax b ，如何来确定系数 a , b ?
, xm ，及权重 i ，可用递推公式给出带权 i 的正交多项式序
P0 ( x) 1 P 1 ( x ) ( x 1 ) P 0 ( x) P ( x) ( x ) P ( x) P ( x) k 1, 2, k 1 k k k 1 k 1
则称 {0 ( x),1 ( x),
注：若 {0 ( x),1 ( x), 则称 {P 0 ( x), P 1 ( x),
,n ( x)} 为点集 {xi }im 0 上带权 i 的离散正交函数系。
,n ( x)} {P 0 ( x), P 1 ( x), ,P n ( x)} ， P k ( x ) 为 k 次多项式，
7
例：给定以下的数据，用最小二乘法求一次拟合多项式。
xi yi
-1 -0.9
0 1
1 3
2 5.1
解：设一次拟合多项式为 y a0 a1 x ， 由于
1 4, x
i 0 i 0
3
3
i
2, xi 6, yi 8.2, xi yi 14.1,
2 i 0 i 0 i 0
常用的有最小二乘原理， 即使得误差的平方和
2 r i 最小，也就是使得 || r ||2 最小。
在本例中记 Q(a, b) 求极值的思想，则需满足
2 ，要求 a , b 使 Q (a, b) 最小。根据 r ( ax b y ) i i i 2 i 0 i 0
3
3
Q(a, b) 12a 4b 28.2 0 a Q(a, b) 4a 8b 16.4 0 b
, an ) (a0 a1 xi
i 0
m
an xi n yi )2 ， 要 使 Q 最 小 ， 只 需
Q 0 ， a j
, n ，即
m Q a 2(a0 a1 xi i 0 0 m Q 2(a0 a1 xi a1 i 0 m Q 2(a0 a1 xi i 0 an
( xPk , Pk 1 ) ( Pk , Pk ) ( Pk 1 , Pk 1 ) ( Pk 1 , Pk 1 )
2 P i k ( xi )
m
P
i 0
i 0 m
，k 1, 2,
, n 1 。
15
2 i k 1
( xi )
例. 试构造点集 {1, 0.75, 0.5, 0.25,0,0.25,0.5,0.75,1} 上的离散正交 多项式系 {P 0 ( x), P 1 ( x), P 2 ( x)} . 利用所求的离散正交多项式系,对下表中的数据求二次拟合多项式。 x -1 -0.75 -0.5 0 0.25 0.5 0.75 1 y -0.2209 0.3295 0.8826 1.4392 2.003 2.5645 3.7061 4.2836
1 1 1 0 , G 1 1 1 2
0.9 1 y 3 5.1
对应的法方程组为 GT Ga GT y ，即为：
4 2 a0 8.2 a 2 6 14.1 1
( xi )
i0 ( xi ) yi (x ) y i 1 i i 1 a (x ) y n i n i i
0
注：多项式拟合实际上是选取 0 ( x), 1 ( x),
,n ( x) 为 1, x,
a b 0.9 0 a b 1 若将系数直接代入方程 P ，则有 1 ( x) ax b a b 3 2a b 5.1
这是一个矛盾方程组， P 1 ( x) ax b 一般不会通过所有点，那么就会有误差
ri P 1 ( xi ) yi ，那么将误差 ri 的大小作为衡量系数 a , b 好坏的标志。
2.7 60 4.0943
3.5 53 3.9703
ln y
3.9120 3.8286
17.3 a 19.9797 a 4.4538 5 法方程组为 17.3 64.223 b 68.5512 b 0.1323