数值计算方法-第6章-函数逼近

第6章 函数逼近
证明. 对 ( x) cii ( x) H , 证明 F (c0 ,, cm ) F (a0 ,, am )
i 0
m
F (c0 , , cm ) i yi ( xi ) i ( yi ( xi )) ( ( xi ) ( xi ))


线性最小二乘法的一般形式
第6章 函数逼近
方法 数据点 ( xi , yi ) (i 1,, n), 线性无关函数组: 0 ( x), 1 ( x),, m ( x) 取拟合函数: ( x) a00 ( x) a11 ( x) amm ( x)
m 误差函数: F (a0 , a1 ,, am ) i yi ( xi ) i yi akk ( xi ) i 1 i 1 k 0 i 0(i =1, 2,..., n) 为权系数. n i yi ( xi ) j ( xi ) 0 要求F极小, 即 F a j 0 ( j 0,1,, m)
n n xi i 1 n x z i i b i 1 i 1 n n 2 a x z x i i i i 1 i 1
n
分式线性拟合
第6章 函数逼近
b a
n
m
n
( x
k 0 i 1
m
n
k j i
)ak yi xij
i 1
n
( j 0,1,, m)

m
确定拟合多项式的系数
n i 1 k j i
第6章 函数逼近
( x
k 0
)ak yi xij
i 1
n
( j 0,1,, m)
j=0 j=1
j=m
n n n n 2 m na ( x ) a ( x ) a ( x i 1 i 2 i ) am yi 0 i 1 i 1 i 1 i 1 n n n n n 2 3 m 1 ( xi )a0 ( xi )a1 ( xi )a2 ( xi )am yi xi i 1 i 1 i 1 i 1 i 1 n n n n n m m 1 m2 2m m ( x ) a ( x ) a ( x ) a ( x ) a y x 1 i 2 i m i i i 0 i i 1 i 1 i 1 i 1 i 1
2 i
x
3 i
n x y i i 1 a0 i 1 n n yx 3 x a i 1 i i i 1 a2 i 1 n n 4 2 xi yi xi i 1 i 1
i 1 k 0
k 0 i 1
F (c0 , , cm ) i yi ( xi ) F (a0 , a1 ,, am )
2 i 1
n
正则方程的 第k个方程
i yi ( xi ) 即, i yi ( xi ) min H
2 i 1 i 1
n 2 n n
n
n
2
i yi ( xi ) 2 i yi ( xi )][ ( xi ) ( xi ) i ( xi ) ( xi )
i 1 i 1 i 1
ຫໍສະໝຸດ Baidu
2
I
n m
m n
0 0
I
i [ yi ( xi )][ (ak ck )k ( xi )] (ak ck )[ i [ yi ( xi )]k ( xi )]
n 2 i
6 15 55 a0 4.101 15 55 225 a 9.938 1 55 225 979 a2 32.116
a0 0.379857 a 0.504886 1 a2 0.104571
观测数据点
数据变换
直接拟合 (非线性) 线性拟合
非线性拟合结果
反变换
变换后的 数据点
线性拟合参数
非线性拟合函数
② 实际问题中, 各个数据点的重要性可能不相等, 定义误差函数: n (a0 , a1 ,, am ) F (a0 , a1 , , am ) i i2 取极小
i 1
加权系数
拟合曲线图


指数拟合
第6章 函数逼近
方法 当数据点 ( xi , yi ) (i 1,, n) 接近于指数曲线分布时, 可用指数函数进行拟合: y beax F n axi axi n 0 2 y be bx e 0 i i axi a F (a, b) yi be 取极小 i 1 n i 1 F axi axi 0 y be e 0 i 称为非线性最小二乘问题. b i 1 改进的方法 ln yi 关于x的线性函数 数据点 ( xi , zi ) z ln y ln b ax 拟合多项式: z a0 a1 x 正则方程:
第6章 函数逼近

函数逼近的概念
实际问题中, 通过测量或数值计算得到一批离散的数据, 希望通过 某种函数(曲线)来描述它, 且使得它在某种意义下最“贴近”这批 数据, 这就是数据拟合, 也称为函数逼近. 函数逼近的例子 从图形上可看出, 数据分布接近 一组实验数据: 于直线: y ax b
由于 i ( x) (i 0,1,, m) 线性无关, 系数矩阵非奇 异, 方程有唯一解. 下面证明 ( x) 就是所求 的最小二乘函数.
定理6.1 (最小二乘解) m 设(a0,a1,…,am) 是满足上述正则方程的解, 则 ( x) aii ( x) 是数 i 0 据点(xi,yi) (i=1,…,n) 的最小二乘函数.
一. 数据拟合的最小二乘法

第6章 函数逼近
最小二乘法的基本思想
一组给定的数据点 (i=0,1,…n)
2 n 2 [ y ( x )] min [ y ( x )] i i i i i 1 n
(xi, yi) 即,
选取近似函数类H, 寻求 函数 ( x) H , 使得
i 1 2 i n i 1
2 残差平方和: F (a0 , a1 ,, am ) [ yi Pm ( xi )]
F 要求F(a0,…,am) 极小 0 ( j 0,1,, m) a j
2 [ yi Pm ( xi )]xi 0
j i 1
n
j ( a x ) x y x ii i i 1 k 0 k k i j i 1
记为, [A]a f
称为正则方程组, 或法方程组.
可以证明, 该方程组有唯一解(a0,a1,…,am), 从而得Pm(x). 但要注意, 系数矩阵A通常是病态的, 其条件数cond(A)非常大.

多项式拟合的例子
i Xi yi 1 0 0.356 2 1 0.805 3 2 1.005 4 3 0.942 5 4 0.668
2 [ y ( x )] 最小. i i i 1 2 i i 1 n n
H
i 1
H通常采用比较简单的函数类, 如低阶多项式, 指数函数等.


多项式拟合
n
方法 数据点: ( xi , yi ) (i 1,, n)
m次多项式: Pm ( x) a0 a1 x am x m (m n)
第6章 函数逼近
6 5 0.325
用二次多项式拟合这批数据. 解. 二次拟合多项式: P2 ( x) a0 a1 x a2 x 2 正则方程 (n=6):
n n xi i 1 n 2 xi i 1
x
i 1 n
n
i
x
i 1 n i 1
这一标准虽然简单, 但使用上不太方便.
i min ② 使残差绝对值最大的分量达到最小, 即: max i
这一方法称为最佳一致逼近.
2 ③ 使残差的平方和达到最小, 即: i min i
这一方法称为最佳平方逼近, 通常也称为曲线(数据)拟合的最小二 乘法. 该方法较简单, 是应用中常用的一种方法.
n n xi i 1
n
线性最小二乘问题
a0 a 1
n xi zi a i 1 0 i 1 n n 2 a1 x z x i i i i 1 i 1
2 i 1 i 1
n
n
2
证毕 #
正交多项式方法的提出 正则方程一般是病态的, 尤其是m比较大的情况, 这样得到的系数 (a0,a1,......,am) 误差较大.
最小二乘拟合的一般步骤 ① 通过观测数据点的形态, 确定拟合函数的形式; ② 对于一些简单的非线性问题, 通过合适的变换化成线性问题; ③ 由最小二乘的正则方程确定拟合函数中的参数; ④ 对于非线性问题, 将线性拟合函数再反变换成非线性函数. 几点说明 ① 对于指数函数拟合问题:

第6章 函数逼近
n 2
n
2
i 1
[
k 0 i 1 i
m
n
j
( xi )k ( xi )]ak i yi j ( xi ) 记: ( , ) ( x ) ( x ) k j i j i k i
n i 1 i 1
n
正则方程:
(0 , 0 ) (0 , 1 ) ( , ) ( , ) 1 1 1 0 (m , 0 ) (m , 1 ) (0 , m ) a0 (0 , y) a ( , y) (1 , m ) 1 1 (m , m ) am (m , y)
i Xi yi 1 2 1.1 2 4 2.8 3 6 4.9 4 8 7.2
如何选取a,b, 使得直线“最好” 地贴近于数据点? 记, yi* axi b
i yi yi*
残差
评判残差大小的标准?

衡量残差大小的标准
第6章 函数逼近
① 使残差的绝对值之和最小, 即:

i
i
min
ye e a0 a1 x 即: y e e
z
a0 a1x

1 当数据点分布接近于函数 y 时 ax b 1 1 作变换: z ax b 对数据点 ( xi , zi ) 进行线性最小二乘拟合. yi y 1 1 参数a, b y 拟合曲线 z ax b z ax b t 当数据点分布接近于函数 y 时 a bt 1 1 1 1 作变换: x , z ax b 对数据点 ( xi , zi ) 进行线性最 ti yi y t 小二乘拟合. 1 1 t 参数a, b y 拟合曲线 z ax b z ax b a bt 上面两种拟合中, 参数a, b 满足以下正则方程: