第3章 函数逼近与快速傅里叶变换

方程组称为正则（或正规）方程组或法方程组，矩阵形式为：
0 ,0 0 ,1
1
,
0
1 ,1
n ,0 n ,1
0 ,n a0 0 , f
1 ,n
a1
1
,
f
n ,n
an
n , f
7
2020年4月14日
《数值分析》 黄龙主讲
注意：法方程组为线性方程组，其系数矩阵为对称矩阵。
i0
m
k , f ik xi f xi i0
同样，可得法方程
k 0,1, ,n
a0 k ,0 a1k ,1 an k ,n k , f
0 ,0 0 ,1
1
,
0
1 ,1
n ,0 n ,1
0 ,n a0 0 , f
1 ,n
a1
1
,
f
n ,n
当 0 x,1x, ,n x 线性无关时，有唯一解
ai a*i ， i 0,1, ,n
相应的拟合函数为
n
* x a*00 x a1*1x a*nn x a*i i x i0 ——这就是满足残差平方和为最小的最小二乘解。
8
2020年4月14日
《数值分析》 黄龙主讲
4. 加权最小二乘法 实际问题中的实验数据并不是等精度、等重要性的。 为了衡量数据的精度和重要性，需对数据加权处理。
px a0 a1 x an xn
4
2020年4月14日
《数值分析》 黄龙主讲
数学模型：对于给定的数据 xi , f xi ， i 0,1, ,m 要在给定的函数空间 Span 0 ,1 , n 中寻找一个函数
n
* x a*00 x a1*1x a*nn x a*i i x i0
an
n , f
10
2020年4月14日
《数值分析》 黄龙主讲
总结：
① 对于给定数据 xi , yi ，i 0,1, ,m 在函数空间存在唯一函数
n
* x a*00 x a1*1x a*nn x a*i i x i0
使得残差平方和为最小。
② 最小二乘解的系数 a*0 ,a1* , ,a*n 可通过解法方程组求得。
法方程组为
8 22
22 a0 74 a1
47 145.5
解得 a0 2.5648 ，a1 1.2037
拟合直线为 S1* x 2.5648 1.2037x
16
2020年4月14日
《数值分析》 黄龙主讲
P75例10 设数据 xi , yi i 0,1由,2,3表,43 -2给出，表中第4行为
按某种度量标准为最小，这就是曲线拟合问题（函数逼近）。
涉及两方面的内容： ① 误差或残差的度量标准——范数； ② 函数类的选择——函数空间。
2
2020年4月14日
《数值分析》 黄龙主讲
1. 定义范数
残差 i 构成残差向量 0 ,1 , , m ，有三种范数
m
m
1 i xi f xi ，称为 1 范数；
，ln可yi以 看yi
出数学模型为
，用y 最a小ebx二乘法确定 及 。 a b
i
0
1
2
3
4
xi 1.00 1.25 1.50 1.75 2.00 yi 5.10 5.79 6.53 7.45 8.46 yi 1.629 1.756 1.876 2.008 2.135
解：将拟合曲线 y aebx 两边取对数得 lny lna bx 若令 y lny ， A lna ，得线性方程 y A bx
18
2020年4月14日
《数值分析》 黄龙主讲
P00例1 已知实验数据 xi 0.0 0.2 0.4 0.6 0.8
yi 0.9 1.9 2.8 3.3 4.2
用最小二乘法求拟合曲线
y。 a bx
解：这里 m 4 ，n 1 ， 0 1 ， 1 x
m
4
0
,
0
2 0
xi
1
5
i0
i0
m
4
0 ,1 1 ,0 0 xi 1xi xi 2
这里 m 4 ，n 1，0 1 ，1 x
4
0 ,0 i 8 i0 4
0 ,1 1 ,0 i xi 22 i0
15
2020年4月14日
《数值分析》 黄龙主讲
4
1 ,1 i xi2 74 i0 4
0 , f i yi 47 i0
4
1 , f i xi fi 145.5 i0
《数值分析》 黄龙主讲
第3章 函数逼近与快速傅里叶变换
3.4 曲线拟合的最小二乘法
3.4.1 最小二乘法及其计算 曲线拟合： 科学实验中，通过一组实验数据，寻找数据变化规律， 确定函数的近似表达式，求取一条近似曲线。 需要注意：数据较多，存在误差，拟合曲线只能反映总趋势。 与插值法不同： ① 曲线不是严格地通过每个数据点，无需高次多项式插值； ② 曲线反映总的变化规律，去掉了数据所含的测量误差。
i0
i0
max i
i
max i
xi
f xi
，称为 范数；
2
m i0
2 i
1
2
m i0
xi
f
xi
2
1
2
，称为
2
范数。
其中，误差平方和最小的拟合，称为曲线拟合的最小二乘法：
m
m
2
2 2
2 i
xi
f xi
i0
i0
3
2020年4月14日
《数值分析》 黄龙主讲
2. 函数空间
③ 用最小二乘解来拟合数据 xi , yi ，i 0,1, ,m 平方误差为
2 * y,* y y, y * ,* 2
11
2020年4月14日
《数值分析》 黄龙主讲
5. 直线拟合的实例
设已知数据点 xi , yi ，i 0,1, ,m ，分布大致为一条直线，
利用最小二乘原理，作拟合直线 y a bx ，
3. 最小二乘法 设多元函数
m
J a0 ,a1 , ,an a00 xi a11xi ann xi f xi 2 i0
要使 J 达到最小，由多元函数取极值的必要条件
可得方程组
J 0 ， k 0,1, ,n ak
J
ak
m
2 k xi a00 xi a11xi
i0
ann xi
解得 a 1.02 ， b 4 拟合直线为 y 1.02 4x
14
2020年4月14日
《数值分析》 黄龙主讲
P75例9 已知一组实验数据如表3-1，求它的拟合曲线。
xi
1
wk.baidu.com
2
3
4
5
fi
4
4.5
6
8
8.5
i
2
1
3
1
1
解：将所给数据在坐标纸上标出，可看到各点在一条直线附近，
故可选择线性函数作拟合曲线，令 S1 x a0 a1 x
i0
i0
m
4
1 ,1
12 xi
x
2 i
1.2
i0
i0
13
2020年4月14日
《数值分析》 黄龙主讲
m
4
0 , f 0 xi f xi yi 13.1
i0
i0
m
4
1 , f 1xi f xi xi yi 6.84
i0
i0
法方程组为 5 2 a 13.1 2 1.2b 6.84
具有确定关系的函数集合，称为函数空间。
假设 i x ，i 0,1, ,n 是一组线性无关的给定函数， x 表示由 0 ,1 , ,n 组成的函数空间， x 表示为
x a00 x a11x ann x
则 0 ,1 , ,n 称为空间 的一组基，记为
Span 0 ,1 , n
例如次数不超过 n 次的多项式集合 Hn ， p x H n 表示为
为确定 A 、b ，将 xi , yi 转化为 xi , yi ，数据表如图 根据最小二乘法，取 0 x 1 ，1x x ， x 1
17
2020年4月14日
《数值分析》 黄龙主讲
4
4
0 ,0 i 5 ， 0 ,1 1 ,0 i xi 7.5
i0
i0
4
1 ,1 i xi2 11.875 i0
设 i 为反映数据 xi , f xi 比重的权值，
（ i 0 ，可表示数据观测的次数）
要求在函数空间 x 中寻找一个函数 x ，使
m
m
i
2 i
i xi
f
xi 2
i0
i0
为最小，这就是加权最小二乘法。
9
2020年4月14日
《数值分析》 黄龙主讲
若记
m
k , j ik xi j xi
该直线不是通过所有数据点 xi , yi ，而是使残差平方和为最小：
m
yi a bxi 2
i0
确定直线参数 a 、 b ，取 0 1 、1 x ，法方程组为
m
1
m
xi
a
m yi
i0 m
i0
xi
i0 m i0
xi2
b
i0 m
xi
i0
yi
12
2020年4月14日
4
4
0 , y i yi 9.404 ， 1 , y i xi yi 14.422
i0
i0
法方程组为 5 7.5 A 9.404
7.5
11.875
b
14.422
解得 A 1.122 ， b 0.505 ，有 a e A 3.071 拟合曲线为 y 3.071e0.505x
1
2020年4月14日
《数值分析》 黄龙主讲
数学描述：对某一未知函数 y f x ,有一组实验数据
xi , f xi ， i 0,1, ,m 在某特定函数类 x 中，寻找一个函数 x 作为 y f x 的近似，
并使两者在 xi 上的误差或残差
i xi f xi ， i 0,1, ,m
f xi 0
m
k xi a00 xi a11xi ann xi f xi 0
i0
k 0,1, ,n
6
2020年4月14日
《数值分析》 黄龙主讲
引入 内积：
m
k , j k xi j xi i0 m
k , f k xi f xi i0
k 0,1, ,n
方程组为： a0 k ,0 a1k ,1 an k ,n k , f
使 * x 满足
m
m
2 2
* xi
i0
f
xi
2 min
x i 0
xi
f
xi
2
这种求拟合函数 * x 的方法，称为曲线拟合的最小二乘法。
当确定出拟合参数 a*0 ,a1* , ,a*n ，就可得到拟合函数 * x 。
5
2020年4月14日
《数值分析》 黄龙主讲