第六章最佳平方逼近与最小二乘拟合OK

0 (x) 1,
k (x)
xk
k 1
ckj
(k j (x),
1,2,
, n)
j0
其中系数 ckj
(xk , ( j ,
j j
) )
,(
j
0,
,k
1)，
——格兰姆-史密特（Gram-Schmidt）正交化
School of Math. & Phys.
6
North China Elec. P.U.
ln y 2.6603 2.1163 1.5476 2.1163 3.1224
5 0
0 c1 34 c2
11.5629
2.9611
c1 c2
2.3126 0.0871
a ec1 10.1007 ,b c2 0.0871
#
School of Math. & Phys.
15
North China Elec. P.U.
生成空间 Η n span1,2 , ,n c[a, b]，
n
则p(x) Hn ,有 p(x) cii (x).并称i (x)(i 1, ,n)为基函数 i 1
定义：对c[a,b]内的两个函数 f(x)、 g(x)，定义内积
（f , g)
b
(x) f (x)g(x)dx,
a
((x) 0为[a,b]上的权函数 )
最佳平方逼近误差越小，说明函数空间Hn对 f(x)的逼近效果越好。
School of Math. & Phys.
3
North China Elec. P.U.
Numerical Analysis
2020/4/8
例
1
定义内积 ( f , g) f (x)g(x)dx， 0
J. G. Liu
试在函数空间 H1 Span{1, x} ，寻求对于函数 f (x) x
x
-3
-2
-1
2
4
y 14.3 8.3 4.7 8.3 22.7
(1) 求形如 y ax2 b 的拟合函数； (2) 求形如 y aebx 的拟合函数；
解 (1) 法方程为
370 34 a 563
34
5
b
58.3
a b
1.2 3.5
J. G. Liu
School of Math. & Phys.
School of Math. & Phys.
10
North China Elec. P.U.
Numerical Analysis
线性最小二乘逼近的求法
2020/4/8
J. G. Liu
记
n
p(x) cii (x)
i 1
考虑多元函数
2
m
I (c1, ,cn )
k 1
p(xk ) yk
b
(
x)
a
f
(x)
n i 1
cii
(
x)
2
dx
多元函 数取得 极小值 的必要 条件
I
c j
2
b
(
x)
a
f (x)
n cii (x) j (x)dx 0
i 1
( j 1,2, ,n)
n
b
b
i.e. ci ( a (x)i (x) j (x)dx) a (x) f (x) j (x)dx
的最佳平方逼近函数 p(x) 。
解
1(x) 1, 2 (x) x
简单计算可得
(1 ,1 )
1,
(2 ,1)
1 2
, (2 ,2 )
1, 3
(
f
,1 )
2 ,( 3
f
,2 )
2, 5
法方程为 1
1 2
1 2
c1
1 3
c2
23
2
5
c1 c2
415
4
5
所以
p(x) 4 4 x, x [0,1]
School of Math. & Phys.
9
North China Elec. P.U.
Numerical Analysis
线性Βιβλιοθήκη Baidu小二乘逼近
2020/4/8
J. G. Liu
已知一组离散数据 (xi , yi )(i 1,2, , m) ，
函数组i (x)(i 1,2, , n)关于点集 xi (i 1, , m)线性无关，
2、切比雪夫(Chebyshev)多项式
区间[1,1]上带权(x) 1 的正交多项式： 1 x2
Tn (x) cos(n arccos(x))，n 0,1, 2,L 称为切比雪夫（Chebyshev)多项式。
School of Math. & Phys.
7
North China Elec. P.U.
j 1 k 1
k 1
School of Math. & Phys.
11
North China Elec. P.U.
Numerical Analysis
2020/4/8
J. G. Liu
若记 G (gij ),b b1, ,bn T ,c c1, ,cn T
其中
m
m
gij i (xk ) j (xk ), bi yki (xk ) (i, j 1,2, , n)
b
a (x) f (x) j (x)dx,
c (c1, c2 , , cn )T ,
可得
Ac b —— 法方程或正规方程
可以证明，A为非奇异矩阵，故法方程存在唯一解！ 所以 f(x)在空间Hn中的最佳平方逼近函数 p*(x)存在并唯一！
记 ( f p*, f p*)
称之为最佳平方逼近误差！ 注：
Numerical Analysis
2020/4/8
常见的正交函数系
1、勒让德(Legendre)多项式
区间[1,1]上带权(x) 1的正交多项式：
L0 Ln
(x) (x)
1
1 2n n!
dn dx n
[( x 2
1)2
，n ]
1,
2,L
称为勒让德（Legendre)多项式。
J. G. Liu
14
North China Elec. P.U.
Numerical Analysis
2020/4/8
J. G. Liu
(2) 因为
y(x) aebx
由原数据表可得
u(x) c1 c2x (u ln y,c1 ln a,c2 b)
x
-3
-2
-1
2
4
y
14.3 8.3
4.7
8.3 22.7
u(x) c1 c2 x
(u 1 ) y
u(x) c1 c2x (u ln y,c1 ln a,c2 b)
School of Math. & Phys.
13
North China Elec. P.U.
Numerical Analysis
2020/4/8
例 已知数表，求其最小二乘拟合函数
问题的提出：
在实际问题中，往往会通过实验观测积累了一组数据，(xi,yi),i=1,…,m， 一般来说m比较大，我们的任务是从这批实验数据出发，寻求一近似函 数φ(x) 来逼近这组数据后面隐藏的函数关系 y=f(x)。
可不可以用插值函数来逼近呢？
事实上，由于观测数据数目较大，又往往带有观测误差，对于这类 问题运用插值函数来逼近 y=f(x) 往往是不适当的！
若（f , g) 0，则称函数 f(x)和 g(x)是正交的。
从而可以定义范数: f f , f , f (x)C[a,b] 2
School of Math. & Phys.
1
North China Elec. P.U.
Numerical Analysis
2020/4/8
J. G. Liu
定义： 给定[a,b]的连续函数函数 f(x)， 若 p * (x) Hn 满足
可以证明法方程存在唯一解 ci * (i 1,2, , n)。
n
p * (x) ci *i (x)
称
i 1 m
p * (xk ) yk 2
k 1
为最小二乘拟合和的误差平方和。
注： 该值越小，说明拟合效果越好。
非线性最小二乘拟合的线性化
（1） y(x) 1 c1 c2 x
（2）y(x) aebx
计算量是比较大的,虽然取Hn Span 1, x， , xn , (x) 1, 计算简单, 但
是当n 7时,法方程严重病态,求解不便.
若函数组 1(x),2 (x), ,n (x) ，是两两正交的 ，
则法方程为
b
b
cj a (x) j (x) j (x)dx a (x) f (x) j (x)dx ( j 1,2, , n)
要求一个函数
p*(x) Ηn span1,2,L ,n (n m)
使得
m
m
k1
p * (xk ) yk
2 min pH n k 1
p(xk ) yk
2
显然p*(x)可以表示成
n
p * (x) ci *i (x) i 1
下面考虑如何求系数 ci * (i 1,2, , n) ！
i 1
School of Math. & Phys.
2
North China Elec. P.U.
Numerical Analysis
2020/4/8
J. G. Liu
记
A (aij ),
b
aij (i , j ) a ji a (x)i (x) j (x)dx,
bj ( f , j )
从而可得
b
c j
a (x) f (x) j (x)dx
b
a (x) j (x) j (x)dx
( f , j ) ( j , j )
( j 1,2, , n)
求解相当方便！
School of Math. & Phys.
5
North China Elec. P.U.
Numerical Analysis
f p * 2 ( f p*, f p*) min ( f p, f p)
2
pH n
则称 p*(x)为 f(x)在空间Hn中的最佳平方逼近函数。
f(x)的最佳平方逼近函数的求法：
n
p(x) cii (x)
记
I
b
( x)(
f
(x)
p(x))2 dx
i 1
a I (c1, ,cn )
Numerical Analysis
2020/4/8
J. G. Liu
第六章 最佳平方逼近与最小二乘拟合
6.1 连续型最佳平方逼近
用简单函数p(x)逼近一个给定区间[a,b]上的连续函数 f(x)，是函数逼 近要研究的问题。度量逼近误差的标准有多种，下面只介绍最佳平 方逼近。
最佳平方逼近的概念
设函数组 1(x),2 (x), ,n (x) c[a,b]，且在[a,b]上线性无关，
2
m k 1
n j 1
c
j
j
(
xk
)
yk
为了求得p*(x)，只需求多元函数 I (c1, , cn ) 的极小值点即可！
由多元函数极值的必要条件
I (c1, , cn ) 0 (i 1,2, , n)
可得
ci
n
m
i (xk ) j (xk )c j
m
yki (xk )
(i 1,2, ,n)
k 1
k 1
则有
Gc b （法方程或正规方程）
注：
容易验证
G AT A
其中
1(x1) n (x1)
A
1(xm ) n (xm )mn
School of Math. & Phys.
12
North China Elec. P.U.
Numerical Analysis
2020/4/8
J. G. Liu
Hn (x)
(1)n ex2
dn dx n
(ex2 ), n
0,1, 2,L
称为埃尔密特（Hermite)正交多项式。
5、三角函数系
School of Math. & Phys.
8
North China Elec. P.U.
Numerical Analysis
2020/4/8
J. G. Liu
6.2 离散型最佳平方逼近（最小二乘拟合）
多项式基函数的正交化
2020/4/8
J. G. Liu
（1）设 Hn Span 1, x, , xn ;
（2）(x) 0权函数，
则由基 1, x, , xn 可构造以 (x为) 权函数的正交多项式组
{0 (x)，1(x)， ，n (x)}
使得 k (为x) 首项（即 项xk ）系数是1的k次多项式，即
Numerical Analysis
2020/4/8
3、拉盖尔(Laguerre)多项式
区间[0, )上带权(x) ex的正交多项式:
Un
(x)
ex
dn dx n
(xnex
), n
0,1, 2,L
称为拉盖尔（Laguerre)正交多项式。
J. G. Liu
4、埃尔密特(Hermite)多项式
区间（ , ）上带权(x) ex2的正交多项式:
15 5
#
希尔伯特矩阵 : H (1 (i j 1))nn — —病态矩阵
School of Math. & Phys.
4
North China Elec. P.U.
Numerical Analysis
2020/4/8
J. G. Liu
对于一般的基函数i (x)(i 1, , n),当n比较大时, 计算和求解法方程的