数值分析第四章函数逼近与拟合

内积空间
内积空间
( x, y) xi yi x1 y1 x2 y2 xn yn
i 1 n
设 X 是数域 K (R 或 C) 上的线性空间，对 u, v X 有 K 中的一个数 (u, v) 与之对应，且满足
(1) (2) (3) (4)
(u, v ) (v, u) ( u, v ) ( u, v ), K
a k
) [a
m i 1
0
a1 x i ... a n x
n i
y]
i
2
正规方程组、法方程组 回归系数
m n m P ( xi ) 2 [ a j x ij y i ] x ik 0 2 [ P ( xi ) yi ] ak ak i 1 i 1 j 0
线性化：由 ln y ln a b 可做变换 x
1 , A ln a , B b Y ln y , X x Y A BX 就是个线性问题
将 ( x i , y i ) 化为 ( X i , Y i ) 后易解 A 和B
a e A , b B , P( x ) a e b / x
PHn
则称 P*(x) 为 f(x) 在 [a, b] 上的 最佳逼近多项式
最佳一致逼近
f ( x) P * ( x)

min f ( x ) P ( x )
PHn
函数逼近
最佳平方逼近
f ( x ) P * ( x ) 2 min f ( x ) P ( x )
PHn 2
逼近标准
度量 p(x) 与 f(x) 的近似程度的常用两种标准 使
p f

max | p( x ) f ( x ) | 尽可能地小。 a x b
一致逼近
使 p f
b 2 p( x ) f ( x ) dx 尽可能地小。 a 1 2
2
最小二乘拟合
给定 f(x)C[a, b] 的数据表
x x0 x1 y y0 y1
… …
2
xn yn
寻找 P*(x) ，使得下面的离散 2-范数最小
f ( x ) P( x )
i 1 i i
n
曲线拟合----最小二乘拟合多项式
确定多项式 P( x) a0 a1 x ... an x n ，对于一组数 据(xi, yi)
wenku.baidu.com
定理 L-S 拟合多项式存在唯一 (n < m)。
证明：记法方程组为 Ba = c .
1 x1 T BΦ Φ . . 则有 其中 Φ . . T . . c Φ y 1 x m
x12 ... x1n . . . . . . . . . 2 n xm ... x m
m
(i = 1, 2, …, n)
使得 [ P ( xi ) yi ]2 达到极小，
i 1
这里 n << m。 实际上是 a0, a1, …, an 的多元函数，即
( a 0 , a1 , ... , a n
在 的极值点应有 0 , k 0, ... , n
a x b
在 [a, b] 上一致成立。
范数
范数与赋范线性空间
设 S 为线性空间，xS，若存在唯一实数 || ·||，满足 (1) 正定性：||x|| 0，等号当且仅当 x = 0 时成立 (2) 齐次性：||x|| = || ·||x||， R (3) 三角不等式：|| x+y || || x || + || y || 则称 || ·|| 为 S 上的范数，(S, || ·||) 称为赋范线性空间
对任意 u 0 R n1 ，必有 Φ u 0 。 则 uT B u uT ΦT Φ u || Φ u ||2 2 0 B为正定阵，则非奇异，所以法方程组存在唯一解。
定理 Ba = c 的解确是 的极小点。即：设 a 为解，则任
意 b = (b0 b1 … bn )T 对应的多项式 F( x) bj x j 必有

b
a
x k ( x ) dx ，存在且为有限值
(2) 对 [a, b] 上的任意非负函数 g(x) ，
若

b
a
g ( x ) ( x ) dx 0 ， 则 g( x ) 0
则称 (x) 是 [a, b] 上一个权函数 [a, b] 可以是无限区间，即 a, b 可以是无穷大 权函数与定义区间有关
( , ) ( , ) ( , ) n n n n n 0
函数逼近
最佳逼近
记 Hn 为所有次数不超过 n 的多项式
组成的集合，给定函数 f(x)C[a, b]，若 P*(x)Hn 使得
f ( x ) P * ( x ) min f ( x ) P ( x )
Gram 矩阵
则 G 非奇异当且仅当 u1, u2, , un 线性无关。
内积
内积导出范数： 例：Rn 上的内积：
导出的范数为
x ( x, x )
n
( x, y) xi yi x1 y1 x2 y2 xn yn
i 1
2 1 2 2 2 1/2 n
x x x x
n
max xi
1 i n
赋范线性空间
赋范线性空间 C[a, b]
线性空间 C[a, b] ，f(x)C[a, b]
① 1-范数： f ( x ) 1 a f ( x ) dx
② 2-范数： f ( x ) 2
b

b
a
f 2 ( x ) dx
f ( x) ③ -范数： f ( x ) max a xb
3
最小二乘拟合
已知 x1 … xm ; y1 … ym, 求一个简单易算的近 m 似函数 P(x) f(x) 使得 [ P ( xi ) yi ]2最小。
数值分析
第四章
函数逼近
函数逼近
三个问题 问题一 已知一个函数的数值表
x y
x1 y1
x2 y2
…… ……
xm ym
能否找到一个简单易算的 p(x) ，使得 p(xi) = yi 。 问题二 函数 f(x) 的表达式非常复杂，能否找到一个简 单易算的 p(x) ，使得p(x) 是 f(x) 的一个合理的逼近。 问题三 问题一的表中的数值带有误差，能否找到一 个简单易算的 p(x) ，可以近似地表示这些数据。
带权内积 导出范数
( f , g ) ( x ) f ( x ) g ( x ) dx
a
b
f
2


b a
( x ) f 2 ( x ) dx

1/2
性质
设 0, 1, , nC[a, b]，则 0, 1, , n 线 性无关当且仅当 det(G) 0，其中 ( 0 , 0 ) ( 0 , 1 ) ( 0 , n ) ( , ) ( , ) ( , ) 1 1 1 n G G ( 0 , 1 , , n ) 1 0
( u v, w) ( u, v ) ( u, w), w X ( u, u) 0 ，等号当且仅当 u = 0 时成立
称 (u, v) 为 X 上的内积，定义了内积的线性空间称为内积空间
u, v 正交
(u, v) = 0
内积空间
定理
Cauchy-Schwarz 不等式 设 X 是一个内积空间，对 u, v X 有
方案一：设 y P ( x )
1 1 线性化 ：令 Y y , X x ，则
Y a bX 就是个线性问题
将 ( x i , y i ) 化为 ( X i , Y i ) 后易解 a 和b。
方案二：设 y P ( x ) a e
b / x
( a > 0, b > 0 )
常见的权函数
常见的权函数
( x ) 1 ( 1 x 1)
( x)
1 1 x2
( 1 x 1)
( x) e x (0 x )
( x) e
x2
( x )
带权内积
设 (x) 是 [a, b] 上的权函数， f(x), g(x) C[a, b]
注：
L-S method 首先要求设定 P(x) 的形式。若设 n=m1，则可取 P(x) 为过 m 个点的m1阶插值多 项式，这时 = 0。 P(x) 不一定是多项式，通常根据经验确定。
例：
y
(xi , yi) , i = 1, 2, …, m
x
x ax b m xi 2 求 a 和 b 使得 (a, b) (ax b yi ) 最小。 i i 1
赋范线性空间
赋范线性空间 Rn
线性空间 Rn，x = (x1, x2, , xn)TRn ① 1-范数： x 1 xi = |x1 | | x2 | | xn |
i 1 n
② 2-范数： x 2 ③ -范数： x （最大范数）

2 2 2 2 x x x x i 1 2 n i 1
( u, v ) ( u, u)( v, v )
2
定理
设 X 是 内积空间，u1, u2, , un X ，定义矩阵
( u1 , u1 ) ( u2 , u1 ) (u , u ) (u , u ) 2 2 G 1 2 ( u1 , un ) ( u2 , un ) ( un , u1 ) ( un , u2 ) ( un , un )
平方逼近
预备知识
预备知识
线性空间、线性相关、线性无关 基、维数、有限维空间与无限维空间 常见线性空间：Rn 、Hn、C[a, b]、 Cm[a, b]
Weierstrass 定理
设 f(x)C[a, b] ，则对 > 0，总存在一个多项式 p(x) ，使得
max f ( x ) p( x )
i 1
n
( x, y) i xi yi 1 x1 y1 2 x2 y2 n xn yn
i 1
1, 2, , n 为正实数
例： C[a, b] 上的内积：
( f , g ) f ( x ) g ( x ) dx
a
b
权函数
权函数
(1) 设 (x) 是 [a, b] 上的非负函数，满足
给定正实数 1,
n i 1

x
2
加权内积
2, , n, 定义
( x, y) i xi yi 1 x1 y1 2 x2 y2 n xn yn
正实数 1,
2, , n 称为加权系数
内积
例：Cn 上的内积：
加权内积
n
( x, y) xi yi x1 y1 x2 y2 xn yn
i 1
[F ( xi ) P( xi ) P( xi ) yi ] [ P( xi ) yi ]2
2
m
[F ( xi ) P( xi )] 2 [F ( xi ) P( xi )][P( xi ) yi ]
2
i 1 m
i 1
m
i 1
i 1

2

j 0
n
m
aj
x
i 1
jk i

m

i 1
m
yi xik
记 bk x , ck yi xik
i 1 k i i 1
m
b0 0 . . . b n 0
... b0 n a0 c0 . . . . . . . . . . . . a c ... bn n n n
(a ) [ P ( xi ) yi ]2 [ F ( xi ) yi ]2 (b)
i 1 i 1 m m
j 0 n
(b) (a ) [ F ( xi ) yi ] [ P ( xi ) yi ]2 证明：
2
m
m
i 1
m