数值分析2最佳逼近和最小二乘法

S ( x )M * 2
即 p( x )[ f ( x ) S ( x )] dx min
a
S ( x )M a

b
p ( x )[ f ( x ) S ( x )]2 dx
其中S ( x ) i i ( x ) M ,而S * ( x )称为f ( x )在M中的最佳平方逼近。
n
2 函数空间中的最佳逼近 (2)对于任意的非负连续函数h( x )， b —— 最佳平方逼近 若 h ( x ) ( x )dx 0，则 h( x ) 0, x [a, b].
满足：(1) x ( x )dx ( j 0,1, 2, )；
j a
b

a
L[2a ,b ] 空间中最佳平方逼近
i 1
n
特别地：若线性子空间M span1, x, x 2 , , x n ， 则称s* ( x )为f ( x )在M中的n次最佳平方逼近多项式。
求解最佳逼近元：
(1 , 1 ) (1 , 2 ) ( , ) ( , ) 2 2 解法方程 2 1 ( n , 1 ) ( n , 2 )
均方误差 ( f , f ) ( s* , s* ) 0.05119 。
问题重述：设子空间为M span{1 ( x ), 2 ( x ), , n ( x )}，
对于f ( x ) L
s. t.
b
2 [ a ,b ]
，求函数S ( x ) i*i ( x ) M ，
*
n
i 1
f ( x ) S * ( x ) min f ( x ) S ( x )
（4）若 x1 , x2 , , xn 规范正交，解得 b 。此方法简 单，但通常先将线性无关组规范正交化，有时计算量 会很大。
最佳逼近的误差估计
* x x 设 ，则 || || 的大小可表示逼近的程度。
2 2 * 2 || || || x || || x || 由商高定理可知，
* * x i xi ， 对于 x U ，找出 M 中的元素 i 1
i 1 n
n
s.t.
x x* min x y x i xi
yM i 1
n
则称 x*是 x 在 M 中的“最佳逼近”元，M 为 U 的逼近子
空间。
基本思想：内积空间U , n维线性子空间M span{x1 , x2 , , xn }
* i 1
注： （1）求最佳逼近问题 解线性方程组 A b 。
（2）矩阵 A 和 b 主要取决于内积空间中内积的定义， 以及线性子空间（即基底）的选取。
（3）若 x1 , x2 , , xn 线性无关，解得 A1b 。但此方法 且会使 Ax b 为病态的 （即 求矩阵 A 通常计算量很大， 自变量有很小的扰动时，其解变化很大） 。
y y1 y0
*


已知数据有误 差怎么办？

o
x0 x1 x *

xn x
从整体角度考虑
函数的最佳逼近问题：
要 求 在 一 个 简 单 函 数 类 B中 ， 对 于 给 定 的 函 数 f ( x )，
寻 找 一 个 函 数 s ( x ) B，
使 得 s ( x ) 与 f ( x )的 误 差 在 某 种 度 量 下 达 到 最 小 ，
b [ ( x)] dx min ,称为最佳平方逼近 a
2
1 2
max ( x) min ,称为最佳一致逼近或
x[ a ,b ]
均匀逼近。
>>再例如 n 维向量空间 R 中度量“最佳”的常用标准：
n
取 2-范数，则

2

* x x i i min ,称为最小二乘法 2 i 1
因为M 是完备线性子空间（有限维）， 由投影定理及投影性质
可知，存在x * i* xi M 是x在M中的“最佳逼近”元。
i 1
n
即x * M , x x * M ， ( x x* , x j ) 0
n
( j 1, 2, , n )
( j 1, 2, , n )
（**）
而且 x0 是 M 中使（**）成立的唯一点。
x y 说明 x0 是 M 中逼近 x 的最佳元） （ x x0 inf yM
内积空间中的最佳逼近
x1 , x2 , , xn 是 U 中 n 个线性 设 U 是内积空间， 基本思想：
无关的元素，M span{x1 , x2 ,, xn } { i xi , i k} 。
第2章 最佳逼近和最小二乘法
1 内积空间中的最佳逼近 2 函数空间的逼近 3 数据拟合的最小二乘法
回顾
插值法
构造一个(相对简单的)函数 y s( x ) ，通过全部节点, 且
s( x j ) y j
y
( j 0,1, , n )
可用 s( x ) 求已知点处 y * s( x * ).
( x i* xi , x j ) 0
i 1 n
( x, x j ) i* ( xi , x j ) 0
i 1
( xi , x j ) i* ( x, x j )
i 1
n
( j 1, 2, , n )
* ( x , x ) i j i ( x, x j ) i 1
*
15 105 2 105 4 f ( x ) x 的最佳平方逼近为s ( x ) x x 128 64 128
* 15 0 128 * 105 1 64 105 * 2 128
2 / 3 2 / 5 0 1 2 故法方程为 2 / 3 2 / 5 2 / 7 1 1 / 2 2 / 5 2 / 7 2 / 9 2 1 / 3
n
( j 1, 2, , n )
写成矩阵形式为
( x1 , x1 ) ( x1 , x2 ) ( x , x ) ( x , x ) 2 2 2 1 ( xn , x1 ) ( xn , x2 )
* ( x1 , xn ) 1 ( x, x1 ) * 法方程 ( x2 , xn ) 2 ( x, x2 ) （或正规方程） * ( x n , xn ) x x ( , ) n n
b a
其中(i , j ) p ( x ) i ( x ) j ( x )dx, ( f , j ) p( x ) f ( x ) j ( x )dx
故S * ( x ) i*i ( x )为所要求的最佳逼近元。
i 1 n
均方误差
2
f s* ( f , f ) ai* ( f , i )
这一问题称为最佳逼近问题，
s ( x ) 称 为 f ( x )的 最 佳 逼 近 函 数 。
定义（投影） ： 设 M 为内积空间 U 的线性子空间，
x U , 若x0 M , x1 M ，使得
x x0 x1
正交分解。
（ *）
则称 x0 为 x 在 M 上的正交投影， （*）式称为 x 关于 M 的
定理：设 M 为内积空间 U 中的完备线性子空间，则
x H ，必存在唯一的 x0 M 及x1 M ，使得
x x0 x1
性质：设 U 是内积空间， M U 为线性子空间，若 x0 为 x U 在子空间 M U 上的投影，则
x x0 inf x y
yM
计算得 ( 0 , 0 ) 2, ( 0 , 1 ) 2 / 3, ( 0 , 2 ) 2 / 5，
例 1 求区间[ 1 , 1]上函数f ( x ) x 在M span 1, x 2 , x 4 中的最佳平方逼近多项式及均方误差。 解: 记 0 1, 1 x 2 , 2 x 4，
记作
A * b
由于A可逆，存在唯一解 * A1b， 得最佳逼近元x * i* xi
i 1 n
( x1 , x1 ) ( x1 , x2 ) ( x , x ) ( x , x ) 2 2 2 1 ( xn , x1 ) ( xn , x2 )
* ( x1 , xn ) 1 ( x, x1 ) * ( x2 , xn ) 2 ( x, x2 ) * ( x n , xn ) ( , ) x x n n
内积： 定义带权函数的内积 ( x, y ) a p(t ) x(t ) y (t )dt
则范数为
x2
b

b
a
p(t ) x 2 (t )dt


1 2
2 p ( t ) L 其中 [ a ,b ] 是非负函数，称为权函数。
子空间: M span{1 ( x ), 2 ( x ), , n ( x )}
特别地
( x , xi ) * x , x , , x ① 如果 1 2 n 正交 A是对角矩阵， i ( xi , xi ) ；
* x , x , , x A 是单位矩阵， ② 如果 1 2 i ( x , xi ) ， n 规范正交
n
最佳逼近元x ( x, xi )xi （广义 Fourier 展开的部分和）
平方误差
2
xx
* 2
x x
2
* 2