第三章-2-最佳平方逼近
合集下载
3_最佳平方逼近问题
( 0 , * f ) 0 * ( 1 , f ) 0 ( , * f ) 0 n
yfnie@
5
几何意义
平方逼近误差
f
*
* *
2 2
( f , f )
* *
*
( , ) 2 ( , f ) ( f , f )
yfnie@
8
基于正交基的最佳平方逼近（续）
( 0 , f ) ( 1 , f ) ( n , f ) * C , , , ( , ) ( , ) ( n , n ) 0 0 1 1
*
T
( 0 , f ) ( 0 , 0 )
)
3
0
平方误差计算
直接计算：
b a
* 2x a b sin x 2 ( ) dx ba
2 1
2
间接计算：
ab ba ba * 1 sin( 2 t 2 ) 2 ( t ) dt 2
yfnie@ 16
求 (x ) c 0 0 c 1 1 c n n , 使 得
* * * *
n n n n * * f c i i , f c i i min f c i i , f c i i . i0 i0 ci R i0 i0
c0 ( f , 0 ) c1 ( f ,1 ) cn ( f , n )
即 { i } i 0 是线性空间
的一组正交基。
T
最佳平方逼近
( f p*, f p*) 2( f p*, p * p) ( p * p, p * p)
n
因为 f p*, p * p cj c j f p*, j 0 及
j0
( p * p, p * p) 0, 故 ( f p, f p) ( f p*, f p*).
2 则 f (x) 1 1 t g(t), 1 x 1
2 先求g(t)在区间 [-1,1] 旳一次最佳平方逼近多项式.
由
c0 *
1 2
(g,
L0 )
1 2
1 1
1 2
1 tdt 2 , 3
c1
3 2
(g,
L1 )
3 2
1 1
t 2
1 tdt 2 . 5
可知
2
2
22
q1(t) 3 L0 (x) 5 L1(x) 3 5 t,
例6 定义内积 ( f , g)
1
f (x)g(x)dx
0
试在H1=Span{1,x}中谋求对于f(x)= x 旳最佳平方逼近
元素p(x).
解 法方程为
1 12
1 2
13
c0
c1
2 2
3 5
解得
c0
4, 15
c1
4 5
所求的最佳平方逼近元素为 p(x) 4 4 x. 0 x 1 15 5
(n
,n
)
cn*
( f ,n )
因为 0x,1x, , nx 线性无关, 能够推得上系数阵是
非奇异旳. 故 (5. 82) 有唯一解 { c*j }.
四、最佳平方逼近旳误差
记 ( f p*, f p*), 称其为最佳平方逼近误差, 利用
n
因为 f p*, p * p cj c j f p*, j 0 及
j0
( p * p, p * p) 0, 故 ( f p, f p) ( f p*, f p*).
2 则 f (x) 1 1 t g(t), 1 x 1
2 先求g(t)在区间 [-1,1] 旳一次最佳平方逼近多项式.
由
c0 *
1 2
(g,
L0 )
1 2
1 1
1 2
1 tdt 2 , 3
c1
3 2
(g,
L1 )
3 2
1 1
t 2
1 tdt 2 . 5
可知
2
2
22
q1(t) 3 L0 (x) 5 L1(x) 3 5 t,
例6 定义内积 ( f , g)
1
f (x)g(x)dx
0
试在H1=Span{1,x}中谋求对于f(x)= x 旳最佳平方逼近
元素p(x).
解 法方程为
1 12
1 2
13
c0
c1
2 2
3 5
解得
c0
4, 15
c1
4 5
所求的最佳平方逼近元素为 p(x) 4 4 x. 0 x 1 15 5
(n
,n
)
cn*
( f ,n )
因为 0x,1x, , nx 线性无关, 能够推得上系数阵是
非奇异旳. 故 (5. 82) 有唯一解 { c*j }.
四、最佳平方逼近旳误差
记 ( f p*, f p*), 称其为最佳平方逼近误差, 利用
最佳平方逼近
正规方程组一般为病态方程组，当维数 较高时，病态严重，求解困难。 可以采取选择不同的基的方式，来改变 正规方程组的性态。 我们考虑最佳平方逼近多项式，采用正 交多项式做基函数。
2
b
a
函数f ( x)和g ( x)正交 ( f , g ) w( x) f ( x) g ( x)dx 0
a b
设次数不超过n的多项式空间为 n , 显然 是C[a, b]的一个子空间，
n的基为1, x,..., x n , 则，p( x) a0 a1 x ... an x n n 是f ( x)在 n的最佳逼近元的充分必要条件为
否则，就线性无关。 区间[a,b]上c11 ( x) .... cm m ( x) 0成立 就一定有c1 ... cm 0
假定1 ( x),....m ( x)是子空间S的基， 若函数g是最佳逼近元，则
( f g , 1 ( x)) 0,( f g , 2 ( x)) 0 ...., f g , m ( x)) 0 (
w( x) C[a, b]，w( x) 0，x [a, b] 称w( x)为权函数。
连续函数空间C[a, b]，给定权函数w( x) 对于f , g C[a, b]
最佳平方逼近多项式
给定函数f ( x) C[a, b], 求次数不超过n的 多项式p( x)，使得
b
a
w( x)( f ( x) p( x)) dx min
简记为Ax=b
求解这个方程，就能得到a， ，am， .....
从而得到f ( x)在子空间S中的最佳平方 逼近元g ( x) a11 ( x) ..... amm ( x)
最佳平方逼近原理
最佳平方逼近原理最佳平方逼近原理是数值分析中的一个经典原理，用于寻找函数在给定定义域上的最佳平方逼近曲线。
在实际应用中，我们经常需要通过已知的离散数据点来近似拟合一个函数，最佳平方逼近原理就是为了解决这个问题而提出的。
最佳平方逼近原理的核心思想是，通过最小化残差平方和来选择最佳的曲线拟合函数。
残差平方和是指每个数据点与拟合曲线之间的差值的平方和，通过最小化残差平方和，我们可以找到能够最好地拟合数据点的曲线。
为了更好地理解最佳平方逼近原理，我们可以通过一个简单的例子来说明。
假设我们有一组包含有N个点的数据集{(x1,y1),(x2,y2),...,(xn,yn)}，我们需要找到一条曲线y=f(x)来拟合这些数据点。
首先，我们可以假设拟合曲线为一条直线y=ax+b，其中a为斜率，b为截距。
我们的目标是找到最佳的斜率a和截距b，使得拟合曲线能够最好地拟合数据点。
为了评估拟合曲线的好坏，我们可以定义残差ei为数据点yi与拟合曲线f(xi)之间的差值，即ei=yi-f(xi)。
然后，可以定义残差平方和E为所有残差的平方和，即E=∑(yi-f(xi))^2。
根据最佳平方逼近原理，我们需要选择最优的斜率a和截距b，使得E达到最小值。
这可以通过对E分别对a和b求偏导数，并令偏导数等于零来实现。
∂E/∂a=0和∂E/∂b=0的解可以分别表示为a=(N∑(xiyi)-∑xi∑yi)/(N∑(xi^2)-(∑xi)^2)和b=(∑yi-∑(xi/n)a))/N 通过求解这两个方程，我们可以得到最佳的斜率a和截距b，从而得到最佳的拟合曲线。
上述例子只是最佳平方逼近原理的一个简单应用，实际上，最佳平方逼近原理可以应用于更复杂的拟合曲线，如多项式拟合、指数拟合等。
在实际应用中，最佳平方逼近原理广泛应用于数据分析、信号处理、图像处理等领域。
通过最佳平方逼近原理，我们可以从大量的离散数据中提取有效的信息，利用拟合曲线来进行预测、分类、回归等操作。
最佳平方逼近
逼近元g(x) a11(x) ..... amm(x)
(1,1) (2,1) L
A
(1,2
)
(2,2 )
L
L
LL
(1,m ) (2,m ) L
(m,1)
(m
,2
)
L
(m
,
m
)
称为函数1(x)，.....，m (x)的Gram矩阵，
A显然是对称矩阵。
若1(x)，.....，m (x)线性无关，则它们
0
3
(ex ,1) 2 ex 1dx e2 1 0
(ex , x) 2 ex xdx e2 1 0
法方程组为
2a0
2a0
2a1 8 3 a1
e2 1 e2 1
a0=0.1945 , a1=3.0000
最佳平方逼近一次多项式为 0.1945+3.0000x
8 7 6 5 4 3 2 1 0
b w(x) f (x) g(x)2 dx a
函数f (x)和g(x)正交
b
( f , g) a w(x) f (x)g(x)dx 0
设次数不超过n的多项式空间为n ,显然 是C[a, b]的一个子空间，
n的基为1, x,..., xn ,则，p(x) a0 a1x ... anxn n 是f (x)在n的最佳逼近元的充分必要条件为
a0 (1,1) a1(x,1) ... an (xn ,1) ( f ,1)
a0 (1, x) a1(x, x) ... an (xn , x) ( f , x)
a0 (1, xn ) a1(x, xn ) ... an (xn , xn ) ( f , xn )
求解法方程组，得到a0，a1，...，an
(1,1) (2,1) L
A
(1,2
)
(2,2 )
L
L
LL
(1,m ) (2,m ) L
(m,1)
(m
,2
)
L
(m
,
m
)
称为函数1(x)，.....，m (x)的Gram矩阵，
A显然是对称矩阵。
若1(x)，.....，m (x)线性无关，则它们
0
3
(ex ,1) 2 ex 1dx e2 1 0
(ex , x) 2 ex xdx e2 1 0
法方程组为
2a0
2a0
2a1 8 3 a1
e2 1 e2 1
a0=0.1945 , a1=3.0000
最佳平方逼近一次多项式为 0.1945+3.0000x
8 7 6 5 4 3 2 1 0
b w(x) f (x) g(x)2 dx a
函数f (x)和g(x)正交
b
( f , g) a w(x) f (x)g(x)dx 0
设次数不超过n的多项式空间为n ,显然 是C[a, b]的一个子空间，
n的基为1, x,..., xn ,则，p(x) a0 a1x ... anxn n 是f (x)在n的最佳逼近元的充分必要条件为
a0 (1,1) a1(x,1) ... an (xn ,1) ( f ,1)
a0 (1, x) a1(x, x) ... an (xn , x) ( f , x)
a0 (1, xn ) a1(x, xn ) ... an (xn , xn ) ( f , xn )
求解法方程组，得到a0，a1，...，an
最佳一致和平方逼近
§2 最佳一致逼近多项式
一、最佳一致逼近多项式的存在性
定理4.9
对任意的 f x C a, b , 在
Hn
中都存在对
* pn x ,使得 f x 的最佳一致逼近多项式,记为
f ( x ) p n* ( x )
m in
p n ( x ) H n
f ( x) pn ( x)
由插值余项定理， n 次插值多项式 Ln x 的余项为
Rn x f x Ln x
n
f
x n 1 n 1!
n 1
其中， n 1 x x xi , 1,1
i 0
其估计式为：
对 X 中每一对元素 x , y , 都有一实数，记为 x, y 与之对应， 且这个对应满足: （1） （2） （3） （4）
x, x 0, x 0 x, x 0; x, y y, x , x, y X ; x, y x, y , x, y X ; R; x y, z x, z y, z , x, y, z X ;
* i * f 使得： ( xi ) pn ( xi ) () f pn
（i=0,1,…,n+1）
其中σ=1或σ=-1
推论4.1
设 f x 是区间 a, b 上的连续函数， * x 是 f x Pn
f 的n次最佳一致逼近多项式， 若
内存在且保号， 则
即
1 xi cos(i ) , i 0,1, 2,..., n 2 n 1
如果插值区间为[a,b],做变换式（4.63）
最佳平方逼近
所求的
应该使下式达极小：
由
整理得到
计算积分后，得法方程组
解之得 从而得到最佳平方逼近一次多项式
三、正交基函数的选择 如果我们选择子空间
正交，即 则法方程
简化为
即 容易求得 并得到最佳平方逼近
例3.2. 已知
在区间 [-1，1]上两两正交，试求
在这个
区间上的最佳平方逼近二次多项式，并给出误差估计。
应该使
整体达最小。 通过这种度量标准求得拟合曲线y=f(x)的方法，
就称作曲线拟合的最小二乘法。 按照以上思想来求出f(x)的拟合曲线，首先需
要确定出f(x)所属的函数类，然后进一步求出具体 函数，具体按照以下步骤进行。
二、最小二乘法拟合曲线的步骤
第一步：根据如下已知点的坐标，在坐标系里描点
第二步：根据图示，确定曲线所属的函数类型，例 如多项式函数类、三角函数类、指数函数 类、对数函数类等。假设所确定的函数类 的基函数为
而n+1元函数
在区间
上具有一阶连续导函数，因此根据
极值原理，在最小值点
处：
而 于是 即
利用内积 可以得到 这是一个含有n+1个变量的方程组，具体形式为：
再写成 矩阵形式为
这是关于n+1个变量
的线性方程组，并称
其为法方程组，或者正规方程组。
解此方程组，就可以得到 了f(x) 的最佳平方逼近：
，也就得到
同时，还需要给出连续函数
空间上的一个度量标准，下面通过内积给出平方范数。
二、连续函数的平方范数
已知所有连续函数构成的集合C[a,b]是一个线性
空间，对于C[a,b]中的任意函数
、 ，定义
实数
最佳平方逼近
(f q ,q p ) (f p ,q p ) 0 , 故 ( p q ,p q ) ( p f f q ,p q )
( p f,p q ) ( f q ,p q ) 0
这说明, p(x) q(x) 于 [a, b].
9
三、最佳平方逼近函数的求解
利用 ( f p*, j )=0, 可求出最佳平方逼近函数 p*. 设
(x) 最佳平方逼近的函数 ( f p*, j )=0, j=0,1,…,n. 其中, {0x,1x, , nx}为子空间 Hn 的一组基.
证: () 反证法, 设有函数 kx, 使得 ( f p*, k) k 0 , 令 q(x) p*(x) kx k /(k, k), 显然, q(x)Hn . 利用内
积的性质, 可得
(f q ,f q ) (f p * ,f p * ) (2 k ,k k )(f p * ,k ) ( k 2 ( k ,k ,k ) k 2 )
(fp * ,fp * )( k,k 2k)(fp * ,fp * )
k
这说明, p*(x) 不是对 f (x) 最佳平方逼近的函数, 矛盾.
7
() 若 ( f p*, j )=0, j=0,1,…,n 成立, 对任意的 p(x)Hn ,有
( f p , f p ) ( f p * p * p , f p * p * p )
( f p * , f p * ) 2 ( f p * , p * p ) ( p * p , p * p )
(0,1) (1,1)
((10,,nn))cc10**((ff,,10))
(n,0) (n,1) (n,n)cn* (f,n)
由于 0x,1x, , nx 线性无关, 可以推得上系数阵是
( p f,p q ) ( f q ,p q ) 0
这说明, p(x) q(x) 于 [a, b].
9
三、最佳平方逼近函数的求解
利用 ( f p*, j )=0, 可求出最佳平方逼近函数 p*. 设
(x) 最佳平方逼近的函数 ( f p*, j )=0, j=0,1,…,n. 其中, {0x,1x, , nx}为子空间 Hn 的一组基.
证: () 反证法, 设有函数 kx, 使得 ( f p*, k) k 0 , 令 q(x) p*(x) kx k /(k, k), 显然, q(x)Hn . 利用内
积的性质, 可得
(f q ,f q ) (f p * ,f p * ) (2 k ,k k )(f p * ,k ) ( k 2 ( k ,k ,k ) k 2 )
(fp * ,fp * )( k,k 2k)(fp * ,fp * )
k
这说明, p*(x) 不是对 f (x) 最佳平方逼近的函数, 矛盾.
7
() 若 ( f p*, j )=0, j=0,1,…,n 成立, 对任意的 p(x)Hn ,有
( f p , f p ) ( f p * p * p , f p * p * p )
( f p * , f p * ) 2 ( f p * , p * p ) ( p * p , p * p )
(0,1) (1,1)
((10,,nn))cc10**((ff,,10))
(n,0) (n,1) (n,n)cn* (f,n)
由于 0x,1x, , nx 线性无关, 可以推得上系数阵是
最佳平方逼近
a0 a 1 an
( f , 0 ) ( f ,1 ) = , ( f , n )
此方程组称为
法方程 .
n j=0 * a j j， k
可见，
( f (x)
) = 0 , k = 0 ,1 , L , n .
0， 1， ， n 在 [ a , b ]上 L
由定理，正交多项式系
定理：设 0 , L , n C [ a , b ], 记 Gram 矩阵为
G = G ( 0 , L , n ) ( 0 , 0 ) ( 1 , 0 ) = ( n , 0 ) ( 0 , 1 ) ( 1 , 1 ) ( n , 1 ) L L L L ( 0 , n ) ( 1 , n ) ( n , n )
r 1, ( f , g ) = a f ( x ) g ( x ) d x(1 ) (2) (3) (4)
( f , g) = (g, f ) ( cf , g ) = c ( f , g ) ( f1 f 2 , g ) = ( f1 , g ) ( f 2 , g ) ( f , f ) 0 , 当且仅当 f = 0 时 ( f , f ) = 0
满足內积定义的函数空 因此，连续函数空间 n 维欧氏空间 其內积定义为
n
间称为內积空间， C [ a , b ]上定义了內积就形成一 个內积空间。
T T
R 中两个向量內积定义：
n
设 f = ( f 1 , f 2 ,L , f n ) , g = ( g 1 , g 2 ,L , g n ) f = ( fk ) 2
b b 2
§3 最佳平方逼近多项式
若f ( x) C[a, b], span{0 ( x),1 ( x),n ( x)},
若函数组 0 ( x),1 ( x), n ( x)满足条件
则
方程组
0， 当i j ( i , j ) ( j , j )， 当i j
( 0 , 0 ) a 0 ( f , 0 ) a ( f , ) ( , ) 1 1 1 1 ( n , n ) an ( f , n )
* a 展开，而系数 k (k 1,2,, n)
按下式计算
ak ( f ( x),k ( x)) /(k ( x),k ( x)) ; (k 0,1,, n)
得级数
a k k ( x) k 0
* 称为f(x)的广义傅立叶(Foureir)级数,系数 ak (k 1,2,, n)
( x)
1 1 x2
，k 0 ( (Tk Tk ) ) ,k 0 2
1 1 x
2
由切比雪夫(Chebyshev)镇多项式作最佳平方逼近
Cn ( x ) ak Tk ( x ) k 0 n
其中
( f , T0 ) 1 a (T0 , T0 )
f P*
2 2
事实上,
f P
2 2
( f P, f P )
*
( f P* P* P, f Pn P* P)
( f P * , f P* ) ( P* P, P * P ) 2( f P * , P * P )
* 因为（f P ，P P） （f P ， （ a j a j） j ( x) ） * * * j 0
最佳一致和平方逼近ppt课件
若 P x0 f x0 , 则称 x0 为“正”偏差点。 若 P x0 f x0 , 则称 x0 为“负”偏差点。
7
三、 Ca,b 上的最佳一致逼近的特征
引理4.1
设 f x 是区间a,b 上的连续函数，Pn* x 是 f x 的n次最佳一致逼近多项式，则 f x Pn* x 必同时
min f
x Pn* x
Pn xHn
f x Pn x
其中，H n代表由全体代数多项式构成的集合。
4
§2 最佳一致逼近多项式
一、最佳一致逼近多项式的存在性
定理4.9
对任意的 f xCa,b, 在 H n 中都存在对 f x 的最佳一致逼近多项式,记为 pn* x ,使得
f (x)
存在正负偏差点。
8
y
Oa
y f x En
y f x
y f x En
bx
9
定理 4.10（ Chebyshev定理）
设 f x 是区间 a,b 上的连续函数，则 Pn* x 是 f x 的n次最佳一致逼近多项式的充要条件是: f x Pn* x 在区间a,b 上存在一个至少有 n 2 个交错偏差点组成，
注： 显然， f , Pn 0 ， f , Pn 的全体组成一个
集合，记作 f , Pn ，它有下界0。
6
2、偏差点
定义
设 f xCa,b, PxHn, 若在 x x0 上有
P x0 f x0 max P x f x , a xb
则称 x0 是 P x f (x) 的偏差点。
由推论1，f x P1 x 在 a,b 上恰好有3个点构成的交错
组，且区间端点 a, b 属于这个交错点组，设另一个交错点为 x2 ,
7
三、 Ca,b 上的最佳一致逼近的特征
引理4.1
设 f x 是区间a,b 上的连续函数，Pn* x 是 f x 的n次最佳一致逼近多项式，则 f x Pn* x 必同时
min f
x Pn* x
Pn xHn
f x Pn x
其中，H n代表由全体代数多项式构成的集合。
4
§2 最佳一致逼近多项式
一、最佳一致逼近多项式的存在性
定理4.9
对任意的 f xCa,b, 在 H n 中都存在对 f x 的最佳一致逼近多项式,记为 pn* x ,使得
f (x)
存在正负偏差点。
8
y
Oa
y f x En
y f x
y f x En
bx
9
定理 4.10（ Chebyshev定理）
设 f x 是区间 a,b 上的连续函数，则 Pn* x 是 f x 的n次最佳一致逼近多项式的充要条件是: f x Pn* x 在区间a,b 上存在一个至少有 n 2 个交错偏差点组成，
注： 显然， f , Pn 0 ， f , Pn 的全体组成一个
集合，记作 f , Pn ，它有下界0。
6
2、偏差点
定义
设 f xCa,b, PxHn, 若在 x x0 上有
P x0 f x0 max P x f x , a xb
则称 x0 是 P x f (x) 的偏差点。
由推论1，f x P1 x 在 a,b 上恰好有3个点构成的交错
组，且区间端点 a, b 属于这个交错点组，设另一个交错点为 x2 ,
最佳平方逼近与最小二乘拟合
最佳平方逼近与最小二乘拟合——两者的区别与联系 函数逼近是用一个多项式无限接近原函数，而拟合是将函数中的元素联系起来。
也就是说，最佳平方逼近是针对函数，最小二乘法是针对离散的点，二者在形式上基本一致。
另外，最小二乘拟合也称为离散型最佳平方逼近，两者的解法有很多相似之处。
一、 函数的最佳平方逼近 （一）最佳平方逼近函数的概念对[]b a C x f ,)(∈及[]b a C ,中的一个子集{}n span ϕϕϕφ,,,10⋯=，若存在φ∈)(*x S，使[]dx x S x f x S f Sf baS S ⎰-=-=-∈∈22222*)()()(infinf ρϕϕ，则称)(*x S 是)(x f 在子集[]b a C ,⊆φ中的最佳平方逼近函数。
（二）最佳平方逼近函数的解法为了求)(*x S ，由[]dxx S x f x S f Sf baS S ⎰-=-=-∈∈22222*)()()(infinf ρϕϕ可知，一般的最佳平方逼近问题等价于求多元函数dxx f x a x a a a I banj j j n 2010)()()(),,,(⎰∑⎥⎦⎤⎢⎣⎡-=⋯=ϕρ的最小值问题。
由于),,,(10n a a a I ⋯是关于n a a a ,,,10⋯的二次函数，利用多元函数极值的必要条件),,1,0(0n k a Ik⋯==∂∂，即n),,1,0(0)()()()(20⋯==⎥⎦⎤⎢⎣⎡-=∂∂⎰∑=k dx x x f x a x a Ik b a n j j j kϕϕρ，于是有()()),,1,0(,,0n k f a k j nj j k ⋯==∑=ϕϕϕ。
),,,,1(2n n x x x G G Λ=()()),,1,0(,,0n k f a k j nj j k⋯==∑=ϕϕϕ是关于n 10,,,a a a ⋯的线性方程组，称其为法方程。
由于n ϕϕϕ,,,10⋯线性无关，故系数行列式()0,,,10≠⋯n G ϕϕϕ，于是方程组()()),,1,0(,,0n k f a k j nj j k⋯==∑=ϕϕϕ有唯一解),,1,0(*n k a a k k ⋯==，从而得到)()()(*0*0*x a x a x S n n ϕϕ+⋯+=。
最佳平方逼近
(2) Rn中的最佳平方逼近
R n 中的最佳平方逼近称为离散情形的最佳平方 逼近，求离散情形最佳平方逼近的方法称为
最小二乘法
下节讨论
dis( x, y) || x y ||2 ( x y, x y)
( x y )
i i
2
连续函数空间C[a,b]中f(x)与g(x)的距离即为
dis( f ( x ), g ( x )) || f ( x ) g ( x ) ||2
2 ( f ( x ) g ( x )) dx a b
( f ( x), g( x)) a f ( x) g( x)dx ( f ( x), g( x)) a ( x) f ( x) g( x)dx
b b
若取 Pn [a ,b ] 中 n +1个线性无关元为 {1,x ,… ,x n },则 对任意的g(x)∈C[a,b], 求Pn[a,b]中对g(x)的最佳 平方逼近元pn(x)，就必须通过求解法方程组得到 最佳平方逼近元.
b
或
( f ( x), g( x)) a ( x) f ( x) g( x)dx
b
f ( x ), g ( x ) C[a, b] 其中(x) 称为权函数
它满足：
①在[a,b]的任何子区间上积分为正； ②(x) ≥0，且使(x) =0的点至多有限个； ③ 对f(x)=1, x, x２,…, 积分 a f ( x ) g ( x )dx 存在.
例1 求g(x)=x 在P1[0,1]中的最佳平方逼近元
解法一
这是C[0,1]上的最佳平方逼近问题. 取０＝１, １＝x, P1[0,1]＝span{1,x} 记 p1(x)=a０＋a１x (０,0)=1，(０,1)=1/2， (1,1)=1/3 ， (０,g)=2/3， (1,g)=2/5. 所以，关于a０，a１为未知数的法方程组为
最佳平方逼近
c1 4 5
4 15 4 5 x. 0 x 1
所求的最佳平方逼近元
素为 p ( x )
5.6.2 正交系在最佳平方逼近中的应用
当 0x,1x, , nx, 是正交系时,求解最佳平方逼 近式(5.82)中的系数非常容易. 目标: 求下面的最佳平方逼近式中的系数
（ 5.84）
函数 f 的 L-最佳平方逼近函数为
pL ( x )
n k 0
c k L k ( x ),
(L)
1 x 1
（5.85）
遇到区间[a,b], 通过下面的变换把问题转化到[-1,1]上处理.
x a b 2 b a 2 t.
函数 f (x) 的 Legendre 无穷级数
三、最佳平方逼近函数的求解
利用 ( f p*, j )=0, 可求出最佳平方逼近函数 p*. 设
p * (x)
n
故
0
ck k ( x)
*
n * k
k 0
f
p *,
j
f , c
j k 0 j
k
,
j
(5.82)
n
ck k ,
1
( f , g)
1
f ( x ) g ( x )dx
L-正交多项式为 L0x, L1x, , Lnx, 用(5.83), 有
ck
(L)
( f , Lk ) ( Lk , Lk )
2k 1 2
1
1
L
k
( x ) f ( x )dx ,
k 0,1, 2, ..., n
4 15 4 5 x. 0 x 1
所求的最佳平方逼近元
素为 p ( x )
5.6.2 正交系在最佳平方逼近中的应用
当 0x,1x, , nx, 是正交系时,求解最佳平方逼 近式(5.82)中的系数非常容易. 目标: 求下面的最佳平方逼近式中的系数
（ 5.84）
函数 f 的 L-最佳平方逼近函数为
pL ( x )
n k 0
c k L k ( x ),
(L)
1 x 1
（5.85）
遇到区间[a,b], 通过下面的变换把问题转化到[-1,1]上处理.
x a b 2 b a 2 t.
函数 f (x) 的 Legendre 无穷级数
三、最佳平方逼近函数的求解
利用 ( f p*, j )=0, 可求出最佳平方逼近函数 p*. 设
p * (x)
n
故
0
ck k ( x)
*
n * k
k 0
f
p *,
j
f , c
j k 0 j
k
,
j
(5.82)
n
ck k ,
1
( f , g)
1
f ( x ) g ( x )dx
L-正交多项式为 L0x, L1x, , Lnx, 用(5.83), 有
ck
(L)
( f , Lk ) ( Lk , Lk )
2k 1 2
1
1
L
k
( x ) f ( x )dx ,
k 0,1, 2, ..., n
第3章数值分析---最佳平方逼近
5 3 P ( x ) ( 63 x 70 x 15 x) / 8, 5
6 4 2 P ( x ) ( 231 x 315 x 105 x 5) / 16, 6
6
切比雪夫多项式 P61-64
当权函数 ( x)
1 1 x2
，区间为 [1, 1]时，由序
列 {1, x,, x n ,} 正交化得到的正交多项式就是切比雪夫 (Chebyshev)多项式.
1/ 2 1/ 3 1 /( n 2)
1 /( n 1) 1 /( n 2) （3.6） 1 /( 2n 1)
称为希尔伯特(Hilbert)矩阵.
T T 记 a (a0 , a1 ,, an ) , d (d 0 , d1 ,, d n ) , 则
2 2
min f ( x) P( x)
PH n
2 2
（1.19）
min
PH n
b
a
[ f ( x) P( x)]2 dx,
则称 P* ( x) 是 f ( x)在 [a, b]上的最佳平方逼近多项式.
若 f ( x) 是 [a, b]上的一个列表函数，在
a x0 x1 xm b
det G(0 , 1 ,, n ) 0 ( P56)
* 于是方程组（3.3）有唯一解 ak ak
(k 0,1, , n),
* * S * ( x) a0 0 ( x ) an n ( x).
10
若取 k ( x) x k , ( x) 1, f ( x) C[0, 1], 则要在 H n
0
(1 x 2 )dx 0.426d1 0.934d 0 0.0026.
6 4 2 P ( x ) ( 231 x 315 x 105 x 5) / 16, 6
6
切比雪夫多项式 P61-64
当权函数 ( x)
1 1 x2
，区间为 [1, 1]时，由序
列 {1, x,, x n ,} 正交化得到的正交多项式就是切比雪夫 (Chebyshev)多项式.
1/ 2 1/ 3 1 /( n 2)
1 /( n 1) 1 /( n 2) （3.6） 1 /( 2n 1)
称为希尔伯特(Hilbert)矩阵.
T T 记 a (a0 , a1 ,, an ) , d (d 0 , d1 ,, d n ) , 则
2 2
min f ( x) P( x)
PH n
2 2
（1.19）
min
PH n
b
a
[ f ( x) P( x)]2 dx,
则称 P* ( x) 是 f ( x)在 [a, b]上的最佳平方逼近多项式.
若 f ( x) 是 [a, b]上的一个列表函数，在
a x0 x1 xm b
det G(0 , 1 ,, n ) 0 ( P56)
* 于是方程组（3.3）有唯一解 ak ak
(k 0,1, , n),
* * S * ( x) a0 0 ( x ) an n ( x).
10
若取 k ( x) x k , ( x) 1, f ( x) C[0, 1], 则要在 H n
0
(1 x 2 )dx 0.426d1 0.934d 0 0.0026.
最佳平方逼近
同时，还需要给出连续函数
空间上的一个度量标准，下面通过内积给出平方范数。
二、连续函数的平方范数
已知所有连续函数构成的集合C[a,b]是一个线性
空间，对于C[a,b]中的任意函数
、 ，定义
实数
可以证明此实数满足性质：
这时，称
为与
的内积。
并称 为函数
（3.1） 的平方范数， 且满足以下性质：
（1）
，当且仅当
xi 1 2 3 4 5 6 7 8 zi 2.72 3.02 3.31 3.60 3.89 4.18 4.48 4.77
对
作线性拟合曲线，取
得正则方程组
解得 于是有 拟合曲线为：
练习 三
3-1 利用Legendre多项式
求函数
在
上的最佳均方逼近，并估计误差。
3-2 求 上权函数为
的正交多项
式前四项 3-3 求 ，使
由 得到法方程组第 j 行的元素为：
于是法方程组的系数矩阵为： 令右端第二个矩阵为：
则系数矩阵可以表示为： 再看法方程组的右端项：
由 得到
最后可以将法方程组表示为： 其中
这样会更快的写出法方程组来。
如果所求得最小二乘拟合函数为n次多项式，则： 这时：
误差：
三、数值例子
例3.3 根据如下离散数据拟合曲线并估计误差 x1 2 3 4 6 7 8
使得对于一切
都有：
不等式
说明，所求的 满足等式：
(3.2)
而
是由系数
唯一确定的，因此，只要我
们求出了满足(3.2)的
，就可以求出
f(x)最佳平方逼近。
令
(3.3)
则
这时等式
函数逼近最佳平方逼近ppt课件
16
切比雪夫多项式的性质:
(1)递推关系
T T n 0 (1x (x )) 1,2xT n 1 T ((x x)) T x n ,1(x).
(2.1
T n (x )的最 x n 的 高 系 2 n 次 1 ,( 数 n 1 幂 )为 .
事实上，只需由Biblioteka co(ns1)2cocsonscons1 (),n1. 代入 xco,s即得递.推关系式
21
3. 埃尔米特多项式
区间 ( , )上带(权 x)ex2的正交多项式
Hn(x)(1)nex2ddxnn(ex2), 称为 埃 尔 米 特.多 项 式
(2.16
22
• 最佳一致逼近多项式
一、基本概念及其理论 本节f(讨 x)C 论 [a,b],求多pn *项 (x)H 式 n,使得误
||f(x)pn *(x)| |mi|n |f(x)pn(x)| | .
p１(x)=4/5x+4/15
3
可见，对同一个被逼近函数，不同距离意 义下的逼近，逼近函数是不同的.
4
定义设 1 集S是 合数P域 上的线性空间 x1, ， ,xn元 S素 ,
如果存在不全1为 ,,零 n的 P,使 数得
1x1nxn0，
（ 1.1）
则称 x1,,xn线性相 . 否关则 ,若(1.1)只对 1n0成
(f,g)=∫ b(x)f(x)g(x)dx=0 a
则f称 (x)与 g(x)在 [a,b]上 带 权 ρ. ( x ) 正 交
设在 [a,b]给定函数 0(x族 ),1(x),,n(x),, 且满足 (i(x),k(x))A0k,,iikk,, (i,k0,1,2,) (2.2
则称函{数 n(族 x)}为[a,b]上带权ρ(x)的数正族.交函
最佳平方逼近和最小二乘法
最佳平方逼近和最小二乘法哎呀，今天我们来聊聊一个挺有意思的话题，那就是最佳平方逼近和最小二乘法。
这听起来好像挺高大上的样子，其实呢，咱们可以把它变得简单易懂。
想象一下，你在阳光明媚的下午，喝着冰凉的饮料，跟朋友闲聊。
说起这些数学名词，大家可能会皱眉头，但我跟你说，这其实跟咱们生活中遇到的那些小烦恼有着千丝万缕的联系。
什么是最佳平方逼近呢？就像你和朋友一起找地方吃饭。
你们各自都提出了自己的想法，但最后为了避免争吵，大家决定选择一个最符合大家口味的地方。
这个过程就像是在给一堆数据点找到一个最合适的“朋友”。
想象一下，在坐标系上，有一堆点在那儿乱七八糟地分布着。
你想找一条线，尽量让这条线离这些点都近一点儿。
没错，这就是最佳平方逼近。
它试图找到那条线，让所有点到这条线的距离平方和最小。
简单点说，就是尽量让大家都满意。
再说说最小二乘法。
这名字听上去像个数学怪物，但其实它就是一种聪明的方式，帮助我们处理那些烦人的数据。
咱们可以把它想象成在考场上，有些同学的分数特别高，有些则低得让人心疼。
如果你只看最高分和最低分，可能会觉得这次考试的结果一片惨淡。
但如果你用最小二乘法来分析，那就好像给每个人的分数加了个权重，最终得出的平均分就能更真实地反映出大家的水平。
你可能会问，这俩东西有什么关系呢？嗯，其实它们是一对好搭档。
最佳平方逼近就是在找一条线，而最小二乘法则是在告诉你怎么画出这条线。
就像你要画一个完美的心形，光靠眼睛估计可不行，得有个具体的方法。
最小二乘法就像那把尺子，帮你量出每个点到线的距离，让你知道要怎么调整，才能画得又圆又满。
而且啊，这些方法可不光是在数学课上用得着。
咱们的日常生活中也是到处都是应用。
比如你在超市买水果，有些橙子很便宜，有些却贵得让你心疼。
你可能想知道，橙子的价格到底是个什么水平。
于是，你就可以用最小二乘法来分析这批橙子的价格走势，看看哪些便宜又好吃，哪些是价格虚高。
结果一出来，你就能得出一个合理的消费建议，哎呀，简直太棒了！还有呢，想想你在网上购物时，看到的那些评价。
最佳平方逼近
n
j =0
所以
= ( f − P , f − P* ) + ( P* − P, P* − P) + 2( f − P* , P* − P) f −P 2
2
*
j =0
= f −P
*
2 2
+ P −P ≥ f −P
* 2
2
*
2 2
, ∀P ( x ) ∈ S
是最优的。 即 P * ( x ) 是最优的。 (3) 均方误差
令
⋯ ∈ P( x) = ∑a j ϕ j ( x) ↔ a 0， a1， a n） R n + 1 （
b
2 f − P 2 = ∫a ω ( x )( f ( x ) − ∑ a jϕ j ( x )) dx ≡ I (a0 , a1 ,⋯ , a n )
2
j =0
n
f − P*
2 2
数分知识, 数分知识, * * = ∫ ω ( x )( f ( x ) − ∑ a *j ϕ j ( x ))2 dx ≡ I（a0，a1， a n） 它有稳定解 ⋯ * a
1 （）若 f ( x ) ∈ C [a , b]； (2) 函数类 S = Span{ϕ 0 ( x ), ϕ 1 ( x ),⋯ , ϕ n ( x )}， i ( x) ∈ C[a, b]， ϕ 线性无关， 且 ϕ 0 ( x ), ϕ 1 ( x ), ⋯ , ϕ n ( x )线性无关，则
f −P
2 2 *
2 2
= ( f − P, f − P)
j =0
≥ f −P
*
2 2
= ( f − P + P* − P, f − P* + P* − P)
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
性质 5 设 k k 0是 [a, b] 上带权 (x) 的正交多项式
族，则n(x) (n>0) 有n个单重实根，且都位于 区间[a, b] 内。
几类重要的正交多项式 Legendre 多项式 Chebyshev 多项式
第二类 Chebyshev 多项式
Laguerre 多项式 Hermite 多项式
Chebyshev 多项式
切比雪夫多项式的性质：
(1) 递推公式： Tn1 ( x ) 2 xTn ( x ) Tn1 ( x )
cos(n+1) + cos(n-1) = 2cos cosn x = cos
mn 0, 1 T ( x )T ( x ) n m (Tn , Tm ) dx π / 2, m n 0 (2) 正交性： 2 1 1 x π, mn0 n T ( x ) ( 1) Tn ( x) (3) 奇偶性： n
性质1 性质2
n ( x)
为首一 n 次多项式。 [a, b] 上带权 (x) 的正交多
是 k k 0
项式族，且
H n span 0 ,1,...,n
性质 3 正交。
n ( x) 与所有次数不高于n-1次的多项式
正交多项式性质
性质 4
此 k k 0 满足如下三项递推公式：
数值分析及计算软件
第三章
函数逼近与计算
3.3 最 佳 平 方 逼 近 及正交多项式
最佳平方逼近问题：
若存在 Pn* ( x )H n , 使得
|| f ( x) Pn ( x) ||2 inf || f ( x) Pn ( x) ||2 ,
Pn H n
*
Pn* ( x ) 被称为 f ( x )在[a,b]上的最佳平方 逼近多项式。
带权内积 导出范数
( f , g ) ( x ) f ( x ) g ( x ) dx
a
b
f
2
b a
( x ) f 2 ( x ) dx
1/2
性质
设 0, 1, , nC[a, b]，则 0, 1, , n 线 性无关当且仅当 det(G) 0，其中 ( 0 , 0 ) ( 0 , 1 ) ( 0 , n ) ( , ) ( , ) ( , ) 1 1 1 n G G ( 0 , 1 , , n ) 1 0
(6) Tn(x) 的首项系数为 2n-1，且 |Tn(x)| 1 (7) T2n(x) 只含偶次幂，T2n+1(x) 只含奇次幂
Chebyshev 多项式
Tn ( x ) (8) 令 Tn ( x ) n1 2
( x ) 为首项系数为 1 的 Chebyshev 多项式。 即 T n
在区间[-1,1]上所有最高项系数为1的n次多项式中， ~ Tn ( x) 与零的偏差最小
一个应用：求 f ( x) 2x x 2x 1 在[-1,1]
3 2
上的最佳二次逼近多项式。
Chebyshev多项式
T0 ( x) 1
T1 ( x ) x
T2 ( x ) 2 x 2 1
称 (u, v) 为 X 上的内积，定义了内积的线性空间称为内积空间
u, v 正交
(u, v) = 0
内积空间
定理
设 X 是 内积空间，u1, u2, , un X ，定义矩阵
( u1 , u1 ) ( u2 , u1 ) (u , u ) (u , u ) 2 2 G 1 2 ( u1 , un ) ( u2 , un ) ( un , u1 ) ( un , u2 ) ( un , un )
勒让德多项式有以下性质：
0, mn 1 (1) 正交性： (Pn , Pm ) Pn ( x )Pm ( x ) dx 2 1 , mn 2n 1
(2) 奇偶性： Pn ( x ) (1)n Pn ( x ) (3) 递推公式：( n 1)Pn1 ( x) (2n 1) x Pn ( x) nPn1 ( x)
a
b
则称 f(x) 与 g(x) 在 [a, b] 上 带权 (x) 正交
定义 若函数族 0(x), 1(x), , n(x)C[a, b] 满足
jk 0, ( j , k ) ( x ) j ( x ) k ( x )dx a Ak 0, j k 则称 {k(x)} 是 [a, b] 上 带权 (x) 的正交函数族
b
a
x k ( x ) dx，存在且为有限值 (k = 0, 1, 2, … )
(2) 对 [a, b] 上的任意非负连续函数 g(x) ，
若
b
a
g ( x ) ( x ) dx 0 ， 则 g ( x ) 0
则称 (x) 是 [a, b] 上一个权函数
带权内积
设 (x) 是 [a, b] 上的权函数， f(x), g(x) C[a, b]
( n 1) (2n)! Pn (x) 的首项 xn 的系数为： 2n(2n 1) n n 2 2 n! 2 ( n !)
n n ! d 2 n P ( x ) ( x 1) 令 n (2n)! dx n ( x ) 是首项系数多项式
以 Chebyshev 多项式的零点作为插值节点进行插值
其中 P0(x) = 1, P1(x) = x，n = 1, 2, …
(4) Pn(x) 在 (-1,1) 内有 n 个不同的零点 (5) 在所有首一n次多项式中，首一n次Legendre多项式在 [-1,1]上与零的平方误差最小
Legendre多项式
P0 ( x ) 1
P1 ( x ) x
i 1
n
( x, y) i xi yi 1 x1 y1 2 x2 y2 n xn yn
i 1
1, 2, , n 为正实数
例： C[a, b] 上的内积：
( f , g ) f ( x ) g ( x ) dx
a
b
权 函 数
权函数
(1) 设 (x) 是 [a, b] 上的非负函数，满足
T3 ( x) 4 x 3 3 x
T4 ( x) 8 x4 8 x 2 1
T5 ( x) 16x5 20x 3 5 x
Chebyshev多项式图示
Chebyshev 插值
Chebyshev 插值
Q: 为什么？
2k 1 xk cos π 2( n 1)
--Gram 矩阵
则 G 非奇异当且仅当 u1, u2, , un 线性无关。
内积空间
内积导出范数:
|| x ||2 ( x, x)
1/ 2
定理（Cauchy-Schwarz） 设 X 是一个内积空间，
对 u, v X 有
(u, v) || u ||2 . || v ||2
定理（平行四边形定律）
问题: (1) Pn ( x ) 是否存在？ (2) 如何计算？
*
内积空间
定义 设 X 是数域 K (R 或 C) 上的线性空间，对 u, v X
有 K 中的一个数 (u, v) 与之对应，且满足
(1) (v, u) ( u, v) (2) ( u, v ) ( u, v ), K (3) ( u v, w) ( u, w) ( v, w), w X (4) ( u, u) 0 ，等号当且仅当 u = 0 时成立
Chebyshev 多项式
切比雪夫多项式的性质：
(4) Tn(x) 在 (-1,1) 内有 n 个不同的零点:
2k 1 xk cos π 2n
kπ xk cos n
(k = 1, 2, … , n)
(5) Tn(x) 在 [-1, 1] 上有 n+1 个极值点: (k = 0, 1, … , n)
正交化手续：由线性无关的一组基
n 1
1, x, x ,...,x ,...
2 n
利用如下正交化手续可以构造正交多项式：
n ( x , k ) n 0 ( x) 1, n ( x) x .k ( x), k 1,2,... k 0 (k , k )
正交多项式性质
定义
jk 0, ( j , k ) ( x ) j ( x ) k ( x )dx a Ak 0, j k k k 0 为在[a, b] 上带权 (x) 正交， 则称
b
设 n(x) 是首项系数不为 0 的 n 次多项式，若
n(x) 为 n 次正交多项式。
Legendre 多项式
Legendre 多项式
在 [-1, 1] 上带权
(x)=1 的正交多项式称为 勒让德多项式
记号：P0 , P1 , P2 , ...
1 dn 2 n P0 ( x ) 1, Pn ( x ) n ( x 1) x [-1, 1]，n = 1, 2, … 2 n! dx n
|| u v ||2 || u v ||2 2(|| u ||2 || v ||2 )
2
2
2
2
内
积
例：Rn 上的内积：
导出的范数为
( x, y) xi yi x1 y1 x2 y2 xn yn
i 1
2 1 2 2 2 1/2 n
n
x x x x
P2 ( x) ( 3 x 2 1) / 2