最佳平方逼近
合集下载
最佳平方逼近
( f p*, f p*) 2( f p*, p * p) ( p * p, p * p)
n
因为 f p*, p * p cj c j f p*, j 0 及
j0
( p * p, p * p) 0, 故 ( f p, f p) ( f p*, f p*).
2 则 f (x) 1 1 t g(t), 1 x 1
2 先求g(t)在区间 [-1,1] 旳一次最佳平方逼近多项式.
由
c0 *
1 2
(g,
L0 )
1 2
1 1
1 2
1 tdt 2 , 3
c1
3 2
(g,
L1 )
3 2
1 1
t 2
1 tdt 2 . 5
可知
2
2
22
q1(t) 3 L0 (x) 5 L1(x) 3 5 t,
例6 定义内积 ( f , g)
1
f (x)g(x)dx
0
试在H1=Span{1,x}中谋求对于f(x)= x 旳最佳平方逼近
元素p(x).
解 法方程为
1 12
1 2
13
c0
c1
2 2
3 5
解得
c0
4, 15
c1
4 5
所求的最佳平方逼近元素为 p(x) 4 4 x. 0 x 1 15 5
(n
,n
)
cn*
( f ,n )
因为 0x,1x, , nx 线性无关, 能够推得上系数阵是
非奇异旳. 故 (5. 82) 有唯一解 { c*j }.
四、最佳平方逼近旳误差
记 ( f p*, f p*), 称其为最佳平方逼近误差, 利用
n
因为 f p*, p * p cj c j f p*, j 0 及
j0
( p * p, p * p) 0, 故 ( f p, f p) ( f p*, f p*).
2 则 f (x) 1 1 t g(t), 1 x 1
2 先求g(t)在区间 [-1,1] 旳一次最佳平方逼近多项式.
由
c0 *
1 2
(g,
L0 )
1 2
1 1
1 2
1 tdt 2 , 3
c1
3 2
(g,
L1 )
3 2
1 1
t 2
1 tdt 2 . 5
可知
2
2
22
q1(t) 3 L0 (x) 5 L1(x) 3 5 t,
例6 定义内积 ( f , g)
1
f (x)g(x)dx
0
试在H1=Span{1,x}中谋求对于f(x)= x 旳最佳平方逼近
元素p(x).
解 法方程为
1 12
1 2
13
c0
c1
2 2
3 5
解得
c0
4, 15
c1
4 5
所求的最佳平方逼近元素为 p(x) 4 4 x. 0 x 1 15 5
(n
,n
)
cn*
( f ,n )
因为 0x,1x, , nx 线性无关, 能够推得上系数阵是
非奇异旳. 故 (5. 82) 有唯一解 { c*j }.
四、最佳平方逼近旳误差
记 ( f p*, f p*), 称其为最佳平方逼近误差, 利用
最佳平方逼近
正规方程组一般为病态方程组，当维数 较高时，病态严重，求解困难。 可以采取选择不同的基的方式，来改变 正规方程组的性态。 我们考虑最佳平方逼近多项式，采用正 交多项式做基函数。
2
b
a
函数f ( x)和g ( x)正交 ( f , g ) w( x) f ( x) g ( x)dx 0
a b
设次数不超过n的多项式空间为 n , 显然 是C[a, b]的一个子空间，
n的基为1, x,..., x n , 则，p( x) a0 a1 x ... an x n n 是f ( x)在 n的最佳逼近元的充分必要条件为
否则，就线性无关。 区间[a,b]上c11 ( x) .... cm m ( x) 0成立 就一定有c1 ... cm 0
假定1 ( x),....m ( x)是子空间S的基， 若函数g是最佳逼近元，则
( f g , 1 ( x)) 0,( f g , 2 ( x)) 0 ...., f g , m ( x)) 0 (
w( x) C[a, b]，w( x) 0，x [a, b] 称w( x)为权函数。
连续函数空间C[a, b]，给定权函数w( x) 对于f , g C[a, b]
最佳平方逼近多项式
给定函数f ( x) C[a, b], 求次数不超过n的 多项式p( x)，使得
b
a
w( x)( f ( x) p( x)) dx min
简记为Ax=b
求解这个方程，就能得到a， ，am， .....
从而得到f ( x)在子空间S中的最佳平方 逼近元g ( x) a11 ( x) ..... amm ( x)
最佳平方逼近原理
最佳平方逼近原理
最佳平方逼近原理（Least Squares Principle）是一种常用的数学方法，用于从一组数据中找到最佳的拟合曲线或函数。
该方法的基本思想是，通过最小化数据点到拟合曲线的垂直距离平方和来确定最佳的拟合曲线。
这种距离的平方和被称为残差平方和（residual sum of squares）。
在统计学和数学建模中，最佳平方逼近原理被广泛应用。
它可以用于拟合线性回归模型、多项式拟合、曲线拟合等问题。
通过使用最小二乘法（least squares method），可以计算出最佳拟合曲线或函数的参数，并对其进行优化。
最佳平方逼近原理的优点在于它能够提供一个简单而有效的方法来处理数据拟合问题。
它能够使我们得到一个与数据拟合最好的函数或曲线，并且具有较高的精度和可靠性。
然而，它也有一些限制，例如对于非线性问题，它可能无法提供最优解，需要使用其他方法来解决。
第三章-2-最佳平方逼近
性质 5 设 k k 0是 [a, b] 上带权 (x) 的正交多项式
族，则n(x) (n>0) 有n个单重实根，且都位于 区间[a, b] 内。
几类重要的正交多项式 Legendre 多项式 Chebyshev 多项式
第二类 Chebyshev 多项式
Laguerre 多项式 Hermite 多项式
Chebyshev 多项式
切比雪夫多项式的性质：
(1) 递推公式： Tn1 ( x ) 2 xTn ( x ) Tn1 ( x )
cos(n+1) + cos(n-1) = 2cos cosn x = cos
mn 0, 1 T ( x )T ( x ) n m (Tn , Tm ) dx π / 2, m n 0 (2) 正交性： 2 1 1 x π, mn0 n T ( x ) ( 1) Tn ( x) (3) 奇偶性： n
性质1 性质2
n ( x)
为首一 n 次多项式。 [a, b] 上带权 (x) 的正交多
是 k k 0
项式族，且
H n span 0 ,1,...,n
性质 3 正交。
n ( x) 与所有次数不高于n-1次的多项式
正交多项式性质
性质 4
此 k k 0 满足如下三项递推公式：
数值分析及计算软件
第三章
函数逼近与计算
3.3 最 佳 平 方 逼 近 及正交多项式
最佳平方逼近问题：
若存在 Pn* ( x )H n , 使得
|| f ( x) Pn ( x) ||2 inf || f ( x) Pn ( x) ||2 ,
数值分析最佳平方逼近
9 9
第三章 函数逼近与计算
定义3.8 设 0(x), 1(x), … , n-1(x)在[a,b]上连续如果 a00(x)+a11(x)+… +ann(x)=0 对任意 x[a, b]成立
当且仅当 a0= a1=… =an=0，则称 0(x), 1(x), … , n-1(x) 在[a,b]上是线性无关的。
I 0 a k
(k 0,1,, n),
(k 0,1,, n),
(k 0,1,, n).
( ( x), ( x))a
j 0 k j
© 2009, Henan Polytechnic University §3 最佳平方逼近
n
j
( f ( x ), k ( x ))
b
则称{ k ( x)} 是 [a, b] 上带权 ( x )的正交函数族. 若 Ak 1，则称之为标准正交函数族. 三角函数族 1, cos x , sin x , cos 2 x , sin 2 x , 区间 [ , ]上的正交函数族.
© 2009, Henan Polytechnic University §3 最佳平方逼近
© 2009, Henan Polytechnic University §3 最佳平方逼近
1111
第三章 函数逼近与计算
3.3.2 函数的最佳平方逼近 对f ( x ) C[a, b]及C[a, b]中的一个子集 span{ 0 ( x ),1 ( x ),, n ( x )}
b b
b
b
I 2a0 0 ( x ), k ( x ) 2a1 1 ( x ), k ( x ) 即 ak 2an n ( x),k ( x) 2 f ( x),k ( x)
第二章最佳平方逼近课件
在区间[-1,1]上关于权函数
正交,且
10
事实上,若 于是有
则有
11
例 4、 Laguerre 多项式 即多项式
是在
上带权 的n次正交多项式,且
例 5 、Hermite 多项式
12
即多项式
是在区间
上带权 的n次正交多项式,且有正交关系式:
13
(二)、 正交多项式的性质
设
是在 上带权正交的多项式序列，其中
的方程组为
解之得
故
29
三、一般最小二乘逼近问题的提法 1、广义多项式与权系数 2、一般最小二乘逼近问题的提法 3、正规方程组 4、小结
30
(一)、广义多项式与权系数
(1) 、广义多项式 设函数系
线性无关，则其有限项线性组合
称为广义多项式。
例如
(2) 、“权系数”的概念 在例6中，如果要研究低温时电阻与温度的关系，显然低温 下测得的电阻值更重要一些，而另外一些电阻值的作用小 些。这在数学上表现为用和
求电阻 和温度 间的关系。
22
解决这类问题通常的步骤如下 :
y (1)用一坐标将 ， 值描于图上
(1) (2)凭视觉知，
在一条直线
上的两测附近，于是可设
近
x
，
似的成直线关系。 上面的直线关系称为数学模型。在第 次观测数据中， 与
实测值 有误差
通常称为残差。 23
它是衡量被确定的参数 和 (也就是近似多项式 )好坏的重要标志。
使得 最小。这时
称为函数
在区间 上关于
权函数 的最小二乘逼近多项式。
注意， 可看成 中
且
的极限。通常， “最小”也可说成“最优”或“最佳”；“二乘 可
最佳平方逼近
逼近元g(x) a11(x) ..... amm(x)
(1,1) (2,1) L
A
(1,2
)
(2,2 )
L
L
LL
(1,m ) (2,m ) L
(m,1)
(m
,2
)
L
(m
,
m
)
称为函数1(x)，.....，m (x)的Gram矩阵，
A显然是对称矩阵。
若1(x)，.....，m (x)线性无关，则它们
0
3
(ex ,1) 2 ex 1dx e2 1 0
(ex , x) 2 ex xdx e2 1 0
法方程组为
2a0
2a0
2a1 8 3 a1
e2 1 e2 1
a0=0.1945 , a1=3.0000
最佳平方逼近一次多项式为 0.1945+3.0000x
8 7 6 5 4 3 2 1 0
b w(x) f (x) g(x)2 dx a
函数f (x)和g(x)正交
b
( f , g) a w(x) f (x)g(x)dx 0
设次数不超过n的多项式空间为n ,显然 是C[a, b]的一个子空间，
n的基为1, x,..., xn ,则，p(x) a0 a1x ... anxn n 是f (x)在n的最佳逼近元的充分必要条件为
a0 (1,1) a1(x,1) ... an (xn ,1) ( f ,1)
a0 (1, x) a1(x, x) ... an (xn , x) ( f , x)
a0 (1, xn ) a1(x, xn ) ... an (xn , xn ) ( f , xn )
求解法方程组，得到a0，a1，...，an
(1,1) (2,1) L
A
(1,2
)
(2,2 )
L
L
LL
(1,m ) (2,m ) L
(m,1)
(m
,2
)
L
(m
,
m
)
称为函数1(x)，.....，m (x)的Gram矩阵，
A显然是对称矩阵。
若1(x)，.....，m (x)线性无关，则它们
0
3
(ex ,1) 2 ex 1dx e2 1 0
(ex , x) 2 ex xdx e2 1 0
法方程组为
2a0
2a0
2a1 8 3 a1
e2 1 e2 1
a0=0.1945 , a1=3.0000
最佳平方逼近一次多项式为 0.1945+3.0000x
8 7 6 5 4 3 2 1 0
b w(x) f (x) g(x)2 dx a
函数f (x)和g(x)正交
b
( f , g) a w(x) f (x)g(x)dx 0
设次数不超过n的多项式空间为n ,显然 是C[a, b]的一个子空间，
n的基为1, x,..., xn ,则，p(x) a0 a1x ... anxn n 是f (x)在n的最佳逼近元的充分必要条件为
a0 (1,1) a1(x,1) ... an (xn ,1) ( f ,1)
a0 (1, x) a1(x, x) ... an (xn , x) ( f , x)
a0 (1, xn ) a1(x, xn ) ... an (xn , xn ) ( f , xn )
求解法方程组，得到a0，a1，...，an
最佳平方逼近
所求的
应该使下式达极小：
由
整理得到
计算积分后，得法方程组
解之得 从而得到最佳平方逼近一次多项式
三、正交基函数的选择 如果我们选择子空间
正交，即 则法方程
简化为
即 容易求得 并得到最佳平方逼近
例3.2. 已知
在区间 [-1，1]上两两正交，试求
在这个
区间上的最佳平方逼近二次多项式，并给出误差估计。
应该使
整体达最小。 通过这种度量标准求得拟合曲线y=f(x)的方法，
就称作曲线拟合的最小二乘法。 按照以上思想来求出f(x)的拟合曲线，首先需
要确定出f(x)所属的函数类，然后进一步求出具体 函数，具体按照以下步骤进行。
二、最小二乘法拟合曲线的步骤
第一步：根据如下已知点的坐标，在坐标系里描点
第二步：根据图示，确定曲线所属的函数类型，例 如多项式函数类、三角函数类、指数函数 类、对数函数类等。假设所确定的函数类 的基函数为
而n+1元函数
在区间
上具有一阶连续导函数，因此根据
极值原理，在最小值点
处：
而 于是 即
利用内积 可以得到 这是一个含有n+1个变量的方程组，具体形式为：
再写成 矩阵形式为
这是关于n+1个变量
的线性方程组，并称
其为法方程组，或者正规方程组。
解此方程组，就可以得到 了f(x) 的最佳平方逼近：
，也就得到
同时，还需要给出连续函数
空间上的一个度量标准，下面通过内积给出平方范数。
二、连续函数的平方范数
已知所有连续函数构成的集合C[a,b]是一个线性
空间，对于C[a,b]中的任意函数
、 ，定义
实数
计算方法 第五章第二节最佳平方逼近
b n
n
2
i 0
a
i 0
上述方程组称为正规方程组。也可以写为
( p, j ) ( f , j )，j 0,1,..., n.
由于0 ( x), 1 ( x),..., n ( x) 线性无关，由性质5.2.3，该方程组 的系数矩阵非奇异，因而方程组存在惟一解。
可以证明，最佳平方问题的解存在惟一且就是正规方程组的解。
b
j i,
j i,
则称多项式族 {g n ( x)} 在[a, b] 上带权 ( x) 正交，并称 g n ( x)是[a, b] 上带权 ( x)的 n 次正交多项式。
一般情况下，当权函数 ( x)及区间[a, b] 给定后，人们 可通过Gram－Schmidt正交化过程，由{1, x,..., x n }构造 出相应的正交多项式。
2
的最小值。
由多元函数取极值的必要条件 S 0,
a j
j 0,1,..., n,
得
n aii ( x) f ( x) j ( x)dx 0， j 0,1,..., n. a ( x) i 0
b
于是有
)，j 0,1,..., n. ( , ) a ( f , S (a0 , ai1 ,...,jan ) :i ( x) j aii ( x) f ( x) dx
2
2
2
2
f g f g 2 f g
2
2
2
2
,
f , g Y.
二、 函数的最佳平方逼近
已知函数 f ( x) C[a,b] 及C[a,b]中的一个子集 span{0 , 1 ,..., n }，如果 p( x) span{0 , 1,..., n}，使得
n
2
i 0
a
i 0
上述方程组称为正规方程组。也可以写为
( p, j ) ( f , j )，j 0,1,..., n.
由于0 ( x), 1 ( x),..., n ( x) 线性无关，由性质5.2.3，该方程组 的系数矩阵非奇异，因而方程组存在惟一解。
可以证明，最佳平方问题的解存在惟一且就是正规方程组的解。
b
j i,
j i,
则称多项式族 {g n ( x)} 在[a, b] 上带权 ( x) 正交，并称 g n ( x)是[a, b] 上带权 ( x)的 n 次正交多项式。
一般情况下，当权函数 ( x)及区间[a, b] 给定后，人们 可通过Gram－Schmidt正交化过程，由{1, x,..., x n }构造 出相应的正交多项式。
2
的最小值。
由多元函数取极值的必要条件 S 0,
a j
j 0,1,..., n,
得
n aii ( x) f ( x) j ( x)dx 0， j 0,1,..., n. a ( x) i 0
b
于是有
)，j 0,1,..., n. ( , ) a ( f , S (a0 , ai1 ,...,jan ) :i ( x) j aii ( x) f ( x) dx
2
2
2
2
f g f g 2 f g
2
2
2
2
,
f , g Y.
二、 函数的最佳平方逼近
已知函数 f ( x) C[a,b] 及C[a,b]中的一个子集 span{0 , 1 ,..., n }，如果 p( x) span{0 , 1,..., n}，使得
最佳平方逼近
(f q ,q p ) (f p ,q p ) 0 , 故 ( p q ,p q ) ( p f f q ,p q )
( p f,p q ) ( f q ,p q ) 0
这说明, p(x) q(x) 于 [a, b].
9
三、最佳平方逼近函数的求解
利用 ( f p*, j )=0, 可求出最佳平方逼近函数 p*. 设
(x) 最佳平方逼近的函数 ( f p*, j )=0, j=0,1,…,n. 其中, {0x,1x, , nx}为子空间 Hn 的一组基.
证: () 反证法, 设有函数 kx, 使得 ( f p*, k) k 0 , 令 q(x) p*(x) kx k /(k, k), 显然, q(x)Hn . 利用内
积的性质, 可得
(f q ,f q ) (f p * ,f p * ) (2 k ,k k )(f p * ,k ) ( k 2 ( k ,k ,k ) k 2 )
(fp * ,fp * )( k,k 2k)(fp * ,fp * )
k
这说明, p*(x) 不是对 f (x) 最佳平方逼近的函数, 矛盾.
7
() 若 ( f p*, j )=0, j=0,1,…,n 成立, 对任意的 p(x)Hn ,有
( f p , f p ) ( f p * p * p , f p * p * p )
( f p * , f p * ) 2 ( f p * , p * p ) ( p * p , p * p )
(0,1) (1,1)
((10,,nn))cc10**((ff,,10))
(n,0) (n,1) (n,n)cn* (f,n)
由于 0x,1x, , nx 线性无关, 可以推得上系数阵是
( p f,p q ) ( f q ,p q ) 0
这说明, p(x) q(x) 于 [a, b].
9
三、最佳平方逼近函数的求解
利用 ( f p*, j )=0, 可求出最佳平方逼近函数 p*. 设
(x) 最佳平方逼近的函数 ( f p*, j )=0, j=0,1,…,n. 其中, {0x,1x, , nx}为子空间 Hn 的一组基.
证: () 反证法, 设有函数 kx, 使得 ( f p*, k) k 0 , 令 q(x) p*(x) kx k /(k, k), 显然, q(x)Hn . 利用内
积的性质, 可得
(f q ,f q ) (f p * ,f p * ) (2 k ,k k )(f p * ,k ) ( k 2 ( k ,k ,k ) k 2 )
(fp * ,fp * )( k,k 2k)(fp * ,fp * )
k
这说明, p*(x) 不是对 f (x) 最佳平方逼近的函数, 矛盾.
7
() 若 ( f p*, j )=0, j=0,1,…,n 成立, 对任意的 p(x)Hn ,有
( f p , f p ) ( f p * p * p , f p * p * p )
( f p * , f p * ) 2 ( f p * , p * p ) ( p * p , p * p )
(0,1) (1,1)
((10,,nn))cc10**((ff,,10))
(n,0) (n,1) (n,n)cn* (f,n)
由于 0x,1x, , nx 线性无关, 可以推得上系数阵是
最佳平方逼近与最小二乘拟合
最佳平方逼近与最小二乘拟合——两者的区别与联系 函数逼近是用一个多项式无限接近原函数，而拟合是将函数中的元素联系起来。
也就是说，最佳平方逼近是针对函数，最小二乘法是针对离散的点，二者在形式上基本一致。
另外，最小二乘拟合也称为离散型最佳平方逼近，两者的解法有很多相似之处。
一、 函数的最佳平方逼近 （一）最佳平方逼近函数的概念对[]b a C x f ,)(∈及[]b a C ,中的一个子集{}n span ϕϕϕφ,,,10⋯=，若存在φ∈)(*x S，使[]dx x S x f x S f Sf baS S ⎰-=-=-∈∈22222*)()()(infinf ρϕϕ，则称)(*x S 是)(x f 在子集[]b a C ,⊆φ中的最佳平方逼近函数。
（二）最佳平方逼近函数的解法为了求)(*x S ，由[]dxx S x f x S f Sf baS S ⎰-=-=-∈∈22222*)()()(infinf ρϕϕ可知，一般的最佳平方逼近问题等价于求多元函数dxx f x a x a a a I banj j j n 2010)()()(),,,(⎰∑⎥⎦⎤⎢⎣⎡-=⋯=ϕρ的最小值问题。
由于),,,(10n a a a I ⋯是关于n a a a ,,,10⋯的二次函数，利用多元函数极值的必要条件),,1,0(0n k a Ik⋯==∂∂，即),,,,1(2nn x x x G G =n),,1,0(0)()()()(20⋯==⎥⎦⎤⎢⎣⎡-=∂∂⎰∑=k dx x x f x a x a Ik b a n j j j kϕϕρ，于是有()()),,1,0(,,0n k f a k j nj j k ⋯==∑=ϕϕϕ。
()()),,1,0(,,0n k f a k j nj j k⋯==∑=ϕϕϕ是关于n 10,,,a a a ⋯的线性方程组，称其为法方程。
由于n ϕϕϕ,,,10⋯线性无关，故系数行列式()0,,,10≠⋯n G ϕϕϕ，于是方程组()()),,1,0(,,0n k f a k j nj j k⋯==∑=ϕϕϕ有唯一解),,1,0(*n k a a k k ⋯==，从而得到)()()(*0*0*x a x a x S n n ϕϕ+⋯+=。
最佳平方逼近
(2) Rn中的最佳平方逼近
R n 中的最佳平方逼近称为离散情形的最佳平方 逼近，求离散情形最佳平方逼近的方法称为
最小二乘法
下节讨论
dis( x, y) || x y ||2 ( x y, x y)
( x y )
i i
2
连续函数空间C[a,b]中f(x)与g(x)的距离即为
dis( f ( x ), g ( x )) || f ( x ) g ( x ) ||2
2 ( f ( x ) g ( x )) dx a b
( f ( x), g( x)) a f ( x) g( x)dx ( f ( x), g( x)) a ( x) f ( x) g( x)dx
b b
若取 Pn [a ,b ] 中 n +1个线性无关元为 {1,x ,… ,x n },则 对任意的g(x)∈C[a,b], 求Pn[a,b]中对g(x)的最佳 平方逼近元pn(x)，就必须通过求解法方程组得到 最佳平方逼近元.
b
或
( f ( x), g( x)) a ( x) f ( x) g( x)dx
b
f ( x ), g ( x ) C[a, b] 其中(x) 称为权函数
它满足：
①在[a,b]的任何子区间上积分为正； ②(x) ≥0，且使(x) =0的点至多有限个； ③ 对f(x)=1, x, x２,…, 积分 a f ( x ) g ( x )dx 存在.
例1 求g(x)=x 在P1[0,1]中的最佳平方逼近元
解法一
这是C[0,1]上的最佳平方逼近问题. 取０＝１, １＝x, P1[0,1]＝span{1,x} 记 p1(x)=a０＋a１x (０,0)=1，(０,1)=1/2， (1,1)=1/3 ， (０,g)=2/3， (1,g)=2/5. 所以，关于a０，a１为未知数的法方程组为
最佳平方逼近
c1 4 5
4 15 4 5 x. 0 x 1
所求的最佳平方逼近元
素为 p ( x )
5.6.2 正交系在最佳平方逼近中的应用
当 0x,1x, , nx, 是正交系时,求解最佳平方逼 近式(5.82)中的系数非常容易. 目标: 求下面的最佳平方逼近式中的系数
（ 5.84）
函数 f 的 L-最佳平方逼近函数为
pL ( x )
n k 0
c k L k ( x ),
(L)
1 x 1
（5.85）
遇到区间[a,b], 通过下面的变换把问题转化到[-1,1]上处理.
x a b 2 b a 2 t.
函数 f (x) 的 Legendre 无穷级数
三、最佳平方逼近函数的求解
利用 ( f p*, j )=0, 可求出最佳平方逼近函数 p*. 设
p * (x)
n
故
0
ck k ( x)
*
n * k
k 0
f
p *,
j
f , c
j k 0 j
k
,
j
(5.82)
n
ck k ,
1
( f , g)
1
f ( x ) g ( x )dx
L-正交多项式为 L0x, L1x, , Lnx, 用(5.83), 有
ck
(L)
( f , Lk ) ( Lk , Lk )
2k 1 2
1
1
L
k
( x ) f ( x )dx ,
k 0,1, 2, ..., n
4 15 4 5 x. 0 x 1
所求的最佳平方逼近元
素为 p ( x )
5.6.2 正交系在最佳平方逼近中的应用
当 0x,1x, , nx, 是正交系时,求解最佳平方逼 近式(5.82)中的系数非常容易. 目标: 求下面的最佳平方逼近式中的系数
（ 5.84）
函数 f 的 L-最佳平方逼近函数为
pL ( x )
n k 0
c k L k ( x ),
(L)
1 x 1
（5.85）
遇到区间[a,b], 通过下面的变换把问题转化到[-1,1]上处理.
x a b 2 b a 2 t.
函数 f (x) 的 Legendre 无穷级数
三、最佳平方逼近函数的求解
利用 ( f p*, j )=0, 可求出最佳平方逼近函数 p*. 设
p * (x)
n
故
0
ck k ( x)
*
n * k
k 0
f
p *,
j
f , c
j k 0 j
k
,
j
(5.82)
n
ck k ,
1
( f , g)
1
f ( x ) g ( x )dx
L-正交多项式为 L0x, L1x, , Lnx, 用(5.83), 有
ck
(L)
( f , Lk ) ( Lk , Lk )
2k 1 2
1
1
L
k
( x ) f ( x )dx ,
k 0,1, 2, ..., n
第3章数值分析---最佳平方逼近
5 3 P ( x ) ( 63 x 70 x 15 x) / 8, 5
6 4 2 P ( x ) ( 231 x 315 x 105 x 5) / 16, 6
6
切比雪夫多项式 P61-64
当权函数 ( x)
1 1 x2
，区间为 [1, 1]时，由序
列 {1, x,, x n ,} 正交化得到的正交多项式就是切比雪夫 (Chebyshev)多项式.
1/ 2 1/ 3 1 /( n 2)
1 /( n 1) 1 /( n 2) （3.6） 1 /( 2n 1)
称为希尔伯特(Hilbert)矩阵.
T T 记 a (a0 , a1 ,, an ) , d (d 0 , d1 ,, d n ) , 则
2 2
min f ( x) P( x)
PH n
2 2
（1.19）
min
PH n
b
a
[ f ( x) P( x)]2 dx,
则称 P* ( x) 是 f ( x)在 [a, b]上的最佳平方逼近多项式.
若 f ( x) 是 [a, b]上的一个列表函数，在
a x0 x1 xm b
det G(0 , 1 ,, n ) 0 ( P56)
* 于是方程组（3.3）有唯一解 ak ak
(k 0,1, , n),
* * S * ( x) a0 0 ( x ) an n ( x).
10
若取 k ( x) x k , ( x) 1, f ( x) C[0, 1], 则要在 H n
0
(1 x 2 )dx 0.426d1 0.934d 0 0.0026.
6 4 2 P ( x ) ( 231 x 315 x 105 x 5) / 16, 6
6
切比雪夫多项式 P61-64
当权函数 ( x)
1 1 x2
，区间为 [1, 1]时，由序
列 {1, x,, x n ,} 正交化得到的正交多项式就是切比雪夫 (Chebyshev)多项式.
1/ 2 1/ 3 1 /( n 2)
1 /( n 1) 1 /( n 2) （3.6） 1 /( 2n 1)
称为希尔伯特(Hilbert)矩阵.
T T 记 a (a0 , a1 ,, an ) , d (d 0 , d1 ,, d n ) , 则
2 2
min f ( x) P( x)
PH n
2 2
（1.19）
min
PH n
b
a
[ f ( x) P( x)]2 dx,
则称 P* ( x) 是 f ( x)在 [a, b]上的最佳平方逼近多项式.
若 f ( x) 是 [a, b]上的一个列表函数，在
a x0 x1 xm b
det G(0 , 1 ,, n ) 0 ( P56)
* 于是方程组（3.3）有唯一解 ak ak
(k 0,1, , n),
* * S * ( x) a0 0 ( x ) an n ( x).
10
若取 k ( x) x k , ( x) 1, f ( x) C[0, 1], 则要在 H n
0
(1 x 2 )dx 0.426d1 0.934d 0 0.0026.
最佳平方逼近
同时，还需要给出连续函数
空间上的一个度量标准，下面通过内积给出平方范数。
二、连续函数的平方范数
已知所有连续函数构成的集合C[a,b]是一个线性
空间，对于C[a,b]中的任意函数
、 ，定义
实数
可以证明此实数满足性质：
这时，称
为与
的内积。
并称 为函数
（3.1） 的平方范数， 且满足以下性质：
（1）
，当且仅当
xi 1 2 3 4 5 6 7 8 zi 2.72 3.02 3.31 3.60 3.89 4.18 4.48 4.77
对
作线性拟合曲线，取
得正则方程组
解得 于是有 拟合曲线为：
练习 三
3-1 利用Legendre多项式
求函数
在
上的最佳均方逼近，并估计误差。
3-2 求 上权函数为
的正交多项
式前四项 3-3 求 ，使
由 得到法方程组第 j 行的元素为：
于是法方程组的系数矩阵为： 令右端第二个矩阵为：
则系数矩阵可以表示为： 再看法方程组的右端项：
由 得到
最后可以将法方程组表示为： 其中
这样会更快的写出法方程组来。
如果所求得最小二乘拟合函数为n次多项式，则： 这时：
误差：
三、数值例子
例3.3 根据如下离散数据拟合曲线并估计误差 x1 2 3 4 6 7 8
使得对于一切
都有：
不等式
说明，所求的 满足等式：
(3.2)
而
是由系数
唯一确定的，因此，只要我
们求出了满足(3.2)的
，就可以求出
f(x)最佳平方逼近。
令
(3.3)
则
这时等式
最佳一致和平方逼近
~ 由于首项系数为1的 n + 1次Chebyshev多项式 Tn+1 ( x) 由于首项系数为1 Chebyshev多项式
无穷范数最小， 故有 无穷范数最小，
f ( x ) − Pn ( x ) ~ = Tn+1 ( x) a0
于是 Pn ( x ) = f ( x ) − a0 Tn+1 ( x)
a ≤ x ≤b
∆ ( f , Pn ) = f − Pn
= max f ( x ) − Pn ( x )
上的偏差 偏差。 为 f ( x ) 与 P ( x) 在 [ a, b ] 上的偏差。 n
注： 显然， ( f , Pn ) ≥ 0 ，{∆ ( f , Pn )} 的全体组成一个 显然， ∆
一、最佳一致逼近的概念
定义 对于任意 设函数 f ( x) 是区间 [ a, b ] 上的连续函数， 上的连续函数， 给定的 ∀ε > 0 ，如果存在多项式 P ( x ) ，使不等式
max f ( x ) − P ( x ) < ε
a ≤ x ≤b
成立， 则称多项式 P ( x ) 在区间 [ a , b ] 上一致逼近 成立， (或均匀逼近)于函数 f ( x ) 。 均匀逼近)
(1)定义 (1)定义 Chebyshev多项式 称 Tn = cos ( n arccos x ) , x ≤ 1 为n次Chebyshev多项式.
[注] 令 θ = arccos x , 则 cos θ = x
n 2 n−2 2 4 n−4 4 而 cos nθ = cos θ − Cn cos θ sin θ + Cn cos θ sin θ − L
y = f ( x)
最佳平方逼近和最小二乘法
最佳平方逼近和最小二乘法哎呀，今天我们来聊聊一个挺有意思的话题，那就是最佳平方逼近和最小二乘法。
这听起来好像挺高大上的样子，其实呢，咱们可以把它变得简单易懂。
想象一下，你在阳光明媚的下午，喝着冰凉的饮料，跟朋友闲聊。
说起这些数学名词，大家可能会皱眉头，但我跟你说，这其实跟咱们生活中遇到的那些小烦恼有着千丝万缕的联系。
什么是最佳平方逼近呢？就像你和朋友一起找地方吃饭。
你们各自都提出了自己的想法，但最后为了避免争吵，大家决定选择一个最符合大家口味的地方。
这个过程就像是在给一堆数据点找到一个最合适的“朋友”。
想象一下，在坐标系上，有一堆点在那儿乱七八糟地分布着。
你想找一条线，尽量让这条线离这些点都近一点儿。
没错，这就是最佳平方逼近。
它试图找到那条线，让所有点到这条线的距离平方和最小。
简单点说，就是尽量让大家都满意。
再说说最小二乘法。
这名字听上去像个数学怪物，但其实它就是一种聪明的方式，帮助我们处理那些烦人的数据。
咱们可以把它想象成在考场上，有些同学的分数特别高，有些则低得让人心疼。
如果你只看最高分和最低分，可能会觉得这次考试的结果一片惨淡。
但如果你用最小二乘法来分析，那就好像给每个人的分数加了个权重，最终得出的平均分就能更真实地反映出大家的水平。
你可能会问，这俩东西有什么关系呢？嗯，其实它们是一对好搭档。
最佳平方逼近就是在找一条线，而最小二乘法则是在告诉你怎么画出这条线。
就像你要画一个完美的心形，光靠眼睛估计可不行，得有个具体的方法。
最小二乘法就像那把尺子，帮你量出每个点到线的距离，让你知道要怎么调整，才能画得又圆又满。
而且啊，这些方法可不光是在数学课上用得着。
咱们的日常生活中也是到处都是应用。
比如你在超市买水果，有些橙子很便宜，有些却贵得让你心疼。
你可能想知道，橙子的价格到底是个什么水平。
于是，你就可以用最小二乘法来分析这批橙子的价格走势，看看哪些便宜又好吃，哪些是价格虚高。
结果一出来，你就能得出一个合理的消费建议，哎呀，简直太棒了！还有呢，想想你在网上购物时，看到的那些评价。
最佳平方逼近
n
j =0
所以
= ( f − P , f − P* ) + ( P* − P, P* − P) + 2( f − P* , P* − P) f −P 2
2
*
j =0
= f −P
*
2 2
+ P −P ≥ f −P
* 2
2
*
2 2
, ∀P ( x ) ∈ S
是最优的。 即 P * ( x ) 是最优的。 (3) 均方误差
令
⋯ ∈ P( x) = ∑a j ϕ j ( x) ↔ a 0， a1， a n） R n + 1 （
b
2 f − P 2 = ∫a ω ( x )( f ( x ) − ∑ a jϕ j ( x )) dx ≡ I (a0 , a1 ,⋯ , a n )
2
j =0
n
f − P*
2 2
数分知识, 数分知识, * * = ∫ ω ( x )( f ( x ) − ∑ a *j ϕ j ( x ))2 dx ≡ I（a0，a1， a n） 它有稳定解 ⋯ * a
1 （）若 f ( x ) ∈ C [a , b]； (2) 函数类 S = Span{ϕ 0 ( x ), ϕ 1 ( x ),⋯ , ϕ n ( x )}， i ( x) ∈ C[a, b]， ϕ 线性无关， 且 ϕ 0 ( x ), ϕ 1 ( x ), ⋯ , ϕ n ( x )线性无关，则
f −P
2 2 *
2 2
= ( f − P, f − P)
j =0
≥ f −P
*
2 2
= ( f − P + P* − P, f − P* + P* − P)
研究生数值分析(20)函数的最佳平方逼近
2 n
中寻求对f(x)的最佳平方逼近元素 pn (x)
现对该 Hn另取一组基底，即
H n Span L0 , L1 , L2 , , Ln } {
其中 Lj (x) 是 j 次Legendre多项式。此时，
法方程的解可直接得到，就是
( f , Lk ) 2k 1 1 c 1 Lk ( x) f ( x)dx ( Lk , Lk ) 2
以此为基底，生成空间 C[a，b] 的一个子空间
H n Span 0 , 1 ,, n } {
则 Hn中的任一个元素为
p ( x ) c j j ( x )
j 0 n
对空间C[a , b] 中的任意两个函数 f 和 g， 定义内积
( f , g ) ( x) f ( x) g ( x)dx
0
1 2 1 t dt , 3 2 t 6 1 t dt 15 2
可知
2 6 2 6 q1 (t ) L0 ( x) L1 ( x) t , 3 15 3 15 1 t 1
把 t =2x-1代人 q1 (t )
得
x
在区间[0，1]上的一次最佳平方
逼近多项式
n
这是一个以 c , c , , c 为未知数的 n+1 元线性方程组，称该式为法方程组和正规方程。 它的系数矩阵为
(0 , 0 ) (1 , 0 ) ( n , 0 ) ( , ) ( , ) ( , ) 1 1 n 1 0 1 G (0 , n ) (1 , n ) ( n , n )
( x) 的形式；
* ( x) （2）求最小二乘解，即求满足条件的近似解
[ ( xi ) yi ] min
中寻求对f(x)的最佳平方逼近元素 pn (x)
现对该 Hn另取一组基底，即
H n Span L0 , L1 , L2 , , Ln } {
其中 Lj (x) 是 j 次Legendre多项式。此时，
法方程的解可直接得到，就是
( f , Lk ) 2k 1 1 c 1 Lk ( x) f ( x)dx ( Lk , Lk ) 2
以此为基底，生成空间 C[a，b] 的一个子空间
H n Span 0 , 1 ,, n } {
则 Hn中的任一个元素为
p ( x ) c j j ( x )
j 0 n
对空间C[a , b] 中的任意两个函数 f 和 g， 定义内积
( f , g ) ( x) f ( x) g ( x)dx
0
1 2 1 t dt , 3 2 t 6 1 t dt 15 2
可知
2 6 2 6 q1 (t ) L0 ( x) L1 ( x) t , 3 15 3 15 1 t 1
把 t =2x-1代人 q1 (t )
得
x
在区间[0，1]上的一次最佳平方
逼近多项式
n
这是一个以 c , c , , c 为未知数的 n+1 元线性方程组，称该式为法方程组和正规方程。 它的系数矩阵为
(0 , 0 ) (1 , 0 ) ( n , 0 ) ( , ) ( , ) ( , ) 1 1 n 1 0 1 G (0 , n ) (1 , n ) ( n , n )
( x) 的形式；
* ( x) （2）求最小二乘解，即求满足条件的近似解
[ ( xi ) yi ] min
4章§3 最佳平方逼近
( f , g) = ∫ ρ(x) f (x)g( x)dx
a
b
称为函数f(x)与g(x)在[a，b]上的内积.
容易验证这样定义的内积满足下列四条公理； 1) ( f , g)=(g, f ) ； 2) (cf , g)=c(f , g) ，c为常数； 3)
( f1 + f2 , g)=(f1, g) + ( f2 , g)； 4) ( f , f ) ≥ 0 ,当且仅当时 ( f , f )=0
f −S
* 2 2
= inf f − S 2 = inf
2 s∈ ϕ s∈
ϕ ∫
b
a
ρ (x)[ f (x) − S(x)]2 dx
(3.11)
则称 S*(x) 是 f (x) 在子集 ϕ ⊂ C[a, b]中的最佳平方逼近函数.为 了求 S*(x) ，由 3.11)可知该问题等价于求多元函数
I (a0 , a1,Lan ) = ∫ ρ(x)[∑a jϕ j (x) − f (x)]2 dx
用{1，x，…，xn)做基，求最佳平方逼近多项式，当n较大时，系数 矩阵(3.16)式是高度病态的(病态矩阵概念见第七章)，求法方程 (3.13)的解，舍人误差很大，这时要用正交多项式做基，才能求得 最小平方逼近多项式(见§5).
P* (x) ∈ Hn ，使 n
f − P* = k
2
∫ [ f (x) − P (x)] dx = inf
b a * n 2
P∈H
f −P 2
Pn* (x) 就是f(x)在[a，b]上的最佳平方逼近多项式.
我们要研究 P* ( x) 是否存在?
n
如何计算 P* (x) ?为此先介绍一些有关内积空间的预备知识. n
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
软件：matlab
程序：
1)fun='abs(x)';
a=-1;b=1;
n=0;
A=zeros(n+1)%构造正规矩阵A
g='x.^0';
px=zeros(1,n+1);
for i=1:2*n+1
px(i)=quad(g,a,b)
g=['x.*',g];
end
for i=1:n+1
for j=1:n+1
原理：
设 ，若存在 ，使
则称 是 在 中的最佳平方逼近函数。
取 ，则逼近函数为多项式
其中 ，法方程的系数矩阵为Hilbert矩阵
…
算法：
1)给定
2)求出hilbert矩阵。
3)解出多项式拟合法方程的系数a0，a1，…an-1
4)得到多项式拟合的最佳平方逼近方程。
四．实验环境（所用软件、硬件等）及实验数据文件
hold on
xi=a:0.1:b;
yi=polyval(p,xi);
plot(xi,yi,'r:')
2）
fun='abs(x)';
a=-1;b=1;
n=4;
A=zeros(n+1)%构造正规矩阵A
g='x.^0';
px=zeros(1,n+1);
for i=1:2*n+1
px(i)=quad(g,a,b)
经检验结果与答案相同。
教师签名
年 月 日
王坤
成 绩
一．实验目的
1.了解用多项式作最佳平方逼近的基本方法和整体思想
2.用MATLAB编写程序做最佳平方逼近实验。
3.以例题7.2验证，观察。
二．实验内容
例7.2
在[-1,1]上，分别求函数f（x）=|x|在Φ1=span{1，x，x3}和Φ2={1，x2，x4}中的最佳平方逼近函数
三．实验原理、方法（算法）、步骤
A =
2.0000 0.0000 0.6667 0 0.4000
0.0000 0.6667 0 0.4000 0.0000
0.6667 0 0.4000 0.0000 0.2857
0 0.4000 0.0000 0.2857 -0.0000
0.4000 0.0000 0.2857 -0.0000 0.2222
px =
2.0000 0.0000 0.6667 0 0.4000 0.0000
px =
2.0000 0.0000 0.6667 0 0.4000 0.0000 0.2857
px =
2.0000 0.0000 0.6667 0 0.4000 0.0000 0.0.6667 0 0.4000 0.0000 0.2857 -0.0000 0.2222
A =
0 0 0 0 0
0 0 0 0 0
0 0 0 0 0
0 0 0 0 0
0 0 0 0 0
px =
2 0 0 0 0
px =
2.0000 0.0000 0 0 0
px =
2.0000 0.0000 0.6667 0 0
px =
2.0000 0.0000 0.6667 0 0
px =
2.0000 0.0000 0.6667 0 0.4000
f =
1.0000 1.0000 1.0000 1.0000
0 1.0000 1.0000 1.0000
0.5000 1.0000 1.0000 1.0000
-0.0000 1.0000 1.0000 1.0000
0.3333 1.0000 1.0000 1.0000
p =
-0.8203 -0.0000 1.6406 0.0000 0.1172
for i=1:n+1
p(i)=p0(n-i+2);
end
p
fplot(fun,[a,b])%绘制逼近效果图
hold on
xi=a:0.1:b;
yi=polyval(p,xi);
plot(xi,yi,'r:')
五．实验结果及实例分析
1）
A =
0
px =
2
A =
2
f =
1.0000
p =
0.5000
2）
g=['x.*',g];
end
for i=1:n+1
for j=1:n+1
A(i,j)=px(i+j-1);
end
end
A
f=ones(n+1,n);%构造右端f
g=fun;
for i=1:n+1
f(i)=quad(g,a,b);
g=['x.*',g];
end
f
p0=A\f;%开始求解正规方程组
p=[];
A(i,j)=px(i+j-1);
end
end
A
f=ones(n+1,n);%构造右端f
g=fun;
for i=1:n+1
f(i)=quad(g,a,b);
g=['x.*',g];
end
f
p0=A\f;%开始求解正规方程组
p=[];
for i=1:n+1
p(i)=p0(n-i+2);
end
p
fplot(fun,[a,b])%绘制逼近效果图
学生实验报告
实验课程名称应用数值分析
开课实验室
学 院数学与统计学院年级
专 业 班
学 生 姓 名学 号
开 课 时 间2014至2015学年第一学期
总 成 绩
教师签名
数学与统计学院制
开课学院、实验室： 实验时间：2014年10月17日
实验项目
名称
用多项式作最佳平方逼近
实验项目类型
验证
演示
综合
设计
其他
指导教师
程序：
1)fun='abs(x)';
a=-1;b=1;
n=0;
A=zeros(n+1)%构造正规矩阵A
g='x.^0';
px=zeros(1,n+1);
for i=1:2*n+1
px(i)=quad(g,a,b)
g=['x.*',g];
end
for i=1:n+1
for j=1:n+1
原理：
设 ，若存在 ，使
则称 是 在 中的最佳平方逼近函数。
取 ，则逼近函数为多项式
其中 ，法方程的系数矩阵为Hilbert矩阵
…
算法：
1)给定
2)求出hilbert矩阵。
3)解出多项式拟合法方程的系数a0，a1，…an-1
4)得到多项式拟合的最佳平方逼近方程。
四．实验环境（所用软件、硬件等）及实验数据文件
hold on
xi=a:0.1:b;
yi=polyval(p,xi);
plot(xi,yi,'r:')
2）
fun='abs(x)';
a=-1;b=1;
n=4;
A=zeros(n+1)%构造正规矩阵A
g='x.^0';
px=zeros(1,n+1);
for i=1:2*n+1
px(i)=quad(g,a,b)
经检验结果与答案相同。
教师签名
年 月 日
王坤
成 绩
一．实验目的
1.了解用多项式作最佳平方逼近的基本方法和整体思想
2.用MATLAB编写程序做最佳平方逼近实验。
3.以例题7.2验证，观察。
二．实验内容
例7.2
在[-1,1]上，分别求函数f（x）=|x|在Φ1=span{1，x，x3}和Φ2={1，x2，x4}中的最佳平方逼近函数
三．实验原理、方法（算法）、步骤
A =
2.0000 0.0000 0.6667 0 0.4000
0.0000 0.6667 0 0.4000 0.0000
0.6667 0 0.4000 0.0000 0.2857
0 0.4000 0.0000 0.2857 -0.0000
0.4000 0.0000 0.2857 -0.0000 0.2222
px =
2.0000 0.0000 0.6667 0 0.4000 0.0000
px =
2.0000 0.0000 0.6667 0 0.4000 0.0000 0.2857
px =
2.0000 0.0000 0.6667 0 0.4000 0.0000 0.0.6667 0 0.4000 0.0000 0.2857 -0.0000 0.2222
A =
0 0 0 0 0
0 0 0 0 0
0 0 0 0 0
0 0 0 0 0
0 0 0 0 0
px =
2 0 0 0 0
px =
2.0000 0.0000 0 0 0
px =
2.0000 0.0000 0.6667 0 0
px =
2.0000 0.0000 0.6667 0 0
px =
2.0000 0.0000 0.6667 0 0.4000
f =
1.0000 1.0000 1.0000 1.0000
0 1.0000 1.0000 1.0000
0.5000 1.0000 1.0000 1.0000
-0.0000 1.0000 1.0000 1.0000
0.3333 1.0000 1.0000 1.0000
p =
-0.8203 -0.0000 1.6406 0.0000 0.1172
for i=1:n+1
p(i)=p0(n-i+2);
end
p
fplot(fun,[a,b])%绘制逼近效果图
hold on
xi=a:0.1:b;
yi=polyval(p,xi);
plot(xi,yi,'r:')
五．实验结果及实例分析
1）
A =
0
px =
2
A =
2
f =
1.0000
p =
0.5000
2）
g=['x.*',g];
end
for i=1:n+1
for j=1:n+1
A(i,j)=px(i+j-1);
end
end
A
f=ones(n+1,n);%构造右端f
g=fun;
for i=1:n+1
f(i)=quad(g,a,b);
g=['x.*',g];
end
f
p0=A\f;%开始求解正规方程组
p=[];
A(i,j)=px(i+j-1);
end
end
A
f=ones(n+1,n);%构造右端f
g=fun;
for i=1:n+1
f(i)=quad(g,a,b);
g=['x.*',g];
end
f
p0=A\f;%开始求解正规方程组
p=[];
for i=1:n+1
p(i)=p0(n-i+2);
end
p
fplot(fun,[a,b])%绘制逼近效果图
学生实验报告
实验课程名称应用数值分析
开课实验室
学 院数学与统计学院年级
专 业 班
学 生 姓 名学 号
开 课 时 间2014至2015学年第一学期
总 成 绩
教师签名
数学与统计学院制
开课学院、实验室： 实验时间：2014年10月17日
实验项目
名称
用多项式作最佳平方逼近
实验项目类型
验证
演示
综合
设计
其他
指导教师