研究生数值分析(20)函数的最佳平方逼近
最佳平方逼近
n
因为 f p*, p * p cj c j f p*, j 0 及
j0
( p * p, p * p) 0, 故 ( f p, f p) ( f p*, f p*).
2 则 f (x) 1 1 t g(t), 1 x 1
2 先求g(t)在区间 [-1,1] 旳一次最佳平方逼近多项式.
由
c0 *
1 2
(g,
L0 )
1 2
1 1
1 2
1 tdt 2 , 3
c1
3 2
(g,
L1 )
3 2
1 1
t 2
1 tdt 2 . 5
可知
2
2
22
q1(t) 3 L0 (x) 5 L1(x) 3 5 t,
例6 定义内积 ( f , g)
1
f (x)g(x)dx
0
试在H1=Span{1,x}中谋求对于f(x)= x 旳最佳平方逼近
元素p(x).
解 法方程为
1 12
1 2
13
c0
c1
2 2
3 5
解得
c0
4, 15
c1
4 5
所求的最佳平方逼近元素为 p(x) 4 4 x. 0 x 1 15 5
(n
,n
)
cn*
( f ,n )
因为 0x,1x, , nx 线性无关, 能够推得上系数阵是
非奇异旳. 故 (5. 82) 有唯一解 { c*j }.
四、最佳平方逼近旳误差
记 ( f p*, f p*), 称其为最佳平方逼近误差, 利用
数值分析最佳平方逼近
9 9
第三章 函数逼近与计算
定义3.8 设 0(x), 1(x), … , n-1(x)在[a,b]上连续如果 a00(x)+a11(x)+… +ann(x)=0 对任意 x[a, b]成立
当且仅当 a0= a1=… =an=0，则称 0(x), 1(x), … , n-1(x) 在[a,b]上是线性无关的。
I 0 a k
(k 0,1,, n),
(k 0,1,, n),
(k 0,1,, n).
( ( x), ( x))a
j 0 k j
© 2009, Henan Polytechnic University §3 最佳平方逼近
n
j
( f ( x ), k ( x ))
b
则称{ k ( x)} 是 [a, b] 上带权 ( x )的正交函数族. 若 Ak 1，则称之为标准正交函数族. 三角函数族 1, cos x , sin x , cos 2 x , sin 2 x , 区间 [ , ]上的正交函数族.
© 2009, Henan Polytechnic University §3 最佳平方逼近
© 2009, Henan Polytechnic University §3 最佳平方逼近
1111
第三章 函数逼近与计算
3.3.2 函数的最佳平方逼近 对f ( x ) C[a, b]及C[a, b]中的一个子集 span{ 0 ( x ),1 ( x ),, n ( x )}
b b
b
b
I 2a0 0 ( x ), k ( x ) 2a1 1 ( x ), k ( x ) 即 ak 2an n ( x),k ( x) 2 f ( x),k ( x)
最佳平方逼近
( p f,p q ) ( f q ,p q ) 0
这说明, p(x) q(x) 于 [a, b].
9
三、最佳平方逼近函数的求解
利用 ( f p*, j )=0, 可求出最佳平方逼近函数 p*. 设
(x) 最佳平方逼近的函数 ( f p*, j )=0, j=0,1,…,n. 其中, {0x,1x, , nx}为子空间 Hn 的一组基.
证: () 反证法, 设有函数 kx, 使得 ( f p*, k) k 0 , 令 q(x) p*(x) kx k /(k, k), 显然, q(x)Hn . 利用内
积的性质, 可得
(f q ,f q ) (f p * ,f p * ) (2 k ,k k )(f p * ,k ) ( k 2 ( k ,k ,k ) k 2 )
(fp * ,fp * )( k,k 2k)(fp * ,fp * )
k
这说明, p*(x) 不是对 f (x) 最佳平方逼近的函数, 矛盾.
7
() 若 ( f p*, j )=0, j=0,1,…,n 成立, 对任意的 p(x)Hn ,有
( f p , f p ) ( f p * p * p , f p * p * p )
( f p * , f p * ) 2 ( f p * , p * p ) ( p * p , p * p )
(0,1) (1,1)
((10,,nn))cc10**((ff,,10))
(n,0) (n,1) (n,n)cn* (f,n)
由于 0x,1x, , nx 线性无关, 可以推得上系数阵是
最佳平方逼近
a0 a 1 an
( f , 0 ) ( f ,1 ) = , ( f , n )
此方程组称为
法方程 .
n j=0 * a j j， k
可见，
( f (x)
) = 0 , k = 0 ,1 , L , n .
0， 1， ， n 在 [ a , b ]上 L
由定理，正交多项式系
定理：设 0 , L , n C [ a , b ], 记 Gram 矩阵为
G = G ( 0 , L , n ) ( 0 , 0 ) ( 1 , 0 ) = ( n , 0 ) ( 0 , 1 ) ( 1 , 1 ) ( n , 1 ) L L L L ( 0 , n ) ( 1 , n ) ( n , n )
r 1, ( f , g ) = a f ( x ) g ( x ) d x(1 ) (2) (3) (4)
( f , g) = (g, f ) ( cf , g ) = c ( f , g ) ( f1 f 2 , g ) = ( f1 , g ) ( f 2 , g ) ( f , f ) 0 , 当且仅当 f = 0 时 ( f , f ) = 0
满足內积定义的函数空 因此，连续函数空间 n 维欧氏空间 其內积定义为
n
间称为內积空间， C [ a , b ]上定义了內积就形成一 个內积空间。
T T
R 中两个向量內积定义：
n
设 f = ( f 1 , f 2 ,L , f n ) , g = ( g 1 , g 2 ,L , g n ) f = ( fk ) 2
b b 2
研究生数值分析 最佳平方逼近
15
解方程组，得 c j =
(ϕ j , f ) (ϕ j , ϕ j )
, j = 0,1, ..., n
因此得最佳平方逼近多项式 n n (ϕ , f ) j s( x ) = ∑ c j ϕ j ( x ) = ∑ ϕ j ( x) j=0 j = 0 (ϕ j , ϕ j ) 平方误差为
p∈H n
则称 p ∗ ( x) 为子空间 H n 中对与 f(x)的最佳平方逼近元素。
特 别 的 ， 如 果 ϕ j = x j , j = 0,1, ⋅⋅⋅, n 则 称 满 足 条 件 的 p∗ ( x) ∈ H ，为函数 f（x）在区间[a，b]上带权 ρ ( x ) 的 n
n
次最佳平方逼近多项式。
•勒让德多项式(Legendre)
[-1,1] , ρ(x)=1 三项递推关系:
Pn +1 ( x) = 2nn++11 xPn ( x) − nn P ( x), n = 1,2,3... +1 n −1
1 dn 2 2 Pn ( x ) = n ⋅ ( x − 1 ) 2 ! dx n
数值分析
17
数值分析
5
π π ⎧ π 2 2 2 2 + = a x dx b x dx x sin xdx ⎪ ∫ ∫ ∫ ⎪ 0 0 0 ⎨ π π π ⎪ a 2 x dx + b 2 dx = 2 sin xdx ∫0 ∫0 ⎪ ⎩ ∫0
⎧π 3 π2 a+ b=1 ⎪ ⎪ 24 8 ⎨ 2 ⎪ π a+π b=1 ⎪ 2 ⎩ 8 解 得 a ≈ 0.6644389, b ≈ 0.1147707
数值分析
19
数值计算方法_最佳平方逼近
25数值分析—最佳逼近━基于ＭＡＴＬＡＢ的实现与分析§１ 引 言所谓函数最佳逼近就是从指定的一类简单的函数中寻找一个和给定的函数“最贴近”的函数，从几何（空间）的角度看，函数最佳逼近就是从指定的一类简单的函数（点的集合）中寻找一个与给定的函数（定点）距离最短的函数（点）。
由于在函数空间中可以定义不同的距离，不同意义下的距离度量定义了不同的逼近准则。
令P 表示指定的一类简单的函数集合 １、函数最佳一致逼近： 基于的距离度量如下()[]()()d f P f x P x x a b ，，=-∈max （１）逼近准则：()[]()()x P x f P f d b a x P P -=∈P ∈P∈，max min ,min （２）２、函数最均方逼近：基于的距离度量如下()()()[][]d f P f x P x dx ab，=-⎰212（３）逼近准则()=P∈P f d P ,min minP ∈P()()[][]f x P x dx ab-⎰212（４）如果给定的是函数在若干点处的函数值：()()x f x i i ，，i =0，1，， n ，那么还有称为：３、最小二乘逼近： 基于的距离度量如下()()()[]d f P f x P x i i i n ，=-⎡⎣⎢⎤⎦⎥=∑012（５）逼近准则26()=P ∈P f d P ,min min P ∈P ()()[]f x P x i i i n-⎡⎣⎢⎤⎦⎥=∑012（６）４、插值逼近，其逼近准则为：()()i i x f x P =， ()n i x P ，，，， 10=P ∈ （７）对于函数最佳逼近问题而言，用于逼近的简单的函数集合一般选取次数不超过n 次的多项式函数全体()()()(){}P n k k x P x P x k n ==≤deg （８）即用多项式函数逼近给定的函数，其原因在于只需对自变量做加法、减法和乘法运算就能得到函数值是多项式函数显著的特点之一，因此，从计算的角度来说多项式函数是最简单的。
最佳平方逼近
b
a
函数f ( x)和g ( x)正交 ( f , g ) w( x) f ( x) g ( x)dx 0
a b
设次数不超过n的多项式空间为 n , 显然 是C[a, b]的一个子空间，
n的基为1, x,..., x n , 则，p( x) a0 a1 x ... an x n n 是f ( x)在 n的最佳逼近元的充分必要条件为
函数的最佳平方逼近
主讲 孟纯军
最佳平方逼近
最佳平方逼近多项式 正交多项式； 正交多项式在最佳平方逼近中的应用。
w( x) C[a, b]，w( x) 0，x [a, b] 称w( x)为权函数。
连续函数空间C[a, b]，给定权函数w( x) 对于f , g C[a, b]
f 在子空间S中的最佳平方逼近元为 g ( f , 1 )1 ..... ( f , n )n
正交多项式
在求最佳平方逼近多项式中，若选取基 1,x,…,xn,得到的法方程组往往病态， 我们考虑取多项式空间的正交基。
设多项式序列g0 , g1 , gn， 其中gi ..., 是i次多项式, w( x)为给定的权函数，若
( f , i ) ai , i 1,n (i , i )
f 在子空间S中的最佳平方逼近元为 ( f , n ) ( f , 1 ) g 1 ..... n (1 , 1 ) (n , n )
若1 ( x),....m ( x)是标准正交基时，则 ai ( f , i )，i 1,n
a0=1.8846 , a1=7.4880x, a2=7.4880
所以，最佳平方逼近二次多项式为 p(x)=1.8846 -7.4880x+7.4880x2
最佳平方逼近
同时，还需要给出连续函数
空间上的一个度量标准，下面通过内积给出平方范数。
二、连续函数的平方范数
已知所有连续函数构成的集合C[a,b]是一个线性
空间，对于C[a,b]中的任意函数
、 ，定义
实数
可以证明此实数满足性质：
这时，称
为与
的内积。
并称 为函数
（3.1） 的平方范数， 且满足以下性质：
（1）
，当且仅当
xi 1 2 3 4 5 6 7 8 zi 2.72 3.02 3.31 3.60 3.89 4.18 4.48 4.77
对
作线性拟合曲线，取
得正则方程组
解得 于是有 拟合曲线为：
练习 三
3-1 利用Legendre多项式
求函数
在
上的最佳均方逼近，并估计误差。
3-2 求 上权函数为
的正交多项
式前四项 3-3 求 ，使
由 得到法方程组第 j 行的元素为：
于是法方程组的系数矩阵为： 令右端第二个矩阵为：
则系数矩阵可以表示为： 再看法方程组的右端项：
由 得到
最后可以将法方程组表示为： 其中
这样会更快的写出法方程组来。
如果所求得最小二乘拟合函数为n次多项式，则： 这时：
误差：
三、数值例子
例3.3 根据如下离散数据拟合曲线并估计误差 x1 2 3 4 6 7 8
使得对于一切
都有：
不等式
说明，所求的 满足等式：
(3.2)
而
是由系数
唯一确定的，因此，只要我
们求出了满足(3.2)的
，就可以求出
f(x)最佳平方逼近。
令
(3.3)
则
这时等式
最佳平方逼近和最小二乘法
最佳平方逼近和最小二乘法哎呀，今天我们来聊聊一个挺有意思的话题，那就是最佳平方逼近和最小二乘法。
这听起来好像挺高大上的样子，其实呢，咱们可以把它变得简单易懂。
想象一下，你在阳光明媚的下午，喝着冰凉的饮料，跟朋友闲聊。
说起这些数学名词，大家可能会皱眉头，但我跟你说，这其实跟咱们生活中遇到的那些小烦恼有着千丝万缕的联系。
什么是最佳平方逼近呢？就像你和朋友一起找地方吃饭。
你们各自都提出了自己的想法，但最后为了避免争吵，大家决定选择一个最符合大家口味的地方。
这个过程就像是在给一堆数据点找到一个最合适的“朋友”。
想象一下，在坐标系上，有一堆点在那儿乱七八糟地分布着。
你想找一条线，尽量让这条线离这些点都近一点儿。
没错，这就是最佳平方逼近。
它试图找到那条线，让所有点到这条线的距离平方和最小。
简单点说，就是尽量让大家都满意。
再说说最小二乘法。
这名字听上去像个数学怪物，但其实它就是一种聪明的方式，帮助我们处理那些烦人的数据。
咱们可以把它想象成在考场上，有些同学的分数特别高，有些则低得让人心疼。
如果你只看最高分和最低分，可能会觉得这次考试的结果一片惨淡。
但如果你用最小二乘法来分析，那就好像给每个人的分数加了个权重，最终得出的平均分就能更真实地反映出大家的水平。
你可能会问，这俩东西有什么关系呢？嗯，其实它们是一对好搭档。
最佳平方逼近就是在找一条线，而最小二乘法则是在告诉你怎么画出这条线。
就像你要画一个完美的心形，光靠眼睛估计可不行，得有个具体的方法。
最小二乘法就像那把尺子，帮你量出每个点到线的距离，让你知道要怎么调整，才能画得又圆又满。
而且啊，这些方法可不光是在数学课上用得着。
咱们的日常生活中也是到处都是应用。
比如你在超市买水果，有些橙子很便宜，有些却贵得让你心疼。
你可能想知道，橙子的价格到底是个什么水平。
于是，你就可以用最小二乘法来分析这批橙子的价格走势，看看哪些便宜又好吃，哪些是价格虚高。
结果一出来，你就能得出一个合理的消费建议，哎呀，简直太棒了！还有呢，想想你在网上购物时，看到的那些评价。
最佳平方逼近原理
最佳平方逼近原理最佳平方逼近原理是数值分析中的一个经典原理，用于寻找函数在给定定义域上的最佳平方逼近曲线。
在实际应用中，我们经常需要通过已知的离散数据点来近似拟合一个函数，最佳平方逼近原理就是为了解决这个问题而提出的。
最佳平方逼近原理的核心思想是，通过最小化残差平方和来选择最佳的曲线拟合函数。
残差平方和是指每个数据点与拟合曲线之间的差值的平方和，通过最小化残差平方和，我们可以找到能够最好地拟合数据点的曲线。
为了更好地理解最佳平方逼近原理，我们可以通过一个简单的例子来说明。
假设我们有一组包含有N个点的数据集{(x1,y1),(x2,y2),...,(xn,yn)}，我们需要找到一条曲线y=f(x)来拟合这些数据点。
首先，我们可以假设拟合曲线为一条直线y=ax+b，其中a为斜率，b为截距。
我们的目标是找到最佳的斜率a和截距b，使得拟合曲线能够最好地拟合数据点。
为了评估拟合曲线的好坏，我们可以定义残差ei为数据点yi与拟合曲线f(xi)之间的差值，即ei=yi-f(xi)。
然后，可以定义残差平方和E为所有残差的平方和，即E=∑(yi-f(xi))^2。
根据最佳平方逼近原理，我们需要选择最优的斜率a和截距b，使得E达到最小值。
这可以通过对E分别对a和b求偏导数，并令偏导数等于零来实现。
∂E/∂a=0和∂E/∂b=0的解可以分别表示为a=(N∑(xiyi)-∑xi∑yi)/(N∑(xi^2)-(∑xi)^2)和b=(∑yi-∑(xi/n)a))/N 通过求解这两个方程，我们可以得到最佳的斜率a和截距b，从而得到最佳的拟合曲线。
上述例子只是最佳平方逼近原理的一个简单应用，实际上，最佳平方逼近原理可以应用于更复杂的拟合曲线，如多项式拟合、指数拟合等。
在实际应用中，最佳平方逼近原理广泛应用于数据分析、信号处理、图像处理等领域。
通过最佳平方逼近原理，我们可以从大量的离散数据中提取有效的信息，利用拟合曲线来进行预测、分类、回归等操作。
数值分析(20)连续函数的最佳平方逼近45页文档
数值分析(20)连续函数的最佳平方逼 近
11、用道德的示范来造就一个人，显然比用法律来约束他更有价值。—— 希腊
12、法律是无私的，对谁都一视同仁。在每件事上，她都不徇私情。许的事 情。——弗劳德
14、法律是为了保护无辜而制定的。——爱略特 15、像房子一样，法律和法律都是相互依存的。——伯克
6、最大的骄傲于最大的自卑都表示心灵的最软弱无力。——斯宾诺莎 7、自知之明是最难得的知识。——西班牙 8、勇气通往天堂，怯懦通往地狱。——塞内加 9、有时候读书是一种巧妙地避开思考的方法。——赫尔普斯 10、阅读一切好书如同和过去最杰出的人谈话。——笛卡儿
第二章最佳平方逼近
第二章 最佳平方逼近为了便于计算和分析，常常需要用一个简单的函数()x ϕ来近似代替给定的函数()f x ，这类问题称为函数逼近问题。
插值问题以及Taylor 展开问题都属于这类问题。
本章介绍另一种函数逼近问题，即最佳平方逼近。
最佳平方逼近问题的提法是：设()f x 是[],a b 上的连续函数，n H 是所有次数不超过n 的多项式的集合，在n H 中求()n P x *逼近()f x ，使()()()()()1/2222infnb n naP x H f Px f x P x dx f Pρ**∈⎡⎤-=-=-⎣⎦⎰此时称()n P x *为()f x 在[],a b 上的最佳平方逼近多项式。
我们将要研究()n P x *是否存在？是否唯一？如何求得()n P x *？首先介绍正交多项式及其性质。
§1、正交多项式正交多项式是函数逼近的重要工具，在数值积分中也有广泛的应用。
1.1正交函数系的概念定义1 设()x ρ定义在[],a b 上（有限或无限），如果满足条件：（1）()[]0,,x x a b ρ≥∈； （2）()()0,1,bnax x dx n ρ=⎰存在；（3）对非负连续函数()f x ，若()()0ba f x x dx ρ=⎰，则在[],a b 上一定有()0f x ≡那么称()x ρ是区间[],a b 上的权函数。
简称为权函数。
权函数()x ρ的一种解释是物理上的密度函数，相应的()bax dx ρ⎰表示总质量。
当()x ρ=常数时，表示质量分布是均匀的。
下面引进内积定义。
定义2 给定()[]()(),,,,f x g x C a b x ρ∈是[],a b 上的权函数，称 ()()(),()ba f g x f x g x dx ρ=⎰ ()1.1为函数()f x 与()g x 在[],a b 上的内积。
内积具有下列简单性质： ()f g g f （1）、（，）=，；()()()1212,)(,00.f g f g R f f g f g f g f f f ααα∈++≠>（2）、（，）=，；（3）、 （，）=（4）、 当时，， 此外，还有如下Cauchy-Schwarz 不等式()()()2,,,.f g f f g g ≤⋅ ()1.2我们知道，一个向量的长度的几何概念，对于函数空间及逼近有许多自然的应用。
数值分析(20)连续函数的最佳平方逼近
（2）三角逼近取
span i (
n
x) i=0
=span1,sin x,cos x,sin 2x,cos 2x, ,sin nx,cos nx
数值分析 3
数值分析
二、逼近标准
称 (x) f (x) s(x) 为逼近误差或余项。
定义 7-1（最佳逼近元素）逼近的标准即要求 (x)
的某一种范数达到最小，即寻找 s*(x) 满足
n
c j j ( x)]k ( x)dx
j0
2( f ( x) s*( x),k ( x)) 0 k 0,1, 2, ..., n
数值分析 14
数值分析
故s*( x)的系数c0 , c1 , ..., cn是如下方程组的解
( f ( x) s*( x),k ( x)) 0, k 0,1, 2, ..., n (1)
其中
(0 ,0 ) (1,0 )
G
(0
,1
)
(1,1 )
(0 ,n ) (1,n )
(n ,0 )
(
n
,
1
)
R(
n1)(
n1)
(
n
,
n
)
F (( f ,0 ),( f ,1 ), ,( f ,n ))T Rn1
矩阵G称为关于0( x)，1( x)， ，n( x)的Gram （克莱姆）矩阵，也常记为G(0 ,1, ,n )
0
2x
0
dx
2 x sin xdx
0
a 2 x dx b 2
0
0
dx
2 sin xdx
0
3 2
24 a 8 b 1
2
8
函数的一次最佳平方逼近
2013-2014（1）专业课程实践论文题目：函数的最佳平方逼近一、算法理论下面研究在区间[],a b 上一般的最佳平方逼近问题。
对于给定的函数()[,]f x C a b ∈，如果存在*01(){(),(),,()}n S x Span x x x ϕϕϕ∈使得[]22*()()()min ()()()bb a a a x b x f x S x dx x f x s x dx ρρ≤≤⎡⎤-=-⎣⎦⎰⎰则称*()s x 是()f x 在集合01{(),(),,()}n Span x x x ϕϕϕ 中的最佳平方逼近函数。
为了求*()s x ，由式可知，该为题等价于求多元函数。
若用H 表示行列式2(1,,,....,)n Gn G x x x =对应的矩阵，则*()s x ， H 称为Hilbert 矩阵。
记01(,,....,)T n a a a a =，01(,,....,)T n d d d d =其中 (,)(0,1,.....,)k k d f x k n ==则方程 Ha d =的解*(0,1,.....)k k a a k n ==即为所求。
二、算法框图三、算法程序#include<stdio.h>#include<math.h>double function1(double x){ double s1;s1=1/sqrt(4+x*x);//替换函数return s1;}double function2(double x){ double s2;s2=x/sqrt(4+x*x);//替换函数return s2;}double ReiterationOfSimpson(double a,double b,double n,double f(double x)){ double h,fa,fb,xk,xj;h=(b-a)/n;fa=f(a);fb=f(b);double s1=0.0;double s2=0.0;for(int k=1;k<n;k++){ xk=a+k*h;s1=s1+f(xk);}for(int j=0;j<n;j++){ xj=a+(j+0.5)*h;s2=s2+f(xj);}double sn;sn=h/6*(fa+fb+2*s1+4*s2);return sn;}int main(){ double a=0.0,b=1.0,Result[2];int n=5;Result[0]=ReiterationOfSimpson(a,b,n,function1);Result[1]=ReiterationOfSimpson(a,b,n,function2);printf("d0=%f,d1=%f\n\n",Result[0],Result[1]);double x[2]={Result[0],Result[1]};double a0,a1;a0=4*Result[0]-6*Result[1];a1=12*Result[1]-4*Result[0];printf("a0=%5.7f,a1=%5.7f\n\n",a0,a1);}四、算法实现例1. 求()f x x =在[1,1]-上的一次最佳平方逼近解：运行程序，把替换函数分别改成s1=abs(x)，s2=x*abs(x)， 上机运行截图例2. 设()1/0,1上的一次最佳平方逼近多项式。
函数的最佳平方
记aij = (ϕ i , ϕ j ) = a ji = ∫ ρ ( x)ϕ i ( x)ϕ j ( x)dx
a
b
b j = ( f , ϕ j ) = ∫ ρ ( x) f ( x)ϕ j ( x)dx
a
b
则得到 a11 a 21 M an1 a12 a22 M an 2 L a1n c1 b1 c b L a2 n 2 2 M = M O M L ann cn bn
∂I = −2 b ρ ( x)( f ( x) − p( x))ϕ ( x)dx = 0, j = 1 : n. ⇔ j ∫a ∂c j ∴ ∑ ci ( ∫ ρ ( x)ϕ i ( x)ϕ j ( x)dx) = ∫ ρ ( x) f ( x)ϕ j ( x)dx
b b i =1 a a n
j = 1: n
∴ p(t ) = 1.7183 + 0.8301t + 0.06985(3t 2 − 1) + 0.0033(5t 3 − 3t ) ∴ p( x) = 1.7183 + 0.8301(2 x − 1) + 0.06985(3(2 x − 1) 2 − 1) + 0.0033(5(2 x − 1) 3 − 3(2 x − 1)).
x= 1 + 1 t 2 2
* 2 2
= ( f − p* , f − p* ) = min ( f − p, f − p )
p∈H n
则称p * ( x)为子空间H n中对于f ( x)的最佳平方逼近。
Q I = f − p, f − p) = ∫ ρ ( x)( f ( x) − p( x)) 2 dx = min （
最佳平方逼近与最小二乘拟合
最佳平方逼近与最小二乘拟合——两者的区别与联系 函数逼近是用一个多项式无限接近原函数，而拟合是将函数中的元素联系起来。
也就是说，最佳平方逼近是针对函数，最小二乘法是针对离散的点，二者在形式上基本一致。
另外，最小二乘拟合也称为离散型最佳平方逼近，两者的解法有很多相似之处。
一、 函数的最佳平方逼近 （一）最佳平方逼近函数的概念对[]b a C x f ,)(∈及[]b a C ,中的一个子集{}n span ϕϕϕφ,,,10⋯=，若存在φ∈)(*x S，使[]dx x S x f x S f Sf baS S ⎰-=-=-∈∈22222*)()()(infinf ρϕϕ，则称)(*x S 是)(x f 在子集[]b a C ,⊆φ中的最佳平方逼近函数。
（二）最佳平方逼近函数的解法为了求)(*x S ，由[]dxx S x f x S f Sf baS S ⎰-=-=-∈∈22222*)()()(infinf ρϕϕ可知，一般的最佳平方逼近问题等价于求多元函数dxx f x a x a a a I banj j j n 2010)()()(),,,(⎰∑⎥⎦⎤⎢⎣⎡-=⋯=ϕρ的最小值问题。
由于),,,(10n a a a I ⋯是关于n a a a ,,,10⋯的二次函数，利用多元函数极值的必要条件),,1,0(0n k a Ik⋯==∂∂，即),,,,1(2nn x x x G G =n),,1,0(0)()()()(20⋯==⎥⎦⎤⎢⎣⎡-=∂∂⎰∑=k dx x x f x a x a Ik b a n j j j kϕϕρ，于是有()()),,1,0(,,0n k f a k j nj j k ⋯==∑=ϕϕϕ。
()()),,1,0(,,0n k f a k j nj j k⋯==∑=ϕϕϕ是关于n 10,,,a a a ⋯的线性方程组，称其为法方程。
由于n ϕϕϕ,,,10⋯线性无关，故系数行列式()0,,,10≠⋯n G ϕϕϕ，于是方程组()()),,1,0(,,0n k f a k j nj j k⋯==∑=ϕϕϕ有唯一解),,1,0(*n k a a k k ⋯==，从而得到)()()(*0*0*x a x a x S n n ϕϕ+⋯+=。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
L1 )
3 2
1 1
t 2
1 tdt 6 15
可知
q1(t)
2 3
L0 (x)
6 15
L1 ( x)
2 3
6 15
t,
1 t 1
把 t =2x-1代人 q1(t) 得 x 在区间[0，1]上的一次最佳平方 逼近多项式
p1(t)
2 3
6 15
(2x
1)
4 15
12 15
m
m
[ * ( xi )
i 1
yi ]2
min ( x )
[ ( xi )
i 1
yi ]2
其中 (x) 为函数类Φ 中任意函数。
因此，用最小二乘法解决实际问题包含 如下2个基本环节：
（1）确定函数类Φ ，即确定 (x) 的形式。 这不是一个单纯的数学问题，还与其
12 15
所求的最佳平方逼近元素为
p(x) 4 12 x, 15 15
0 x 1
二、正交函数系在最佳平方逼近中的应用 对于一般的基底 0 (x),1(x),,n (x)
当 n 较大时，计算法方程中的 (k , j ) 以及求解法方程的计算量都是很大的。 1, x, x2 ,, xn 作基底，当ρ(x)≡1时， 虽然 (k , j ) (xk , x j ) 容易计算，但由此形成 的法方程系数矩阵G在 n稍大时是病态矩阵， 在计算机上求解法方程，其结果不太可靠。
§6 函数的最佳平方逼近 一、最佳平方逼近的概念与解法
用简单函数 p (x)去近似一个给定区间[a， b]上的连续函数 f (x)，是函数逼近要研究的 问题。度量逼近误差标准有许多种，这里 介绍一种称为平方逼近的函数逼近。
设函数组 0 (x),1(x),,n (x) 都是[a，b] 上连续的函数，并且在 [a，b] 上线性无关。
定义 对于给定的函数 f (x)∈ C [a，b] ，
若 p(x) Hn 满足
( f p, f p) min( f p(x), f p(x))
(I)
pH n
则称 p(x) 为子空间Hn中对于 f (x) 的最佳
平方逼近元素。
特别地，如果 j (x) x j , j 0,1,, n 则满足条件(I)的 p(x) Hn 可称为函数 f (x)
所求最佳平方逼近多项式为
p3(x) 1.1752L0 (x) 1.1036L1(x) 0.3578L2 (x) 0.07046L3(x)
0.9963 0.9979x 0.5367x2 0.1761x3 1 x 1
例3 设 f (x) x 在区间[0，1]上的一次最佳 平方逼近多项式。
以此为基底，生成空间 C[a，b] 的一个子空间
H n Span{0 ,1,,n}
则 Hn中的任一个元素为
n
p(x) c j j (x) j 0
对空间C[a , b] 中的任意两个函数 f 和 g， 定义内积
b
( f , g) a (x) f (x)g(x)dx
其中ρ(x)是（a，b）上的一个权函数。
就是求它所含的系数 ck, k 0,1,, n
n
因
( f p, j ) ( f , j ) ck (k , j )
k 0
故由条件（II），可表达为
n
ck (k , j ) ( f , j ),
k 0
j 0,1,, n
这是一个以 c0, c1,, cn 为未知数的 n+1
例1
定义内积
1
( f , g) 0 f (x)g(x)dx
试在 H1 Span{1, x} 中寻求对于
f (x) x 的最佳平方逼近元素 p (x)。
解: 0 (x) 1, 1(x) x,
1
(0 ,0 )
dx 1,
0
(1,0 )
1 xdx 1
把这7个点画在图上
r/
85 83 81 79 77
75
10 20 30 40 50
t /0 C
60
可以看出它近似地在一条直线上
设此直线方程为
r a bt （a，b待定）
从图上可知，(t j , rj ) 不是严格在一条直线上， 因此，不论怎样选择a，b总是不能使所有的 点都落在直线 r a bt 上，也就是误差
Rj a bt j rj ,
j 1,2,,7
一般不都全为零。我们希望选择a、b ，
使 R j的平方和尽可能地小。
即求 a*, b* ，使
7
7
R R(a, b) R j2 (a bt j rj )2
j 1
j 1
取最小值。
用这种方法求得 a*, b* 的原理，称为最小
上连续且线性无关。因而矩阵G非奇异，
故法方程的解 ck, k 0,1,, n
存在且唯一。
记 ( f p, f p) 称δ为最佳平方
逼近误差， 称为均方误差。
由于 ( f p, p) 0 ，所以有
n
( f p, f ) ( f , f ) ( p, f ) ( f , f ) ck (k , f ) k 0
1 2
2
( f , L3)
1 ( 5 x3 3 x)exdx 0.02013
1 2
2
由公式（III）得
c0
1 2
(
f
,
L0 )
1.1752,
c1
3 2
(
f
,
L1 )
1.1036,
c2
5 2
(
f
,
L2 )
0.3578,
c3
7 2
(
f
,
L3 )
0.07046
ak * k ( x)
②
k 0
为拟合函数或经验公式。
如果 k ( x) xk (k 0,1, , n) 则称②式为最小n次最小二乘拟合多项式。
由①式可以看出， S (a0 , a1, , an ) 为
a0, a1, , an 的 n+1 元二次多项式（二次
型），可以用多元函数求极值的方法求其最 小点和最小值。
0
2
(1,1)
1 x2dx 1 ,
0
3
1
(0 , f ) 0
xdx 2 3
1
(1, f )
x
0
xdx 2 5
法方程为
1 1
1
2
2
1
c0 c1
3
2
2 3
3
解得
c0
4, 15
c1
它领域的一些专门知识有关。在数学上，
通常的作法是将数据点 (xi , yi ) 描绘在坐 标纸上，然后根据这些点的分布情况来选择
(x) 的形式；
（2）求最小二乘解，即求满足条件的近似解 * ( x)
m
m
[ * (xi )
i 1
yi ]2
min ( x )
[ ( xi )
解 令 x 1 (t 1) 得 f (x) 1 1 t (t), 1 t 1
2
2
先求 (t) 在区间[-1，1]上的一次最佳平方 逼近多项式 q1(t) ，由
c0
1 2
( ,L0 )Leabharlann 1 21 1
1 2
1 tdt 2 , 3
c1
3 2
( ,
,
k 0,1,, n
Legendre多项式的应用
对给定的函数 f (x)∈ C [a，b] ，在区间 [a，b]上求f (x)的n次最佳平方逼近多项式 pn (x)这个问题，相当于在内积为
1
( f , g) f (x)g(x)dx 1
的情形下，在子空间 H n Span{1, x, x2 ,, xn}
在区间[a ,b] 上带权ρ(x)的n次最佳平方逼近
多项式。具体问题中ρ(x)是给定的, 如果不指明,则ρ(x)≡1，这时内积定义为
b
( f , g) a f (x)g(x)dx
定理1 设 f (x)∈ C [a，b] ，p(x) Hn 是子空间 H n中对于f (x) 的最佳平方逼近元
为避免这些弊端，应采用正交基底。
设 0 (x),1(x),,n (x) 是区间[a，b]上带权
ρ(x)的正交函数系，即
b
(k , j ) a (x)k (x) j (x)dx 0,
(k ,k ) 0
那么，法方程的解为
k j
ck
( f ,k ) (k ,k )
平方逼近多项式。
解 采用Legendre多项式 L0 (x), L1(x), L2 (x), L3(x) 作次数不高于3的多项式空间的基底。由
( f , L0 )
1exdx 2.3504
1
( f , L1)
1 xexdx 0.7358
1
( f , L2 )
1 ( 3 x2 1 )exdx 0.1431
二乘原理。求得的 r a* b*t 称为拟合函数 或者称为经验公式。
按最小二乘原理选择近似函数的方法 称为最小二乘法。
1、最小二乘法的提法
用最小二乘法求近似函数的问题可以归结为：