数值分析ch03函数逼近与最小二乘法

合集下载

【精品】第三章函数逼近及最小二乘法

第三章函数逼近及最小二乘法第三章函数逼近及最小二乘法 §1 内积空间及函数的范数定义1 设)(x ρ是定义在(a,b)上的非负函数，且满足：1）dx x x nba )(ρ⎰存在（n=0,1,2,…） 2）对非负的连续函数g(x)，若0)()(=⎰dx x x g b a ρ则在(a,b)上有g(x)=0，则称)(x ρ为(a,b)上的权函数。

定义2 设f(x),g(x)为[a,b]上的连续函数，)(x ρ为(a,b)上的权函数，称),(g f = dx x x g x f ba )()()(ρ⎰为函数f(x)与g(x)在[a,b]的内积。

特别当)(x ρ=1时，上式变为),(g f = dx x g x f b a ⎰)()(设],[b a C 表示在区间[a,b]上连续函数的全体，那么定义了内积之后，],[b a C 就变成了一个内积空间。

显然有),(f f = dx x x f ba )()(2ρ⎰为一个非负值，因此我们有定义3 对],[)(b a C x f ∈，称),()(2f f x f =为)(x f 的欧氏范数（又称2-范数）。

其实，我们还经常用到函数的其他范数。

比如，)(max)(xfxfbxa≤≤∞=dxxxfxf ba)()()(1ρ⎰=n维向量空间中两个向量正交的定义也可以推广到连续内积空间],[baC中.定义4 若],[)(),(baCxgxf∈,满足),(gf = dxxxgxf ba)()()(ρ⎰=0则称函数f(x)与g(x)在[a,b]上带权)(xρ正交.若函数族),(,),(),(1xxxnϕϕϕ满足⎰⎩⎨⎧=>≠==bakkjkj kjAkjdxxxx)()()(),(ϕϕρϕϕ则称函数族{})(x kϕ是[a,b]上带权)(xρ的正交函数族.特别地,若1=kA ,就称之为标准正交函数族.由高等数学的知识，我们知道, Foureir级数展开中函数族 1,cosx,sinx,cos2x,sin2x,……即为],[ππ-上带权)(xρ=1的正交函数族.如同线性代数中的向量组线性无关概念一样,在此也有函数组的线性无关概念.定义5设函数组)(,),(),(11xxxn-ϕϕϕ 在[a,b]上连续,若)()()(1111=+++--xaxaxannϕϕϕ当且仅当011====-naaa 时成立,则称函数族)(,),(),(11xxxn-ϕϕϕ 在[a,b]上是线性无关的.否则称为线性相关函数组。

期末数值分析重点总结

期末数值分析重点总结第一部分：数值逼近（Approximation）数值逼近是数值分析的基础，主要研究如何利用有限的计算资源得到逼近数学问题的有效算法。

数值逼近的主要内容包括多项式逼近、插值和最小二乘等。

1. 多项式逼近多项式逼近是指用一个多项式函数来逼近给定函数的值。

通过选择合适的多项式次数和插值点，可以使得多项式逼近误差最小化。

其中最常用的方法是最小二乘法，它可以通过最小化残差来得到最佳的多项式逼近。

多项式逼近在信号处理、图像处理和计算机图形学等领域中有广泛的应用。

2. 插值插值是指通过已知数据点的函数值来估计在其他点的函数值。

常用的插值方法有拉格朗日插值和牛顿插值。

拉格朗日插值通过构造一个满足插值条件的多项式来逼近给定函数。

牛顿插值则利用差商的概念来构造插值多项式。

插值方法在数值微分和数值积分中有广泛的应用。

3. 最小二乘最小二乘是一种在一组离散数据点上拟合曲线的方法。

通过最小化数据点与拟合曲线之间的欧几里得距离，可以得到最佳拟合曲线。

最小二乘法可以用于曲线拟合、参数估计和数据关联等问题。

第二部分：数值解方程（Numerical Solution of Equations）数值解方程是数值分析的重要内容之一，研究如何通过数值计算来求解非线性方程组和线性方程组。

数值解方程的主要方法有迭代法、常微分方程数值解和偏微分方程数值解等。

1. 迭代法迭代法是求解非线性方程组的常用方法之一。

通过不断迭代逼近方程的根，可以得到方程组的数值解。

常用的迭代法有牛顿迭代法和弦截法。

迭代法在计算机辅助设计、优化和数据分析等领域中有广泛的应用。

2. 常微分方程数值解常微分方程数值解研究如何通过数值计算来求解常微分方程。

常微分方程数值解的主要方法有Euler方法、Runge-Kutta方法和线性多步法等。

常微分方程数值解在物理学、工程学和生物学等领域中有广泛的应用。

3. 偏微分方程数值解偏微分方程数值解研究如何通过数值方法来求解偏微分方程。

数值分析第三章

a≤ x≤b b ∫a | f ( x ) | dx，
称为1 − 范数 , 称为 2 − 范数 .
(
b 2 ∫a f ( x )dx
)，
1 2
三、内积与内积空间
R n中向量x及y定义内积 : ( x, y ) = x1 y1 + L + x n y n .
定义3 上的线性空间，定义3 设X是数域 K ( R或C)上的线性空间，对 ∀u, v ∈ X，中一个数与之对应，并满足条件：有K中一个数与之对应，记为( u, v )，并满足条件： (1) ( u,v ) = (v , u), ∀u,v ∈ X ; (2) (αu,v ) = α ( u,v ), α ∈ R; (3) ( u + v , w ) = ( u,w ) + (v,w ), ∀u,v,w ∈ X ; (4) ( u, u) ≥ 0, 当且仅当 u = 0时， , u) = 0. (u 则称( u, v )为X上的u与v的内积. 定义了内积的线性空间称的共轭，为内积空间. (v , u)为( u,v )的共轭，当 K = R时 (v , u) = ( u,v ).
2)
j =1
∑ α ju j = 0 ⇔ ( ∑ α ju j , ∑ α ju j ) = 0
j =1 n j =1
n
n
n
⇔ ( ∑ α j u j , uk ) = 0, k = 1,L, n.
j =1
∴ G非奇异 ⇒ u1 , u2 ,L, un线性无关 (反证法 )；反之亦然 .
在内积空间X上可以由内积导出一种范数, 即对u ∈ X , 记 || u ||= (u , u )， Cauchy − Schwarz不等式得出. (1.10) 易证它满足范数定义的正定性和齐次性, 而三角不等式由

数值分析(本科)函数逼近

�� , �� , ⋯ , �� 是��的一个基，并记
�� = �� , �� , ⋯ , �� 注：该线性空间上的加法和数乘运算，即为通常的函数加法和
��
≔
−��
�� + �� = ��
正交
四、函数逼近之正交多项式
定义：设,��, ��-上有连续函数系�� , �� , ⋯，且满足 ��, = �� > ��, �� ≠ �� = ��
�� ∈��
若考虑若考虑
∞ ，则称该问题为最佳一致逼近问题 �� ，则称该问题为最佳平方逼近问题
四、函数逼近之正交多项式
定义：设�� , �� ∈ ��,��, ��-，则称
��
��, �� =
则
�� − �� − ��
∞Байду номын сангаас
= �� −�� − �� = ��
��≤��≤��

函数逼近中的插值与最小二乘法

函数逼近中的插值与最小二乘法函数逼近是数学中的一个重要概念，它指的是通过一组已知数据点，寻找一个能够较好地拟合这些数据的函数。

在实际应用中，插值和最小二乘法是常用的函数逼近技术。

本文将分析插值和最小二乘法的原理和应用，并比较它们的优缺点。

一、插值法的原理与应用插值法是一种通过已知数据点在给定区间内构造一个新的函数的方法。

具体来说，插值法通过连接已知数据点的折线段或曲线段来生成一个逼近函数。

常用的插值方法有拉格朗日插值、牛顿插值和分段线性插值等。

拉格朗日插值是一种基于多项式的插值方法。

它通过一个n次多项式函数来拟合已知的n+1个数据点。

具体来说，拉格朗日插值法首先构造n+1个基本多项式，然后将这些多项式乘以对应数据点的函数值，并进行求和得到插值函数。

拉格朗日插值法的优点在于简单易懂，并且能够精确逼近已知数据点。

但是，当数据点增多时，拉格朗日插值法的计算复杂度较高。

牛顿插值是另一种常用的插值方法。

它基于差商的概念，通过不断递推构造一个n次多项式函数。

具体来说，牛顿插值法首先计算数据点的差商表，然后利用差商表的特性构造插值函数。

与拉格朗日插值法相比，牛顿插值法的计算复杂度较低，特别适用于大规模数据点的插值问题。

分段线性插值是一种简单且有效的插值方法。

它将插值区间划分为若干小段，并在每个小段上使用线性函数进行插值。

分段线性插值法的优点在于计算简单、易于理解，并且能够较好地逼近所给数据。

然而，由于线性插值的特性，分段线性插值法在数据点密集的区间可能无法获得较高的精度。

二、最小二乘法的原理与应用最小二乘法是一种通过最小化误差函数来确定逼近函数的优化方法。

在函数逼近中，最小二乘法广泛应用于曲线拟合和数据回归。

最小二乘法的核心思想是找到一条曲线或者函数，使得该曲线与已知数据点之间的误差平方和最小。

最小二乘法的应用领域广泛，比如数据拟合、信号处理、图像处理等。

在数据拟合中，最小二乘法可以用于拟合曲线、平面或者高维空间中的数据。

数值分析之最小二乘法与最佳一致逼近

就要求矩阵 G非奇异，
而 0 ( x), 1 ( x), , n ( x)在 [a, b]上线性无关不能推出矩阵 G非奇异，必须加上另外的条件.
8
定义10
设 0 ( x), 1 ( x), , n ( x) [a, b]的任意线
性组合在点集 {xi , i 0,1,, m}(m n) 上至多只有 n 个
只在一组离散点集 {xi , i 0,1,, m} 上给定，这就是科
学实验中经常见到的实验数据 {( xi , yi ), i 0,1,, m}的
曲线拟合.
1
问题为利用 yi f ( xi ), i 0,1,, m, 求出一个函数
y S * ( x) 与所给数据{( xi , yi ), i 0,1,, m} 拟合.
13
令 S1 ( x) a0 a1 x, 这里 m 4, n 1, 0 ( x) 1, 1 ( x) x, 故
( 0 , 0 ) i 8,
i 0 4
( 0 , 1 ) (1 , 0 ) i xi 22,
i 0
4
(1 , 1 ) i xi2 74,
这样就变成了线性模型 .
19
例2
设数据 ( xi , yi )(i 0,1,2,3,4) 由表3-1给出，
表中第4行为 ln yi yi ,通过描点可以看出数学模型为及 b. y aebx , 用最小二乘法确定 a
表3 1 i xi yi 0 1.00 5.10 1 1.25 5.79 2 1.50 6.53 3 1.75 7.45 4 2.00 8.46
4
S ( x ) 的一般表达式为线性形式.
若 k ( x)是 k 次多项式，S ( x ) 就是 n 次多项式. 为了使问题的提法更有一般性，通常在最小二乘法中 S ( x) a00 ( x) a11 ( x) ann ( x) (n m) 考虑加权平方和

数值分析ch2最佳逼近和最小二乘法

10/23/2018 9:35:56 AM
第2章最佳逼近和最小二乘法
在[0,1]上，当最佳平方逼近空间 M span 1, x, x2, , x n 时，法方程系数
矩阵为 Hilbert 矩阵
1
1 2
1 1
1
n
1
1
H 2 3
n2
1 1
1
n 1 n 2
2n 1
当 n 较大时 Hilbert 矩阵和对应的法方程组 Hx b 是病态的，用数值方法
求解方程组 Hx b 是不稳定的。为了避免求解病态方程组,通常找M 中的
一组正交多项式。常用的正交多项式有：勒让德多项式，切比雪夫多项式，
拉盖尔多项式，埃尔米特多项式等。
正交多项式:若多项式序列i
(
x),
x
[a,
b] i0
满足
j ,k
b a
(
x)
j
(
x)k
(
x)dx
0, Ak
0,
jk ( j, k 0,1, 2,
函数的最佳逼近问题：
对于给定的函数 f (x)，要求在一个简单函数类 B 中，寻找一个函数 s(x) B ，
使得 s(x) 与 f (x) 的误差在某种度量下达到最小，这一问题称为最佳逼近问题，
s(x) 称为 f (x)的最佳逼近函数。
函数最佳逼近常用的误差度量标准
2 范数: (x) f (x) s(x) min f (x) y(x) ,最佳平方逼近或均方逼近
1
f b (x) f 2(x)dx 2
2
a
其中(x) L2[a,b] 为权函数，在(a,b)上非负，且满足：
（1） b x j (x)dx a

数值分析第3章

(3) (u v, w) (u, w) (v, w), u, v, w X; (4) (u,u) 0, 当且仅当u 0 时，(u,u) 0. 则称 (u,为v)X上与u 的内v 积.
20
定义了内积的线性空间称为内积空间. 定义中（1）的右端 (u称, v为) 的(u共,轭v)，当K为实数域R时 (u, v) .(v, u) 如果 (u, v，) 则称0 与正交u ，这v 是向量相互垂直概念的推广.
b a
f
2
(
x)dx
2
33
若 0 ,1,,n是 C[a, b]中的线性无关函数族，记 span{0 ,1,,n}, 它的格拉姆矩阵为
G G(0 ,1,,n )
(0 ,0 ) (0 ,1) (0 ,n )
(1
,
0
)
(1 , 1 )
(1
,
n
)
(n ,0 )
(n ,1 )
(
n
,
n
)
（1.17）
Hn span{1, x,, xn},
且 (a0 , a1,, an ) 是 p(x) 的坐标向量，H n 是 n 1维的.
8
对连续函数 f (x) C[a,b]，它不能用有限个线性无关的函数表示，故 C[a,b]是无限维的，但它的任一元素 f (x) 均可用有限维的 p(x) Hn逼近，使误差
与数的乘法构成实数域上的线性空间，记作 R n，称为 n维
向量空间.
4
对次数不超过 n( n为正整数)的实系数多项式全体，
按通常多项式与多项式加法及数与多项式乘法也构成数域
R上一个线性空间，用
H
表示，称为多项式空间.
n
所有定义在 [a,b] 上的连续函数集合，按函数加法和

数值分析第七章最小二乘法

对于有些不能化为多项式形式的函数,照此矩阵形式,计算较简单.
9
例:给出数据
xi yi
0.1
0.2
0.3
0.4
0. 5
0.6
0.172 0.323 0.484 0.690 1.000 1.579
现在用最小二乘法求拟合曲线作变换 z =
y=
cx 1 + ax + bx2
1 1 a b 1 1 = + + x = a0 + a1 + a2 x , Φ = span{ ,1, x} y cx c c x x 1 10 5 5 = 5.814 2 10 5 a0 3 2 3 r 0.172 ur T 1 1 1 1 1 z = 3.096 A = 1 C = a1 M a 0.1 0.2 0.3 0.4 0.5 0.6 2 0.633 ur r T T 则最小二乘法的法方程组就可以写为: A AC = A z 求得: a0 = 0.503, a1 = 0.976, a2 = −1.967
i=1 i=1
⇒a0 ∑ ϕ j ( xi )ϕ0 ( xi ) ρ ( xi ) +L+ an ∑ ϕ j ( xi )ϕn ( xi ) = ∑ f ( xi )ρ ( xi ) ϕ j ( xi )
i=1 i=1 i=1
m
m
m
j = 0,1,L, n
这就得到了一个线性方程组,这个方程组称为最小二乘法的法方程组(又称正规方程组). 由这个法方程组的解就可得到所要求的函数 ϕ ( x ) = a 0 ϕ 0 ( x ) + a1ϕ 1 ( x ) + L + a n ϕ n ( x )

函数逼近论方法

函数逼近论方法函数逼近论是数学中的一个重要分支，它研究的是如何用简单的函数来近似复杂的函数。

函数逼近论的方法和理论在实际问题的建模和求解中起着重要的作用，被广泛应用于科学、工程和经济等领域。

在函数逼近论中，我们常常遇到的一个问题是如何找到一个函数f(x)来近似另一个函数g(x)。

这个问题可以转化为如何找到一组系数，使得通过这组系数的线性组合可以得到一个最佳的近似函数。

这就是函数逼近论中的最小二乘逼近问题。

最小二乘逼近是函数逼近论的基本思想之一。

它的核心思想是通过最小化函数g(x)与近似函数f(x)的误差平方和，来确定系数的取值。

最小二乘逼近的优点是可以得到一个全局最优解，而不需要事先对函数g(x)的性质作出任何假设。

最小二乘逼近的方法有许多，其中最常用的是基于正交多项式的逼近方法。

正交多项式具有许多良好的数学性质，可以在逼近中起到很好的作用。

常见的正交多项式包括勒让德多项式、拉盖尔多项式和切比雪夫多项式等。

在实际问题中，我们常常需要通过离散的数据来进行函数的逼近。

离散数据是指在某个区间上取了有限个点的函数值。

离散数据的函数逼近问题可以通过插值方法来解决。

插值是一种通过已知的离散数据点来构造一个连续函数的方法。

常见的插值方法有拉格朗日插值和牛顿插值等。

除了最小二乘逼近和插值方法外，函数逼近论还有许多其他的方法和技巧。

例如，基于小波分析的逼近方法可以将函数分解成不同尺度的小波函数的线性组合；基于神经网络的逼近方法可以通过训练神经网络来得到一个近似函数；基于稀疏表示的逼近方法可以将函数表示为一组基函数的线性组合等。

函数逼近论方法在实际应用中具有广泛的应用价值。

例如，在信号处理中，我们常常需要通过近似函数来对信号进行压缩和降噪；在图像处理中，函数逼近论方法可以用于图像的插值和重构；在金融工程中，函数逼近论方法可以用于期权定价和风险管理等。

函数逼近论是数学中一个重要的分支，它研究的是如何用简单的函数来近似复杂的函数。

数值分析第3章插值法与最小二乘法

N2 ( x) f ( x0 ) f [ x0 , x1 ]( x x0 ) f [ x0 , x1 , x2 ]( x x0 )( x x1 ).
§4 牛顿插值
记 f [x, y] f ( y) f (x) , f [x, y, z] f [x, z] f [x, y]
y x
z y
插值多项式。
§1 插值法
1.3 插值基函数与Lagrange插值
注：③ 不同基函数可得不同的插值多项式，如 Lagrange，Newton，Hermite等。但由插值多项式的唯一性知本质上是相同的。
§2 插值多项式的误差
因为 175 的精确值13.22875656…，
故L2(175)=13.230158 较 L1(175)=13.214285 更精确。
一般地令
l j ( x)
( x x0 )( x ( x j x0 )( x j
x j1 )(x x j1 )( x xn ) x j1 )(x j x j1 )( x j xn )
n i 1
(x xi ) ( x j xi )
i j
(j = 0，1，2，…，n)
则
n
n
n
Ln( x) y jl j ( x) y j
所以可设 Rn ( x) K ( x)( x x0 )( x x1 )( x xn ) K ( x)n ( x)
§2 插值多项式的误差
定理1.1 设f在[a，b]上n+1次可微，pn(x)为f的n次插
值多项式。则
Rn ( x)
f (x)
pn ( x)
f n1 (n
( )
1)!
n
1
(
§4 牛顿插值

数值分析Ch3函数逼近与计算

函数逼近与计算§1. 引言1. 引例某气象仪器厂要在某仪器中设计一种专用计算芯片，以便于计算观测中经常遇到的三角函数以及其它初等函数。

设计要求x 在区间[]b a ,中变化时，近似函数在每一点的误差都要小于某一指定的正数ε。

(1) 由于插值法的特点是在区间[]b a ,中的1+n 个节点处，插值函数)(x P n 与被插值函数)(x f 无误差，而在其它点处)()(x f x P n ≈。

对于i x x ≠，)(x P n 逼近)(x f 的效果可能很好，也可能很差。

在本问题中要求)(x P n 在区间[]b a ,中的每一点都要“很好”地逼近)(x f ，应用一般的插值方法显然是不可行的，龙格现象就是典型的例证。

采用样条插值固然可以在区间的每一点上满足误差要求。

但由于样条插值的计算比较复杂，需要求解一个大型的三对角方程组，在芯片中固化这些计算过程较为复杂。

(2) 可以采用泰勒展式解决本问题。

将)(x f 在特殊点0x 处做泰勒展开，10)(00)(000)()!1()()(!)())(()()(+-++-++-'+=n n nn x x n f x x n x f x x x f x f x f ξ 。

取其前1+n 项作为)(x f 的近似，即)()(!)())(()()(00)(000x f x x n x f x x x f x f x P n n n ≈-++-'+= 。

但泰勒展式仅对0x 附近的点效果较好，为了使得远离0x 的点的误差也小于ε，只好将项数n 取得相当大，这大大增加了计算量，降低了计算速度。

因此，从数值计算的角度来说，用泰勒展式做函数在区间上的近似计算是不合适的。

(3) 引例提出了一个新的问题，即能否找到一个近似函数)(x P n ，比如说，它仍然是一个n 次多项式，)(x P n 不一定要在某些点处与)(x f 相等，但)(x P n 却在区间[]b a ,中的每一点处都能“很好”地、“均匀”地逼近)(x f 。

函数逼近的几种算法及其应用

函数逼近的几种算法及其应用摘要在自然科学与技术科学领域中存在着大量的需要解决的非线性问题.近年来人们在数值与函数逼近问题以及计算机辅助几何设计的研究中取得了一系列深刻的结果．随着高性能、大容量计算机的出现，使得过去难以实现的问题变为可能，所以关于函数逼近的理论研究和应用有着巨大的发展潜力．本课设中共有两章，第一章介绍了函数逼近的产生及研究意义，基础知识，最佳平方逼近法，曲线拟合的最小二乘法，有理逼近，三角多项式逼近的算法的几种函数比较方式.第二章从函数逼近的应用角度，详细介绍了有理函数逼近在数值优化中的应用和泰勒级数判定迭代法的收敛速度，以及几种函数逼近的计算实例.关键词最佳平方逼近法；曲线拟合的最小二乘法；有理逼近；三角多项式逼近；帕徳逼近目录引言 (1)第一章函数逼近 (2)§1.1 函数逼近的产生背景及研究意义 (2)§1.2 基础知识 (3)§1.2.1 函数逼近与函数空间 (3)§1.2.2 范数与赋范空间 (4)§1.3 最佳平方逼近 (5)§1.3.1 最佳平方逼近及其计算 (5)§1.3.2 用正交函数组作最佳平方逼近 (6)§1.4 有理逼近 (8)§1.4.1 有理逼近的定义及构造 (8)§1.4.2 有理插值函数的存在性 (10)§1.4.3 有理插值函数的唯一性 (10)§1.4.4 几种常见的有理逼近 (11)§1.5 三角多项式逼近与多项式逼近 (12)§1.5.1 三角多项式逼近 (12)§1.5.2 傅里叶级数的一致收敛性 (13)§1.5.3 以2π为周期的连续函数的三角多项式逼近 (14)§1.5.4 [0,π]上连续函数的三角多项式逼近 (14)§1.5.5 闭区间上连续函数的三角多项式逼近 (15)§1.5.6 闭区间上连续函数的多项式逼近 (15)§1.6 其他函数逼近 (16)§1.6.1 曲线拟合的最小二乘法 (16)§1.6.2 泰勒级数 (17)第二章函数逼近应用 (19)§2.1 有理逼近在数值优化中的应用 (19)§2.1.1 直线搜索方法 (19)§2.1.2 计算方法 (20)§2.1.3 计算实例 (20)§2.2 各种泰勒级数判定迭代法的收敛速度 (21)§2.3 各种函数逼近的计算实例 (22)§2.3.1 最佳平方逼近多项式计算实例 (22)§2.3.2 曲线拟合的最小二乘法计算实例 (23)§2.3.3 帕德逼近的计算实例 (25)参考文献 (26)引言函数逼近是函数论的一个重要组成部分，涉及的基本问题是函数的近似表示问题．在数学的理论研究和实际应用中经常遇到下类问题：在选定的一类函数中寻找某个函数g，使它是已知函数ƒ在一定意义下的近似表示，并求出用g近似表示ƒ而产生的误差．这就是函数逼近问题．在函数逼近问题中,用来逼近已知函数ƒ的函数类可以有不同的选择；即使函数类选定了,在该类函数中用作ƒ的近似表示的函数g的确定方式仍然是各式各样的;g对ƒ的近似程度（误差）也可以有各种不同的含义．所以函数逼近问题的提法具有多样的形式，其内容十分丰富．给定函数)(xf的函数一般要在某个较简单的函数类中找，这种f，用来逼近)(x函数类叫做逼近函数类．逼近函数类可以有多种选择．第一章函数逼近§1.1 函数逼近的产生背景及研究意义从18世纪到19世纪初期，在L.欧拉、P.-S.拉普拉斯、J.-B.-J.傅里叶、J.-V ．彭赛列等数学家的研究工作中已涉及一些个别的具体函数的最佳逼近问题．这些问题是从诸如绘图学、测地学、机械设计等方面的实际需要中提出的．在当时没有可能形成深刻的概念和统一的方法．切比雪夫提出了最佳逼近概念,研究了逼近函数类是n 次多项式时最佳逼近元的性质，建立了能够据以判断多项式为最佳逼近元的特征定理．他和他的学生们研究了与零的偏差最小的多项式的问题,得到了许多重要结果．1885年德国数学家K ．（T.W ．）魏尔斯特拉斯在研究用多项式来一致逼近连续函数的问题时证明了一条定理，这条定理在原则上肯定了任何连续函数都可以用多项式以任何预先指定的精确度在函数的定义区间上一致地近似表示．虽然没有指出应该如何选择多项式才能逼近得最好，但仍可以说切比雪夫和魏尔斯特拉斯是逼近论的现代发展的奠基者．在自然科学与科学技术领域中存在着大量的需要解决的非线性问题．近年来人们在数值与函数逼近问题以及计算机辅助几何设计的研究中取得了一系列深刻的结果．随着高性能、大容量计算机的出现，使得过去难以实现的问题变为可能，所以关于函数逼近的理论研究和应用有着巨大的发展潜力．我们举一个例子，如()x +1ln 有如（1-1）式的分式展开．⋅⋅⋅+++++=+524221211)1(2222x x x x x x In （1-1）n R n (1) R S 2n (1)T 10.667 0.26⨯10-1 0．5 0．19 2 0．69231 0．84⨯10-3 0．58 0．1130．693122 0．25⨯10-4 0．617 0．76⨯10-1 4 0．69314642 0．76⨯10-60．634 0．58⨯10--2§1.2 基础知识§1.2.1 函数逼近与函数空间在数值计算中经常要计算函数值，如计算机上计算基本初等函数及其他特殊函数．这些都涉及到用多项式、有理分式或分段多项式等便于在计算机上计算的简单函数逼近已给函数，使它达到精度要求而且计算量尽量小．数值逼近是数值计算中最基本的问题．为了在数学上描述更精确，下面先介绍一些基本概念及预备知识．数学上常把在各种集合中引入某些不同的确定关系称为赋予集合以某种空间结构，并将这样的集合称为空间．例如，在“线性代数”中将所有实n 组成的，按向量加法及向量与数的乘法构成实数域上的线性空间记作n R ，称为n 维向量空间．类似地，对次数不超过n 的实系数多项式全体，按通常多项式加法及数与多项式乘法也构成数域R 上的一个线性空间，用n H 表示，称为多项式空间．又如所有定义在区间],[b a 上的连续函数集合，按函数加法和数与函数乘法构成数域R 上的线性空间，记作],[b a C 称为函数空间．定义1.1 设集合S 是数域P 上的线性空间，S x x n ∈,...,1，如果存在不全为零的数P a a n ∈,...,1使得0...2211=+++n n x a x a x a （1-2）则称n x x ,,1⋅⋅⋅是线性相关的；否则，若等式（1-2）只对021==⋅⋅⋅==n a a a 成立，则称n x x ,,1⋅⋅⋅是线性无关的．若S 是由n 个线性无关元素 n x x ,,1⋅⋅⋅生成的，即S x ∈∀都n n x a x a x +⋅⋅⋅+=11，则称 n x x ,,1⋅⋅⋅是S 的一组基，记作}{1n x x span S ⋅⋅⋅=，并称S 是n 维的．下面考察次数不超过n 的多项式集合n H ，其元素n n n x a x a a x p ⋅⋅⋅++=10)(是由1+n 个系数（n a a a ⋅⋅⋅10,）唯一确定的，n x x ⋅⋅⋅,1，线性无关，n H =span {n x x ,,,1⋅⋅⋅}，（n a a a ,,,10⋅⋅⋅）是)(x p n 的坐标向量，故n H 是1+n 维的．对连续函数],[)(b a C x f ∈不能用有限个线性无关的函数表示，故],[b a C 是无限维的，但)(x f 可用有限维的多项式空间n H 的元素)(x p 逼近，使误差ε≤-≤≤)()(max x p x f bx a （任何给定的正数），这就是著名的维尔斯特拉斯定理．定理1.1 设],[)(b a C x f ∈，则对∈∃>∀)(,0x p n εn H 使得ε<-)()(x p x f 在],[b a 上一致成立．1912年伯恩斯坦构造了一个多项式0(,)()(1)nn k n k n k k k B f x f C x x n -==-∑ 其中(1)(1)!n k n n n k C k -⋅⋅⋅-+=为二项式展开系数，并证明了lim (,)n x B f x →∞在[0,1]上一致成立，若()f x 在[0,1]上m 阶可导则还有()()lim (,)()m m nx B f x f x →∞=．这也从理论上给出了定理1．1的证明．§1.2.2 范数与赋范空间为了在线性空间中衡量元素的大小，可将在n R 空间的范数定义推广到一般线性空间S ．定义1.2 设S f ∈,若存在唯一实数•，满足条件1．0≥f 当且仅当0=f 时0≡f ；2．R a f a af ∈=,;3．S g f g f g f ∈∀+≤+,,; 则称•为线性空间S 上的范数．在线性空间S 上定义了范数•，称为赋范线性空间，记为X ．例如，在n R 上的向量T n x x x )(,1⋅⋅⋅=的三种常用范数为 i n i x x≤≤∞=1max ，称∞-范数或最大范数； ∑==ni i x x 11，称为1-范数；21122)(∑==n i i x x ，称为2-范数．类似地对连续函数空间],[b a C 的)(x f 也可以定义以下三种范数：)(max x f f bx a ≤≤∞=，称为∞-范数；dx x f f b a ⎰=)(1，称为1-范数；2122))((dx x f f b a⎰=，称为2-范数．可以验证，这样定义的范数∞•，1•，2•满足定义1．2中的3个条件．定义1.3 设X 为赋范线性空间，其范数为•，若序列X ⊂∞0n }{ϕ，X f ∈,使0lim =-∞→f n n ϕ则称序列∞0}{n ϕ依范数•收敛于f ，记作f n n =∞→ϕlim ．对],[)(b a C x f ∈及∞•，上述收敛定义就是∞0}{n ϕ在区间[b a ,]上一致收敛于)(x f ．若范数为2-范数，则称上述收敛定义为平方收敛或均方收敛． §1.3 最佳平方逼近§1.3.1 最佳平方逼近及其计算现在我们研究在区间[]b a ,上一般的最佳平方逼近问题．定义1．4 对[]b a C x f ,)(∈中的一个子集{)}(),...(),(10x x x span n ψψψψ=,求ψ∈)(*x S ，使：⎰-=-=-∈∈ba x S x S dx x S x f x x S x f x S x f 2)(22)(22*)]()()[()()()()(min min ρψψ，称)(*x S 是)(x f 在子集ψ中的最佳平方逼近函数．若令)()()(*x S x f x -=δ,则平方误差为∑=-=--=--=n k k x f x a x f x f x S x f x f x S x f x S x f x 022***22))(),(()( ))(),(())()(( ))()(),()(()(ψδ （1-3）若取[]1,0)(,1)(,)(C x f x x x k k ∈≡=ρψ，在n P 中求n 次最佳平方逼近多项式：n n x a x a a x S **1*0*...)(++=此时 11))(),((10++==⎰+j k dx x x x j k k j ψψk k k d dx x x f x x f ==⎰1)())(),((ψ若用H 表示),....,1(n n x x G G =对应的矩阵，即：121 (2111)............21 (3121)11...211+++++n n n n n 称为希尔伯特(Hilbert)矩阵,记T n a a a a ),...,,(10=T n d d d d ),...,,(10=,则: d Ha =的解*kk a a =),...,2,1,0(n k =即为所求． §1.3.2 用正交函数组作最佳平方逼近用},....,1{n x x 做基，求最佳平方逼近多项式,当n 较大时,系数矩阵是高度病态的,因此直接求解法方程是相当困难的,通常是采用正交多项式做基．下面介绍如何用正交函数组作最佳平方逼近．设[]b a C x f ,)(∈{})(),...(),(10x x x span n ψψψψ=，若)(),...(),(10x x x n ψψψ是正交函数族，则：0))(),((=x x j i ψψj i ≠．而0))(),((>x x j i ψψ, 故法方程的系数矩阵))(),...(),((10x x x G n n ψψψ=为非奇异对角阵, 且法方程的解为: ())(),())(),((*x x x x f a k k k k ψψψ= ),...,2,1,0(n k = （1-4）于是[]b a C x f ,)(∈在ψ中的最佳平方逼近函数为：)()())(),(()(022*x x x x f x S k n k k k ψψψ∑== （1-5）由（1-3）可得均方误差为21202222*2)])())(),(([)(( )()()(∑=-=-=n k k k n n x x x f x f x S x f x ψψδ （1-6）由此可得贝赛尔不等式:22122*)())((x f x a n k k k ≤∑=ψ若[]b a C x f ,)(∈按正交函数族)}({x k ψ展开，系数*ka ),...,2,1,0(n k =按（1-4）计算，得级数∑∞=0*)(k k k x a ψ，称为)(x f 的广义傅立叶级数，系数*k a 称为广义傅立叶系数．它是傅立叶级数的直接推广．设{})(),...(),(10x x x n ψψψ是正交多项式，{})(),...(),(10x x x span n ψψψψ=，)(x k ψ，),...,2,1,0(n k =可由n x x ,...,1, 正交化得到，则有下面的收敛定理．定理1.2 设[]b a C x f ,)(∈,)(*x S 是由（1-5）给出的)(x f 的最佳平方逼近多项式，其中{})(),...(),(10x x x n ψψψ是正交多项式族，则有0)()(lim 2*=-∞→x S x f n n ．下面考虑函数[]1,1)(-∈C x f ,按勒让德多项式{})(),...(),(10x P x P x P n 展开，由（1-4）, （1-5）可得)(...)()()(*1*10*0*x P a x P a x P a x S n n n ++= （1-7）其中()()()()()()()()⎰-+==11*212,,dx x P x f k x P x P x P x f a k k k k k （1-8）根据（1-6）,平方误差为： ()()∑⎰=-+-=nk k k a k dx x f x 02*11222121δ由定理1可得： 0)()(lim 2*=-∞→x S x f n n 如果)(x f 满足光滑性条件还可得到)(*x S n 一致收敛于)(x f 的结论．定理1.3 设[]1,1)(2-∈C x f f(x)∈C 2[-1,1],)(*x S n 由(1-7)给出,则对任意[]1,1-∈x 任意0>ε当n 充分大时有：()()nx S x f n ε≤-*．对于首项系数为1的勒让德多项式n P 有以下性质：定理1.4 在所有最高次项系数为1的n 次多项式中,勒让德多项式()x P n 在[]1,1-上与零的平方误差最小．§1.4 有理逼近§1.4.1 有理逼近的定义及构造有理逼近作为非线性逼近的一个重要特殊情形，其实就是用一个易于计算的有理函数来有效地近似较复杂的已知函数．下面引进有理逼近方法，先介绍有理函数插值的概念．设已给定m+n+1个不同的点n m x x x +,...,,10和相应地函数值()()()n m x f x f x f +,...,,10,所谓的有理函数插值问题，乃是求有理分式函数1110111,)()()(b x b x b x b a x a x a x a x D x N x R n n n n m m m m n m n m ++⋅⋅⋅++++⋅⋅⋅++==---- 使之满足插值条件如下)()(,j j n m x f x R =，n m j +⋅⋅⋅=,,1,0其中()x N m ,()x D n 分别为x 的m 与n 次多项式，m 与n 是给定的非负整数．有理函数的逼近方法是用有理函数()()()x D x N x R n m n m =,来近似函数()x f ．即令()()()x D x N x f n m ≈,()()()x D x f x N n m ≈比较两边的系数，可得∑∞=++=-01)()()(k kk n m n m xr xx D x f x N用()x R n m ,近似()x f 时，其截断误差的主要部分是()x D x r E n n m 10++=（这里设()∑∞==0k k k x c x f ),大量计算例子表明，采用m,n 相等或接近相等时为最佳．对于有理逼近中有理函数的构造存在着许多种构造方法（如多项式、有理分式等）．但在通常情况下一般利用连分式来构造有理函数()x R n m ,．首先按递推的方法给出如下式倒差商的定义．⎪⎪⎪⎩⎪⎪⎪⎨⎧+⋅⋅⋅=--=⋅⋅⋅⋅⋅⋅--==----n m k x a x a x x x a x a x a x x x a x f x a k k k k k ,,2,1,)()()()()()()()(1111000010设连分函数如下nm n m a x x x x a x x a x x a x R +++-+-+-+-+=1221100)(一般写成nm n m a x x a x x a x x a x R +++-+⋅⋅⋅+-+-+=121100)( 其中()x a a 00=,()x a a 11=,．．．,()x a a n m n m ++=为倒差商．将右式整理，即完成了有理函数()x R mn 的构造．例如函数x f +=1，可以利用逐次迭代算法的到如下式形式的连分式展开．因为x f +=1，即为x f =-12．⇒++=11f xf )))1(11(11(1f xx x f ++++++=用)1(1f xf ++=无限迭代下去就可以得到x f +=1的连分式展开如下⋅⋅⋅+⋅⋅⋅+++=+22211xx x xm,n 相等或接近相等时为最佳．§1.4.2 有理插值函数的存在性关于有理函数插值的定义在本文第二章中已经详细给出．在其基础上定义两个有理函数如下)()()(111x q x p x r =， )()()(222x q x p x r = 如果存在一个非零常数a ，使得)()()()(1212x aq x q x ap x p ==，（1-9）则称二者恒等，并记为)()(21x r x r ≡．如果满足式（1-10），则称两个有理函数r 1(x)与r 2(x)等价，记为()()x r x r 21~．)()()()(1221x q x p x q x p ≡ （1-10）一般来说，插值问题（1-9）、（1-10）所形成的问题是一个非线性问题．但是当有理分式函数r(x) = p(x)/q(x)是插值问题的解时，当然也有。

4数值分析之最小二乘法

( 0 , n ) c0 ( f , 0 ) (1, n ) c1 ( f ,1 ) ( n , n ) cn ( f , n )
这个叫正则方程组或法方程组. 如果取的是正交基（正交函数系）则可保证系数矩阵是对角阵.
c dx
b a i i 1 i 0
n
b
a
f 1dx
b
c
i i 0
n
b
a
i1dx f 1dx
a
连续函数的最佳平方逼近
c
i i 0
n i i 0
n
b
a
i1dx f 1dx
a
1 1
b
c ( , ) ( f , )
a b 1 2
g
[ห้องสมุดไป่ตู้( xi ) g 2 ( xi )]1/2
i 1
m
最小二乘法

在科学实验中,得到函数y=f(x)的一组实验数据: ( xi , yi ) (i 1,2,...m) ,求曲线y=f(x)的近似曲线.
2
f ( x ) g ( x ) ( xi )[ f ( xi ) g ( xi )]
1 0) c0 2 / 3) 0 1 / 12 c 1 / 15 1 c0 10 / 15) c 12 / 15 1
对角阵
例题
10 12 g ( x) 1( x) 0 ( x) 15 15 10 12 ( x 1 / 2) 15 15 4 12 x 15 15
连续函数的最佳平方逼近
f(x) - g (x) = min f(x) - g(x)

第三章函数逼近与快速傅里叶变换曲线拟合与最小二乘法

---------------------------------------------------------------最新资料推荐------------------------------------------------------第三章函数逼近与快速傅里叶变换曲线拟合与最小二乘法第三章函数逼近与快速傅里叶变换曲线拟合与最小二乘法线性最小二乘拟合多项式拟合超定方程组的最小二乘解3.1 曲线拟合与最小二乘法一、拟合问题设变量 x, y 通过观测得 m 对数据我们希望用 m 对数据构造一个近似函数)(xp. 由于观测数据都带有观测误差, 而且一般m 也比较大, 用插值方法要求)(xp严格经过数据点不可取. 于是, 我们希望寻找的近似函数)(xp在各个 xi的函数值)(ixp与观测值yi尽可能接近, 这就是所谓的数据拟合问题. 二、最小二乘法的基本原理从整体考虑近似函数)(xp与所给数据点()),, 2 , 误差的大小，常用的方法有以下三种：一是误差绝对值的最大值imir0max，即误差向量的范数；二是误差绝对值的和=miir0||，即误差向量 r 的 1-范数；三是误差平方和=miir02的算术平方根，即考虑误差向量 r 的 2范数；前两种方法简单、自然，但不便于微分运算，后一种方法相当于考虑 2范数的平方，因此在曲线拟合中常采用误差平方和=miir02来度量误差的整体大小。

数据拟合的具体作法：1 / 11对给定数据，在取定的函数类中,求 )(xp, 使误差的平方和最小，即min])([0202==i=i=miimiyxpr 从几何意义上讲，就是寻求与给定点的距离平方和为最小的曲线)(xpy =。

函数)(xp称为拟合函数或最小二乘解，求拟合函数)(xp的方法称为曲线拟合的最小二乘法。

在曲线拟合中，函数类可有不同的选取方法. 多项式拟合形式比较规范，方法也比较简单，但在实际应用中，针对所讨论问题的特点，拟合函数可能为其他类型，如指数函数、有理函数、三角函数等，这就是一般最小二乘拟合问题。