第6章 函数逼近与函数插值

第六章 函数逼近与函数插值本章介绍函数逼近与插值的有关理论和算法. 函数逼近问题与插值问题两者既有联系又有区别，它们都是用较简单的函数来近似未知的、或表达式较复杂的函数. 一般来说，函数逼近是要在整个区间、或一系列离散点上整体逼近被近似函数，而在进行插值时，则须保证在若干自变量点上的函数值与被近似函数相等.6.1 函数逼近的基本概念进行函数逼近一般是在较简单的函数类Φ中找一个函数p(x)来近似给定的函数f(x)，以使得在某种度量意义下误差函数p (x )−f(x)最小. 被逼近函数f(x)可能是较复杂的连续函数，也可能是只在一些离散点上定义的表格函数，而函数类Φ可以是多项式、分段多项式、三角函数、有理函数，等等. 函数逼近问题中度量误差的手段主要是函数空间的范数，下面先介绍函数空间的范数、内积等有关概念，然后讨论函数逼近问题的不同类型.6.1.1 函数空间线性空间的概念大家都很熟悉，其定义中包括一个元素集合和一个数域，以及满足一定运算规则的“加法”和“数乘”运算. 简单说，若这个元素集合对于“加法”和“数乘”运算封闭，则为一线性空间. 线性空间的元素之间存在线性相关和线性无关两种关系，进而又有空间的基和维数的概念.在这里我们先考虑连续函数形成的线性空间. 例如C [a,b ]按函数加法、以及函数与实数乘法，构成一个线性空间. 对于[a,b]区间上所有k 阶导数连续的函数全体C k [a,b ]，也类似地构成一个线性空间. 我们一般讨论实数函数，因此对应的是实数域ℝ，若讨论复数函数，则相应的是复数域ℂ. 另外，与线性代数中讨论的向量空间ℝn 不同，连续函数空间是无限维的.对线性空间可以定义范数的概念（见3.1.2节）. 针对实连续函数空间C [a,b ]，与向量空间类似，可定义如下三种函数的范数(function norm)：1) ∞-范数 设f (x )∈C [a,b ]，则‖f (x )‖∞=max x∈[a,b ]|f (x )| .其几何意义如图6-1所示，即函数值绝对值的最大值.2) 1-范数‖f (x )‖1=∫|f (x )|dx b a .其几何意义如图6-2所示，即函数曲线与横轴之间的面积总和.3) 2-范数‖f (x )‖2=[∫f 2(x )dx b a ]1/2. 2-范数也常称为平方范数，其几何意义与1-范数类似. 线性空间还有一个重要概念是内积，它定义了空间中两个元素的一种运算. 下面给出一般的复数域上线性空间内积的定义.定义6.1：设S为实数域ℝ上的线性空间，∀u,v∈S，定义值域为ℝ的二元运算〈u,v〉，若满足1)〈u,v〉=〈v,u〉, (可交换性)2)〈αu,v〉=α〈u,v〉, ∀α∈ℂ(线性性1)3)〈u+v,w〉=〈u,w〉+〈v,w〉, ∀w∈S(线性性2)4)〈u,u〉≥0，当且仅当u=O时①，〈u,u〉=0, (非负性)则称〈u,v〉为一种实内积运算(inner product). 定义了内积的线性空间称为实内积空间.应说明的是，将定义6.1加以扩展可在更一般的实数域ℂ上定义内积，区别只是将第1条性质改为共轭可交换性：〈u,v〉=〈v,u〉 .例如复向量的内积为: 〈u,v〉=u T v̅，可以验证它满足上述共轭可交换性. 下面只考虑实内积，但得到的结果都可以类似地推广到复内积空间. 另外，定义6.1的条件2还说明零元素与任意元素的内积均等于0.根据内积的线性性可推出：〈α1u1+α2u2,v〉=α1〈u1,v〉+α2〈u2,v〉,∀α1,α2∈ℂ,(6.1) 更一般地有：〈∑αj u j nj=1,v〉=∑αj〈u j,v〉nj=1,∀α1,⋯,αn∈ℂ.(6.2)这里主要考虑函数空间，则(6.2)式表明，线性组合函数(与另一函数作)内积等于(相应各个函数)内积的线性组合.可以规定一种依赖于内积运算的范数：‖u‖≡√〈u,u〉 .易知这种内积导出的范数满足范数定义的三个条件（见3.1.2节），详细证明过程留给读者思考. 应注意，在向量空间中，由内积导出的范数等同于向量的2-范数. 在实函数空间C[a,b]中，一般定义内积为〈u(x),v(x)〉=∫u(x)v(x)dxba,(6.3) 因此，由它导出的范数也等同于函数空间的2-范数.下面介绍与内积有关的两个重要定理.定理6.1：设S为实内积空间，∀u,v∈S，有：|〈u,v〉|2≤〈u,u〉∙〈v,v〉 .(6.4) 这是著名的柯西-施瓦茨不等式(Cauchy-Schwarz inequality).定理6.1的证明留给读者思考，若u,v为三维向量，也请思考该定理有什么几何含义？定理6.2：设S为实内积空间，u1,…,u n∈S，则格莱姆矩阵（Gram matrix）G=[〈u1,u1〉〈u2,u1〉⋯〈u n,u1〉〈u1,u2〉〈u2,u2〉⋯〈u n,u2〉⋮⋮⋱⋮〈u1,u n〉〈u2,u n〉⋯〈u n,u n〉](6.5)非奇异的充要条件是u1,…,u n线性无关.[证明] 首先要用到线性代数中的一个基本结论：矩阵G非奇异⟺det(G)≠0⟺齐次线性方程组Ga=0只有全零解.设向量a=[a1,…,a n]T，则方程Ga=0可写成：①这里用正体的字母O表示线性空间的零元素.∑a j 〈u j ,u k 〉nj=1=0,k =1,2,⋯,n (6.6)下面证明方程组(6.6)只有恒零解的充分必要条件是u 1,…,u n 线性无关. 先证必要性，即已知方程组(6.6)只有恒零解，要证u 1,…,u n 线性无关. 采用反证法，若u 1,…,u n 线性相关，即存在不全为0的一组系数{αj ,j =1,⋯,n}使∑αj u j n j=1=O ，则∑αj 〈u j ,u k 〉n j=1=〈∑αj u j nj=1,u k 〉=〈O,u k 〉=0,(k =1,…,n ),即这组{αj }是方程组(6.6)的解，与已知条件矛盾！再证明充分性，即已知u 1,…,u n 线性无关，要证方程组(6.6)只有全零解. 仍采用反证法，若方程组(6.6)存在不全为零的一组解{αj }，则∑αj 〈u j ,u k 〉n j=1=〈∑αj u j nj=1,u k 〉=0,k =1,…,n将上述方程中第k 个方程乘以αk ，累加所有方程得到，〈∑αj u j n j=1,∑αj u j nj=1〉=0 ,根据内积的定义，必有∑αj u j n j=1=O , 也就是说存在不全为0的一组{αj }j=1n 使∑αj u j n j=1=O ，这与u 1,…,u n 线性无关的已知条件矛盾！综上所述，完成了定理的证明.应注意，格莱姆矩阵是实对称矩阵，并且当u 1,…,u n 线性无关时，它是对称正定矩阵. 针对实函数空间C[a, b]，常常有权函数、加权内积的概念.定义6.2：若函数ρ(x )≥0,∀x ∈[a,b]，且满足1) ∫x k ρ(x )dx ba 存在，(k =0,1,…),2) 对非负连续函数g (x )，若∫g (x )ρ(x )dx =0b a 可推出g (x )≡0,则称ρ(x)为区间[a,b]上的权函数(weight function).关于权函数的定义，说明几点：● 定义中对连续性没有要求，即ρ(x )可能不是连续函数；第1个条件要求的是ρ(x )与多项式乘积为可积函数.● 定义中第2条件的意义不是很直观，较直观的一种等价形式为：不存在子区间(c,d )⊆[a,b]，使ρ(x )=0,∀x ∈(c,d )，即“权函数在[a,b]中任一子区间不恒为零”. ● 一般遇到的C [a,b ]中非负函数（一定有界、可积），若不在某一子区间恒为零，则都可作权函数.定义6.3：若ρ(x )为区间[a,b]上的权函数，则可定义C [a,b ]上的内积为：〈u (x ),v (x )〉=∫ρ(x )u (x )v (x )dx b a ,(6.7)并称其为加权内积(weighted inner product).容易验证加权内积满足一般内积的定义，并且常用的函数内积(6.3)式是加权内积的特例，其对应于权函数ρ(x )≡1的情况. 根据加权内积，也可以导出范数，这种范数可看成是广义的2-范数，其公式为：‖f(x)‖=[∫ρ(x )f 2(x )dx b a ]12⁄ .6.1.2 函数逼近的不同类型在函数逼近问题中，用简单函数p(x)来近似f(x)，并要求误差最小. 这里度量误差大小的标准是范数，采用不同范数时其问题的性质是不同的. 下面分两种情况作些讨论.1) ∞-范数考虑误差函数p (x )−f (x )的∞-范数，假设函数的定义域为[a, b]，则可设ε=‖p (x )−f (x )‖∞=max x∈[a,b ]|p (x )−f (x )| , 因此有−ε≤p (x )−f (x )≤ε,∀x ∈[a,b ]，即p (x )−ε≤f (x )≤p (x )+ε, ∀x ∈[a,b ]图6-3显示了函数p (x ),f (x ), 以及‖p (x )−f (x )‖∞之间的关系，从中可以看出，在∞-范数意义下的逼近要求使ε尽量小，也就是要p (x )在整个区间上“一致地”接近f (x ). 因此，采用∞-范数的函数逼近问题常称为最佳一致逼近.2) 1-范数和2-范数先看看误差函数p (x )−f (x )的1-范数，‖p (x )−f (x )‖1=∫|p (x )−f (x )|dx ba令A =‖p (x )−f (x )‖1，则它表示p (x )和f (x )两个函数曲线之间的面积（如图6-4所示）. 在1-范数意义下的逼近，要求使A 尽量小，也就是要p (x )与f (x )曲线之间的总面积尽量小，反映出这种逼近有整个区间上“平均”误差尽量小的含义（在某个子区间上误差可能很大）.2-范数的意义与1-范数大体上类似，由于它更容易处理，在实际的逼近问题中一般采用图6-3 函数p (x ),f (x ), 以及‖p (x )−f (x )‖∞之间的关系.图6-4 函数p (x ),f (x ), 以及‖p (x )−f (x )‖1之间的关系.2-范数. 这种逼近称为最佳平方逼近或最小二乘逼近(least squares fitting).从直观上看，采用∞-范数的最佳一致逼近效果更好一些，而最佳平方逼近具有平均误差最小的含义.除了度量误差函数可采用不同的范数，被逼近函数也可分为连续函数和表格函数两种情况. 表格函数就是仅在一系列离散自变量点上已知函数值的函数，可通过函数值组成的向量来刻画，有关逼近问题的求解有特殊的处理方法. 而在逼近函数类方面，多项式函数是最常用的一种. 下面给出魏尔斯特拉斯定理（Weierstrass Theorem ），它是用多项式函数进行逼近的一个重要依据.定理6.3：设f (x )∈C[a,b]，则对任何ϵ>0，总存在一个多项式P (x )，使‖P (x )−f (x )‖∞<ϵ在[a, b]上一致成立.该定理的证明已超出了本书的要求，因此不做讨论. 值得一提的是，若f (x )∈C[0,1]，伯恩斯坦多项式(Bernstein polynomial)②B n (f,x )=∑f (k )Q k (x )nk=0 , 其中Q k (x )=(n k)x k (1−x )n−k , 就是满足定理要求的多项式P (x ). 注意B n (f,x )为n 次多项式，并且可以证明，lim n→∞B n (f,x )=f(x)在[0, 1]上一致成立. 因此，C[0,1]中的任意函数都可以用伯恩斯坦多项式（一致）逼近到任意好的程度. 应注意，它一般不是多项式函数类ℙn 中的最佳一致逼近.最后说明一点，求最佳一致逼近多项式的方法比较复杂，感兴趣的读者请参考[4, 9]. 本章后面主要介绍求最佳平方逼近的方法，它有很广泛的应用.6.2 连续函数的最佳平方逼近为了记号的方便，在6.2节和6.3节的介绍中记函数的自变量为t.6.2.1 一般的法方程方法一. 问题描述假设对f (t )∈C [a,b ]进行函数逼近，逼近函数类Φ应是形式简单的函数类，比如多项式函数、三角函数、有理函数，等等，并且它是有限维的线性子空间. 设Φ=span {φ1(t ),…,φn (t )}，则Φ的任一元素可表示为：S (t )=Σj=1n x j φj (t ), (6.8)其中x 1,…,x n ∈ℝ.连续函数的最佳平方逼近问题就是求S (t )∈Φ，使 ‖S (t )−f (t )‖2达到最小值. 利用公式(6.8)以及2-范数的定义，上述问题等价于最小化F =‖S (t )−f (t )‖22=∫[Σj=1n x j φj (t )−f (t )]2dt b a .(6.9)F 是关于实系数x 1,x 2,…,x n 的多元函数，需求出F 的最小值对应的那组系数x 1,x 2,…,x n .二. 法方程方法下面推导如何求(6.9)式的最小值点. 为了记号简便，省略函数记号中的“(t )”，即直接② 由原苏联数学家伯恩斯坦（1880—1968）于1912年提出.f ̃=f (3)=f (2)−2v 2T f (2)v 2T v 2v 2=[ −4.2061330.399807−0.004750130.0009512830.00195269], 此时矩阵A 经变换为： R =A (3)=[ −2.236068−3.35410200.790569000000] . 根据算法6.3，需求解方程R 1x =b ，其中R 1=[−2.236068−3.35410200.790569],b =[−4.2061330.399807]. 解得：x =[1.12250.5057]T ，即拟合公式为y ̃=1.1225+0.5057t ，它与例6.6, 6.7得到的结果是一样的.根据表格函数与其函数值向量的对应关系可证明，算法6.3与通过Gram-Schmidt 正交化过程求最佳逼近函数的方法在数学上是等价的. 不同之处在于：前者不涉及正交函数族，直接得到原基函数对应的拟合系数；前者的主要计算是矩阵的QR 分解，它可通过Householder 变换或Givens 旋转变换等不同方法实现. 由于算法6.3直接利用矩阵的QR 分解的特点，它更易于实现和应用，而且稳定性比算法6.2好. 最后说明一点，若初始的表格函数φ1(t ),…,φn (t )线性相关，矩阵A 不是列满秩的，QR 分解也能进行，但得到的上三角阵R 1奇异. 可以证明，这种情况下有无穷多个最小二乘解，详细的讨论请参考[6].一. 问题背景1945年7月16日，美国科学家在新墨西哥州Los Alamos沙漠试爆了世界上第一颗原子弹，这一事件令全球震惊. 但在当时有关原子弹爆炸的任何资料都是保密的，而很多其他国家的科学家非常想知道这次爆炸的威力有多大.两年之后，美国政府首次公开了这次爆炸的录像带，而其他数据和资料仍然不被外界所知. 英国物理学家G. I. Taylor(1886 ~ 1975)通过研究原子弹爆炸的录像带，建立数学模型对爆炸所释放出的能量进行了估计，得到估计值与若干年后正式公布的爆炸能量21 kt 相当接近(1 kt 为1千吨TNT 炸药的爆炸能量). Taylor 是如何根据爆炸录像估计的呢？主要是通过测量爆炸形成的“蘑菇云”半径来进行估计的（如图(A)）. 因为爆炸产生的冲击波从中心点向外传播，爆炸的能量越大，在相同时间内冲击波传播得越远、蘑菇云的半径就越大. Taylor 通过图(A) 原子弹爆炸的蘑菇云.*t 的单位为ms, r 的单位为m.然后通过量纲分析法建立了蘑菇云半径r 与时间t 和爆炸能量E 的关系式，利用上述数据最后求出了爆炸的能量.二. 数学模型考虑到原子弹爆炸在极短的时间内释放出巨大的能量，蘑菇云半径r 主要与时间t 、爆炸能量E 、以及空气密度ρ等几个参数有关. 通过仔细分析这几个量的单位，采用量纲分析法得到如下的蘑菇云半径的近似表达式：r =(t 2E )15. 其中r , t , E 的单位分别为米(m), 秒(s)和焦耳，而空气密度ρ的值为1.25 (kg m 3⁄). 对这次原子弹爆炸来说，E 为一固定值，因此r 与t 2成正比. 图(B)是根据蘑菇云半径与对应时刻的数据画出的散点图，它大体反映了这个趋势. 接下来的问题是如何求未知的参数E .三. 求解过程首先，改写蘑菇云半径的公式为r =at b 的形式，通过测量数据拟合出参数a 和b ，来验证量纲分析法得到的公式. 要作线性最小二乘拟合，进一步改写公式为：lnr =lna +blnt . 根据测量数据我们得到lnr 和lnt 的数据，将它们的函数关系拟合为1次多项式，得到系数b =0.4094，其值与前面分析的结果2/5非常接近，从而验证了量纲分析得到的公式.为了更为准确地计算爆炸能量E ，将蘑菇云半径公式改写为：5lnr −2lnt =ln (E ) . 此时可根据测量数据得到5lnr −2lnt 对应的一组数据，将它拟合为0次多项式（常数），设得到拟合系数为c ，则E ≈ρ∙e c .根据此方法算出E ≈8.6418×1013，单位为焦耳，查表得知1kt=4.184×1012焦耳，因此爆炸能量约等于20.65 kt.6.4函数插值与拉格朗日插值法函数插值可看作一种“特殊”的函数逼近问题，其逼近采用的“度量”准则是要求在插值节点处误差函数的值为0. 本节先介绍关于插值(interpolation)的一些基本概念，然后讨论最简单的一种多项式插值——拉格朗日插值法.图(B) 蘑菇云半径与对应时刻的数据 rt个节点：x 0<x 1<⋯<x n 进行插值，只需将B −k k (x ),B −k+1k (x ),⋯,B n−1k (x )这n+k 个k 次B-样条函数进行组合. 可以证明，它们在区间[x 0,x n ]上的部分组成n+k 个线性无关的基函数. 因此，对于满足额外边界条件的[x 0,x n ]上的k 次样条函数，可唯一地用这些基函数的线性组合表示. 感兴趣地读者可以推导B i 3(x )的表达式，然后利用插值条件和边界条件列方程求这些基函数对应的系数，进而推导出三次样条插值函数的表达式. 这个计算过程将与上一小节的方法得到相同的结果.利用B-样条基函数，可得到确定和计算各阶样条插值的有效而稳定的方法. 此外，它在计算机图形学、几何建模，以及数值求解微分方程等领域都有广泛的应用.评述关于多项式逼近和插值问题的研究历史悠久，应用面也很广. 本章只讨论了一元函数的最佳平方逼近，更多的相关内容，包括多元函数的逼近、正交多项式等，可参考下述文献：● P . J. Davis, Interpolation and Approximation , Dover, 1975.● W. Cheney, Introduction to Approximation Theory , AMS Chelsea Publishing, 2nd edition,1998.● G. A. Baker, and P . R. Graves-Morris, Pade Approximations , Cambridge University Press,2nd edition, 1996.● W. Gautschi, “Orthogonal polynomials: Applications and computation,” Acta Numerica ,Vol. 5, pp. 45-119, 1996.最佳平方逼近的法方程方法在1795年由高斯提出. 格莱姆－斯密特正交化方法在1883年由格莱姆提出，1907年斯密特给出了现代算法. 在求解最小二乘问题中使用QR 分解方法，特别是使用Householder 变换的方法是在1965年由G. Golub ⑥提出的. 最小二乘方法是统计学的重要工具，也称为回归分析，很多常用的数据处理软件（比如微软公司的Excel 软件）都具有这个功能. 本章讨论的线性最小二乘问题实际上是一种最简化的形式，即假设待逼近函数是基函数的线性组合. 在实际应用中还常遇到非线性最小二乘问题，它属于非线性优化问题，见参考文献[6]及其中给出的更多文献. 另外，若考虑所有参量都带有随机误差的情形，则成为完全最小二乘问题，有关详细讨论见文献：● S. Van Huffel and J. Vandewalle, The Total Least Squares Problem , SIAM Press, 1991. 本章也没有讨论拟合的基函数可能线性相关的情况，这在实际中可能由于拟合模型的不合理或数值误差造成，它使得矩阵A 列不满秩. 此时最佳平方逼近解不唯一，要得到实际有用的一个逼近解，需采用列重排的QR 分解等技术，更多讨论参见文献[6]及其他文献.多项式插值问题历史非常悠久，牛顿、拉格朗日等都在这方法做出了很多贡献. 除了将函数值作为条件的插值问题，插值条件中包括各阶导数值的情况也常见于各种工程应用中. 目前，常用的文档编辑软件都已使用保形分段插值来绘制曲线，例如微软公司的Word 和Power Point 软件. 样条函数是1946年由Schoenberg 首先提出的，本章只讨论了一维数据的样条插值和B-样条函数，实际问题中还有高维的插值问题，尤其在计算机图形学中二维B-样条是一个重要的工具. 关于样条的参考文献主要有：● C. de Boor, A Practical Guide to Splines , Springer-Verlag, 2nd edition, 1984.● E. V. Shikin and A. I. Plis, Handbook on Splines for the User , CRC Press, 1995.最后，列表说明Matlab 中与本章讨论的函数逼近与插值有关的命令和功能.⑥ Gene H. Golub (1932-2007), 美国斯坦福大学计算机系教授，美国科学院、工程院、艺术与科学院三院院士，著名的数值计算专家，1996年出版的著作”Matrix Computations ” [21]被奉为矩阵计算领域的经典.线拟合与样条插值的功能.[本章知识点]: 连续函数的范数；内积及其性质；内积空间的格莱姆矩阵、及其非奇异的充要条件；权函数与加权内积；最佳一致逼近与最佳平方逼近的概念；法方程方法求连续函数的最佳平方逼近；最佳平方逼近的误差；正交函数族与Gram-Schimdit正交化过程；勒让德多项式；用正交函数族作最佳平方逼近；曲线拟合的线性最小二乘问题；线性最小二乘问题的矩阵描述；法方程方法解线性最小二乘问题；表格函数的线性无关性与相关性；利用矩阵的QR分解解线性最小二乘问题；插值的基本概念；范德蒙矩阵与多项式插值的存在唯一性；拉格朗日插值公式；拉格朗日插值余项公式；牛顿插值公式；差商的计算；牛顿插值余项公式；高次多项式插值的问题；分段线性插值；埃尔米特插值；分段三次埃尔米特插值；保形分段插值；三次样条插值及边界条件；三次样条插值的构造方法；三弯矩方程；几种插值的比较；B-样条函数的基本概念与性质.算法背后的历史：拉格朗日与插值法约瑟夫·路易斯·拉格朗日（Joseph-Louis Lagrange，1736年1月25日—1813年4月10日）是法国数学家、物理学家. 他在数学、力学和天文学三个领域中都有巨大的贡献，其中尤以数学方面的成就最为突出. 拉格朗日与同时代的勒让德（Legendre）、拉普拉斯（Laplace）并称为法国的3L.拉格朗日于1736年生于意大利西北部的都灵. 17岁时，开始专攻当时迅速发展的数学分析. 1756年，受欧拉的举荐，拉格朗日被任命为普鲁士科学院通讯院士. 1766年赴柏林任普鲁士科学院数学部主任，居住柏林达20年之久，这是他一生科学研究的鼎盛时期. 在此期间，他完成了著作《分析力学》. 1786年加入了巴黎科学院成立的研究法国度量衡统一问题的委员会，并出任法国米制委员会主任. 1795年建立了法国最高学术机构——法兰西研究院后，拉格朗。