第六章 函数逼近

第六章函数逼近/shuzhifenxi/index.htm 第一节曲线拟合的最小二乘法

问题的背景

通过观测、测量或试验得到某一函数在x1 ,x2,…,x n的函数值. 我们可以用插值的方法对这一函数进行近似,而插值方法要求所得到的插值多项式经过已知的这n个插值结点;在n比较大的情况下, 插值多项式往往是高次多项式, 这也就容易出现振荡现象:虽然在插值结点上没有误差,但在插值结点之外插值误差变得很,从“整体”上看,插值逼近效果将变得“很差”. 于是, 我们采用数据拟合的方法.

定义1 数据拟合就是求一个简单的函数φ(x), 例如是一个低次多项式,不要求通过已知的这n个点，而是要求在整体上“尽量好”的逼近原函数,这时在每个已知点上就会有误差y k -φ(x k),(k=1,2,…,n),数据拟合就是从整体上使误差

y k -φ(x k),(k=1,2,…,n), 尽量的小一些.

如果要求: 达到最小,因误差y k -φ(x k)可正可负

本来很大的误差可能会正负抵消,这样的提法不合理,为防止正负抵消,可以要求:达到最小,但是由于绝对值函数不可以求导,分析起来不方便,求解也很难. 为了既能防止正负抵消，又能便于我们分析、求解，提出如下问题：

求一个低次多项式φ(x) ,使得: 达到最小,此问题便是一个数据拟合的最小二乘问题.

一、直线拟合(一次函数)

通过观测、测量或试验得到某一函数在x1 ,x2,…,x n的函数值：y1 ,y2,…,y n ,即得到n组数据(x1 ,y1 ),(x2 ,y2),…,(x n ,y n ),如果这些数据在直角坐标系中近似地分布在一条直线上,我们可以用直线拟合的方法.

已知数据(x1 ,y1 ),(x2 ,y2),…,(x n ,y n ),求一次多项式φ(x)=a+bx(实际上，就是求a,b), 使得:

（1）

达到最小.

注意到Q(a,b)中,x k ,y k均是已知的,而a,b是未知量,Q(a,b)是未知

量a,b的二元函数,利用高等数学求二元函数极

小值(最小值)的方法，上述问题转化为求解下

列方程组:

的解.

由得

因为得到如下的正则方程组:

(3)

这是个关于a,b的二元一次方程组,称其为最小二乘问题的正则方程组解得a,b,便得到最小二乘问题的拟合函数.

例1 已知10对数据如下表,利用最小二乘法求拟合曲线y=a+bx .

解：先列表来计算四个

形成所谓正则方程组:

解得a=6.4383，b=-0.7877于是，最小二乘拟合一次函数为y=6.4383-0.7877x

二、多项式拟合

已知一组数据对(x i ,y i),(i=1,2,…,n),求一个m次多项式(m

达到最小. 即求待定参数a0 ,a1,…,a m使得

(4)

达到最小.

如果m=n-1, 过这n个点可以决定一个n-1次多项式, 此时说明:P m(x)正好可以过这n个点,Q=0时达到最小，这就成为一个插值问题.如果m>n-1,此时过这n个点的m次多项式不仅存在,而且有无穷多个,解是不确定的. 因而, 对于拟合问题，一般总是针对大量的数据对而选用低次多项式.

类似直线拟合方法，可找a0 ,a1,…,a m满足的所谓正则方程组, 令

整理得到下面的正则方程组(法方程组)：

这是一个m+1阶的线性方程组. 例如m=2, 法方程组为

这是一个三元一次方程组.

例2 给定数据如下表, 求最小二乘拟合多项式P2(x) .

解：设P2(x)=a0 +a1 x+a2 x2，列表计算:

于是，法方程组为:

解得

故所求的二次多项式为：

y = -1.7143 + 3.8690x - 0.4881x2

三、指数拟合和一些非线性拟合

有些数据(x k ,y k),(k=1,2,…,n),在直角坐标系中的分布近似于指数曲线, 则可以用指数函数进行拟合.

已知一组数据对(x k ,y k),(i=1,2,…,n),求一个指数函数y=be ax,使得误差的平方和:

(6)

达到最小.

指数函数y=be ax ,两边取对数,得:lny=lnb+ax,作变换y* =lny,得y* =lnb+ax这是一个一次函数,lnb和a是待定系数. 指数拟合的具体步骤:

(1) 我们可以将数据对(x k ,y k)转化为数据对(x k ,lny k) ;

(2) 用最小二乘法求出拟合曲线y* =a0 +a1 x (即解出a0 ,a1 );

(3) 由lnb=a0=m,故b=e m,而a=a1 ,从而得到拟合的指数函数y=be ax

例3 设一个发射源的发射公式为I=I0 e-αt ,通过实验得如下数据:

利用最小二乘法确定I0和α.

解 lnI=lnI0 -αt* ,设I =a0 +a1 t ,将数据对(t k ,I k)转化为数据

对:(t k ,lnI k), 然后进行直线拟合.

于是得到法方程组：

解得

m=a 0 =1.728288,a 1 =-2.888282,

则α= -a 1 =2.89, 由lnI 0 =a 0 ,

I 0 = e m = 5.631006于是得到拟

合指数函数I=5.63e -2.89t .

其它一些非线性拟合

(1) 双曲线 (2) 对数函数 (3) S 型曲线

(1) 双曲线先变形为: 令得到:y * = a + bx * 我们可以将数据对(x k ,y k ) 转化为数据对然后进行直线拟合.

(2) 对数函数 y=a+blnx *令x =lnx , 变形为y=a+bx *

(3) S型曲线

先变形为,令, x* =e-x, 得到y* =a+bx* .

四、函数逼近的相关概念

1. 函数空间

定义1 设集合S是数域P上的线性空间，元素x1 ,x2,…,x n∈S,如果存在不全为零的数a1 ,a2,…,a n∈P, 使得a1 x1 +a2 x2+ … + a n x n =0 (7)

称x1 ,x2,…,x n线性相关，否则，称x1 ,x2,…,x n线性无相关。

如果x1 ,x2,…,x n线性无关，它们可生成S的n维线性子空间

span{x1 ,x2,…,x n}={x|x=a1 x1 +a2 x2+ … + a n x n , a ∈P,i=1,2,…,n}

函数f(x)的n次多项式逼近就是在多项式空间span{1,x,…,x n }中找出元素P(x)=a0 +a1x +…+a n x n与f(x)“最接近”. 函数的多项式逼近有下面的重要定理.

定理(Weierstrass)1 设f(x)∈C[a,b], 对任意ε>0,总存在一个代数多项式P(x),使得

‖f(x)-P(x)‖<ε

在[a,b]上一致成立。

2. 范数与赋范线性空间

定义2 设集合S是线性空间，x∈S, 如果存在函数ρ(x), 满足

1) ρ(x)≥0, 且ρ(x)=0 <==>x=0(正定性)

2) ρ(αx)=|α| ρ(x), α∈R (齐次性)

3) ρ(x+y)≤ρ(x)+ρ(y), x,y∈S(三角不等式)

则称ρ(x)为线性空间上的范数，通常记作‖·‖, 即‖x‖=ρ(x).

范数S与‖·‖一起称为赋范线性空间, 记作X.

赋范线性空间

向量范数见第二章第五节，主要有: 对x=(x1 ,x2,…,x n)

a. 向量的∞-范数(最大范数)：

b. 向量的1-范数：

c. 向量的2-范数：

类似地对连续函数空间C[a,b],若f∈C[a,b]，可定义三种范数

a. 向量的∞-范数(最大范数)：

b. 向量的1-范数：

c. 向量的2-范数：

3. 内积与内积空间

定义3 设X是数域K(R或C)上的线性空间，对u,v ∈X,由K中一个数与之对应,记为(u,v),它满足一下条件

则称(u,v)为X上u与v的内积. 定义了内积的线性空间称为内积空间.如果(u,v)=0, 则称u与v正交.

定理2 设X为内积空间，对u,v∈X，有

称为Cauchy-Schwarz不等式.

证明对任一数λ∈K

(u+λv,u+λv)=(u,u)+2(u,v)λ+(v,v)λ2≥0

由一元二次方程根的判别定理可知定理的结论成立.

定理3 设X为内积空间，u1 ,u2,…,u n∈X，矩阵

称为(Gram)矩阵，则G为奇异的充分条件是，u1 ,u2,…,u n线性无关. 证明首先指出，定理中奇异可改成正定.对α=(α1,α2,…,αn)≠0，由

以及线性代数的理论可知，定理的结论成立.

最常见的内积有，

1) 对x,y∈C n , x=(x1 ,x2,…,x n ), y=(y1 ,y2,…,y n )

2) 对f(x),g(x)∈C[a,b],

上面的两种内即可推广到所谓带权的内积，即

称为权系数;

称为权函数.

一般对ρ(x)有如下要求

四、线性最小二乘法的一般形式

一般地,设给定数据组(x i ,y i)(i=1,2,…,n),φ1(x),…,φn(x)为已知的一组[a,b]上线性无关的函数，选取近似函数为：φ(x)=a0φ0 (x)+a1φ1(x)+…+a mφm (x)

使得：

其中ωi>0(i=1,2,…,n)为权函数，H为φ0(x),φ1(x),…,φm(x)的线性组合的全体，这就是线性最小二乘法的一般形式. 与多项式拟合的讨论相类似，上述问题的正则方程组为：

即：

(9)

如果引入内积:

方程组(9)可表示成矩阵形式：

(10)

定理4 设a0 ,a1, …,a m为方程组(9)的解，则函数

满足关系式(8),即它是数据组(x i ,y i)(i=1,2, …,n)的最小二乘解. 证明(略)

定义4 称满足

的函数族φ0(x),φ1(x),…,φm(x)为以{ωi}(i=1,2, …,n)为权关于点集{x1 ,x2, …,x n}的正交函数族. 容易推出下列多项式系：

是以{ωi}(i=1,2, …,n)为权关于点集{x1 ,x2, …,x n}的正交函数族. 其中

于是，求数据组(x i ,y i)(i=1,2,...,n)带权{ωi}(i=1,2,…,n)的最小二乘拟和多项式可按以下过程进行.

(1) 按式(12),(13)构造正交函数族φ0(x),φ1(x),…,φm(x)

(2) 求出正则方程组(9)的解：

(3) 写出最小二乘m次拟合多项式：