数据拟合与函数逼近

第十三章 数据拟合与函数逼近

数据拟合与函数逼近涉及到许多内容与方法，从不同角度出发，也有多种叫法。这一章，我们主要通地线性拟合而引出最小乘法这一根本方法。

13.1 数据拟合概念与直线拟合

插值法是一种用简单函数近似代替较复杂函数的方法，它的近似标准是在插值点处的误差为零。但有时，我们不要求具体某些点的误差为零，而是要求考虑整体的误差限制。对了达到这一目的，就需要引入拟合的方法，所以数据拟合与插值相比：

数据拟合--不要求近似 函数过所有的数据点，而要求它反映原函数整体的变化趋势。 插值法--在节点处取函数值。

实际给出的数据，总有观测误差的，而所求的插值函数要通过所有的节点，这样就会保留全部观测误差的影响，如果不是要求近似函数过所有的数据点，而是要求它反映原函数整的变化趋势，那么就可以用数据拟合的方法得到更简单活用的近似函数。

13.1.1 直线拟合

由给定的一组测定的离散数据(,)i i x y （1,2,,i N = ），求自变量x 和因变量y 的近似表达式()y x ϕ=的方法。影响因变量y 只有一个自变量x 的数据拟合方法就是直线拟合。

直线拟合最常用的近似标准是最小二乘原理，它也是流行的数据处理方法之一。 直线拟合步骤如下：

(1) 做出给定数据的散点图（近似一条直线）。 (2) 设拟合函数为：

i bx a y +=*

(13.1.1)

然后，这里得到的*i y 和i y 可能不相同，记它们的差为：

i i i i i bx a y y y --=-=*

δ (13.1.2)

称之为误差。在原始数据给定以后，误差只依赖于b a ,的选取，因此，可以把误差的大小作为衡量b a ,的选取是否优良的主要标志。

最小二乘法便是确定“最佳” 参数的方法，也就是要误差的平方和达到最小。

(3) 写出误差和表达式：

)

,()(1

2

1

2b a bx a y

Q N

i i i

N

i i

ϕδ

=--=

=

∑∑== (13.1.3)

要选择b a ,而使得函数),(b a ϕ最小，可以用数学分析中求极值的方法，即先分别对b a ,求偏导，再使偏导等于零。就可得到所谓的正规方程组。

(4) 正规方程组：

∑==---=∂∂N

i i i bx a y a 10)(2ϕ

(13.1.4)

∑==---=∂∂N

i i i i x bx a y b

1

)(2ϕ (13.1.5)

(5) 求解正规方程组，得b a ,。 (6) 确定i bx a y +=*的具体表达式。

13.2 最小二乘原理应用

上面我们简单地提到最小二乘法的原理就是使误差的平方各达到最小。下面由线性无关的定义来给出最小二乘法的一般叙述。

若在区间[,]a b 上，对于n 个函数011(),(),,()n x x x ϕϕϕ-

001111()()()0n n c x c x c x ϕϕϕ--+++≡

(13.2.1)

成立的充要条件是0110n c c c -==== ，则称这n 个函数011(),(),,()n x x x ϕϕϕ- 在[,]a b 上线性无关。否则，若存在不全为零的021,,,n c c c - 使该式成立，则称011(),(),,()n x x x ϕϕϕ- 在[,]a b 线性相关。

设011(),(),,()n x x x ϕϕϕ- 是定义在[,]a b 上的n 个线性无关的连续函数，函数()f x 是在

[,]a b 上的n 个节点12n a x x x b =<<<= 上给定的离散函数。最小二乘法实质是用

011(),(),,()n x x x ϕϕϕ- 的线性组合：

001111()()()()

n n Q x c x c x c x ϕϕϕ--=+++ (13.2.2)

逼近()f x ，使()f x 和()Q x 在各节点上的差的加权平方和

2

1

10()()ωϕ-==⎛⎫

- ⎪⎝⎭

∑∑m

n i i k k i i k f x c x (13.2.3) 在由011(),(),,()n x x x ϕϕϕ- 的一切线性组合所组成的函数类中最小。其中权数0i ω>的不同，是由于所测得的数据不一定等精度造成的。下面的讨论设1i ω=（1i m ≤≤）。

13.2.1 多变量拟合

影响变量y 的因素是多个，设为12,,,k x x x ，由给定的离散数据确定近似函数：

*

011k k

y c c x c x =+++ (13.2.4)

在1011()n n Q x c c x c x --=+++ 中，记i i x x =（1,2,,1i n =- ），则该式化为多变量拟合

*

01111n n y c c x c x --=+++

(13.2.5)

可见，多变量拟合是可以互相转化的。最小二乘原理原理就要确定近似函数(13.2.4)中的系数，使得其误差平方和达到最小。误差平方和为：

2

01011221

(,,,)()

K

k i i i k ki i c c c y c c x c x c x ϕ==-----∑ (13.2.6)

与直线拟合类似，上式两边分别对各系数求偏导，然后令其为零，便得到正规方程组：

011221

01122111

0112212()0

2()02()0K i i i k ki i K

i i i k ki i i K

i i i k ki ki i k

y c c x c x c x c y c c x c x c x x c y c c x c x c x x c

ϕ

ϕ

ϕ

===∂⎧=------=⎪∂⎪∂⎪=------=⎪

∂⎨⎪⎪

∂⎪=------=⎪∂⎩∑∑∑ (13.2.7)

因K k >，且12,,,k x x x 线性无关，故方程组总有惟一解。

通过求解方程组(13.2.7)可以得到系数，然后将得的系数01,,,k c c c 代入(13.2.4), 即，

*

011k k

y c c x c x =+++ ，便得到了多变量线性拟后函数。

13.2.2 非线性曲线拟合

除了线性曲线外，我们也常常会遇非线性曲线，对于某些非线性问题，可以转化为线性问题，然后便可利用前面的方法来求解。下面讨论常出现的两类非线性方程。