数据拟合法

第四章 数据拟合法

在科学实验和生产实践中，有许多函数关系仅能用由实验或观测得到的一组数据表

(,)(0,1,

,)i i x y i m =来表示，例如某种物质的化学反应，能够测得生成物的浓度与时间关

系的一组数据表.而它们的解析表达式)(t f y =是不知道的。但是为了要知道化学反应速度，必须要利用已知数据给出它的近似表达式，有了近似表达式，通过求导数便可知道化学反应速度。可见已知一组数据求它的近似表达式是非常有意义的.如何求它的近似表达式呢？第二章介绍的插值方法是一种有效的方法.但是由于数据(,)(0,1,

,)i i x y i m =是由测量或观测得

到的，它本身就有误差，作插值时一定要通过型值点),(i i y x 似乎没有必要；其次当m 很大时，采用插值（特别是多项式插值）很不理想（会出现龙格现象），非多项式插值计算又很复杂。为此，本章介绍一种“整体”近似的方法，即对于给定的数据(,),0,1,,i i x y i n =，选一个

线性无关函数系)(,),(),(10x x x n ϕϕϕ ，以它们为基底构成的线性空间为

{}0span (),

,()n x x ϕϕ=Φ.

在此空间内选择函数

()()n

j j j x x ϕαϕ==∑

其中(0,1,,)j j n α=为待定常数。要求它逼近真实函数)(x f y =的误差尽可能小，这就是

数据拟合问题.

§1 最小二乘法

一、最小二乘法

设有数据(,),0,1,

,i i x y i m =，令

()(),0,1,

,n

i i i i j j i j r y x y x i m ϕαϕ==-=-=∑.

并称T

m r r r r ),,,(10 =为残向量，用)(x ϕ去拟合)(x f y =的好坏问题变成残量的大小问题。

判断残量大小的标准，常用的有下面几种：

(1) 确定参数(0,1,

,)j j n α=，使残量绝对值中最大的一个达到最小，即

i m

i r ≤≤0max 为最小。

(2) 确定参数(0,1,

,)j j n α=，使残量绝对值之和达到最小，即

∑=m

i i

r

为最小。

(3) 确定参数(0,1,

,)j j n α=，使残量的平方和达到最小，即

2

m

T i

i r

r r ==∑ 最小

(1)和(2)两个标准很直观，但因为有绝对值，所以实际应用很不方便；而标准(3)既直观，使用又很方便。按标准(3)确定待定参数，得到近似函数的方法，通常称为最小二乘法。

在实际问题中如何选择基函数()(0,1,

,)j x j n ϕ=是一个复杂的问题，一般要根据问题

本身的性质来决定。如果从问题本身得不到这方面的信息，那么通常可取的基函数有多项式、三角函数、指数函数、样条函数等。下面重点介绍多项式的情况。

设基函数取为()(0,1,

,)j j x x j n ϕ==. 已知列表函数()(0,1,

,)i i y f x i m ==，且

n m . 用多项式

01()n n n p x a a x a x =+++ (1.1)

去近似)(x f ，问题是应该如何选择n a a a ,,,10 使)(x p n 能较好地近似列表函数)(x f . 按最

小二乘法，应选择n a a a ,,,10 使得 2010

(,,,)[()()]m

n i n i i s a a a f x p x ==-∑ (1.2)

取最小。

注意到s 是非负的，且是n a a a ,,,10 的二次多项式，它必有最小值。求s 对n

a a a ,,,10 的偏导数，并令其等于零，得到

10

[()]0,0,1,

,m

n k i

i n i i i y a

a x a x x k n =-++

+==∑

进一步将上式写成如下方程组

01000

21

010000

12010

000(1)()(),

()()(),

()()(),

m m m

n

i i n i i i i m m m m

n i i i n i i i i i i m m m m

n n n n i i i n i i i i i i m a x a x a y x a x a x a x y x a x a x a x y ===+====+====⎧++++=⎪⎪

⎪+++=⎪⎨⎪⎪

⎪+++=⎪⎩∑∑∑∑∑∑∑∑∑∑∑ 再将方程组写成矩阵形式

2000

0231

000012200001 m m m

n i i i i i i m m m m n i i i i i i i i m m m m

n n n n i i i i i i i i m x x x a x x x x x x x x ===+====++====⎡⎤+⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦∑∑∑∑∑∑∑∑∑∑∑0100m i i m i i i n m n i i

i y x y a a x y ===⎡⎤⎢⎥

⎢⎥⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥

⎢⎥⎢⎥⎣⎦⎢⎥

⎢⎥⎣⎦

∑∑∑. (1.3) 若令