最佳平方逼近与最小二乘拟合

最佳平方逼近与最小二乘拟合

——两者的区别与联系 函数逼近是用一个多项式无限接近原函数，而拟合是将函数中的元素联系起来。也就是说，最佳平方逼近是针对函数，最小二乘法是针对离散的点，二者在形式上基本一致。另外，最小二乘拟合也称为离散型最佳平方逼近，两者的解法有很多相似之处。 一、 函数的最佳平方逼近 （一）最佳平方逼近函数的概念

对[]b a C x f ,)(∈及[]b a C ,中的一个子集{

}n span ϕϕϕφ,,,10⋯=，若存在φ∈)(*

x S

，使

[]dx x S x f x S f S

f b

a

S S ⎰

-=-=-∈∈22

222

*)()()(inf

inf ρϕϕ

，

则称)(*

x S 是)(x f 在子集[]b a C ,⊆φ中的最佳平方逼近函数。

（二）最佳平方逼近函数的解法

为了求)(*

x S ，

由[]dx

x S x f x S f S

f b

a

S S ⎰

-=-=-∈∈22

222

*)()()(inf

inf ρϕϕ

可知，一般的最佳平方逼近问题等价于求多元函数

dx

x f x a x a a a I b

a

n

j j j n 2

010)()()(),,,(⎰

∑⎥⎦

⎤

⎢⎣⎡-=

⋯=ϕρ的最小值问题。

由于),,,(10n a a a I ⋯是关于n a a a ,,,10⋯的二次函数，利用多元函数极值的必要条件

),,1,0(0n k a I

k

⋯==∂∂，即

n),,1,0(0)()()()(20⋯==⎥⎦

⎤⎢⎣⎡-=∂∂⎰∑=k dx x x f x a x a I

k b a n j j j k

ϕϕρ，

于是有()

()),,1,0(,,0

n k f a k j n

j j k ⋯==∑=ϕϕϕ。

)

,,,,1(2n n x x x G G =()()),,1,0(,,0

n k f a k j n

j j k

⋯==∑=ϕϕϕ

是关于n 10,,,a a a ⋯的线性

方程组，称其为法方程。

由于n ϕϕϕ,,,10⋯线性无关，故系数行列式()0,,,10≠⋯n G ϕϕϕ，于是方

程

组

()())

,,1,0(,,0

n k f a k j n

j j k

⋯==∑=ϕϕϕ

有唯一解

),,1,0(*

n k a a k k ⋯==，

从而得到)()()(*

0*

0*

x a x a x S n n ϕϕ+⋯+=。

)()()(*0*0*x a x a x S n n ϕϕ+⋯+=就是φ在)(x f 中的最佳平方

逼近函数。

（三）最佳平方逼近函数所产生的误差

若令)()(*

x S x f -=δ，则平方误差为：

∑=-=-=--=n

k k k f a f

f S f f S f S f 0

*

22

*

**22

),(),(),(),(ϕδ。

取[]1,0)(,1)(,)(C x f x x x k

k ∈≡=ρϕ，即要在n H 中求n 次最佳平方逼近多项式

)

()()(*0*0*x a x a x S n n ϕϕ+⋯+= ，

此时

11

),(1

++=

=

⎰

+j k dx x j k k j ϕϕ，

()k

k k d dx x x f f ≡=⎰1

)(,ϕ

若用H 表示行列

式对应的矩阵，则

T

n T n d d d d a a a a ),,,(,

),,,(1010 ==)

,,1,0(),(n k x f d k

k ==d Ha =),,1,0(*

n k a a k

k ⋯==⎪⎪⎪⎪⎪

⎪⎪⎭⎫

⎝⎛+++++=121211

121312

111211n n n n n H

，

H 称为Hilbert 矩阵，记

其中

则方程的

解即为所求。

注意：

最佳平方逼近误差越小

说明函数空间Hn 对f(x)的逼近效果越好。

二、 曲线拟合的最小二乘法 （一）最小二乘逼近的概念

对于给定的一组数据()),,1,0(,m i y x i i ⋯=，要求在函数空间

{}n span ϕϕϕφ,,,10⋯=中找一个函数)(*x S y =，使误差平方和

[]

[]∑∑∑==∈=-=-=

=

m

i i

i m

i x S i

i m

i i

y x S y x S

1

2

)(2

*

2

22

)(m in

)(ϕ

δ

δ

，

这里)()

()()()(1100m n x a x a x a x S n n <+⋯++=ϕϕϕ。

这就是一般的最小二乘逼近，用几何语言来说，就称为曲线拟合的最小二乘法。

（二）最小二乘法的解法

用最小二乘法求拟合曲线的问题，就是在形如：

)()

()()()(1100m n x a x a x a x S n n <+⋯++=ϕϕϕ的)(x S 中求一函

数)(*

x S y =，使[]∑=-=m

i i i i x f x S x 0

2

22

)()()(ωδ

取得最小。它转化为求多元函