最小二乘法

最小二乘法

最小二乘法起源于以测量和观测为基础的天文学。Gauss 在1794年利用最小二乘法解决了多余观测问题，当时他只有十七岁。可以用下面的简单例子描述这类问题。

假定通过观测或实验得到如下一组数据（即列表函数）：

我们的目的是一简单的式子表出这些数据间的关系。从分析数据看出，这些点差不多分布在一条直线上，因此我们自然想到用线性式b ax y +=表示它们之间的关系。这就须定出参数a 和b 的值来。这实际上是多余观测问题，用插值法不能确定出a 和b 的值。代定参数的确定归结为矛盾方程组的求解问题。

假定有某方法可以定出a 和b ，则按bx a y +=，给出一个x 便可以算出一个

y 。我们记

).8,,1( =+=k bx

a y k

k y 称为k y 的估计值，显然它们不会是完全相同的，它们之间的差（通常称为残差）

)8,,1( =-=k y y k

k k ε

无疑是衡量被确定的参数a 和b （也就是近似多项式b ax y +=）好坏的重要标志。

可以规定许多原则来确定参数b a ,。例如

（1） 参数的确定，将使残差绝对值中最大的一个达到最小，即

k

k

T ε

max =为最小；

（2） 参数的确定，将使残差绝对值之和达到最小，即∑k

k ε为最小；

（3） 参数的确定，将使残差的平方和达到最小，即∑2

k ε为最小。

（1） 和（2）两个原则是很直观的，也很理想，但很不好用；而原则（3）既直观又很好用。按原则（3）确定待定参数，从而得到近似多项式的方法，就是通常所说的最小二乘法。这一方法的理论根据是，概率理论已证明，只有这样的原则才能使得观测或实验的偶然误差对于所作的近似多项式有最小的影响。

回到所提出的问题上来，即用最小二乘法确定参数b a ,。按最小二乘法，应使

∑=+-=s

i i i b a y b a S 12))((),(

取最小值。因此，应有

.0))((2,0))((28

1

8

1

=+-=∂∂=+-=∂∂∑∑==i i i i i i i x b a y b S

b a y a S

由此，得到如下线性方程组：

.

,

8

1

8

1

2

8

1

8

1

81810∑∑∑∑∑∑=======+=+i i i i i i i i i i i i y x x b x a y x b i a

经过简单计算，这个方程组成为

⎩⎨

⎧=+=+.

3.4714028,

2.12288b a b a 解之可得,110.0,142.1==b a 从而得近似多项式.110.0142.1)(1x x p +=

现在转入讨论更为一般的情形。设已知列表函数),,,1,0)((m i x f y i i ==并且我们想用一个通常的)(m n <次多项式

n

n n x a x a a x p +++= 10)(

（1.1）

去近似它。问题是应该如何选择n a a a ,,,10 使)(x p n 能较好地近似列表函数

)(x f 。按最小二乘法，应该选择n a a a ,,,10 使得

∑=-=m

i i n i n x p x f a a a S 0

210))()((),,,(

取最小。注意到S 是非负的，且是n a a a ,,,10 的2次多项式，它必有最小值。求S 对n a a a ,,,10 的偏导数，并令其等于零，得到

).,,1,0(0

)(0

10n k x x a x a a y

k

i m

i n i n i i

==----∑=

进一步，可以将它们写成

).,,1,0(0

1

10

00

n k x a x a x a x

y m

i n

k i

n m

i k i

m i k

i m

i k i

i =+++=∑∑∑∑=+=+==

引进记号

∑==m

i k

i k x s 0

和 ,0

∑==m

i k

i i k x y u

则上述方程组为

⎪⎪⎩⎪⎪⎨

⎧=+++=+++=+++++.

,,211011*********n n n n n n n n n u a s a s a s u a s a s a s u a s a s a s

(1.3)

它的系数行列式是

.211

21

10

1n

n n

n n

n s s s s s s s s s X

+++=

由)2,,1,0(n i s i =的定义及行列式性质，可以断言

.)),,,(()!

1(1

2101∑+=

+n n W n X ξξξ

(1.4)

此处符号W 表Vandermonde 行列式，而∑是对所有可能的),,1,0(n i i =ξ求和（每个i ξ可以取值,,,,10m x x x 并且当j i ≠时j i ξξ≠）。

由（1.4）式及Vandermonde 行列式的性质可知，当m x x x ,,,10 互异时，

.01

1

1

),,,(10221201010≠=n

n n n n n

n W ξξξξξξξξξξξξ

从而，(),001>≠+n X 方程组()3.1有唯一解,,,,10n a a a 且它们使()2.1取极小值.如此，我们应用最小二乘法找到了()x f 的近似多项式()x p n .

在利用最小二乘法组成和式()2.1时，所有点i x 都起到了同样的作用，但是有时依据某种理由认为∑中的某些项的作用大些，而另外一些作用小些（例如，一些i y 是由精度较高的仪器或操作上比较熟练的人员获得的，自然应该予以较大的信任），这在数学上表现为用和

()()()∑=-m

i i n i i x p x f 0

2

ρ 替代和()2.1取最小值.,0>i ρ且

,11

∑==n i i ρi ρ通常称之为权；而()5.1为加权和.

例1 设已知函数()x f 的表列值为

试按最小二乘法构造()x f 的二次近似多项式.

解 经过简单计算可得关于参数0a ,1a 和2a 的方程组（参阅下面的第一个