最小二乘法综述及举例

最小二乘法综述及算例

一最小二乘法的历史简介

1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。

高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中。 经过两百余年后，最小二乘法已广泛应用与科学实验和工程技术中，随着现代电子计算机的普及与发展，这个方法更加显示出其强大的生命力。 二最小二乘法原理

最小二乘法的基本原理是：成对等精度测得的一组数据),...,2,1(,n i y x i i =，是找出一条最佳的拟合曲线，似的这条曲线上的个点的值与测量值的差的平方和在所有拟合曲线中最小。

设物理量y 与1个变量l x x x ,...,2,1间的依赖关系式为:)(,...,1,0;,...,2,1n l a a a x x x f y =。

其中n a a a ,...,1,0是n +l 个待定参数,记()2

1

∑=-

=

m

i i i y v

s 其中 是测量值, 是由己求

得的n a a a ,...,1,0以及实验点),...,2,1)(,...,(;,2,1m i v x x x i il i i =得出的函数值

)(,...,1,0;,...,2,1n il i i a a a x x x f y =。

在设计实验时, 为了减小误差, 常进行多点测量, 使方程式个数大于待定参数的个数, 此时构成的方程组称为矛盾方程组。通过最小二乘法转化后的方程组称为正规方程组(此时方程式的个数与待定参数的个数相等) 。我们可以通过正规方程组求出a

最小二乘法又称曲线拟合, 所谓“ 拟合” 即不要求所作的曲线完全通过所有的数据点, 只要求所得的曲线能反映数据的基本趋势。 三曲线拟合

曲线拟合的几何解释: 求一条曲线, 使数据点均在离此曲线的上方或下方不远处。 （1）一元线性拟合

设变量y 与x 成线性关系x a a y 10+=,先已知m 个实验点),...,2,1(,m i v x i i =，求两个未知参数1,0a a 。

令()2

1

10∑

=--=m

i i i x a a y s ，则1,0a a 应满足1,0,0==∂∂i a s

i

。

即

i v i v

化简得

从中解出

∑

∑∑∑====-==⎪⎪⎪⎭

⎫

⎝⎛=-=-=

∑∑∑m i m i m

i m

i i

i m

i m i i i m

i i i i i x m a y m a x

x

m y x y x m a 1

12

1

1

1011

111

（2）多元线性拟合

设变量y 与n 个变量)1(,...,2,1≥n n x

x x 的内在联系是线性的，即有下式

∑==+n

j j o x a a y 1

1

设j x 的第i 次测量值为ij x ，对应的函数值为),...,2,1(m i i y ==，则偏差平方和

()()∑∑=--=-==m

i i m

i i i x a a y y y s 1

102

1'

为使s 去得最小值的方程组

⎪⎪⎪

⎪⎩

⎪⎪⎪

⎪⎨⎧=⎪⎭⎫ ⎝⎛∑-=∂∂=⎪⎭⎫ ⎝⎛∑-=∂∂=⎪⎭⎫ ⎝⎛∑-=∂∂∑∑∑=--=--=--===m i in ij j i n m i i ij j i m i ij i x x a a y a s x x a a y a s x a a y a s n j n j n j 101

1011

10002....................................................0202111 即

⎪⎪⎩⎪

⎪⎨⎧=⎪⎭⎫ ⎝⎛+=⎪⎭⎫

⎝⎛+∑∑∑∑∑∑∑=======n j m

i ik j m i ik ij m

i ik m

i i

j n j m i ij y x a x x a x y a x ma 1111

01110n k ,...,2,1=。（4） 将实验数据()i ij y x ,代入（4）式，即得n a a a ,...,1,0。

∑∑=--=--=-=∂∂=-=∂∂m i i i m

i i i i x a a y a s

x a a y a s

1

1011000)(20)(2∑∑∑∑====+=+m

i m i m i m i i

i i i

i y x a x a y m x m a a 1

1

1

110101

（3）多项式拟合

科学实验后得到一组数据时，常会遇到因变量y 与自变量x 之间根本不存在线性关系。此可以考虑用一个n 次多项式来拟合y 与x 之间的函数关系。

对于n 次多项式∑==

n

i i

i x

a y 0

，令),...,1,0(n x x j i

j ==，则可将其化为线性形式：

∑=+=n

j j j x a a y 1

对于i=1,2,...,m 个实验点有j i ij x x =，代入（3）式有

n k y x a x x a x y a x ma m

i n j m

i i ik j m i ik ij ik m

i i

j n j m i ij ,...,2,11

11101110=⎪⎪⎩⎪

⎪⎨⎧=⎪⎭⎫ ⎝⎛+=⎪⎭⎫

⎝⎛+∑∑∑∑∑∑∑======= 从而得出多项式的最小二乘法拟合的方程

n k y x a x i m

i k i i n

i m i k j i ,...,1,0111==⎪⎭⎫

⎝⎛∑∑∑===+

写成矩阵的形式即为

⎪

⎪⎪

⎪⎪⎪⎪⎪

⎪⎭

⎫ ⎝⎛⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=⎪⎪⎪⎪⎪⎪⎪⎪⎪⎭⎫

⎝⎛∑∑∑∑∑∑∑∑∑∑∑∑∑∑====+=+==+======m

i i n i m i i i m i i n m i n i m

i n i

m

i n i

m i n i m i n i m

i i

m

i i

m i i m

i m

i n

i

m

i i

i

y x y x y a a a x x

x

x x x

x

x x x

x

m 1110121

21

11

1

1

1

31

211

11

2.........

......

...

............ 从中可以解出n a a a ,...,1,0。 （4）指数函数拟合

此时拟合函数具有形式bx

ae y =（a ，b 为待定系数）。两端取自然对数有

(*)ln ln bx

a y +=

令a b y

Y ln ln 0==

则（*）式化为线性形式 bx b Y +=0

再利用（1）式和（2）式，即可求出b b ,0。 从而有o

b e a =。故bx

b o e y +=。

四最小二乘法应用举例

例：已知某铜棒的电阻与温度关系为：t R R t ⋅+=α0。实验测得7组数据（见表1）如下：试用最小二乘法求出参量R 0、α 以及确定它们的误差。