曲线拟合的最小二乘法论文解读

“数值计算方法与算法”论文

题目：浅谈曲线拟合的最小二乘法

院系：化学与材料工程学院20系

姓名：

学号：

时间：2015年春季学期

浅谈曲线拟合的最小二乘法

【摘要】

数值计算方法，一种研究并解决数学问题的数值近似解的方法，主要解决那些理论上有解但是无法轻易且准确求解的数学问题。在当今计算机技术日渐成熟的背景下，数值计算方法的应用被大大的推广，并且极大的推动了自然科学的规律探索及理论验证。本文主要探讨了一种重要的数值计算方法——曲线拟合的最小二乘法的历史发展、理论核心以及应用价值。

关键词：数值计算方法最小二乘法应用

【正文】

数值计算方法，是一种研究并解决数学问题的数值近似解方法，现在通常在计算机上使用来求解数学问题。它主要的计算对象是那些在理论上有解而又无法直接手工计算的数学问题【1】。例如，用已知的数据点来构造合适的插值函数或拟合出合适的曲线来近似代替原函数，从而解决了因难以求得原函数表达式而无法计算相关函数值的难题；又如，对于一个一般的非线性方程f(x)=0，可能在计算方程的根时既无一定章程可循，也无理论解法可言，那么这时就可以构造合适的迭代格式如Newton迭代，通过对一个近似的初值进行有限次迭代，就可以得到较精准的根值，从而有效避免了冗长而又复杂的理论求解的过程。

在学习完计算方法与算法这门课程后，我收获了许多实用的计算方法、技巧和思想，而对书中的某些问题的解法的深入思考也让我加深了对这门课程的理解。由于专业的相关需要，我对曲线拟合的最小二乘法这部分知识点进行了重点的学习和深刻的反思，也收获了许多。

1.最小二乘法的发展历史

18世纪中期以后，欧拉（L. Euler, 1707-1783）、梅耶（T. Meiyer, 1723-1762）、拉普拉斯(P. S. Laplace, 1749—1827)等科学家在研究一些天体运动规律时，都得到了一些含有m个变量n个（m≪n）方程的线性方程组（也就是我们现在所说的线性矛盾方程组），并且各自运用了一些方法解出了方程组的较优解。虽然方法繁琐且奇特，但不失为数学史一次伟大的尝试。

有关于最小二乘法的首次应用于实际计算并成功的记载，是关于第一颗小行星位置的预测，十分之有趣。1801年，意大利天文学家朱塞普·皮亚齐（Giuseppe Piazzi,1746-1826）发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后，全世界的科学家利用皮亚齐的观测数据，开始了寻找谷神星之旅。但是，根据大多数人的计算结果来寻找谷神星，都以失败告终。时年24岁的伟大的数学家高斯（C.F.Gauss, 1777－1855）也随即参与了这次的计算。最终德国天文学家奥伯斯（Heinrich Olbers）

根据高斯计算出来的轨道重新发现了谷神星！而高斯所使用的分析数据的方法，就是最小二乘法！【2】

最小二乘法最早被公开发表在勒让德（A. M. Legendre, 1752—1833）1805年的论著《计算彗星轨道的新方法》附录中。勒让德在书中描述了最小二乘法的思想、具体做法及其优点。以引进这种方法的理由为开端:“所研究的大多数问题都是由观测值来确定其结果, 但这几乎总产生形如E=a+bx+cy+fz+⋯方程的方程组, 其中a,b,c,f, …是已知系数, 它们从一个方程到另一个方程是有变动的。x,y,z, …是未知的, 它们必须根据将每个方程E化0或很小的量来确定”

[3]。勒让德认为:“赋予误差的平方和为极小, 则意味着在这些误差间建立了一种均衡性, 它阻止了极端情形所施加的过分影响。这非常好地适用于揭示最接近真实情形的系统状态”[4]。

从19世纪初，在被高斯和勒让德各自独立发明之后，最小二乘法就被科学家们广泛应用于数据的统计分析以及预测。据不完全统计，自1805年至1864年的60年内，有关最小二乘法的研究论文达到256篇，一些百科全书亦收入有关方法的介绍。最小二乘法对科学发展的影响之深远由此可见一斑。

2.曲线拟合最小二乘法的理论

曲线拟合最小二乘法是一种数学优化技术。它通过均方误差R达到极小值来构造拟合曲线，从而找到所给数据的最佳匹配函数。它将一组通过观察或者测量得到的离散数据序列（x i，y i），i=1,2,…，m，用一个最匹配的拟合函数来

描述，从而可以从函数模型来分析这组数据的内在规律。这种算法在科学技术的发展中起到了十分重要的作用。例如，在物理、化学实验中，经常会通过一些方法测得一组至多组数据，我们常常要从这些离散的、看似毫无规律的大量数据中，提出一种最恰当的函数模型，来描述各种变量之间的函数关系，即我们所要研究的物理、化学规律，并以这种函数（规律）来准确预测其他的数据点。这就是最经典的发现科学规律的方法之一，也是科学家提出新理论的有效验证手段之一。简单介绍几种曲线拟合的最小二乘法理论。

2.1线性模型的曲线拟合

首先已知与所测得的数据(x i，y i)，i=1,2,…,m，的规律相适应的解析表达式为p(x)=a0+a1x其中a0,a1是未知参数。

均方误差为：

Q(a0,a1)=∑(a0+a1x i−y i)2

m

i=1

根据微积分极值理论，Q(a0,a1)达到极小值时，满足：

{

ðQ

ða0

=2∑(a0+a1x i−y i)=0

m

i=1

ðQ

ða1

=2∑(a0+a1x i−y i)x i=0

m

i=1

整理可以得到拟合曲线的法方程的矩阵形式：

(

m∑x i

m

i=1

∑x i

m

i=1

∑x i2

m

i=1

)

(

a0

a1)=

(

∑y i

m

i=1

∑x i y i

m

i=1

)

通过求解该法方程便可以得到拟合曲线的参数a0,a1，从而得到数据的内在规律。

2.2二次函数模型曲线拟合

给定数据列(x i，y i)，i=1,2,…,m，作二次多项式函数拟合这组数据。设：

p(x)=a0+a1x+a2x2

均方误差为：

Q(a0,a1,a2)=∑(a0+a1x i+a2x i2−y i)2

m

i=1

根据微积分极值理论，Q(a0,a1,a2)达到极小值时，满足：

{

ðQ

ða0

=2∑(a0+a1x i+a2x i2−y i)=0

m

i=1

ðQ

ða1

=2∑(a0+a1x i+a2x i2−y i)x i=0 m

i=1

ðQ

ða2

=2∑(a0+a1x i+a2x i2−y i)x i2=0 m

i=1

整理可以得到拟合曲线的法方程的矩阵形式：

(

m∑x i

m

i=1

∑x i2

m

i=1

∑x i

m

i=1

∑x i2

m

i=1

∑x i3

m

i=1

∑x i2

m

i=1

∑x i3

m

i=1

∑x i4

m

i=1

)

(

a0

a1

a2

)=

(

∑y i

m

i=1

∑x i y i

m

i=1

∑x i2

m

i=1

y i

)

通过求解该法方程便可以得到拟合曲线的参数a0,a1a2，从而得到数据的内在规律。[1]

2.3非线性模型的曲线拟合

通过对因变量和自变量作适当的变量代换，使与原始数据的规律相适应的解析表达式变换为线性表达式Y=A+BX，数据也需做相应的变换，然后就可以用上述方法求得规律的数学表达式。下表列出了一些常用的非线性模型的拟合方法：

表1.可化为线性模型的常用曲线