曲线拟合的最小二乘法论文解读

“数值计算方法与算法”论文
题目：浅谈曲线拟合的最小二乘法
院系：化学与材料工程学院20系
姓名：
学号：
时间：2015年春季学期
浅谈曲线拟合的最小二乘法
【摘要】
数值计算方法，一种研究并解决数学问题的数值近似解的方法，主要解决那些理论上有解但是无法轻易且准确求解的数学问题。

在当今计算机技术日渐成熟的背景下，数值计算方法的应用被大大的推广，并且极大的推动了自然科学的规律探索及理论验证。

本文主要探讨了一种重要的数值计算方法——曲线拟合的最小二乘法的历史发展、理论核心以及应用价值。

关键词：数值计算方法最小二乘法应用
【正文】
数值计算方法，是一种研究并解决数学问题的数值近似解方法，现在通常在计算机上使用来求解数学问题。

它主要的计算对象是那些在理论上有解而又无法直接手工计算的数学问题【1】。

例如，用已知的数据点来构造合适的插值函数或拟合出合适的曲线来近似代替原函数，从而解决了因难以求得原函数表达式而无法计算相关函数值的难题；又如，对于一个一般的非线性方程f(x)=0，可能在计算方程的根时既无一定章程可循，也无理论解法可言，那么这时就可以构造合适的迭代格式如Newton迭代，通过对一个近似的初值进行有限次迭代，就可以得到较精准的根值，从而有效避免了冗长而又复杂的理论求解的过程。

在学习完计算方法与算法这门课程后，我收获了许多实用的计算方法、技巧和思想，而对书中的某些问题的解法的深入思考也让我加深了对这门课程的理解。

由于专业的相关需要，我对曲线拟合的最小二乘法这部分知识点进行了重点的学习和深刻的反思，也收获了许多。

1.最小二乘法的发展历史
18世纪中期以后，欧拉（L. Euler, 1707-1783）、梅耶（T. Meiyer, 1723-1762）、拉普拉斯(P. S. Laplace, 1749—1827)等科学家在研究一些天体运动规律时，都得到了一些含有m个变量n个（m≪n）方程的线性方程组（也就是我们现在所说的线性矛盾方程组），并且各自运用了一些方法解出了方程组的较优解。

虽然方法繁琐且奇特，但不失为数学史一次伟大的尝试。

有关于最小二乘法的首次应用于实际计算并成功的记载，是关于第一颗小行星位置的预测，十分之有趣。

1801年，意大利天文学家朱塞普·皮亚齐（Giuseppe Piazzi,1746-1826）发现了第一颗小行星谷神星。

经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。

随后，全世界的科学家利用皮亚齐的观测数据，开始了寻找谷神星之旅。

但是，根据大多数人的计算结果来寻找谷神星，都以失败告终。

时年24岁的伟大的数学家高斯（C.F.Gauss, 1777－1855）也随即参与了这次的计算。

最终德国天文学家奥伯斯（Heinrich Olbers）
根据高斯计算出来的轨道重新发现了谷神星！而高斯所使用的分析数据的方法，就是最小二乘法！【2】
最小二乘法最早被公开发表在勒让德（A. M. Legendre, 1752—1833）1805年的论著《计算彗星轨道的新方法》附录中。

勒让德在书中描述了最小二乘法的思想、具体做法及其优点。

以引进这种方法的理由为开端:“所研究的大多数问题都是由观测值来确定其结果, 但这几乎总产生形如E=a+bx+cy+fz+⋯方程的方程组, 其中a,b,c,f, …是已知系数, 它们从一个方程到另一个方程是有变动的。

x,y,z, …是未知的, 它们必须根据将每个方程E化0或很小的量来确定”
[3]。

勒让德认为:“赋予误差的平方和为极小, 则意味着在这些误差间建立了一种均衡性, 它阻止了极端情形所施加的过分影响。

这非常好地适用于揭示最接近真实情形的系统状态”[4]。

从19世纪初，在被高斯和勒让德各自独立发明之后，最小二乘法就被科学家们广泛应用于数据的统计分析以及预测。

据不完全统计，自1805年至1864年的60年内，有关最小二乘法的研究论文达到256篇，一些百科全书亦收入有关方法的介绍。

最小二乘法对科学发展的影响之深远由此可见一斑。

2.曲线拟合最小二乘法的理论
曲线拟合最小二乘法是一种数学优化技术。

它通过均方误差R达到极小值来构造拟合曲线，从而找到所给数据的最佳匹配函数。

它将一组通过观察或者测量得到的离散数据序列（x i，y i），i=1,2,…，m，用一个最匹配的拟合函数来
描述，从而可以从函数模型来分析这组数据的内在规律。

这种算法在科学技术的发展中起到了十分重要的作用。

例如，在物理、化学实验中，经常会通过一些方法测得一组至多组数据，我们常常要从这些离散的、看似毫无规律的大量数据中，提出一种最恰当的函数模型，来描述各种变量之间的函数关系，即我们所要研究的物理、化学规律，并以这种函数（规律）来准确预测其他的数据点。

这就是最经典的发现科学规律的方法之一，也是科学家提出新理论的有效验证手段之一。

简单介绍几种曲线拟合的最小二乘法理论。

2.1线性模型的曲线拟合
首先已知与所测得的数据(x i，y i)，i=1,2,…,m，的规律相适应的解析表达式为p(x)=a0+a1x其中a0,a1是未知参数。

均方误差为：
Q(a0,a1)=∑(a0+a1x i−y i)2
m
i=1
根据微积分极值理论，Q(a0,a1)达到极小值时，满足：
{
ðQ
ða0
=2∑(a0+a1x i−y i)=0
m
i=1
ðQ
ða1
=2∑(a0+a1x i−y i)x i=0
m
i=1
整理可以得到拟合曲线的法方程的矩阵形式：
(
m∑x i
m
i=1
∑x i
m
i=1
∑x i2
m
i=1
)
(
a0
a1)=
(
∑y i
m
i=1
∑x i y i
m
i=1
)
通过求解该法方程便可以得到拟合曲线的参数a0,a1，从而得到数据的内在规律。

2.2二次函数模型曲线拟合
给定数据列(x i，y i)，i=1,2,…,m，作二次多项式函数拟合这组数据。

设：
p(x)=a0+a1x+a2x2
均方误差为：
Q(a0,a1,a2)=∑(a0+a1x i+a2x i2−y i)2
m
i=1
根据微积分极值理论，Q(a0,a1,a2)达到极小值时，满足：
{
ðQ
ða0
=2∑(a0+a1x i+a2x i2−y i)=0
m
i=1
ðQ
ða1
=2∑(a0+a1x i+a2x i2−y i)x i=0 m
i=1
ðQ
ða2
=2∑(a0+a1x i+a2x i2−y i)x i2=0 m
i=1
整理可以得到拟合曲线的法方程的矩阵形式：
(
m∑x i
m
i=1
∑x i2
m
i=1
∑x i
m
i=1
∑x i2
m
i=1
∑x i3
m
i=1
∑x i2
m
i=1
∑x i3
m
i=1
∑x i4
m
i=1
)
(
a0
a1
a2
)=
(
∑y i
m
i=1
∑x i y i
m
i=1
∑x i2
m
i=1
y i
)
通过求解该法方程便可以得到拟合曲线的参数a0,a1a2，从而得到数据的内在规律。

[1]
2.3非线性模型的曲线拟合
通过对因变量和自变量作适当的变量代换，使与原始数据的规律相适应的解析表达式变换为线性表达式Y=A+BX，数据也需做相应的变换，然后就可以用上述方法求得规律的数学表达式。

下表列出了一些常用的非线性模型的拟合方法：
表1.可化为线性模型的常用曲线
2.4最小二乘法曲线拟合的做法 曲线拟合的一般思路: 线性问题,根据最小二乘原理,将问题转化为线性方程组的求解;非线性问题,如果可以通过某些数学变换化成线性,通常优先采用变换,不能化为线性的要借助于求解非线性方程组或最优化理论来解决。

具体做法：拿到原始数据，首先要了解这些数据的理论模型（通常为2.1和2.2所列类型，非线性模型可依表1所列公式进行相应变换），然后列表求出
一些相应的量∑x i m i=1 ,∑x i 2m i=1 ,∑x i 3m i=1… ∑y i m i=1 ,∑x i y i ,∑x i 2
m i=1y i …m i=1，最后代入相应的法方程进行求解，即可得到均方误差极小的拟合曲线方程。

可以看一道曲线拟合的最小二乘法的应用实例： 例. 在某化学反应里，测得生成物浓度y(%)与时间t （min ）的数据见下表，试用最小二乘法建立x 与y 之间的经验公式，已知为y =t
at+b 。

解：通过变量变换将它转化为关于特定参数的线性函数，可以将上式改写成：1
y
=
a +b
t
于是可以引进变量Y =1y ,X =1
t ，则上式变换成
Y =a +bX
根据线性最小二乘法的解法，可以求得a =79.6625，b =160.6842，代入得经验公式：
y =t
79.6625t+160.6842。

3.曲线拟合的最小二乘法——应用价值
运用曲线拟合的最小二乘法对实验测得的原始数据进行一定的拟合，通常都可以得到较为满意的结果。

掌握好这种方法，对于少量数据点，一般就可以直接手工计算拟合。

但是若数据点的量很庞大，那么便要借助于现代计算机的“超级计算”能力了。

计算机是数值计算方法常用的计算工具，曲线拟合也不例外。

随着计算机技术的迅猛发展和普及，数据的曲线拟合将越来越被广泛应用各种研究之中。

调研关于最小二乘法或者曲线拟合的论文，我们可以发现，曲线拟合的最小二乘法以及以它为基础的改进方法，广泛应用于各个领域的研究：“基于最小二乘法道路平面曲线拟合”，“最小二乘法曲线拟合在温室效应研究中的应用”，“基于最小二乘法位移传感器数据的曲线拟合”，“基于MATLAB的最小二乘曲线拟合仿真研究”，“非线性最小二乘法拟合函数在经济发展中的应用”……涵盖了生活、学习、工作、科研等的几乎每一个方面，它所创造的价值不可估量。

【参考文献】
[1]张韵华，奚梅成，陈效群. 数值计算方法与算法[M].第二版. 北京：科学出版社.2006.3
[2]百度百科词条. 最小二乘法.
[3] PLACKETT R L. The Discovery of the method of Least Squares [J]. Biometrika, 1972, (59):239-251.
[4] STIGLER S M. The History of Statistics [M]. Cambridge: Harvard University Press, 1986:94-96
读书的好处
1、行万里路，读万卷书。

2、书山有路勤为径，学海无涯苦作舟。

3、读书破万卷，下笔如有神。

4、我所学到的任何有价值的知识都是由自学中得来的。

——达尔文
5、少壮不努力，老大徒悲伤。

6、黑发不知勤学早，白首方悔读书迟。

——颜真卿
7、宝剑锋从磨砺出，梅花香自苦寒来。

8、读书要三到：心到、眼到、口到
9、玉不琢、不成器，人不学、不知义。

10、一日无书，百事荒废。

——陈寿
11、书是人类进步的阶梯。

12、一日不读口生，一日不写手生。

13、我扑在书上，就像饥饿的人扑在面包上。

——高尔基
14、书到用时方恨少、事非经过不知难。

——陆游
15、读一本好书，就如同和一个高尚的人在交谈——歌德
16、读一切好书，就是和许多高尚的人谈话。

——笛卡儿
17、学习永远不晚。

——高尔基
18、少而好学，如日出之阳；壮而好学，如日中之光；志而好学，如炳烛之光。

——刘向
19、学而不思则惘，思而不学则殆。

——孔子
20、读书给人以快乐、给人以光彩、给人以才干。

——培根。