【文献综述】最小二乘法及其应用

文献综述

信息与计算科学

最小二乘法及其应用

计算方法是应用数学的重要专业基础课，它讨论的是如何运用现代计算工具高效求解科学与工程中的数值计算问题。今天，科学与实验、理论分析一起成为当今科学活动的主要方式。在物理、化学、力学、材料科学、环境科学、信息科学和生物科学等领域，计算方法和技术已经成为被广泛接受的科学研究手段。现在，计算在科学研究和工程设计中几乎无所不在，对科技的发展起到举足轻重的作用。[1]最小二乘法作为计算方法中一个重要的数学方法，得到了广泛的研究与应用。发现最小二乘法的动因是天文学和测地学中处理数据的需要。陈希孺先生所著《数理统计学简史》中记载了这样一段历史。在18世纪，天文学和测地学中的一些数据分析问题可以描述如下：有（m＋1）个可以测量的量x0，x1，…，xm，和m个未知的参数

β1，β2，…，βm。按照某种理论，它们之间应有线性关系。

⑴

但是由于实际工作中对x0，x1，…，xm的测量存在误差，而且⑴式只是理论上的近似而非严格成立。也就是说，⑴式左边的表达式实际上不等于0，其真实值与测量有关，可视为一种误差。若进行了n次测量，在实际问题中，n总是大于甚至是远远大于m，目的是多提供一些信息，以便对参数β1，β2，…，βm作出较精确的估计。设在第i次测量中，x0，x1，…，xm分别取值x0i，x1i，…，xmi，则按照⑴式，应有

（i=1，2，…，n）⑵

若⑵式严格成立，则只要从上述n个方程中任意挑出m个就可以解出β1，

β2，…，βm的值。但⑵式并非严格成立，于是需要设计合适的算法来估计参数的值。

1750年，天文学家梅耶发表了一种方法，他在研究海上航行船只的定位问题时，得到了一个包含3个未知参数的形如⑴式的关系式以及27组观测数据。梅耶把这27个方程分成3组，然后把每组中的9个方程相加，共得到3个方程，这样可以解出3

个未知参数。至于分组的方法，梅耶以其中一个系数为准，按各方程中此系数的大小分组：最大的9个，最小的9个和剩下的9个各成一组。在最小二乘法发现之前，这个方法曾经比较流行，并被冠以梅耶的名字。值得一提的是，梅耶还估计了这种方法的误差，并试图对误差的界限作一个估计。虽然今天看来梅耶的做法有一些错误，但他在那么早的阶段就做出这种努力，是难能可贵的。

1787年，拉普拉斯在研究天文问题时引出了一个形如⑴式的m＝4，n＝24的方程组。他的求解方法是，先把24个方程编号，然后按下列方式得到需要求解的4个方程。

方程1：24个方程的和；

方程2：前12个方程之和－后12个方程之和；

方程3：编号为3，4，10，11，17，18的方程之和－编号为1，7，14，20的方程之和；

方程4：编号为2，8，9，15，16，21，22的方程之和－编号为5，6，12，13，19的方程之和。

拉普拉斯没有解释如此组合的原因，这使得他的方法无法应用于类似的问题。

对解决这类问题做过尝试的还有大数学家欧拉，但他的做法显得杂乱无章，缺乏基本的合理性。看来这个问题的解决还需要一点新的思路。1805年，法国数学家勒让德采取了一个新的角度来考虑这个问题。他不再关心如何找出个数等于未知数个数的方程组，而是考虑如何使误差在整体上达到平衡，于是他采取使

的原则去求解β1，β2，…，βm。这一原则使误差不过分集中在几个方程上，而是比较均匀地分布于各方程，从而有助于揭示系统的更接近真实的状态。而勒让德之前的学者的做法对于误差在各方程之间的分布的影响是不清楚的。

后来，最小二乘法逐步渗入到统计数据分析领域，对统计学的发展产生了重大影响。统计史家对此评价很高，有的认为最小二乘法之于统计学，犹如微积分之于数学。有的学者称最小二乘法是19世纪统计学的“中心主题”。最小二乘法之所以能获

得如此的显赫地位，主要得益于它与线性模型的联系。勒让德创设最小二乘法是为了解决形如⑴式的线性表达式（如今已发展为线性模型）的，由此导出的也是一个线性的方程组，这使得最小二乘法具有计算简便的特点。但更加重要的是，“线性”的特点使最小二乘法在误差分析方面较之其他方法具有不可替代的优势。在1809年高斯对最小二乘估计进行的误差分析中发现，在线性模型的所有无偏估计类中，最小二乘估计是唯一的方差最小的无偏估计；进入20世纪后，哥色特、费歇尔等人还发现，在正态误差的假定下，最小二乘估计有较完善的小样本理论，使基于它的统计推断易于操作且有关的概率计算不难进行。与此同时，对最小二乘法误差分析的研究也促进了线性模型理论的发展。如今，线性模型已经成为理论结果最丰富、应用最广泛的一类回归模型。[2]

人们对由某一变量t或多个变量f1……fn构成的相关变量y感兴趣。如弹簧的形变与所用的力相关，一个企业的盈利与其营业额，投资收益和原始资本有关。为了得到这些变量同y之间的关系，便用不相关变量去构建y。试用如下函数模型

,

q个相关变量或p个附加的相关变量去拟和。

通常人们将一个可能的、对不相关变量t的构成都无困难的函数类型充作函数模型（如抛物线函数或指数函数）。参数x是为了使所选择的函数模型同观测值y相匹配。（如在测量弹簧形变时，必须将所用的力与弹簧的膨胀系数联系起来）。其目标是合适地选择参数，使函数模型最好的拟合观测值。一般情况下，观测值远多于所选择的参数。

其次的问题是怎样判断不同拟合的质量。高斯和勒让德的方法是，假设测量误差的平均值为0。令每一个测量误差对应一个变量并与其它测量误差不相关（随机无关）。[3]人们假设，在测量误差中绝对不含系统误差，它们应该是纯偶然误差，围绕真值波动。除此之外，测量误差符合正态分布，这保证了偏差值在最后的结果y上忽略不计。

确定拟合的标准应该被重视，并小心选择，较大误差的测量值应被赋予较小的权。并建立如下规则：被选择的参数，应该使算出的函数曲线与观测值之差的平方和最小。用函数表示为

用欧几里得度量表达为：

最小化问题的精度，依赖于所选择的函数模型。[4]

主要参考文献：

[1]周铁,徐树方,张平文,李铁军编著.计算方法,第1版[M].北京:清华大学出版社,2006.

[2]陈希孺编著.数理统计学简史,第1版[M].湖南:湖南教育出版社,2003.

[3]林成森编著.数值分析,第1版[M].北京:科学出版社,2006.

[4][美] F.施依德编著，罗亮生，包雪松，王国英译.数值分析，第2版[M]. 北京:科学出版社，2 002.