【文献综述】最小二乘法的原理和应用

文献综述
数学与应用数学
最小二乘法的原理和应用
一、国内外状况
天文学自古代至18世纪是应用数学中最发达的领域。

观测和数学天文学给出了建立数学模型及数据拟合的最初例子，在此种意义下，天文学家就是最初的数理统计学家。

天文学的问题逐渐引导到算术平均，以及参数模型中的种种估计方法，以最小二乘法为顶峰。

1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。

经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。

随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。

时年24岁的高斯也计算了谷神星的轨道。

奥地利天文学家海因里希·奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。

高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中。

勒让德是法国军事学校的教授，曾任多界政府委员，后来成了多科工艺学校的总监，直至1833年逝世。

有记载最小二乘法最早出现在勒让德1805年发表的论著《计算彗星轨道的新方法》附录中。

他在该书中描述了最小二乘法的思想、具体做法及其优点。

勒让德的成功在于它从一个新的角度来看待这个问题，不像其前辈那样致力于找出几个方程（个数等于未知数的个数）再去求解，而是考虑误差在整体上的平衡。

从某种意义讲，最小二乘法是一个处理观测值的纯粹代数方法。

要将其应用于统计推断问题就需要考虑观测值的误差，确定误差分布的函数形式。

勒让德曾与高斯为谁最早创立最小二乘法原理发生争执。

1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明，因此被称为高斯-莫卡夫定理。

最小二乘法是提供“观测组合”的主要工具之一，它依据对某事件的大量观测而获得“最佳”结果或“最可能”表现形式。

如已知两变量为线性关系
y=a+dx,对其进行n（n>2）次观测而获得n对数据，若将这n对数据代入方程求
解a 、b 之值则无确定解。

最小二乘法提供了一个求解方法，其基本思想就是寻找“最接近”这n 个观测点的直线。

最小二乘法不仅是19世纪最重要的统计方法，而且还可以称为数理统计学之灵魂。

二、研究方向
最小二乘法通过最小化误差的平方和寻找数据的最佳函数匹配。

利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。

最小二乘法还可用于线性拟合。

其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

三、进展情况
对于最小二乘法随机误差的早期研究，天文学家伽利略可能是第一个提出随机误差概念并对其有所研究的学者。

他在1632年出版的著作《关于两个主要世界系统的对话》中提及这个问题。

尽管他用“观测误差”这个名称，但所描述的性质实则为现在的随机误差分布。

辛普森在1755年向皇家学会宣读的文章《在应用天文学中取若干观测平均值的好处》中试图证明，若以观测值的平均值估计真值，误差将比单个观测值要小，且随着观测次数的增加而减少。

拉普拉斯与辛普森的研究途径不同，他直接考虑误差理论的基本问题，即应取怎样的分布为误差分布，以及在确定误差分布后，如何根据未知量的多次测量结果去θ12,,,n θθθ⋅⋅⋅估计。

θ四、存在问题
1794年自高斯提出误差和最小二乘法开始，经1809-1826年间逐步系统完善以来，测量界和科学技术部门在处理大量观测数据中，一直就沿用着传统的误差计算方法。

例如采用均方误差公式衡量观测精度；应用误差传播定律分析精度之间的关系；一能够用最小二乘法原理进行平差等。

这些理论方法在过去将近二百年内起了很大作用，但在当今科学技术飞跃发展的二十世纪下半叶里，各种观测方法日趋精密，对误差本质愈来愈认识清楚的情况下，这些经典理论就有必要加以修正了。

特别在统计理论发展起来后，用数理统计观点对观测数据进行估计已日趋普及。

在应用最小二乘法时必须注意一下几个问题：
（1）慎重选择拟合关系式 （2）自变量的选择 （3）加权最小二乘法
五、参考文献
[1] 高富德.最小二乘法的初等证明[J].玉溪师专学报,1989,4:1-2.
[2] 李子奈，叶阿忠.高等计量经济学[M].清华大学出版社,2000，1：27-29.
[3] 张金槐.线性模型参数估计及其改进[J].
[4] 王武义，徐定杰，陈键翼.误差原理与数据处理[M].哈尔滨：哈尔滨工业大学出
版社，2002.
[5] 梁家辉.用最小二乘法进行直线拟合的讨论[J].工程物理,1995.
[6] 李仲来.最小二乘法介绍[J].数学通报,1992（2）：42-45.
[7] 陈希孺.数理统计学简史[M].湖南：湖南教育出版社,2002.
[8] 韩国栋，武瑛.最小二乘法的研究型教学[J].科技信息,2010.
[9] 宗殿瑞，宋文臣，刘朋振.最小二乘法应用探讨[J].青岛化工学院报,1998.
[10] 王能超.数值分析简明教程[M].北京：高等教育出版社，1984.
[11] 常彦妮.最小二乘统一原理[J].西安航空技术高等专科学校学报,2010.
[12] 代恩华，齐玉霞.最小二乘法求最值问题的一种简便证明[J].聊城大学学
报,2010.
[13] 王晓光，安玉萍。

王菊.最小二乘估值的计算方法[J].吉林建筑工程学院学报,
2004.。