浅谈最小二乘法的原理及其应用【开题报告】

开题报告

信息与计算科学

浅谈最小二乘法的原理及其应用

一、综述本课题国内外研究动态, 说明选题的依据和意义

最小二乘法（Least Square Method ）是提供“观测组合”主要工具之一, 它依据对某事件的大量观测而获得“最佳”结果或“最可能”表现形式. 如已知两变量为线性关系y a bx =+, 对其进行(2)n n >次观测而获得n 对数据. 若将这n 对数据代入方程求解,a b 的值则无确定解, 而最小二乘法提供了一个求解方法, 其基本思想是寻找“最接近”这n 个观测点的直线.

最小二乘法创立与十九世纪初, 是当时最重要的统计方法, 在长期的发展中, 人们一直处于不断的研究中, 在传统最小二乘法的基础上, 出现了许多更为科学先进的方法, 如移动最小二乘法、加权最小二乘法、偏最小二乘法、模糊最小二乘法和全最小二乘法等, 使得最小二乘法在参数估计、系统辨识以及预测、预报等纵多领域都有着广泛的应用. 相关回归分析、方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础, 所以最小二乘法被称之为数理统计学的灵魂. 正如美国统计学家斯蒂格勒（S. M. Stigler ）所说, “最小二乘法之于数理统计学犹如微积分之于数学”. 因此对最小二乘法的研究就显得意义重大.

国内外的学者们一直在对传统最小二乘法做进一步的研究. 勒让德（A. M. Legender ）于1805年发表了论著《计算彗星轨道的新方法》, 在书中勒让德描述了最小二乘法的思想、具体做法及其优点, 他认为: 赋予误差的平方和为极小, 则意味着在这些误差间建立了一种均衡性, 它阻止了极端情形所施加的过分影响. 1809年高斯（C. F. Gauss ）在著作《天体沿圆锥截面围绕太阳运动的理论》中发表有关最小二乘法的理论, 随后在1826年的著作中阐述了最小二乘法的全部内容. 统计学者对最小二乘法做了进一步的研究探讨, 1970年, 由霍尔（A. E. Horel ）和肯纳德（R. W. Kennard ）提出

的岭估计（Ridge Estimate ）, 用()()11ˆn

i i i k S kI x y β

-==+∑取代ˆβ, 有效的降低了原方法的病态性.

在国内, 学者们也对传统最小二乘法做了非常多的改进: 孙彦清在《最小二乘法线

性拟合应注意的两个问题》一文中对最小二乘法线性拟合应注意的两个问题中从理论

上分析了最小二乘法原理及其在实际曲线拟合问题中的应用, 指出了最小乘法处理线

性拟合应注意的两个问题: 拟合应用条件和误差比较. 在文《最小二乘法处理自变量误

差实验数据的方法》中, 学者代锦辉对最小二乘法在实验数据处理和在数学研究上面

的应用做了相应的介绍和研究, 使人们认识到: 在科学实验中处理数据时, 在自变量

有误差的情况下, 用最小二乘法的几种方法处理实验数据, 这样可以降低在实际测量

中由于测量数据无法避免的误差, 从而提高科学实验的准确性, 更加突出实验的科学

性. 这也使得最小二乘法在数学研究及科学实验中有着更为广泛的运用. 程玉民等人

在《移动最小二乘法研究进展与评述》一文中对移动最小二乘法做了进一步的研究探

讨, 对移动最小二乘法做了改进, 同时还评述了各种移动最小二乘法的优缺点, 并概

述各种移动最小二乘法形成的无网格方法的研究进展. 运用各种移动最小二乘法求解

静态和动态断裂力学, 求解弹塑性等问题. 在《改进的最小二乘法在水文分析计算中的

应用》一文中, 王淑英、高永胜为了达到所有实测点与拟合曲线间的相对误差尽量不

超过某一百分比的原则要求, 提出了非线性的加权最小二乘法及线性相关方程的最小

距离平方和法, 探讨改进了传统的最小二乘法达到优化的效果.

虽然最小二乘法简单易行, 应用广泛, 但仍然存在一些问题: 计算量较大, 当观测数据较多

时, 计算会显得复杂, 尤其是要进行矩阵求逆, 矩阵阶数高时更为复杂; 容易受系统误差的影响, 系统误差的存在导致了最小二乘估计不再是无偏估计, 使得估计无效; 受测量误差相关性的影响, 从理论上讲, 当观测误差相关时, 取权矩阵为协方差矩阵的逆, 便可得到线性无偏最小方差估计. 但在实际情况中, 协方差矩阵是未知的; 当观测数据含较大异常值时, 将严重影响最小二乘估计结果.

本文拟在理解传统最小二乘法的原理及思想基础上，对几种改进算法进行研究分析，并深入探讨该方法在实际问题中的应用，希望进一步拓宽其应用领域.

二、研究的基本内容, 拟解决的主要问题

研究的基本内容: 对最小二乘法原理及其应用的研究

拟解决的主要问题:

1.对几种改进的最小二乘法进行分析研究；

2.研究最小二乘法在实际问题中的应用.

三、研究步骤、方法及措施

研究步骤:

1.理解并掌握最小二乘法的基本原理及其思想方法；

2.分析研究对最小二乘法改进的算法；

3.研究最小二乘法在实际问题中的应用.

方法、措施:

通过到图书馆、上网等查阅收集资料,上万方数据库查找文章, 参考相关内容. 在老师指导下, 与同组同学研究讨论, 用数据调查结合文献论证的方法来解决问题.

四、参考文献

[1]GU Xiangqian, KANG Hongwen, CAO Hongxing. The least-square method in complex

number domain[J]. Progress in Natural Science.2006,1:59-63.

[2]LI Guo-qing, MENG Zhao-ping, MA Feng-shan, ZHAO Hai-jun, DING De-min, LIU Qin,

WANG Cheng. Calculation of stratum surface principal curvature based on moving least square method[J]. Journal of China University of Mining&Technology.2008,3:307-312.

[3]陈希孺.最小二乘法的历史回顾与现状[J].中国科学院研究生院学报.1998,1:4-11.

[4]程玉民.移动最小二乘法研究进展与评述[J].计算机辅助工程.2009,2:5-11.

[5]王淑英,高永胜.改进的最小二乘法在水文分析计算中的应用[J].水文.2003. 5: 5-9.

[6]宋殿瑞,宋文臣,刘朋振.最小二乘法应用探讨[J].青岛化工学院学报.1998,3:296-301.

[7]孙彦清.最小二乘法线性拟合应注意的两个问题[J].汉中师范学院学报.2002,1: 59-61.

[8]张庆海,潘华锦,齐建英.用最小二乘法测弹簧的有效质量[J].大学物理.2002,11:33-34.

[9]代锦辉.最小二乘法处理自变量误差实验数据的方法[J].实验科学与技术学报,2006,4(4):

21-46.

[10]张红贵,宋志尧,章卫胜.潮位相关分析中的最小二乘法研究[J].水道港口.2007,3:153-155.