信号处理数学方法——最小二乘法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1/8
《信号处理中的数学方法》
阳背后， 使得皮亚齐失去了谷神星的位臵，随后全世界的科学家利用皮亚齐的观 测数据开始寻找谷神星， 但是根据大多数人计算自然这是天文学家们自己的计算 法，的结果来寻找谷神星都没有结果。当时也有人认为这可能是一颗彗星，不然 的话，为何在新年一露面就不见了呢？ 几个月过去了，人们的争论也没见分晓。可是，这场争论却引起了 24 岁的 高斯的注意。高斯想：既然天文学家通过观察找不到谷神星，那么，是否可以通 过数学方法找到它呢？许多天文学家对高斯的这一提法不以为然。 天文学家都找 不到谷神星， 难道高斯还能把它算出来吗？朋友们也劝他不要把自己的时间和才 智浪费在这一毫无希望的问题上。年轻的高斯却有自己的看法。他认为，天文学 是离不开数学的。 如果没有雄厚的数学知识，是不可能成为一个出色的天文学家 的。在天文学发展史上，情况也正是如此。开普勒正是凭借着自己的数学才能， 才发现了行星运动的三大定律。 牛顿也是凭着渊博的数学知识，才发现了万有引 力定律。在前人的基础上，高斯经过艰苦的运算，以其卓越的数学才能创立了一 种崭新的行星轨道计算理论。他根据皮亚齐的观测资料，利用这种方法，只用了 一个小时就算出了谷神星的轨道形状，并指出它将于何时出现在哪一片天空里。 1801 年 12 月 31 日的晚上， 德国天文爱好者奥伯斯， 在高斯预言的时间里， 用望远镜对准了这片天空。果然不出所料，谷神星再次出现了！高斯的计算方法 成功了。高斯从笔尖上寻找到的这颗行星，在隐藏了整整一年后，却又成为人类 的最好的新年礼物。 这一礼物向人们显示了数学在科学研究中的巨大作用。这个 方法就叫做最小二乘法。
起源的故事
说到最小二乘法的起源， 我要讲一个故事。 这是一个有关天文学方面的故事。 故事开始于 19 世纪的第一天，结束时圆满收场，主角是数学王子高斯。 1801 的 1 月 1 日，这一天的晚上意大利西西里天文台台长皮亚齐发现了一 颗在众恒星之间游动的新天体，它就是 CERES（谷神星） ，到 2006 年 8 月 24 日 起它被归类为矮行星， 谷神星是迄今小行星带中最大的天体。皮亚齐发现它了之 后持续观测，这期间他因此生病过，坚持至 2 月 11 日之后由于谷神星运行至太
解此联立方程得
4/8
《信号处理中的数学方法》
通过下面的例子可以很好的理解最小二乘法的原理。 假定通过观测或实验得 到如下一组数据（即列表函数） ：
k
xk
yk
1 0 1.4
Hale Waihona Puke Baidu
2 1 1.3
3 2 1.4
4 3 1.1
5 4 1.3
6 5 1.8
7 6 1.6
8 7 2.3
我们的目的是一简单的式子表出这些数据间的关系。从分析数据看出，这些点差 不多分布在一条直线上，因此我们自然想到用线性式 y ax b 表示它们之间的 关系。这就须定出参数 a 和 b 的值来。这实际上是多余观测问题，用插值法不能 确定出 a 和 b 的值。代定参数的确定归结为矛盾方程组的求解问题。 假定有某方法可以定出 a 和 b ，则按 y a bx ，给出一个 x 便可以算出一个 y 。 我们记
yk a bx
(k 1,,8).
y k 称为 y k 的估计值，显然它们不会是完全相同的，它们之间的差（通常称为残
差）
k yk yk
(k 1,,8)
无疑是衡量被确定的参数 a 和 b（也就是近似多项式 y ax b ） 好坏的重要标志。 可以规定许多原则来确定参数 a , b 。例如 （1）参数的确定，将使残差绝对值中最大的一个达到最小，即
i 1 8 i 1 8 i 1
8
8
8
a xi b xi xi y i .
2 i 1 i 1 i 1
8
经过简单计算，这个方程组成为
8a 28b 12.2 , 28a 140b 47.3 .
解之可得 a 1.142, b 0.110, 从而得近似多项式 p1 ( x) 1.142 0.110x.
S (a, b) ( yi (a bi ))2
i 1 s
取最小值。因此，应有
8 S 2 ( yi (a bi )) 0, a i 1 8 S 2 ( yi (a bi ))xi 0. b i 1
由此，得到如下线性方程组：
a i 0 b xi y i ,
最小二乘法的发展
2/8
《信号处理中的数学方法》
其实在 1805 年，法国数学家勒让德采取也独立的发现了最小二乘法。但是 那个时候他并不为人所知， 所以他就默默无闻。他不再如同其他的数学家只关心 如何找出个数等于未知数个数的方程组，然后求解出方程组的解，而是考虑如何 使误差在整体上达到平衡， 从而有助于揭示系统的更接近真实的状态。而勒让德 之前的学者的做法对于误差在各方程之间的分布的影响是不清楚的。 这就是统计 学的特点。之后勒让德曾与高斯为谁最早创立最小二乘法原理发生争执。 事实上勒让德和高斯发现最小二乘法是从不同的角度入手的:一个是为解线 性方程组,一个是寻找误差函数 ;一个用的是整体思维,考虑方程组的均衡性 ,一个 用的是逆向思维,首先接受经验事实;一个是纯代数方法,一个致力于应用。相比而 言,高斯不愧为数学王子,他把最小二乘法推进得更远，更深刻,这极大地推进了数 理统计学的发展。 后来， 最小二乘法逐步渗入到统计数据分析领域，对统计学的发展产生了重 大影响。统计史家对此评价很高，有的认为最小二乘法之于统计学，犹如微积分 之于数学。有的学者称最小二乘法是 19 世纪统计学的“中心主题”。最小二乘法 之所以能获得如此的显赫地位， 主要得益于它与线性模型的联系。 最小二乘法具 有计算简便的特点。但更加重要的是，“线性”的特点使最小二乘法在误差分析方 面较之其他方法具有不可替代的优势。在 1809 年高斯对最小二乘估计进行的误 差分析中发现， 在线性模型的所有无偏估计类中，最小二乘估计是唯一的方差最 小的无偏估计。 基于它的统计推断易于操作且有关的概率计算不难进行。与此同 时，对最小二乘法误差分析的研究也促进了线性模型理论的发展。如今，线性模 型已经成为理论结果最丰富、应用最广泛的一类回归模型。 最小二乘法的原理
7/8
《信号处理中的数学方法》
取信号或找出趋势， 将大量数据降低到可管理的数量或用简单的近似来代替复杂 函数。 我们并不期望这个近似值多么精确， 事实上， 在许多时候它也不用很精确。 但尽管如此，我们还是希望它能保持对原始数据的相似之处。 与此相同的， 最小二乘法运用于水利工程专业可以分析石坝受到的水位压力 和水库与水位的关系， 也可以分析石坝的沉陷过程以及预报。它也可以用来进行 市场经营的预测，得出时间，产值和利润的关系。它甚至可以用来通过学生的高 中以及高考成绩来预测该同学在大学期间的学习成绩。 在这个学期刚刚学习的矩阵理论课中， 就讲到了如何使用最小二乘法来求解 非齐次线性方程组的问题。如果线性方程组 Ax=b 是齐次的，那么我们可以求解 出它唯一的解。 但是在实际得出的数据的基础上列出的线性方程通常是非齐次的。 那么我就没法求出它的解。这个问题可以理解为矢量 b 在矩阵 A 张成的线性空 间的投影问题。 这个不存在满足方程的 X 的解， 但是存在一个X0 使得 AX0 − b 2 取 最小值。 这个接就被称为是该方程的最小二乘解。其实际上就是说向量 b 与其在 线性空间上的投影之间的距离， 这个距离就可以理解为误差。距离最小即误差最 小， 于是所得的解就是最佳解。 对此一个形象一点的说法就是在无法完全满足给 定的这些条件的情况下，求一个最接近的解。 最小二乘法的应用非常广泛，现在也有很多对于他的更加深入的研究，以上 仅仅是我对于它的最基本的应用谈了一下我自己的理解。
5/8
《信号处理中的数学方法》
T max
k
k
为最小；
（2）参数的确定，将使残差绝对值之和达到最小，即
k
2 k
k
为最小；
（3）参数的确定，将使残差的平方和达到最小，即
为最小。
（1）和（2）两个原则是很直观的，也很理想，但很不好用；而原则（3） 既直观又很好用。按原则（3）确定待定参数，从而得到近似多项式的方法，就 是通常所说的最小二乘法。这一方法的理论根据是，概率理论已证明，只有这样 的原则才能使得观测或实验的偶然误差对于所作的近似多项式有最小的影响。 回到所提出的问题上来，即用最小二乘法确定参数 a , b 。按最小二乘法，应使
3/8
《信号处理中的数学方法》
最小二乘法可以用来处理一组数据， 可以从一组测定的数据中寻求变量之间 的依赖关系，这种函数关系称为经验公式。 假定实验测得变量之间的 n 个数据(x1,y1)、(x2,y2)......(xn,yn)，则在 xoy 平 面上，可以得到 n 个点 Pi(xi,yi)（i=1,2,...,n） ，这种图形称为“散点图”，从图中可 以看出这些点大致散落在某直线近旁，我们认为 x 和 y 近似为一线性函数。考虑 函数 y=ax+b，其中 a,b 为待定常数。如果 Pi(xi,yi)（i=1,2,...,n）在一条直线上， 则可以认为变量之间的关系为 y=ax+b。 但一般说来, 这些点不可能在同一直线上。 记为 Ei=yi-(axi+b)，它反映了用直线 y=ax+b 来描述 x=xi，y=yi 时，计算值 y 与 实际值 yi 的偏差。当然，要求偏差越小越好，但由于 Ei 可正可负，所以不能认 为当∑Ei=0 时，函数 y=ax+b 就好好地反应了变量之间的关系，因为可能每个偏 差的绝对值都很大。为了改进这个缺陷，就考虑用∑|Ei|。但绝对值不易做解析运 算，因此，进一步用∑Ei2 来度量总偏差。因偏差的平方和最小可以保证每个偏 差都不会很大。于是问题归结为确定 y=ax+b 中的常数 a 和 b，使 F(a,b)=∑Ei2 = ∑(yi-axi-b)2 为最小。这种确定系数 a,b 的方法称为最小二乘法。 由极值原理知，F 对 k 和 b 的偏导数为零,即
《信号处理中的数学方法》
最小二乘法的总结
世界的进步离不开数学
最小二乘法是一种数学优化的技术，是一种对未知方程的近似求取方法，它 是很多学术领域里研究的相关问题的基础， 它的思想被广泛的使用再各个学术的 分支里。 总的来说， 最小二乘法就是通过最小化误差的平方和找到一组数据的最 佳函数的匹配。所以在很多问题上，特别是一些工程问题或者是实际的应用中， 通常我们不是去考虑最正确的解或者不存在最正确的解时， 我们可以用最小二乘 法得到一个误差最小的可以分析的解。 如果你去图书馆搜索一下现在的很多数据 库里的文献资料， 你不难发现在各个领域中都有使用最小二乘法来建模以及解决 问题的研究。世界能变成现在这个样子是离不开数学的，我深信这一点，而这就 是将一个数学模型用于解决实际问题的好例子。 这样一个基础的广泛应用的数学 方法就我自己来说， 我想从起源， 发展， 原理， 应用几个角度来小小总结一下它。 谈一谈对于最小二乘法我自己的理解。
6/8
《信号处理中的数学方法》
最小二乘法的应用
最小二乘的应用可谓是太多太多了，这部分主要讲一下我自己的理解。 最小二乘法最主要的应用是观测数据的误差分析。 特别对于实验或者是具体 问题的实际应用。 同时最小二乘在数理统计的理论与应用方面都作出了重要贡献。 它不仅应用到生物学,而且还应用到教育学和心理学的研究,并且具有数理统计应 用的广泛性。它是一种统计方法,可应用于各种学科的各个部门。 在我理解看来， 高斯当年所计算天体的轨迹就是最小二乘在天文学方面的应 用。这类天体的椭圆轨迹由 5 个参数确定，原则上，只要对它的位臵做 5 次测量 就足以确定它的整个轨迹。 但由于存在测量误差，由 5 次测量所确定的运行轨迹 极不可靠，相反，要进行多次测量，用最小二乘法消除测量误差，得到有关轨迹 参数的更精确的值。 最小二乘法近似将几十次甚至上百次的观察所产生的高维空 间问题降到了椭圆轨迹模型的五维参数空间。 然后可以把上述的过程直接运用到现实生活中很多观测计算的实际问题中 去应用。例如想了解某个地方的月降雨量，一个月的观测当然不够，任何一个月 都可能是异常晴朗或异常多雨。 相反， 人们应该研究几个月或至少一年甚至十年， 并将所有数据加以平均。 平均的结果对任何一个具体的月份并不一定能完全符合， 但凭直觉， 这个结果所给我们的标准降雨量图形将比只研究一个月所得到的结果 要准确得多。 这个原理在观察和实验科学领域是通用的。它是通过多次测量消除 测量误差及随机波动。 木匠的格言“量两次， 再下手”也正是这个常识的一个例子。 在这个例子中， 我们用一个数来代表或一定程度地近似整个测定数据的效果。更 一般的，鉴于各种理论和实际的原因，常用低维来近似说明高维的对象。在下面 几种工作中都可以采用这个方法，象消除误差或忽略无关细节，从干扰数据中提
《信号处理中的数学方法》
阳背后， 使得皮亚齐失去了谷神星的位臵，随后全世界的科学家利用皮亚齐的观 测数据开始寻找谷神星， 但是根据大多数人计算自然这是天文学家们自己的计算 法，的结果来寻找谷神星都没有结果。当时也有人认为这可能是一颗彗星，不然 的话，为何在新年一露面就不见了呢？ 几个月过去了，人们的争论也没见分晓。可是，这场争论却引起了 24 岁的 高斯的注意。高斯想：既然天文学家通过观察找不到谷神星，那么，是否可以通 过数学方法找到它呢？许多天文学家对高斯的这一提法不以为然。 天文学家都找 不到谷神星， 难道高斯还能把它算出来吗？朋友们也劝他不要把自己的时间和才 智浪费在这一毫无希望的问题上。年轻的高斯却有自己的看法。他认为，天文学 是离不开数学的。 如果没有雄厚的数学知识，是不可能成为一个出色的天文学家 的。在天文学发展史上，情况也正是如此。开普勒正是凭借着自己的数学才能， 才发现了行星运动的三大定律。 牛顿也是凭着渊博的数学知识，才发现了万有引 力定律。在前人的基础上，高斯经过艰苦的运算，以其卓越的数学才能创立了一 种崭新的行星轨道计算理论。他根据皮亚齐的观测资料，利用这种方法，只用了 一个小时就算出了谷神星的轨道形状，并指出它将于何时出现在哪一片天空里。 1801 年 12 月 31 日的晚上， 德国天文爱好者奥伯斯， 在高斯预言的时间里， 用望远镜对准了这片天空。果然不出所料，谷神星再次出现了！高斯的计算方法 成功了。高斯从笔尖上寻找到的这颗行星，在隐藏了整整一年后，却又成为人类 的最好的新年礼物。 这一礼物向人们显示了数学在科学研究中的巨大作用。这个 方法就叫做最小二乘法。
起源的故事
说到最小二乘法的起源， 我要讲一个故事。 这是一个有关天文学方面的故事。 故事开始于 19 世纪的第一天，结束时圆满收场，主角是数学王子高斯。 1801 的 1 月 1 日，这一天的晚上意大利西西里天文台台长皮亚齐发现了一 颗在众恒星之间游动的新天体，它就是 CERES（谷神星） ，到 2006 年 8 月 24 日 起它被归类为矮行星， 谷神星是迄今小行星带中最大的天体。皮亚齐发现它了之 后持续观测，这期间他因此生病过，坚持至 2 月 11 日之后由于谷神星运行至太
解此联立方程得
4/8
《信号处理中的数学方法》
通过下面的例子可以很好的理解最小二乘法的原理。 假定通过观测或实验得 到如下一组数据（即列表函数） ：
k
xk
yk
1 0 1.4
Hale Waihona Puke Baidu
2 1 1.3
3 2 1.4
4 3 1.1
5 4 1.3
6 5 1.8
7 6 1.6
8 7 2.3
我们的目的是一简单的式子表出这些数据间的关系。从分析数据看出，这些点差 不多分布在一条直线上，因此我们自然想到用线性式 y ax b 表示它们之间的 关系。这就须定出参数 a 和 b 的值来。这实际上是多余观测问题，用插值法不能 确定出 a 和 b 的值。代定参数的确定归结为矛盾方程组的求解问题。 假定有某方法可以定出 a 和 b ，则按 y a bx ，给出一个 x 便可以算出一个 y 。 我们记
yk a bx
(k 1,,8).
y k 称为 y k 的估计值，显然它们不会是完全相同的，它们之间的差（通常称为残
差）
k yk yk
(k 1,,8)
无疑是衡量被确定的参数 a 和 b（也就是近似多项式 y ax b ） 好坏的重要标志。 可以规定许多原则来确定参数 a , b 。例如 （1）参数的确定，将使残差绝对值中最大的一个达到最小，即
i 1 8 i 1 8 i 1
8
8
8
a xi b xi xi y i .
2 i 1 i 1 i 1
8
经过简单计算，这个方程组成为
8a 28b 12.2 , 28a 140b 47.3 .
解之可得 a 1.142, b 0.110, 从而得近似多项式 p1 ( x) 1.142 0.110x.
S (a, b) ( yi (a bi ))2
i 1 s
取最小值。因此，应有
8 S 2 ( yi (a bi )) 0, a i 1 8 S 2 ( yi (a bi ))xi 0. b i 1
由此，得到如下线性方程组：
a i 0 b xi y i ,
最小二乘法的发展
2/8
《信号处理中的数学方法》
其实在 1805 年，法国数学家勒让德采取也独立的发现了最小二乘法。但是 那个时候他并不为人所知， 所以他就默默无闻。他不再如同其他的数学家只关心 如何找出个数等于未知数个数的方程组，然后求解出方程组的解，而是考虑如何 使误差在整体上达到平衡， 从而有助于揭示系统的更接近真实的状态。而勒让德 之前的学者的做法对于误差在各方程之间的分布的影响是不清楚的。 这就是统计 学的特点。之后勒让德曾与高斯为谁最早创立最小二乘法原理发生争执。 事实上勒让德和高斯发现最小二乘法是从不同的角度入手的:一个是为解线 性方程组,一个是寻找误差函数 ;一个用的是整体思维,考虑方程组的均衡性 ,一个 用的是逆向思维,首先接受经验事实;一个是纯代数方法,一个致力于应用。相比而 言,高斯不愧为数学王子,他把最小二乘法推进得更远，更深刻,这极大地推进了数 理统计学的发展。 后来， 最小二乘法逐步渗入到统计数据分析领域，对统计学的发展产生了重 大影响。统计史家对此评价很高，有的认为最小二乘法之于统计学，犹如微积分 之于数学。有的学者称最小二乘法是 19 世纪统计学的“中心主题”。最小二乘法 之所以能获得如此的显赫地位， 主要得益于它与线性模型的联系。 最小二乘法具 有计算简便的特点。但更加重要的是，“线性”的特点使最小二乘法在误差分析方 面较之其他方法具有不可替代的优势。在 1809 年高斯对最小二乘估计进行的误 差分析中发现， 在线性模型的所有无偏估计类中，最小二乘估计是唯一的方差最 小的无偏估计。 基于它的统计推断易于操作且有关的概率计算不难进行。与此同 时，对最小二乘法误差分析的研究也促进了线性模型理论的发展。如今，线性模 型已经成为理论结果最丰富、应用最广泛的一类回归模型。 最小二乘法的原理
7/8
《信号处理中的数学方法》
取信号或找出趋势， 将大量数据降低到可管理的数量或用简单的近似来代替复杂 函数。 我们并不期望这个近似值多么精确， 事实上， 在许多时候它也不用很精确。 但尽管如此，我们还是希望它能保持对原始数据的相似之处。 与此相同的， 最小二乘法运用于水利工程专业可以分析石坝受到的水位压力 和水库与水位的关系， 也可以分析石坝的沉陷过程以及预报。它也可以用来进行 市场经营的预测，得出时间，产值和利润的关系。它甚至可以用来通过学生的高 中以及高考成绩来预测该同学在大学期间的学习成绩。 在这个学期刚刚学习的矩阵理论课中， 就讲到了如何使用最小二乘法来求解 非齐次线性方程组的问题。如果线性方程组 Ax=b 是齐次的，那么我们可以求解 出它唯一的解。 但是在实际得出的数据的基础上列出的线性方程通常是非齐次的。 那么我就没法求出它的解。这个问题可以理解为矢量 b 在矩阵 A 张成的线性空 间的投影问题。 这个不存在满足方程的 X 的解， 但是存在一个X0 使得 AX0 − b 2 取 最小值。 这个接就被称为是该方程的最小二乘解。其实际上就是说向量 b 与其在 线性空间上的投影之间的距离， 这个距离就可以理解为误差。距离最小即误差最 小， 于是所得的解就是最佳解。 对此一个形象一点的说法就是在无法完全满足给 定的这些条件的情况下，求一个最接近的解。 最小二乘法的应用非常广泛，现在也有很多对于他的更加深入的研究，以上 仅仅是我对于它的最基本的应用谈了一下我自己的理解。
5/8
《信号处理中的数学方法》
T max
k
k
为最小；
（2）参数的确定，将使残差绝对值之和达到最小，即
k
2 k
k
为最小；
（3）参数的确定，将使残差的平方和达到最小，即
为最小。
（1）和（2）两个原则是很直观的，也很理想，但很不好用；而原则（3） 既直观又很好用。按原则（3）确定待定参数，从而得到近似多项式的方法，就 是通常所说的最小二乘法。这一方法的理论根据是，概率理论已证明，只有这样 的原则才能使得观测或实验的偶然误差对于所作的近似多项式有最小的影响。 回到所提出的问题上来，即用最小二乘法确定参数 a , b 。按最小二乘法，应使
3/8
《信号处理中的数学方法》
最小二乘法可以用来处理一组数据， 可以从一组测定的数据中寻求变量之间 的依赖关系，这种函数关系称为经验公式。 假定实验测得变量之间的 n 个数据(x1,y1)、(x2,y2)......(xn,yn)，则在 xoy 平 面上，可以得到 n 个点 Pi(xi,yi)（i=1,2,...,n） ，这种图形称为“散点图”，从图中可 以看出这些点大致散落在某直线近旁，我们认为 x 和 y 近似为一线性函数。考虑 函数 y=ax+b，其中 a,b 为待定常数。如果 Pi(xi,yi)（i=1,2,...,n）在一条直线上， 则可以认为变量之间的关系为 y=ax+b。 但一般说来, 这些点不可能在同一直线上。 记为 Ei=yi-(axi+b)，它反映了用直线 y=ax+b 来描述 x=xi，y=yi 时，计算值 y 与 实际值 yi 的偏差。当然，要求偏差越小越好，但由于 Ei 可正可负，所以不能认 为当∑Ei=0 时，函数 y=ax+b 就好好地反应了变量之间的关系，因为可能每个偏 差的绝对值都很大。为了改进这个缺陷，就考虑用∑|Ei|。但绝对值不易做解析运 算，因此，进一步用∑Ei2 来度量总偏差。因偏差的平方和最小可以保证每个偏 差都不会很大。于是问题归结为确定 y=ax+b 中的常数 a 和 b，使 F(a,b)=∑Ei2 = ∑(yi-axi-b)2 为最小。这种确定系数 a,b 的方法称为最小二乘法。 由极值原理知，F 对 k 和 b 的偏导数为零,即
《信号处理中的数学方法》
最小二乘法的总结
世界的进步离不开数学
最小二乘法是一种数学优化的技术，是一种对未知方程的近似求取方法，它 是很多学术领域里研究的相关问题的基础， 它的思想被广泛的使用再各个学术的 分支里。 总的来说， 最小二乘法就是通过最小化误差的平方和找到一组数据的最 佳函数的匹配。所以在很多问题上，特别是一些工程问题或者是实际的应用中， 通常我们不是去考虑最正确的解或者不存在最正确的解时， 我们可以用最小二乘 法得到一个误差最小的可以分析的解。 如果你去图书馆搜索一下现在的很多数据 库里的文献资料， 你不难发现在各个领域中都有使用最小二乘法来建模以及解决 问题的研究。世界能变成现在这个样子是离不开数学的，我深信这一点，而这就 是将一个数学模型用于解决实际问题的好例子。 这样一个基础的广泛应用的数学 方法就我自己来说， 我想从起源， 发展， 原理， 应用几个角度来小小总结一下它。 谈一谈对于最小二乘法我自己的理解。
6/8
《信号处理中的数学方法》
最小二乘法的应用
最小二乘的应用可谓是太多太多了，这部分主要讲一下我自己的理解。 最小二乘法最主要的应用是观测数据的误差分析。 特别对于实验或者是具体 问题的实际应用。 同时最小二乘在数理统计的理论与应用方面都作出了重要贡献。 它不仅应用到生物学,而且还应用到教育学和心理学的研究,并且具有数理统计应 用的广泛性。它是一种统计方法,可应用于各种学科的各个部门。 在我理解看来， 高斯当年所计算天体的轨迹就是最小二乘在天文学方面的应 用。这类天体的椭圆轨迹由 5 个参数确定，原则上，只要对它的位臵做 5 次测量 就足以确定它的整个轨迹。 但由于存在测量误差，由 5 次测量所确定的运行轨迹 极不可靠，相反，要进行多次测量，用最小二乘法消除测量误差，得到有关轨迹 参数的更精确的值。 最小二乘法近似将几十次甚至上百次的观察所产生的高维空 间问题降到了椭圆轨迹模型的五维参数空间。 然后可以把上述的过程直接运用到现实生活中很多观测计算的实际问题中 去应用。例如想了解某个地方的月降雨量，一个月的观测当然不够，任何一个月 都可能是异常晴朗或异常多雨。 相反， 人们应该研究几个月或至少一年甚至十年， 并将所有数据加以平均。 平均的结果对任何一个具体的月份并不一定能完全符合， 但凭直觉， 这个结果所给我们的标准降雨量图形将比只研究一个月所得到的结果 要准确得多。 这个原理在观察和实验科学领域是通用的。它是通过多次测量消除 测量误差及随机波动。 木匠的格言“量两次， 再下手”也正是这个常识的一个例子。 在这个例子中， 我们用一个数来代表或一定程度地近似整个测定数据的效果。更 一般的，鉴于各种理论和实际的原因，常用低维来近似说明高维的对象。在下面 几种工作中都可以采用这个方法，象消除误差或忽略无关细节，从干扰数据中提