最小二乘法

已知P=a+bF
P=(200,170,150) F=(100,80,70)
用最小二乘法算a,b得值

最小二乘法是一种数学优化技术，它通过最小化误差的平方和找到一组数据的最佳函数匹配。
最小二乘法是用最简的方法求得一些绝对不可知的真值，而令误差平方之和为最小。
最小二乘法通常用于曲线拟合。很多其他的优化问题也可通过最小化能量或最大化熵用最小二乘形式表达。

比如从最简单的一次函数y=kx+b讲起
已知坐标轴上有些点(1.1,2.0),(2.1,3.2),(3,4.0),(4,6),(5.1,6.0),求经过这些点的图象的一次函数关系式.
当然这条直线不可能经过每一个点,我们只要做到5个点到这条直线的距离的平方和最小即可,这这就需要用到最小二乘法的思想.然后就用线性拟合来求.讲起来一大堆,既然你只问最小二乘法,我就讲这么多.


least squares linear regression最小二乘法拟合数据
悬赏分：200 - 解决时间：2008-2-23 04:55
求证明的方法，详细！谢谢
问题补充：求证方法，谢谢。。。我要的是证明的方法。。。
y=ax+b

xi=x1+x2+x3....xn
E, sum sign
i=1-->n E(axi-b-yi)^2

证明如何算出a跟b
我希望得到证明的方法。。谢谢，越详细越好！

提问者： 匿名最佳答案最小二乘法是一种数学优化技术，它通过最小化误差的平方和找到一组数据的最佳函数匹配。
最小二乘法是用最简的方法求得一些绝对不可知的真值，而令误差平方之和为最小。
最小二乘法通常用于曲线拟合。很多其他的优化问题也可通过最小化能量或最大化熵用最小二乘形式表达。

比如从最简单的一次函数y=kx+b讲起
已知坐标轴上有些点(1.1,2.0),(2.1,3.2),(3,4.0),(4,6),(5.1,6.0),求经过这些点的图象的一次函数关系式.
当然这条直线不可能经过每一个点,我们只要做到5个点到这条直线的距离的平方和最小即可,这这就需要用到最小二乘法的思想.然后就用线性拟合来求.讲起来一大堆,既然你只问最小二乘法,我就讲这么多.

这是大学里才学的内容,一般用于建模.
其实用一些数学软件来算较简单,比如说matlab,lindo,lingo等,如果用手算的话较麻烦!


最小二乘法拟合数据：
我当时是是把你给的数据（年限和折旧价）输入绘图分析软件Origin，然后让它自动拟合的，所以很快得出结果了。
如果要自己算的话，也不难，公式是：
(t的各数值平方和)*a+(v的各数值平方和)*b=(各v*t数值积之和)
(t求和)*a+nb=(v求和) 其中n是数据量

5回答者： 科学实验家 - 七级 2008-1-28 05:03

我来评论>> 相关内容
? 数学关于least squares linear regression的题 1 2007-5-27
? 最小二乘法数据拟合 2009-1-7
? Beta is quantified as the slope of

a linear regression of the form:如何翻译？ 2009
-9-10
? Linear regression analysis (abscissa at origin) 2008-11-10
? 最小二乘法的公式是什么？给出一组数据该怎么算啊？ 3 2008-11-9
更多关于最小二乘法拟合的问题>>
查看同主题问题： squares linear least 乘法 数据
其他回答 共 2 条
魅力无比的定理证明
——勾股定理的证明

勾股定理是几何学中的明珠，所以它充满魅力，千百年来，人们对它的证明趋之若骛，其中有著名的数学家，也有业余数学爱好者，有普通的老百姓，也有尊贵的政要权贵，甚至有国家总统。也许是因为勾股定理既重要又简单，更容易吸引人，才使它成百次地反复被人炒作，反复被人论证。1940年出版过一本名为《毕达哥拉斯命题》的勾股定理的证明专辑，其中收集了367种不同的证明方法。实际上还不止于此，有资料表明，关于勾股定理的证明方法已有500余种，仅我国清末数学家华蘅芳就提供了二十多种精彩的证法。这是任何定理无法比拟的。
在这数百种证明方法中，有的十分精彩，有的十分简洁，有的因为证明者身份的特殊而非常著名。
首先介绍勾股定理的两个最为精彩的证明，据说分别来源于中国和希腊。
1．中国方法
画两个边长为(a+b)的正方形，如图，其中a、b为直角边，c为斜边。这两个正方形全等，故面积相等。







左图与右图各有四个与原直角三角形全等的三角形，左右四个三角形面积之和必相等。从左右两图中都把四个三角形去掉，图形剩下部分的面积必相等。左图剩下两个正方形，分别以a、b为边。右图剩下以c为边的正方形。于是
a2+b2=c2。
这就是我们几何教科书中所介绍的方法。既直观又简单，任何人都看得懂。
2．希腊方法
直接在直角三角形三边上画正方形，如图。
容易看出，
△ABA’ ≌△AA’’ C。
过C向A’’B’’引垂线，交AB于C’，交A’’B’’于C’’。
△ABA’与正方形ACDA’同底等高,前者面积为后者面积的一半，△AA’’C与矩形AA’’C’’C’同底等高，前者的面积也是后者的一半。由△ABA’≌△AA’’C，知正方形ACDA’的面积等于矩形AA’’C’’C’的面积。同理可得正方形BB’EC的面积等于矩形B’’BC’C’’的面积。
于是，
S正方形AA’’B’’B=S正方形ACDA’+S正方形BB’EC，
即 a2+b2=c2。
至于三角形面积是同底等高的矩形面积之半，则可用割补法得到（请读者自己证明）。这里只用到简单的面积关系，不涉及三角形和矩形的面积公式。
这就是希腊古代数学家欧几里得在其《几何原本》中的证法。
以上两个证明方法之所

以精彩，是它们所用到的定理少，都只用到面积的两个基本观念：
⑴ 全等形的
面积相等；
⑵ 一个图形分割成几部分，各部分面积之和等于原图形的面积。
这是完全可以接受的朴素观念，任何人都能理解。
我国历代数学家关于勾股定理的论证方法有多种，为勾股定理作的图注也不少，其中较早的是赵爽（即赵君卿）在他附于《周髀算经》之中的论文《勾股圆方图注》中的证明。采用的是割补法：
如图，将图中的四个直角三角形涂上朱色，把中间小正方形涂上黄色，叫做中黄实，以弦为边的正方形称为弦实，然后经过拼补搭配，“令出入相补，各从其类”，他肯定了勾股弦三者的关系是符合勾股定理的。即“勾股各自乘，并之为弦实，开方除之，即弦也”。
赵爽对勾股定理的证明，显示了我国数学家高超的证题思想，较为简明、直观。
西方也有很多学者研究了勾股定理，给出了很多证明方法，其中有文字记载的最早的证明是毕达哥拉斯给出的。据说当他证明了勾股定理以后，欣喜若狂，杀牛百头，以示庆贺。故西方亦称勾股定理为“百牛定理”。遗憾的是，毕达哥拉斯的证明方法早已失传，我们无从知道他的证法。
下面介绍的是美国第二十任总统伽菲尔德对勾股定理的证明。
如图，
S梯形ABCD= (a+b)2
= (a2+2ab+b2)， ①
又S梯形ABCD=S△AED+S△EBC+S△CED
= ab+ ba+ c2
= (2ab+c2)。 ②
比较以上二式，便得
a2+b2=c2。
这一证明由于用了梯形面积公式和三角形面积公式，从而使证明相当简洁。
1876年4月1日，伽菲尔德在《新英格兰教育日志》上发表了他对勾股定理的这一证明。5年后，伽菲尔德就任美国第二十任总统。后来，人们为了纪念他对勾股定理直观、简捷、易懂、明了的证明，就把这一证法称为勾股定理的“总统”证法，这在数学史上被传为佳话。
在学习了相似三角形以后，我们知道在直角三角形中，斜边上的高把这个直角三角形所分成的两个直角三角形与原三角形相似。
如图，Rt△ABC中，∠ACB=90°。作CD⊥BC，垂足为D。则
△BCD∽△BAC，△CAD∽△BAC。
由△BCD∽△BAC可得BC2=BD ? BA， ①
由△CAD∽△BAC可得AC2=AD ? AB。 ②
我们发现，把①、②两式相加可得
BC2+AC2=AB（AD+BD），
而AD+BD=AB，
因此有 BC2+AC2=AB2，这就是
a2+b2=c2。
这也是一种证明勾股定理的方法，而且也很简洁。它利用了相似三角形的知识。
在对勾股定理为数众多的证明中，人们也会犯一些错误。如有人给出了如下证明勾股定理的方法：
设△ABC中，∠C=90°，由余弦定理
c2=a2+b2-2abcosC，
因为∠C=90°，所以cosC=

0。所以
a2+b2=c2。
这一证法，看来正确，而且简单，实际上却犯了循环证论的错误。原因是余弦定理的证明来自勾股
定理。
人们对勾股定理感兴趣的原因还在于它可以作推广。
欧几里得在他的《几何原本》中给出了勾股定理的推广定理：“直角三角形斜边上的一个直边形，其面积为两直角边上两个与之相似的直边形面积之和”。
从上面这一定理可以推出下面的定理：“以直角三角形的三边为直径作圆，则以斜边为直径所作圆的面积等于以两直角边为直径所作两圆的面积和”。
勾股定理还可以推广到空间：以直角三角形的三边为对应棱作相似多面体，则斜边上的多面体的表面积等于直角边上两个多面体表面积之和。
若以直角三角形的三边为直径分别作球，则斜边上的球的表面积等于两直角边上所作二球表面积之和。
如此等等。

【附录】
一、【《周髀算经》简介】
《周髀算经》算经十书之一。约成书于公元前二世纪，原名《周髀》，它是我国最古老的天文学著作，主要阐明当时的盖天说和四分历法。唐初规定它为国子监明算科的教材之一，故改名《周髀算经》。《周髀算经》在数学上的主要成就是介绍了勾股定理及其在测量上的应用。原书没有对勾股定理进行证明，其证明是三国时东吴人赵爽在《周髀注》一书的《勾股圆方图注》中给出的。
《周髀算经》使用了相当繁复的分数算法和开平方法。

二、【伽菲尔德证明勾股定理的故事】
1876年一个周末的傍晚，在美国首都华盛顿的郊外，有一位中年人正在散步，欣赏黄昏的美景，他就是当时美国俄亥俄州共和党议员伽菲尔德。他走着走着，突然发现附近的一个小石凳上，有两个小孩正在聚精会神地谈论着什么，时而大声争论，时而小声探讨。由于好奇心驱使，伽菲尔德循声向两个小孩走去，想搞清楚两个小孩到底在干什么。只见一个小男孩正俯着身子用树枝在地上画着一个直角三角形。于是伽菲尔德便问他们在干什么？那个小男孩头也不抬地说：“请问先生，如果直角三角形的两条直角边分别为3和4，那么斜边长为多少呢？”伽菲尔德答道：“是5呀。”小男孩又问道：“如果两条直角边长分别为5和7，那么这个直角三角形的斜边长又是多少？”伽菲尔德不假思索地回答道：“那斜边的平方一定等于5的平方加上7的平方。”小男孩又说：“先生，你能说出其中的道理吗？”伽菲尔德一时语塞，无法解释了，心里很不是滋味。
于是，伽菲尔德不再散步，立即回家，潜心探讨小男孩给他出的难题。他经过反复思考与演算，

终于弄清了其中的道理，并给出了简洁的证明方法。

转引自：/education/yanjiu/中“数学的发现”栏目。图无法转贴，请查看原文。

回答者：
hi亭亭玉女 - 二级 2008-2-1 12:39

最小二乘法是一种数学优化技术，它通过最小化误差的平方和找到一组数据的最佳函数匹配。
最小二乘法是用最简的方法求得一些绝对不可知的真值，而令误差平方之和为最小。
最小二乘法通常用于曲线拟合。很多其他的优化问题也可通过最小化能量或最大化熵用最小二乘形式表达。

比如从最简单的一次函数y=kx+b讲起
已知坐标轴上有些点(1.1,2.0),(2.1,3.2),(3,4.0),(4,6),(5.1,6.0),求经过这些点的图象的一次函数关系式.
当然这条直线不可能经过每一个点,我们只要做到5个点到这条直线的距离的平方和最小即可,这这就需要用到最小二乘法的思想.然后就用线性拟合来求.讲起来一大堆,既然你只问最小二乘法,我就讲这么多.

这是大学里才学的内容,一般用于建模.
其实用一些数学软件来算较简单,比如说matlab,lindo,lingo等,如果用手算的话较麻烦!


最小二乘法拟合数据：
我当时是是把你给的数据（年限和折旧价）输入绘图分析软件Origin，然后让它自动拟合的，所以很快得出结果了。
如果要自己算的话，也不难，公式是：
(t的各数值平方和)*a+(v的各数值平方和)*b=(各v*t数值积之和)
(t求和)*a+nb=(v求和) 其中n是数据量
魅力无比的定理证明
——勾股定理的证明

勾股定理是几何学中的明珠，所以它充满魅力，千百年来，人们对它的证明趋之若骛，其中有著名的数学家，也有业余数学爱好者，有普通的老百姓，也有尊贵的政要权贵，甚至有国家总统。也许是因为勾股定理既重要又简单，更容易吸引人，才使它成百次地反复被人炒作，反复被人论证。1940年出版过一本名为《毕达哥拉斯命题》的勾股定理的证明专辑，其中收集了367种不同的证明方法。实际上还不止于此，有资料表明，关于勾股定理的证明方法已有500余种，仅我国清末数学家华蘅芳就提供了二十多种精彩的证法。这是任何定理无法比拟的。
在这数百种证明方法中，有的十分精彩，有的十分简洁，有的因为证明者身份的特殊而非常著名。
首先介绍勾股定理的两个最为精彩的证明，据说分别来源于中国和希腊。
1．中国方法
画两个边长为(a+b)的正方形，如图，其中a、b为直角边，c为斜边。这两个正方形全等，故面积相等。







左图与右图各有四个与原直角三角形全等的三角形，左右四个三角形面积之和必相等。从左右两图中都把四

个三角形去掉，图形剩下部分的面积必相等。左图剩下两个正方形，分别以a、b为边。右图剩下以c为边的正方形。于是
a2+b2=c2。
这就是我们几何教科书中所介绍的方法。既直观又简单，任何人都看
得懂。
2．希腊方法
直接在直角三角形三边上画正方形，如图。
容易看出，
△ABA’ ≌△AA’’ C。
过C向A’’B’’引垂线，交AB于C’，交A’’B’’于C’’。
△ABA’与正方形ACDA’同底等高,前者面积为后者面积的一半，△AA’’C与矩形AA’’C’’C’同底等高，前者的面积也是后者的一半。由△ABA’≌△AA’’C，知正方形ACDA’的面积等于矩形AA’’C’’C’的面积。同理可得正方形BB’EC的面积等于矩形B’’BC’C’’的面积。
于是，
S正方形AA’’B’’B=S正方形ACDA’+S正方形BB’EC，
即 a2+b2=c2。
至于三角形面积是同底等高的矩形面积之半，则可用割补法得到（请读者自己证明）。这里只用到简单的面积关系，不涉及三角形和矩形的面积公式。
这就是希腊古代数学家欧几里得在其《几何原本》中的证法。
以上两个证明方法之所以精彩，是它们所用到的定理少，都只用到面积的两个基本观念：
⑴ 全等形的面积相等；
⑵ 一个图形分割成几部分，各部分面积之和等于原图形的面积。
这是完全可以接受的朴素观念，任何人都能理解。
我国历代数学家关于勾股定理的论证方法有多种，为勾股定理作的图注也不少，其中较早的是赵爽（即赵君卿）在他附于《周髀算经》之中的论文《勾股圆方图注》中的证明。采用的是割补法：
如图，将图中的四个直角三角形涂上朱色，把中间小正方形涂上黄色，叫做中黄实，以弦为边的正方形称为弦实，然后经过拼补搭配，“令出入相补，各从其类”，他肯定了勾股弦三者的关系是符合勾股定理的。即“勾股各自乘，并之为弦实，开方除之，即弦也”。
赵爽对勾股定理的证明，显示了我国数学家高超的证题思想，较为简明、直观。
西方也有很多学者研究了勾股定理，给出了很多证明方法，其中有文字记载的最早的证明是毕达哥拉斯给出的。据说当他证明了勾股定理以后，欣喜若狂，杀牛百头，以示庆贺。故西方亦称勾股定理为“百牛定理”。遗憾的是，毕达哥拉斯的证明方法早已失传，我们无从知道他的证法。
下面介绍的是美国第二十任总统伽菲尔德对勾股定理的证明。
如图，
S梯形ABCD= (a+b)2
= (a2+2ab+b2)， ①
又S梯形ABCD=S△AED+S△EBC+S△CED
= ab+ ba+ c2
= (2ab+c2)。 ②
比较以上二式，便得
a2+b2=c2。
这一证明由于用了梯形面积公式和

三角形面积公式，从而使证明相当简洁。
1876年4月1日，伽菲尔德在《新英格兰教育日志》上发表了他对勾股定理的这一证明。5年后，伽菲尔德就任美国第二十任总统。后来，人们为了纪念他对勾股定理直观、简捷、易懂、明了的证明，就把
这一证法称为勾股定理的“总统”证法，这在数学史上被传为佳话。
在学习了相似三角形以后，我们知道在直角三角形中，斜边上的高把这个直角三角形所分成的两个直角三角形与原三角形相似。
如图，Rt△ABC中，∠ACB=90°。作CD⊥BC，垂足为D。则
△BCD∽△BAC，△CAD∽△BAC。
由△BCD∽△BAC可得BC2=BD ? BA， ①
由△CAD∽△BAC可得AC2=AD ? AB。 ②
我们发现，把①、②两式相加可得
BC2+AC2=AB（AD+BD），
而AD+BD=AB，
因此有 BC2+AC2=AB2，这就是
a2+b2=c2。
这也是一种证明勾股定理的方法，而且也很简洁。它利用了相似三角形的知识。
在对勾股定理为数众多的证明中，人们也会犯一些错误。如有人给出了如下证明勾股定理的方法：
设△ABC中，∠C=90°，由余弦定理
c2=a2+b2-2abcosC，
因为∠C=90°，所以cosC=0。所以
a2+b2=c2。
这一证法，看来正确，而且简单，实际上却犯了循环证论的错误。原因是余弦定理的证明来自勾股定理。
人们对勾股定理感兴趣的原因还在于它可以作推广。
欧几里得在他的《几何原本》中给出了勾股定理的推广定理：“直角三角形斜边上的一个直边形，其面积为两直角边上两个与之相似的直边形面积之和”。
从上面这一定理可以推出下面的定理：“以直角三角形的三边为直径作圆，则以斜边为直径所作圆的面积等于以两直角边为直径所作两圆的面积和”。
勾股定理还可以推广到空间：以直角三角形的三边为对应棱作相似多面体，则斜边上的多面体的表面积等于直角边上两个多面体表面积之和。
若以直角三角形的三边为直径分别作球，则斜边上的球的表面积等于两直角边上所作二球表面积之和。
如此等等。

【附录】
一、【《周髀算经》简介】
《周髀算经》算经十书之一。约成书于公元前二世纪，原名《周髀》，它是我国最古老的天文学著作，主要阐明当时的盖天说和四分历法。唐初规定它为国子监明算科的教材之一，故改名《周髀算经》。《周髀算经》在数学上的主要成就是介绍了勾股定理及其在测量上的应用。原书没有对勾股定理进行证明，其证明是三国时东吴人赵爽在《周髀注》一书的《勾股圆方图注》中给出的。
《周髀算经》使用了相当繁复的分数算法和开平方法。

二、【伽菲尔德证明勾股定理的故事

】
1876年一个周末的傍晚，在美国首都华盛顿的郊外，有一位中年人正在散步，欣赏黄昏的美景，他就是当时美国俄亥俄州共和党议员伽菲尔德。他走着走着，突然发现附近的一个小石凳上，有两个小孩正在聚精会神地谈论着什么，时而大声争论，时而小声探讨。由于好奇心驱使
，伽菲尔德循声向两个小孩走去，想搞清楚两个小孩到底在干什么。只见一个小男孩正俯着身子用树枝在地上画着一个直角三角形。于是伽菲尔德便问他们在干什么？那个小男孩头也不抬地说：“请问先生，如果直角三角形的两条直角边分别为3和4，那么斜边长为多少呢？”伽菲尔德答道：“是5呀。”小男孩又问道：“如果两条直角边长分别为5和7，那么这个直角三角形的斜边长又是多少？”伽菲尔德不假思索地回答道：“那斜边的平方一定等于5的平方加上7的平方。”小男孩又说：“先生，你能说出其中的道理吗？”伽菲尔德一时语塞，无法解释了，心里很不是滋味。
于是，伽菲尔德不再散步，立即回家，潜心探讨小男孩给他出的难题。他经过反复思考与演算，终于弄清了其中的道理，并给出了简洁的证明方法。

转引自：/education/yanjiu/中“数学的发现”栏目。图无法转贴，请查看原文。


最小二乘法公式 最小二乘法公式
∑(X--X平)(Y--Y平)
=∑(XY--X平Y--XY平+X平Y平)
=∑XY--X平∑Y--Y平∑X+nX平Y平
=∑XY--nX平Y平--nX平Y平+nX平Y平
=∑XY--nX平Y平
∑(X --X平)^2
=∑(X^2--2XX平+X平^2)
=∑X^2--2nX平^2+nX平^2
=∑X^2--nX平^2
最小二乘公式（针对y=ax+b形式）：
a=(NΣxy-ΣxΣy)/(NΣx^2-(Σx)^2)
b=y(平均)-ax（平均）
最小二乘法
在我们研究两个变量(x, y)之间的相互关系时，通常可以得到一系列成对的数据(x1, y1、x2, y2... xm , ym)；将这些数据描绘在x -y直角坐标系中(如图1), 若发现这些点在一条直线附近，可以令这条直线方程如(式1-1)。
Y计= a0 + a1 X (式1-1)
其中：a0、a1 是任意实数
为建立这直线方程就要确定a0和a1，应用《最小二乘法原理》，将实测值Yi与利用(式1-1)计算值(Y计=a0+a1X)的离差(Yi-Y计)的平方和〔∑(Yi - Y计)2〕最小为“优化判据”。
令: φ = ∑(Yi - Y计)2 (式1-2)
把(式1-1)代入(式1-2)中得:
φ = ∑(Yi - a0 - a1 Xi)2 (式1-3)
当∑(Yi-Y计)平方最小时，可用函数 φ 对a0、a1求偏导数，令这两个偏导数等于零。
(式1

-4)
(式1-5)
亦即：
m a0 + (∑Xi ) a1 = ∑Yi (式1-6)
(∑Xi ) a0 + (∑Xi2 ) a1 = ∑(Xi, Yi) (式1-7)
得到的两个关于a0、 a1为未知数的两个方程组，解这两个方程组得出：
a0 = (∑Yi) / m - a1(∑Xi) / m (式1-8)
a1 = [∑Xi Yi - (∑Xi ∑Yi)/ m] / [∑Xi2 - (∑Xi)2 / m)] (式1-9)
这时把a0、a1代入(式1-1)中, 此时的
(式1-1)就是我们回归的元线性方程即：数学模型。
在回归过程中，回归的关联式是不可能全部通过每个回归数据点(x1, y1、 x2, y2...xm,ym),为了判断关联式的好坏,可借助相关系数“R”，统计量“F”，剩余标准偏差“S”进行判断；“R”越趋近于 1 越好；“F”的绝对值越大越好；“S”越趋近于 0 越好。
R = [∑XiYi - m (∑Xi / m)(∑Yi / m)]/ SQR{[∑Xi2 - m (∑Xi / m)2][∑Yi2 - m (∑Yi / m)2]} (式1-10) ＊
在(式1-1)中，m为样本容量，即实验次数；Xi、Yi分别任意一组实验X、Y的数值。微积分应用课题一 最小二乘法
从前面的学习中, 我们知道最小二乘法可以用来处理一组数据, 可以从一组测定的数据中寻求变量之间的依赖关系, 这种函数关系称为经验公式. 本课题将介绍最小二乘法的精确定义及如何寻求 与 之间近似成线性关系时的经验公式. 假定实验测得变量之间的 个数据 , , …, , 则在 平面上, 可以得到 个点 , 这种图形称为“散点图”, 从图中可以粗略看出这些点大致散落在某直线近旁, 我们认为 与 之间近似为一线性函数, 下面介绍求解步骤.
考虑函数 , 其中 和 是待定常数. 如果 在一直线上, 可以认为变量之间的关系为 . 但一般说来, 这些点不可能在同一直线上. 记 , 它反映了用直线 来描述 , 时, 计算值 与实际值 产生的偏差. 当然要求偏差越小越好, 但由于 可正可负, 因此不能认为总偏差 时, 函数 就很好地反映了变量之间的关系, 因为此时每个偏差的绝对值可能很大. 为了改进这一缺陷, 就考虑用 来代替 . 但是由于绝对值不易作解析运算, 因此, 进一步用 来度量总偏差. 因偏差的平方和最小可以保证每个偏差都不会很大. 于是问题归结为确定 中的常数 和 , 使 为最小. 用这种方法确定系数 , 的方法称为最小二乘法.
由极值原理得 , 即
解此联立方程得
(*)
问题 I 为研究某一化学反应过程中, 温度 ℃)对产品得率 (％)的影响, 测得数据如下:
温度 ℃)
100 110 120 130 140 150 160 170 180 190
得率 (％)
45 51 54 61 66 70 74 78 85 89
(1) 利用“ListPlot”函数, 绘出数据 的散点图(采用格式: ListPlot[{ , , …, }, Prolog->AbsolutePointSize[3]] );
(2) 利用“Line”函数

, 将散点连接起来, 注意观察有何特征? (采用格式: Show[Graphics[Line[{ , , …, }]] , Axes->True ]) ;
(3) 根据公式(*), 利用“Apply”函数及集合的有关运算编写一个小的程序, 求经验公式 ;
(程序编写思路为: 任意给定两个集合A (此处表示温度)、B(此处表示得率), 由公式(*)可定义两个二元函数(集合A和B为其变量)分别表示 和 . 集合A元素求和: Apply[Plus,A] 表示将加法施
加到集合A上, 即各元素相加, 例如Apply[Plus,{1,2,3}]=6;Length[A]表示集合A 元素的个数, 即为n; A.B表示两集合元素相乘相加;A*B表示集合A与B元素对应相乘得到的新的集合.)
(4) 在同一张图中显示直线 及散点图;
(5) 估计温度为200时产品得率.
然而, 不少实际问题的观测数据 , , …, 的散点图明显地不能用线性关系来描叙, 但确实散落在某一曲线近旁, 这时可以根据散点图的轮廓和实际经验, 选一条曲线来近似表达 与 的相互关系.
问题 II 下表是美国旧轿车价格的调查资料, 今以 表示轿车的使用年数, (美元)表示相应的平均价格, 求 与 之间的关系.
使用年数
1 2 3 4 5 6 7 8 9 10
平均价格
2651 1943 1494 1087 765 538 484 290 226 204
(1) 利用“ListPlot”函数绘出数据 的散点图, 注意观察有何特征?
(2) 令 , 绘出数据 的散点图, 注意观察有何特征?
(3) 利用“Line”函数, 将散点 连接起来, 说明有何特征?
(4) 利用最小二乘法, 求 与 之间的关系;
(5) 求 与 之间的关系;
(6) 在同一张图中显示散点图 及 关于 的图形.
思考与练习
1. 假设一组数据 : , , …, 变量之间近似成线性关系, 试利用集合的有关运算, 编写一简单程序: 对于任意给定的数据集合 , 通过求解极值原理所包含的方程组, 不需要给出 、 计算的表达式, 立即得到 、 的值, 并就本课题 I /(3)进行实验.
注: 利用Transpose函数可以得到数据A的第一个分量的集合, 命令格式为:
先求A的转置, 然后取第一行元素, 即为数据A的第一个分量集合, 例如
(A即为矩阵 )
= (数据A的第一个分量集合)
= (数据A的第二个分量集合)
B-C表示集合B与C对应元素相减所得的集合, 如 = .
2. 最小二乘法在数学上称为曲线拟合, 请使用拟合函数“Fit”重新计算 与 的值, 并与先前的结果作一比较.



最小二乘法原理
在我们研究两个变量(x, y)之间的相互关系时，通常可以得到一系列成对的数据(x1, y1、x2, y2... xm , ym)；将这些数据描绘在x -y直角坐标系中(如图1), 若发现这些点在一条直线附近，可以令这条直线方程如(式1-1)。
Y计= a0 + a1 X (式1-1)

其中：a0、a1 是任意实数
为建立这直线方程就要确定a0和a1，应用《最小二乘法原理》，将实测值Yi与利用(式1-1)计算值(Y计=a0+a1X)的离差(Yi-Y计)的平方和〔∑(Yi - Y计)2〕最小为“优化判据”。
令: φ = ∑(Yi - Y计)2 (式1-2)
把(式1-1)代入(式1-2)中得:
φ = ∑(Yi - a0 - a1 Xi)2 (式1-3)
当∑(Yi-Y计)平方最小时，可用函数 φ 对a0、a1求偏导数，令这两个偏导数等于零。
(式1-4)
(式1-5)
亦即：
m
a0 + (∑Xi ) a1 = ∑Yi (式1-6)
(∑Xi ) a0 + (∑Xi2 ) a1 = ∑(Xi, Yi) (式1-7)
得到的两个关于a0、 a1为未知数的两个方程组，解这两个方程组得出：
a0 = (∑Yi) / m - a1(∑Xi) / m (式1-8)
a1 = [∑Xi Yi - (∑Xi ∑Yi)] / [∑Xi2 - (∑Xi)2 )] (式1-9)
这时把a0、a1代入(式1-1)中, 此时的(式1-1)就是我们回归的元线性方程即：数学模型。
在回归过程中，回归的关联式是不可能全部通过每个回归数据点(x1, y1、 x2, y2...xm,ym),为了判断关联式的好坏,可借助相关系数“R”，统计量“F”，剩余标准偏差“S”进行判断；“R”越趋近于 1 越好；“F”的绝对值越大越好；“S”越趋近于 0 越好。
R = [∑XiYi - m (∑Xi / m)(∑Yi / m)]/ SQR{[∑Xi2 - m (∑Xi / m)2][∑Yi2 - m (∑Yi / m)2]} (式1-10) ＊
在(式1-1)中，m为样本容量，即实验次数；Xi、Yi分别任意一组实验X、Y的数值。微积分应用课题一 最小二乘法
从前面的学习中, 我们知道最小二乘法可以用来处理一组数据, 可以从一组测定的数据中寻求变量之间的依赖关系, 这种函数关系称为经验公式. 本课题将介绍最小二乘法的精确定义及如何寻求 与 之间近似成线性关系时的经验公式. 假定实验测得变量之间的 个数据 , , …, , 则在 平面上, 可以得到 个点 , 这种图形称为“散点图”, 从图中可以粗略看出这些点大致散落在某直线近旁, 我们认为 与 之间近似为一线性函数, 下面介绍求解步骤.
考虑函数 , 其中 和 是待定常数. 如果 在一直线上, 可以认为变量之间的关系为 . 但一般说来, 这些点不可能在同一直线上. 记 , 它反映了用直线 来描述 , 时, 计算值 与实际值 产生的偏差. 当然要求偏差越小越好, 但由于 可正可负, 因此不能认为总偏差 时, 函数 就很好地反映了变量之间的关系, 因为此时每个偏差的绝对值可能很大. 为了改进这一缺陷, 就考虑用 来代替 . 但是由于绝对值不易作解析运算, 因此, 进一步用 来度量总偏差. 因偏差的平方和最小可以保证每个偏差都不会很大. 于是问题归结为确定 中的常数 和 , 使 为最小. 用这种方法确定系数 , 的方法称为最小二乘法.

最小二乘大约是1795年高斯在他那星体运动轨道预报工作中提出的[1]。

后来，最小二乘法就成了估计理论的奠基石。由于最小二乘法结构简单，编制程序也不困难，所以它颇受人们重视，应用相当广泛。
如用标准符号，最小二乘估计可被表示为：
AX=B (2-43)
上式中的解是最小化 ，通过下式中的伪逆可求得：
A'AX=A'B (2-44)
(A'A)^(-1)A'AX=(A'A)^(-1)A'B (2-45)
由于
(A'A)^-1A'A=I (2-46)
所以有
X=(A'A)^(-1)A'B (2-47)
此即最小
二乘的一次完成算法，现代的递推算法，更适用于计算机的在线辨识。
最小二乘是一种最基本的辨识方法，但它具有两方面的缺陷[1]：一是当模型噪声是有色噪声时，最小二乘估计不是无偏、一致估计；二是随着数据的增长，将出现所谓的“数据饱和”现象。针对这两个问题，出现了相应的辨识算法，如遗忘因子法、限定记忆法、偏差补偿法、增广最小二乘、广义最小二乘、辅助变量法、二步法及多级最小二乘法等。