最小二乘法概述

最小二乘法

一、简介

最小二乘法，又称最小平方法，是一种数学技术。它通过最小误差的平方和寻找数据函数的最佳匹配。最小二乘法是提供“观测组合”的主要工具之一，它依据对某事件的大量观测而获得“最佳”结果或“最可能”表现形式。如已知两变量为线性关系bx a y +=，对其进行)2(>n n 次观测而获得n 对数据。若将这n 对数据代入方程求解a ,b 之值则无确定解。最小二乘法提供了一个求解方法,其基本思想就是寻找“最接近”这n 个观测点的直线。最小二乘法不仅是19世纪最重要的统计方法,而且还可以称为数理统计学之灵魂。相关回归分析、方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础。作为其进一步发展或纠正其不足而采取的对策，不少近现代的数理统计学分支也是在最小二乘法基础上衍生出来的。

最小二乘法之于数理统计学，有如微积分之于数学，这并非夸张之辞。统计学应用的几个分支如相关分析、回归分析、方差分析和线性模型理论等，其关键都在于最小二乘法的应用不少现代的统计学研究是在此法的基础上衍生出来，作为其进一步发展或纠正其不足之处而采取的对策，如回归分析中一系列修正最小二乘法而产生的估计方法等就是最好的例子。

二、创立思想

勒让德在先驱者解线性方程组的基础上，以整体的思想方法创立了最小二乘法；高斯由寻找随机误差函数为突破，以独特的概率思想导出了正态分布，详尽地阐述了最小二乘法的理论依据。

最小二乘法(OLSE)的思想就是要使得观测点和估计点的距离平方和达到最小，在各方程的误差之间建立一种平衡，从而防止某一极端误差，对决定参数的估计值取得支配地位，有助于揭示系统的更接近真实的状态。这里的“二乘”指的是用平方来度量观测点与估计点的远近，“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小。 三、原理

设一组数据(,)i i x y (1,2,,)i n = ,现用近似曲线)(x y ϕ=拟合这组数据,“拟合得最好”的标准是所选择的()x ϕ在i x 处的函数值()i x ϕ(1,2,,)i n = 与

i y (1,2,,)i n = 相差很小,即偏差（也称残差）()i i x y ϕ-(1,2,,)i n = 都很小.一种方法是使偏差之和()1n

i i i x y ϕ=⎡⎤⎣⎦∑－很小来保证每个偏差都很小.但偏差有正有

负,在求和的时候可能相互抵消.为了避免这种情况,还可使偏差的绝对值之和

()1

||n

i i i x y ϕ=-∑为最小.但这个式子中有绝对值符号,不便于分析讨论.由于任何实

数的平方都是正数或零,因而我们可选择使“偏差平方和21n

i i i x y ϕ=-∑［（）］

最小”的原则来保证每个偏差的绝对值都很小,从而得到最佳拟合曲线y =()x ϕ.这种“偏差平方和最小”的原则称为最小二乘原则,而按最小二乘法原则拟合曲线的方法称为最小二乘法或称最小二乘曲线拟合法.

一般而言,所求得的拟合函数可以使不同的函数类,拟合曲线()x ϕ都是由m 个线性无关函数()1x ϕ,()2x ϕ ,…, ()m x ϕ的线性组合而成,即

()()()()1122m m x a x a x a x ϕϕϕϕ=+++…)1(-

其中1a ，2a ，…，m a 为待定系数.线性无关函数()1x ϕ,()2x ϕ ,…()m x ϕ,称为基函数,常用的基函数有: 多项式：1,x , 2x ,…,m x ;

三角函数： sin x ,sin 2x ,…,sin mx ;

指数函数：x x x m e e e λλλ,,,21 ,x λ２ｅ,…,x λｍｅ.

最小二乘法又称曲线拟合,所谓“ 拟合” ,即不要求所作的曲线完全通过所有的数据点,只要求所得的近似曲线能反映数据的基本趋势,它的实质是离散情况下的最小平方逼近.

四、运用曲线拟合做最小二乘法 1 一元线性拟合

已知实测到的一组数据(,)i i x y (1,2,,)i n = ,求作这组数据所成的一元线性关系式.设线性关系式为y a bx =+,求出a 和b 即可.

法一：即要满足

则）（令,0,0,,1

2

=∂∂=∂∂--=∑

=b

s

a s

b a bx a y s n

i i i ,则,a b 要满足

s a ∂∂＝0,s

b

∂∂＝0.即 1

1()()n

i i i n i i i

i s

y a bx a s y a bx x b

==∂⎧--⎪⎪∂⎨∂⎪--⎪∂⎩∑∑＝－2＝0＝－2＝0

化简得

11

21

11n n i i i i n

n n

i i i i i i i b a x y n n a x b x x y =====⎧

⎪⎪⎨⎪⎪⎩∑∑∑∑∑１＋＝＋＝ 从中解出

1112211111n n n i i i i

i i i n n i i i i n n i i

i i n x y x y

b n x x b a y x n n =======⎧⎪⎪⎪⎛⎫ ⎪⎨

⎝⎭⎪⎪⎪⎩

∑∑∑∑∑∑∑－＝－＝－ （1） 法二：将i x ,i y 代入y a bx =+得矛盾方程组

11

22

n y a bx y a bx y a bx n

=+⎧⎪=+⎪⎨

⎪⎪=+⎩ (2) 令A =121

1

1

n x x x ⎛⎫ ⎪

⎪ ⎪ ⎪

⎝⎭ ,B =12n y y y ⎛⎫

⎪ ⎪ ⎪ ⎪⎝⎭

,则（2）式可写成b B A a ⎛=⎫

⎪⎝⎭,则对应的正规方程组为

T

T

a b A B A A ⎛=⎫ ⎪⎝⎭

,所以a b ⎛⎫ ⎪

⎝⎭=1()T T

A A A

B -,其中A 称为结构矩阵,B 称为数据矩阵,T A A 称为信息矩阵,T

A B 称为常数矩阵.

2 多元线性拟合

设变量y 与n 个变量1x ,2x ,…,n x （1n ≥）内在联系是线性的,即有如下关系式

∑=+=n

j j j x a a y 1

0,设j x 的第i 次测量值为ij x ,对应的函数值为i y (1,2,,)i m = ,则偏差平