最小一乘法及最小二乘法简单比较

有关“平均”的概念（及这些概念真正的内涵）：

算术平均数几何平均数调和平均数中位数

---------------------关于它们之间关系不等式及其推导证明

/////////////////////////////////////////////////////

区别------- 由最小一乘法到最小二乘法

最小二乘法与最小一乘法均是进行回归分析的方法

/////////////////////////////////////////////////////

最小一乘法least absolute deviation

最小一乘法只要求各实测回归直线的纵向距离的绝对值之和为最小

它不要求随机误差服从正态分布，“稳健性”比最小二乘法好

在数据随机误差不服从正态分布时，本法的统计性能优于最小二乘法

/////////////////////////////////////////////////////

最小二乘法

“ 赋予误差的平方和为极小,则意味着在这些误差之间建立了一种均衡性,它阻止于极端情形所施加的影响。这非常好地应用于揭示最接近真实情形的系统状况。”

/////////////////////////////////////////////////////

最小二乘法与最小一乘法的区别

异常值对回归线的影响:

在回归分析的最小二乘法估计中,远离中心的突出点,对参数的计算结果有较大的影响。这样,就好理解下面的问题: 在歌手电视大奖赛上,10 个评委亮分之后,为什么要去掉最高分和最低分了。而在最小一乘法估计中,异常值的影响一般较小。

//////////////////////////////////////////////////////////////

① 对于一维情况

设有 n 个数 a 1， a 2， …， a n ，要找一个数 x 反映这组数的总的情况， 使得 x 和这 n 个数的偏差 x- a 1 ，x- a 2 ，… ， x- a n 在总体上说来尽可能地小。

区别：

1()n i

i x a =-∑ 21()n i

i x a =-∑

为何是一个,而不是另一个 ?

偏差有正有负, 直接相加会正负相消, 而导致不能反映总体的情况

设 21()

n i i D x a ==-∑ ， 则 12()n i i dD x a dx ==-∑

令

0dD dx = 即 120n a a a x n ++⋅⋅⋅+== x 为n 个数 a 1, a 2, …, a n 的算术平均值

住： 算术平均数 x 满足 1()0n i i x a =-=∑ 的性质

再如,找一个数1n i

i D x a ==-∑ 使其取值最小呢 ?

回答是肯定的, 这就是最小一乘法准则

所求的这个数就是中位数 med

---------总 之----------

求 x 使 2

1()n i i D x a ==-∑ 达到最小的方法称为最小二乘法

由最小二乘法得到的就是算术平均数 而 使 1n

i i D x a ==-∑ 达到最小的方法称为最小一乘法

由最小一乘法得到的就是中位数

② 对于二维情况

已知两点(x 1，y 1)， (x 2，y 2)可确定一条直线 y=a+bx ，这只需将两点坐标代入直线方程， 解出 a ，b 即可。

将两点推广到 n 个点, 如何确定线性回归直线呢?

求出 a , b ,使得(x 1 ,y 1 ) , (x 2 ,y 2 ) , …, ( x n ,y n )各点沿 y 轴到直线y = a + bx 的偏差的绝对值和最小 ,即

1()min n i i

i y a bx =-+=∑ 即为最小一乘法准则

最常用的是利用最小二乘法准则

即求出 a ，b ，使得(x 1，y 1), (x 2，y 2)，...，(x n ，y n )各点沿 y 轴到直线 y=a+bx 的偏差的平方之和最小

即 []21()()min

n i i i f y a bx β==-+=∑

对式中的 a,b 分别求偏导并令其为 0,若其系数行列式不为 0 ,则可求得唯一的 a ,b 的显式表达,它们即为所求的回归系数。