最小二乘法的推导过程便于记忆

最小二乘法的推导 方便记忆

1.设拟合直线为

bx a y +=2.有任意观察点（）

i i y x ,3.观察点与拟合直线上的点，横坐标是相等的，纵坐标差一个距离，设这个距离为

)(,i i i i bx a y d d +-=则有4.设，则有当取最小值的时候，拟合直线与观察点的拟合程度最高

∑==n i i i d

D 12i D 5.下面开始求当什么时候时，取最小值

i D 6. ∑∑==--==n

i i i n i i i bx a y d

D 1212)(7.对求一阶偏导，分别求对a 的和对b 的一阶偏导

i D ∑∑∑===---=---=---=∂∂n i n i n i i n i i i i i i i x b na y bx a y bx a y a D 111)(2)(2)1)((2∑=1 ∑∑∑===---=---=--=∂∂n i n i i i i n i i i i i i i x bx a y x bx a y bx a y b D 11

12)(2))((2)( ）∑∑∑∑====---=---=n i n

i i n i i i i n i i

i i i x b x a y x bx ax y x 11

2112

(2)(2 8. 分别对a 和b 的二阶偏导数大于或等于零，证明略，意义不大

i D 9.令分别对a 和b 的一阶偏导数等于零，解a 和b

i D ⎪⎪⎩⎪⎪⎨⎧=--=--∑∑∑∑∑=====n i n i i n i i i i n i i n

i i x b x a y x x b na y 1

1211100 令∑∑====n

i i n i i

y y n x x n 11,

代入上式，则有

⎪⎩⎪⎨⎧=--=--0

02x bn x an xy n x bn na y n 转为矩阵形式，消掉n ，则有⎥⎥⎦

⎤⎢⎢⎣⎡xy x x y x 21 10.由高斯消元法，有

⎥⎥⎦

⎤⎢⎢⎣⎡--y x xy x x y x 22)

(01

11.解得 ⎪⎩

⎪⎨⎧--=-=22)(x x y x xy b x b y a

后记，这种形式的公式显然比书上的形式好记一些，比较对称，如果愿意转换成书上的形式，可以上下都乘以一个

n