最小二乘法的基本原理和多项式拟合

I = ∑ (∑ a k xik − y i ) 2
i =0 k =0 m n
为 a 0 , a1 , L a n 的多元函数，因此上述问题即为求 I = I (a 0 , a1 ,L a n ) 的极值 问题。由多元函数 求极值的必要条件，得
m n ∂I = 2∑ (∑ a k xik − y i ) xij = 0, ∂a j i =0 k =0
x i2 x i3 x i4
xi y i 10 15 16 10 6 7 16 27 40 147
xi2 y i
∑
1 9 16 25 36 49 64 81 100 381
1 27 64 125 216 343 512 729 1000 3017
1 81 256 625 1296 2401 4096 6561 10000 25317
j = 0,1, L , n
(2)
即 k =0
∑ (∑ xij + k ) a k = ∑ xij y i ,
i =0 i =0
n
m
m
j = 0,1, L , n
(3)
（3）是关于 a 0 , a1 , L a n 的线性方程组，用矩阵表示为
⎡ ⎢m +1 ⎢ m ⎢ x i ⎢∑ i =0 ⎢ M ⎢m ⎢∑ xin ⎢ ⎣ i =0
ri ，即误差 向量 r = ( r , r , L r ) T 的∞—范数；二是误差绝对值的和 ∑ 值 max m 0 1 0≤i ≤ m i =0
m
ri
，即误差向
∑r 量r的1—范数；三是误差平方和
i =0
m
2
i
的算术平方根，即误差向量r的2—范数；前两种方法
简单、自然，但不便于微分运算 ，后一种方法相当于考虑 2—范数的平方，因此在曲线拟合
第一节 最小二乘法的基本原理和多项式拟合
Page 1 of 8
第一节 最小二乘法的基本原理和多项式拟合 一 最小二乘法的基本原理 从整体上考虑近似函数 p ( x ) 同所给数据点 ( xi , y i ) (i=0,1,…,m)误差 ri = p ( xi ) − y i (i=0,1, …,m) 的大小，常用的方法有以下三种：一是误差 ri = p ( xi ) − y i (i=0,1,…,m)绝对值的最大
2008-12-29
第一节 最小二乘法的基本原理和多项式拟合
Page 3 of 8
r
2 2
= ∑ y i2 − ∑ a k (∑ xik y i )
i =0 k =0 i =0
m
n
m
(6)
多项式拟合的一般方法可归纳为以下几步： (1) 由已知数据画出函数粗略的图形——散点图，确定拟合多项式的次数n； (2) 列表计算
解 画出散点图（图6-2），可见测得的数据接近一条直线，故取n=1，拟合函数为 R = a 0 + a1T 列表如下 i 0 1 2 3 4 5 6 Ti 19.1 25.0 30.1 36.0 40.0 45.1 50.0 245.3 Ri 76.30 77.80 79.25 80.80 82.35 83.90 85.10 565.5
其中
p n ( x) = ∑ a k x k
k =0 n
所以 p n ( xi ) = 0 (i=0,1,…,m) pn ( x) 是次数不超过n的多项式，它有m+1＞n个相异零点，由代数基本定理，必须有
mhtml:file://C:\Documents and Settings\邵雷\桌面\最小二乘法\第一节 最小二乘...
∑x
m
n i
式（3）或式（4）称为正规方程组或法方程组。 可以证明，方程组（4）的系数矩阵是一个对称正定矩阵，故存在唯一解。从式（4）中 解出 a k (k=0,1,…，n)，从而可得多项式
p n ( x) = ∑ a k x k
k =0 n
(5)
可以证明，式（5）中的 p n ( x ) 满足式（1），即 p n ( x ) 为所求的拟合多项式。我们把
6-2 例2 已知实验数据如下表 i xi 0 1 10 1 3 5 2 4 4 3 5 2 4 6 1 5 7 1 6 8 2 7 9 3 8 10 4
yi
试用最小二乘法求它的二次拟合多项式。 解 设拟合曲线方程为
2 y = a 0 + a1 x + a 2 x
列表如下 I 0 1 2 3 4 5 6 7 8 xi 1 3 4 5 6 7 8 9 10 53 yi 10 5 4 2 1 1 2 3 4 32
∑ ri2
i =0
m
=
∑ [ p( x ) − y ]
i =0 i i
m
2
= min
从几何意义上讲，就是寻求与给定点 ( xi , y i ) (i=0,1,…,m)的距离平方和为最小的曲线
y = p ( x) （图6-1）。函数 p ( x ) 称为拟合 函数或最小二乘解，求拟合函数 p ( x ) 的方法称为曲
n
因为
m m n n ⎡ n m j+k ⎤ m n n k j j+k a ( x ) a = a a x = ( a x )( a x ) = [ p n ( xi )]2 ∑ ∑ ∑ ∑ ∑ k i j i k ⎥ ∑ ∑∑ k j i j ⎢∑ ∑ i i =0 j =0 i =0 k =0 j =0 ⎣ k =0 i =0 ⎦ i =0 j =0 k =0 n
∑ xi ∑x
i =0 i =0 m 2 i
m
∑x
i =0
m
M
n +1 i
⎤ ⎡ m ⎤ yi ⎥ ⎥ ∑ ⎢ i =0 i =0 ⎥ ⎡a0 ⎤ ⎢ m ⎥ m n +1 ⎥ ⎢ a ⎥ ⎢ ⎥ L ∑ xi ⎢ 1 ⎥ x y ∑ i i = ⎥ ⎢ ⎥ i =0 ⎢ M ⎥ ⎢ i =0 ⎥ M M ⎥ ⎥ ⎢a ⎥ ⎢ m ⎥ m ⎣ n⎦ ⎢∑ xin y i ⎥ L ∑ xi2 n ⎥ ⎢ ⎥ ⎥ ⎣ i =0 ⎦ (4) i =0 ⎦ L
2008-12-29
第一节 最小二乘法的基本原理和多项式拟合
Page 2 of 8
I = ∑ [ p n ( xi ) − y i ]
i =0
m
2
⎛ n ⎞ = ∑ ⎜ ∑ a k xik − y i ⎟ = min (1) i =0 ⎝ k =0 ⎠
m
2
当拟合函数为多项式时，称为多项式拟合，满足式（1）的 p n ( x ) 称为最小二乘拟合多项式。 特别地，当n=1时，称为线性拟合或直线拟合。 显然
线拟合的最小二乘法。 在曲线拟合中，函数类 Φ 可有不同的选取方法.
6—1 二 多项式拟合 假设给定数据点 ( xi , y i ) (i=0,1,…,m)， Φ 为所有次数不超过 n(n ≤ m) 的多项式构成的函数
p n ( x) = ∑ a k x k ∈ Φ
k =0 n
类，现求一
,使得
mhtml:file://C:\Documents and Settings\邵雷\桌面\最小二乘法\第一节 最小二乘...
2008-12-29
第一节 最小二乘法的基本原理和多项式拟合
Page 6 of 8
a 0 = a1 = L a n = 0 ，与齐次方程组有非零解的假设矛盾。因此正规方程组（4）必有唯一解
Ti 2
Ti Ri 1457.330 1945.000 2385.425 2908.800 3294.000 3783.890 4255.000 20029.445
∑
正规方程组为
364.81 625.00 906.01 1296.00 1600.00 2034.01 2500.00 9325.83
解得 a 0 = 13.4597, 故拟合多项式为 y = 13.4597 − 3.6053 + 0.2676 x 2 *三 最小二乘拟合多项式的存在唯一性 定理1 设节点 x0 , x1 , L , x n 互异，则法方程组（4）的解存在唯一。 证 由克莱姆法则，只需证明方程组（4）的系数矩阵非奇异即可。 用反证法，设方程组（4）的系数矩阵奇异，则其所对应的齐次方程组
245.3 ⎤ ⎡a 0 ⎤ ⎡ 565.5 ⎤ ⎡ 7 ⎢245.3 9325.83⎥ ⎢ a ⎥ = ⎢20029.445⎥ ⎣ ⎦⎣ 1 ⎦ ⎣ ⎦
解方程组得
mhtml:file://C:\Documents and Settings\邵雷\桌面\最小二乘法\第一节 最小二乘...
2008-12-29
∑[p
i =0
m
n
( xi ) − y i ]
2
称为最小二乘拟合多项式 p n ( x ) 的平方误差，记作
r
2 2
= ∑ [ p n ( xi ) − y i ]
i =0
m
2
由式(2)可得
mhtml:file://C:\Documents and Settings\邵雷\桌面\最小二乘法\第一节 最小二乘...
∑ xij
i =0
m
( j = 0,1, L ,2n)
和
∑x
i =0
m
j i
yi
( j = 0,1, L ,2n)
；
(3) 写出正规方程组，求出 a 0 , a1 , L a n ；
p n ( x) = ∑ a k x k
k =0 n
(4) 写出拟合多项式
。
在实际应用中， n < m 或 n ≤ m ；当 n = m 时所得的拟合多项式就是拉格朗日或牛顿插值多项 式。 例1 测得铜导线在温度 Ti (℃)时的电阻 Ri (Ω) 如表6-1，求电阻R与温度 T的近似函数关 系。 i Ti (℃) Ri (Ω) 0 19.1 76.30 1 25.0 77.80 2 30.1 79.25 3 36.0 80.80 4 40.0 82.35 5 45.1 83.90 6 50.0 85.10
第一节 最小二乘法的基本原理和多项式拟合
Page 4 of 8
a 0 = 70.572 , 故得R与T的拟合直线为
a1 = 0.921
R = 70.572 + 0.921TFra Baidu bibliotek
利用上述关系式，可以预测不同温度时铜导线的电阻值。例如，由R=0得T=-242.5，即预测温 度 T=-242.5℃时，铜导线无电阻。
⎡ ⎢m +1 ⎢ m ⎢ x i ⎢∑ i =0 ⎢ M ⎢m ⎢∑ xin ⎢ ⎣ i =0
a1 = −3.6053
a 2 = 0.2676
∑ xi ∑x
i =0 i =0 m
2 i
m
∑x
i =0
m
M
n +1 i
⎡ m ⎤ n ⎤ x yi ⎥ ∑ i ⎥ ∑ ⎢ i =0 i =0 ⎥ ⎡a0 ⎤ ⎢ m ⎥ m n +1 ⎥ ⎢ a ⎥ ⎢ L ∑ xi ⎢ 1 ⎥ xi y i ⎥ = ⎢∑ ⎥ ⎥ i =0 i =0 ⎢M⎥ M ⎥⎢ ⎥ ⎢ M ⎥ ⎥ a ⎢m ⎥ m 2n ⎥ ⎣ n ⎦ ⎢∑ xin y i ⎥ L ∑ xi ⎢ i =0 ⎥ （7） ⎥ ⎣ ⎦ i =0 ⎦
∑r 中常采用误差平方和
i =0
m
2
i
来 度量误差 ri (i=0，1，…，m)的整体大小。
数据拟合的具体作法是：对给定数据 ( xi , y i ) (i=0,1,…，m)，在取定的函数类 Φ 中,求
p ( x) ∈ Φ ,使误差 ri = p ( xi ) − y i (i=0,1,…,m)的平方和最小，即
m
L
有非零解。式(7)可写为
∑ (∑ xij + k )a k = 0,
k =0 i =0
n
m
j = 0,1, L , n
（8）
将式（8）中第j个方程乘以 a j (j=0,1,…，n)，然后将新得到的n+1个方程左右两端分别 相
⎡ n m j+k ⎤ a ( x ) a 0 =0 ∑ j ⎢∑ ∑ i k ⎥ 加，得 j =0 ⎣k =0 i=0 ⎦
10 45 64 50 36 49 128 243 400 1025
得正规方程组
mhtml:file://C:\Documents and Settings\邵雷\桌面\最小二乘法\第一节 最小二乘...
2008-12-29
第一节 最小二乘法的基本原理和多项式拟合
Page 5 of 8
52 381 ⎤ ⎡a 0 ⎤ ⎡ 32 ⎤ ⎡ 9 ⎢ 52 381 3017 ⎥ ⎢ a ⎥ = ⎢ 147 ⎥ ⎥ ⎢ ⎥⎢ 1 ⎥ ⎢ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ a 381 3017 25317 1025 ⎦ ⎣ ⎦⎣ 2 ⎦ ⎣