最小二乘拟合多项式

(a0,a1,L,an)
(a0,a1,L,an)
(a 0 ,a 1 , ,a n ) my k (a n x k n a 1 x k a 0 )2
k 1
0 a j k m 1y k (a n x k n a 1 x k a 0 )x k j, j 0 ,1 , ,n
a0sj a1sj1Lansjnuj,
a0s1 a1s2 L ansn1 u1
j0,1,L,n.
L
称为正规方程组（或法方程组）。 a0sn a1sn1 L ans2n un
可以证明：当 x0,x1,L xn, 互异时，该方程组有唯一解，并
是最小值问题的解。
法方程组 可写成以 下形式:
令
这就是数据拟合，又称曲线拟合，所求出的曲线称为拟合曲线。
拟合问题的几何背景是寻求一条近似通过给定离散点的曲线，故称
曲线拟合问题。
曲线拟合问题最常用的解法 最小二乘法
考虑问题：测得铜导线在温度 x时的电阻 y如下：
k1
2
温度 x 19.10 25.00
电阻 y 76.30 77.80
3 30.10 79.25
4
5
6
36.00 40.00 45.10
80.80 82.35 83.90
求电阻 y 和温度 x之间的关系.
7 50.00 85.10
1) 将变量所对应的点(数据点)在坐标平面中描绘出来。这些点
组成了变量之间的一个图，通常称这种图为变量之间的散点图。
电阻
20 30 40 50 温度
2) 可以看出，电阻随着温度增加而增大，并且这7个点大致分布在一条直 线附近，因此可认为电阻与温度之间的主要关系是线性关系。建立适当 的数学模型。
1
xm
1
T
1
x0 x1
L L
x
n 0
x
n 1
M M
M
M M
M
x0n
x1n L
n x m (n1)(m1)
1
xm
L
x
n m
则法方程系数矩阵为： T 常数项为：
Ta y
T
y0
y
y1
M
n
yi
i1
yn
y
n
xiyi
i1
M
n
i1
x
m i
yห้องสมุดไป่ตู้i
其他类型的拟合问题
7
令(a,b) yk (abxk)2，考虑如下问题：
k1
min(a,b) a,b
利用极值必要条件，有
0
(a,b)
a
7
2 yk
k1
(abxk)
0
(a,b)
b
7
2 yk
k1
(abxk)xk
整理，得到如下线性方程组
一般地，我们有
a
7 k 1
1
b
7 k 1
xk
7 k 1
yk
7
7
7
.
a
k1
xk
b
k 1
xk2
k 1
xk yk
问题： 设给定一组数据实验次数
(xi, yi), i 1,2,,m (mn),
求一n个 次多项Pn式 (x)anxn a1xa0,即求一组a参 0,a数 1,,
an,使
称为数据的最小二乘拟合多项式！
m
(a0,a1,,an) yk Pn(xk)2
k1
取最小. 值
m in
m
m
xk
k 1
M
m
xkn
k 1
m
xk
k 1
m
xk2
k 1
M
m
xn1 k k 1
L
m
xkn
n
yi
L
k1 m x n1 k
k 1
a0
a1
M
i 1
n
xi yi
i 1
M
M
m
an
M
n
L
xk2n
k 1
xin yi
i1
1 1 L
x0
x1 L
因此，我们需要一种新的逼近原函数的办法
解决方案：
1. 不要求过所有数据点（可以消除误差影响）； 2. 尽可能地刻画数据点的趋势，靠近这些数据点。
插值与拟合的关系：
问题：给定一组数据点，构造一个函数作为近似（或逼近）。 解决方案：
1. 若要求所求曲线通过给定的所有数据点，就是插值问题； 2. 若不要求曲线通过所有数据点，而是要求它反映数据点的整体变化趋势，
m
m
m
m
a 0 x k j a 1 x k j 1 a n x k j ny k x k j, j 0 ,1 , ,n .
k 1
k 1
k 1
k 1
n+1个方程
sj
s j1
s jn
uj
n+1个变量
令 m
m
sj xkj,uj ykxkj,则上述线性方程组变为
k1
k1
a0s0 a1s1 L ansn u0
问题：如何得到参数a和b，使整体误差达到最小？
常用的三种准则是：
1)将使残差的 绝一 m 对 k a个 k达 值 x 到 中最 最 m a,b m i小 大 kna |k ， x|；即
2)将使残差|绝 k|达对 到值 最 m a,b 之 i小 n |和 k； |，即
k
k
3将 ) 使残 差 k | k|的 2达平 到方 最 m a,b和 i小 kn | k|2 ， . 即
换句话说：寻求 P( x) ，使其在某种准则下与所有数据点最为接近，
即曲线拟合得最好。
拟合的含义是：不要求 P( x) 所对应的曲线完全通过所有的数据点，只
要求它能够反映数据的整体变化趋势。
为什么不能使用插值函数来逼近？
由于观测数据数目较大，又往往带有观测误差，对于这类问题使用插值 函数来逼近，插值函数会将这些误差也包括在内，这是不适当的！
yˆ abx
问题：如何选择a和b，使得到的方程与实际情况比较符合.
引入残差的概k念 次： 观在 测第 数据中yˆ， k与模 实型 测 y值 k 值 有误差：
k(a,b)yk yˆk yk (abxk),k1,2,,7. 通常称 k为残. 差
易见，在数据给定的前提下，误差的大小仅依赖于a,b的选择。反过来，衡量 a,b的好坏可以由整体误差的大小来确定。
第二节 最小二乘拟合多项式 最小二乘拟合问题：
数据处理问题
在实际,问 往题 往中 会~~通 ~~~~~过 ~ 累 实了 验一 观,组 测 (xi,y数 积 i),i 据 1, 2,,m(一般 ,m地 比较 ),如 大何从这批发 实 ,寻 验求 数： 据一 函P 数 (x)用以逼近这隐 组藏 数的 据函 背 y数 后 f(x关 )？系
由于准测（１）、（２）含有绝对值不便于处理，通常采用
准测（３），并称基于准则（３）来选取拟合曲线的方法 ，称为曲线拟合的最小二乘法。
3) 确定拟合曲线. 求解如下的二元函数极值问题.
min a,b
|k |2.
k
其 k ( a , b ) 中 y k y ˆ k y k ( a b k ) k x , 1 , 2 , , 7 .