2015最小二乘法与曲线拟合

（提示：将拉伸倍数作为x, 强度作为y, 在座标纸上标出各点，可以发现什么?）
9 8 7 6 5 4 3 2 1 0 0 2 4 6 8 10 12
从上图中可以看出强度与拉伸倍数大致成线形关系， 可用一条直线来表示两者之间的关系。
解：设
则：
y=a+bx
a 1.9 b 1.4 a 2.0b 1.3 a 9.5b 8.1 a 10.0 8.1
1 1 1 A 1 1 1 0 0 .2 0 .4 0 .6 0 .8 1 .0
1.000 0 1.221 0.04 1.492 0.16 b 1.882 0.36 2.226 0.64 2.718 1
由
AT Ax AT b 可得
3 2.2 a0 10.479 6 3 2 .2 1.8 a1 6.433 2.2 1.8 1.5664 a2 5.08612
0 1.006321428,1 0.862589295,2 0.842410704
由 AT Ax AT b
计算出它的正规方程得
24a 127.5b 113.1 127.5a 829.61b 731.60
解得： a=0.15 , b=0.859 直线方程为：y=0.15+0.859x
例
设有某实验数据如下： 2 1.37 3 1.95 4 2.28
yi 14.094
其中
xi 7.32
i 1
4
x
i 1
4 i 1 i
4
2 i
13.8434
i
y
i 1
4
i
70.376
x y
132.12985
将以上数据代入上式正规方程组,得 4a0 7.32a1 70.376 7.32a0 13.8434a1 132.12985
x i1.36
i
1
16.844 18.475 20.963
用最小二乘法求以上数据的拟合函数
解:把表中所给数据画在坐标纸上,将会看到数据 点的分布可以用一条直线来近似地描述,
设所求的拟合直线为
y( x) a0 a1 x
则正规方程组为
4 4 4a0 a1 xi yi i 1 i 1 4 4 4 2 a x a x 0 i 1 i xi y i i 1 i 1 i 1
例1 设函数y=f(x)的离散数据如下表所示
0 1 0.2 1.221
i
2 0.4 1.492
3 0.6 1.822
4 0.8 2.226
5 1 2.718
yi
xi
0 1.000
试用二次多项式拟和上述数据 解：设
y a0 a1x a2 x2
则
a0 0a1 0a2 1.000 a0 0.2a1 0.04a2 1.221 a0 0.4a1 0.16a2 1.492 a0 0.6a1 0.36a2 1.822 a0 0.8a1 0.64a2 2.226 a0 a1 a2 2.718
其法方程组为
6a0 15a1 55a 2 14 15a 0 55a1 225a 2 30 55a 225a 979a 122 1 2 0
解之得
a0 4.7143 , a1 2.7857 , a2 0.5000
所求的多项式为
y 4.7143 2.7857x 0.5000x 2
y a0 a1x a2 x am x
2
m
来拟合所给定的数据，与线性拟合类似，使偏差的 平方和
Q ( yi a j xij )2
i 1 j 0
n
m
为最小
Q ( yi a j xi )
j i 1 j 0
n
m
2
由于Q可以看作是关于 ( j=0,1,2,…, m)的多元函 数 , 故上述拟合多项式的构造问题可归结为多元 函数的极值问题。令
5 55 a0 109 55 979 1962 a 2
a0 0.641177 , a2 2.040107
2
y 0.641177 2.040107 x
（3）可化为线性拟合的非线性拟合 例 设某实验数据如下: 1 2 3 4 5 6
代人 y( x) a0 a1 x 即得拟合曲线。
求解该方程组，解得 a0与a1
例：某种合成纤维的强度与其拉伸倍数有直接关 系，下表是实际测定的24个纤维样品的强度与 相应拉伸倍数的记录。试确定这种关系。
编号 1 2 3 4 5 6 7 8 9 10 11 12 拉伸倍数 1.9 2.0 2.1 2.5 2.7 2.7 3.5 3.5 4.0 4.0 4.5 4.6 强度 kg/mm2 1.4 1.3 1.8 2.5 2.8 2.5 3.0 2.7 4.0 3.5 4.2 3.5 编号 13 14 15 16 17 18 19 20 21 22 23 24 拉伸倍数 5.0 5.2 6.0 6.3 6.5 7.1 8.0 8.0 8.9 9.0 9.5 10.0 强度 kg/mm2 5.5 5.0 5.5 6.4 6.0 5.3 6.5 7.0 8.5 8.0 8.1 8.1
Q 0, k 0,1,2,, m a k
得
j k ( y a x ) x i j i i 0, i 1 j 0
n
m
k 0,1,, m
即有
m a0n a1 xi am xi yi 2 m 1 a x a x a x xi yi 0 i 1 i m i a0 xim a1 xim1 am xi2 m xim yi
n
n
2
为最小。这种要求误差（偏差）平方和最小的 拟合称为曲线拟合的最小二乘法。
实质仍然是求矛盾方程组的最小二乘解。
（1）直线拟合 设已知数据点 xi , yi , i 1,2,, m , 分布大致为一条直线。 作拟合直线
该直线不是通过所有的数据点 x , y , i i 而是使偏差平方和
T
e 的1-范数
e
1
为了便于计算、分析与应用，通常要求 e 的2-范数
e
2
2 i i 0
n
1 2
即
ຫໍສະໝຸດ Baidu
2 n ( xi ) f ( x i ) i 0
1 2
e
2 2

2 i ( xi ) f ( x i ) i 0 i 0
这是关于系数
aj
的线性方程组
正则方程组
也可利用矛盾方程组来做
a0 a1 x1 a x y1 a0 a1 x2 a x y2 m a0 a1 xn am xn yn
m m 1 m m 2
利用
A Ax A b
y( x) a0 a1 x
F (a0 , a1 ) (a0 a1 xi yi ) 2 为最小，
i 1
m
其中每组数据与拟合曲线的偏差为
y( xi ) yi a0 a1 xi yi
i 1,2,, m
根据最小二乘原理，应取 a0 和 a1使 F (a0 , a1 ) 有 极小值， 故 a0 和 a1应满足下列条件：
留着一切测试误差。
希望从给定的数据(xi,yi)出发,构造一个近似函数 ( x) ,不要求函数 完全通过所有的数据点，只要求所得 ( x) 的近似曲线能反映数据的基本趋势， 如图1所示。 y 图1 曲线拟合示意图
o
x
曲线拟合函数 ( x) 不要求严格地通过所有数据点 也就是说拟合函数 ( x) 在xi处的偏差(亦称残差）
2
由法方程组（5.46）, n=6, 经计算得
2 x 15 , x 55 , x 225 , x 797 , y 14 , x y 30 , x i i i i i yi 122 i 1 i 1 i 1 i 1 i 1 i 1 i 1 6 6
i
xi yi
0 0.5 1 1.5 2
2.5
2.0 1.0 0.9 0.6 0.4 0.3
用最小二乘法求拟合曲线
, 解得 a0 3.9374 a1 7.4626
即得拟合直线 y 3.9374 7.4626 x
（2）多项式拟合
有时所给数据点的分布并不一定近似地呈一条
直线,这时仍用直线拟合显然是不合适的 ,可用多项
式拟合。 对于给定的一组数据， xi , yi , i 1,2,, n 寻求次数不超过m (m<<n ) 的多项式，
最小二乘法与曲线拟合 如果已知函数f(x)在若干点xi(i=1,2,…,n)处 的值yi,便可根据插值原理来建立插值多项式作为
f(x)的近似。但在科学实验和生产实践中，往往会
遇到这样一种情况，即节点上的函数值并不是很精 确的，这些函数值是由实验或观测得到的数据，不 可避免地带有测量误差，如果要求所得的近似函数 曲线精确无误地通过所有的点(xi,yi),就会使曲线保
m F (a 0 , a1 ) 2 (a 0 a1 xi y i ) 0 a 0 i 1 m F ( a , a ) 0 1 2 (a 0 a1 xi y i )xi 0 a1 i 1
即得如下正规方程组
m m a0 m a1 xi y i i 1 i 1 m m m 2 a 1 xi a 0 xi xi y i i 1 i 1 i 1
i ( xi ) f ( xi ) (i 0,1,, n)
不都严格地等于零。即为矛盾方程组。
但是,为了使近似曲线能尽量反映所给数据点的 变化趋势,要求 i 按某种度量标准最小。若记向量 即要求向量 e 或∞-范数 e
e 0 , 1 ,, n 的某种范数 e 最小,如
T T
m a0n a1 xi am xi yi 即有 2 m 1 a x a x a x xi yi 0 i 1 i m i a0 xim a1 xim1 am xi2 m xim yi
xi 0 1 2 3 4 5 yi 5 2 1 1 2 3 用最小二乘法求一个多项式拟合这组数据
解：将已给数据点描在坐标系中，可以看出这些点 接近一条抛物线，因此设所求的多项式为
i
例 设某实验数据如下： 1 2 3 4 5 6
y a0 a1 x a2 x
6 6 2 i 6 3 i 6 4 i 6
y 1.006321428 0.862589295x 0.842410704x2
2 y a a x 例：试用最小二乘法求形如 0 2 的多项 式，使之与下列数据拟合。
xi
yi
1 2
2 9
3 16
4 30
5 52
2 9 b 16 30 52
解： 由题目可知：
a0 a 2 2 a0 4 a 2 9 a0 9a2 16 a0 16a2 30 a0 25a2 52
1 1 1 4 A 1 9 1 16 1 25
由
AT Ax AT b 可得