最小二乘法原理及算例优秀课件

a n 0
a n
1 ...
a n n
,f
0
,f
1
...
,
n
f
可知
a 当 ( x ), ( x ),... ( x ) 线性无关时 存, 在唯一解
0
1
n
i ( i 0 ,1,..., n )
n
a i i ( x )就是所求的拟合函数
i0
•最小二乘法的几种特例
主页
•曲线拟合的最小二乘法
• 最小二乘原理
当由实验提供了大量数据时,不能要求拟合函数 ( x)
在数据点(
xi
,
y) i
处的偏差,即
i (xi)yi (i=1,2,…,m)
严格为零,但为了使近似曲线尽量反映所给数据点的变化趋
势 ,需对偏差有所要求.通常要求偏差平方和
m
m
| 2 i|(
(xi)yi)2
i
y
i
... ... ... ... ... ...
xn i
xn1 i
...
x
2n i
a
n
xn i
y i
由此可得到相应的系数 a i (i 0,1,..., n )
即可求得拟合函数 ( x )
2. 特别的当n 1时,这就是用途最广的线拟性合.
对于拟合函数 y a0 b0 x
j
i
i
n
a 则有 :
, , f
k
j
k0
k j
可得矩阵
( j 0 ,1,..., n )
, , ...
0 0
0
1
, , ...
1
0
...
n , 0
1
1
...
...
, ...
n
1
, 0
, 1 ...
, n
强度 kg/mm2
5.5 5.0 5.5 6.4 6.0 5.3 6.5 7.0 8.5 8.0 8.1 8.1
9 8 7 6 5
4 3 2 1 0
0
2
4
6
8
10
12
• 从上图中可以看出强度与拉伸倍数大致成线形关系， 可用一条直线来表示两者之间的关系。
• 解：设 y*=a+bxi ，令δ=yi-y*i=yi-a-bxi，根据最
解 1 .确 定 V = ( I ) 的 形 式 。将 数 据 点 描 绘 在 坐 标 上（ 如
下 图 ）， 可 以 看 出 这 些 点 在 一 条 直 线 的 附 近 ， 故 用 线
形拟合数据，即
V a0 a1I 2.建 立 方 程 组 。
二 线性最小问题的存在与唯一
• 在科学实验中，很多情况数据间存在线性或可转化为 线性的关系。线性最小二乘是最基本也是最重要的一 种。
即 m
xi
xxi2iab00
y
i
xi yi
解得a0 , b0即可
例题
下面举个例子以说明用最小二乘法解题的步骤。
例 电 流 通 过 2Ω 电 阻 ， 用 伏 安 法 侧 得 的 电 压 电 流 如
表
I(A ) 1 2 4 V (V ) 1.8 3.7 8.2 用最小二乘法处理数据。
6 8 10 12.0 15.8 20.2
9
4.0
10
4.0
11
4.5
12
4.6
强度 kg/mm2
1.4 1.3 1.8 2.5 2.8 2.5 3.0 2.7 4.0 3.5 4.2 3.5
编号
13 14 15 16 17 18 19 20 21 22 23 24
拉伸倍数
5.0 5.2 6.0 6.3 6.5 7.1 8.0 8.0 8.9 9.0 9.5 10.0
小二乘原理，即使误差的平方和达到最小，也就是令
•
Q=n∑δi2
•
i=1
为最小 ，即求使
y x) ••
• ••
(a,b)=
24
24
2 ( ab
2
i
i
i
i1
i1
有最小值的a和b的值。
• 计算出它的正规方程得
24a12.57b11.13 12.57a82.69b173.610
• 解得： a=0.15 , b=0.859 直线方程为：y*=0.15+0.859x
一 问题的提出
插值法是使用插值多项式来逼近未知或复杂函数的，它 要求插值函 数与被插函数在插值节点上函数值相同 ，而在其他点上没有要求。在非 插值节点上有时函数值会相差很大 。若要求在被插函数的定义区间上， 所选近似函数都能与被插函数有较好的近似，就是最佳逼近问题。 最佳逼近是在函数空间 M中选 P(x) 满足
mfa (x)x p (x)m in(*)
a x b
但由于绝对值函数不宜进行分析运算,常将上式化为
a b(x)(f(x ) p (x )ห้องสมุดไป่ตู้d ) xmin
来讨论 ，于是最佳逼近问题变为最佳平方逼近问题 ,而离散的最佳平方逼 进问题就是常说的曲线拟合
m i(f(xi)p(xi)2 )min
i0
它们都可用最小二乘法求解。
i1
i1
最小,此即称为最小二乘原理
•最小二乘法的求法
设近似方程为
: ( 共有 m 组数据且 m n)
a a a y *
(x)
( x ) ...
(x)
0
0
1
1
n
n
a a a y y ( , ,...,
0
1
m
*
) (
n
i
) 2 min
i
i1
对函数
m
No 求偏导数并令其为零 n
最小二乘法原理及算例
实例讲解
• 某种合成纤维的强度与其拉伸倍数有直 接关系，下表是实际测定的24个纤维样 品的强度与相应拉伸倍数的记录。
• 提示：将拉伸倍数作为x, 强度作为y,在座 标纸上标出各点，可以发现什么?
数据表格
编号 拉伸倍数
1
1.9
2
2.0
3
2.1
4
2.5
5
2.7
6
2.7
7
3.5
8
3.5
, 可得 : 0
aj
2(
a k
x( )
k
i
y ) i
x( )
j
i
0
Image i1
k0
a x x y x 得
:
2
m
n
i1 k 0
k
()
k
i
m
( )
j
i
i1
i
(
j
i
)
0
若引入记号
m
x x : ,
() ()
j
k
i1
j
i
k
i
m
x y , f
()
j
i1
• 1 线性最小二乘问题与线性最小二乘求解 设 Ax=b
•
其中 AR mn，bR m，x R n
当mn 时，上方程超定方程组
• 令 r =b-Ax ， 一般，超定方程无通常意义下解，
1. 作为曲线拟合的一种常 见情况 , 拟合函数常为代数多项 式: ,
即拟合函数 :
( x ) a 0 a1 x a 2 x2 ... a n xn
则以同样原理 ,的相应法方程组 (共有 m组数据且 m n)
m
xi
xi
x2 i
... ...
xn i
a0
x
n i
1
a
1
y xi