最小二乘法原理及算例PPT演示课件

m

|

2 i
|

m

(
(
x
i
)

yi)2
i1
i1
最小,此即称为最小二乘原理
8
•最小二乘法的求法
设近似方程为: (共有m组数据且m n)
a a a y*
(x)
( x) ...
( x)
0
0
11
n
n
a a a y y (
,
m
*
,..., ) (
)2 min
max f ( x) p( x) min (*)
a xb
但由于绝对值函数不宜进行分析运算,常将上式化为
b
a

(x)(
f
(x)
p( x))2 dx

min
来讨论 ，于是最佳逼近问题变为最佳平方逼近问题 ,而离散的最佳平方逼
进问题就是常说的曲线拟合
m
( i
f
( xi
)
p( xi
即可求得拟合函数 (x)
11
2. 特别的当n 1时, 这就是用途最广的线性拟合.
对于拟合函数 y a0 b0 x
即 m
xi


x a 2i

0
x b i 0

y

i

xi
y i

解得a0 , b0即可
12
例题
下面举个例子以说明用最小二乘法解题的步骤。
• 解得： a=0.15 , b=0.859 直线方程为：y*=0.15+0.859x
6
一 问题的提出
插值法是使用插值多项式来逼近未知或复杂函数的，它 要求插值函 数与被插函数在插值节点上函数值相同 ，而在其他点上没有要求。在非 插值节点上有时函数值会相差很大 。若要求在被插函数的定义区间上， 所选近似函数都能与被插函数有较好的近似，就是最佳逼近问题。 最佳逼近是在函数空间 M中选 P(x) 满足
a0

x n1
i

a1



y i

xi
y i

... ... ... ... ... ...


xn i
xn1 i
...

x2 i
n

an



xn i
y i

由此可得到相应的系数ai (i 0,1,..., n)
例 电流通过 2Ω 电阻，用伏安法侧得的电压电流如
表
I(A) 1 2 4 6 8 10 V(V) 1.8 3.7 8.2 12.0 15.8 20.2 用最小二乘法处理数据。
小二乘原理，即使误差的平方和达到最小，也就是令
•
Q=∑nδi2
•
i=1
为最小 ，即求使
•
y x ) •
• •
24
(a,b)=
i 1
24
2 ( ab
2
i
i
i
i 1
•
有最小值的a和b的值。
5
• 计算出它的正规方程得
24a 127.5b 113.1 127.5a 829.61b 731.60
i
i0
10
•最小二乘法的几种特例
1. 作为曲线拟合的一种常见情况,拟合函数常为代数多项式: ,
即拟合函数 :
( x) a0 a1 x a2 x2 ... an xn
则以同样原理,的相应法方程组(共有m组数据且m n)
m


xi
xi

x2 i
... ...

xn i
问题的提出
线性最小二线乘问题的存在与唯一
线性模型的正规方程
线性模型举例
线性模型引深及推广
线性最小二乘方法评注
正交多项式
1
实例讲解
• 某种合成纤维的强度与其拉伸倍数有直 接关系，下表是实际测定的24个纤维样 品的强度与相应拉伸倍数的记录。
• 提示：将拉伸倍数作为x, 强度作为y,在座 标纸上标出各点，可以发现什么?
2
数据表格
编号 拉伸倍数 强度
编号 拉伸倍数
强度
kg/mm2
kg/mm2
1
1.9
1.4
13
5.0
5.5
2
2.0
1.3
14
5.2
5.0
3
2.1
1.8
15
6.0
5.5
4
2.5
2.5
16
6.3
6.4
5
2.7
2.8
17
6.5
6.0
6
2.7
2.5
18
7.1
5.3
7
3.5
3.0
19
8.0
6.5
8
3.5
2.7
20
0
1
n
i
i
i 1
对函数求偏导数并令其为零, 可得 : 0
aj
m
n
2( ak
x y ( ) )
k
i
i
x ( ) 0
j
i
i 1
k0
a x x y x 得 : 2 m n i1 k 0
k
()
k
i
m
( )
j
i
i 1
i

(
j
i
,
0 0
,

1
0
...

,
n
0
,
0
1
,
1
1
...
,
n
1
... ... ... ...
,
a 0 n 0
,
))2

min
i 0
它们都可用最小二乘法求解。
7
主页
•曲线拟合的最小二乘法
• 最小二乘原理
当由实验提供了大量数据时,不能要求拟合函数 (x)
在数据点(
xi
,
y i
)
处的偏差,即
x ( )
i
i
y i
(i=1,2,…,m)
严格为零,但为了使近似曲线尽量反映所给数据点的变化趋
势 ,需对偏差有所要求.通常要求偏差平方和
8.0
7.0
9
4.0
4.0
21
8.9
8.5
10
4.0
3.5
22
9.0
8.0
11
4.5
4.2
23
9.5
Biblioteka Baidu
8.1
12
4.6
3.5
24
10.0
8.1
3
9 8 7 6 5
4 3 2 1 0
0
2
4
6
8
10
12
4
• 从上图中可以看出强度与拉伸倍数大致成线形关系， 可用一条直线来表示两者之间的关系。
• 解：设 y*=a+bxi ，令δ=yi-y*i=yi-a-bxi，根据最
)

0
m
x x 若引入记号: ,
j
k
i 1
() ()
j
i
k
i
m
x y , f
j

i 1
()
j
i
i
9
n
a 则有 :
, , f
k
j
k0
k j

可得矩阵
( j 0,1,...,n)
a 1
...
n

1 ...



a , n
n n

,f
0
,f
1
...

,
n
f

可知
a 当
( x),
0
( x),...
1
( x) 线性无关时存, 在唯一解
n
i (i 0,1,..,. n)
n
ai
( x)就是所求的拟合函数