计算方法-5数据拟合方法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
11
利用内积的定义，前式可以表达为：
* a0 ( y, ϕ0) (ϕ0, ϕ0) (ϕ1, ϕ0) L (ϕm, ϕ0) (ϕ , ϕ ) (ϕ , ϕ ) L (ϕ , ϕ ) * a1 ( y, ϕ1) 1 1 m 1 0 1 = M M L L L L * a ( y, ϕm) (ϕ0, ϕm) (ϕ1, ϕm) L (ϕm, ϕm) m
可以求得a=13.4609，b=-3.60585，c=0.267616 代入得到拟合曲线方程： y=13.4609- 3.60585x+0.267616x2
20
10 8
测测 拟拟
y=13.4609- 3.60585x+0.267616x2
6
yi
4 2 0 0 2 4 6 8 10
xi
21
5.2 超定方程组的最小二乘解
m
m
n
取最小值。
23
即求
m n ∂ϕ = 2∑ ∑aij xj −b )aik = 0 k =1 ( ,2,...n i ∂xk i= 1 j=1
⇒∑(∑aijaik )xj =∑aikb i
i= 1 j= 1 i=1
m
n
m
k =1 ,2,...n
用矩阵表达即为： ATAx=ATb 当A为列满秩时，有唯一解，此解称为超定方程组 的最小二乘解
2 3 i=1 9 i=1 i=1
9
9
( y, ϕ0) = ∑yi = 32,( y, ϕ1) = ∑yi xi =147,( y, ϕ2) = ∑yi xi2i =1025
i=1 i=1 i=1
9
9
19
代入正规方程组为：
9 53 381 53 381 3017 381 a 32 3017 b = 147 c 1025 25317
16
例2 设某一实验中测得的两个吧变量x和y的一组数 据如下，求一代数多项式曲线，使其能最好地拟合 实验数据。
i xi yi
17
1 1 10
2 3 5
3 4 4
4 5 2
5 6 1
6 7 1
7 8 2
8 9 3
9 10 4
可以看到x与y呈现 类似抛物线关系。 设拟合曲线方程为： y=a+bx+cx2
j= 1 j=1 k=0
n
n
m
* 取最小值，称 p*(x) = ∑akϕk (x)
m
为拟合函数，或经验公式。
9
k=0
ϕ ( a0 , a1 ,L , am ) 是 a0 , a1 ,L, am 的m+1元二次多项式，
求其极值方法为：
n m ∂ϕ = 2∑(∑ai*ϕi (xj ) − yj )ϕk (xj ) = 0 k = 0,2,...m ∂ak j=1 i=0
得方程组： 137x1 + 25x2 = 72
25x1 +19x2 =−8
解得：x1=0.792 72， x2=-1.464 1
26
作业
4.1, 4.3
27
12
上方程组称为正规方程组，是关于 {ak}k=0 的m+1阶
m
线性方程组。可以用各种消去法、矩阵分解、和迭 代法求解，然后得到拟合函数：
p * ( x ) = ∑ a kϕ k ( x )
m k =0
这个方程组也是对称矩阵，也可以写为：
* (ϕ0, ϕ0) (ϕ0, ϕ1) L (ϕ0, ϕm) a0 ( y, ϕ0) * (ϕ1, ϕ0) (ϕ1, ϕ1) L (ϕ1, ϕm) a1 ( y, ϕ1) = L L M M L L * (ϕm, ϕ0) (ϕm, ϕ1) L (ϕm, ϕm) am ( y, ϕm)
对线性方程组 Ax=b
a11 a12 L a1n b x1 1 b x a21 a22 L a2n A= b = 2 x = 2 L L M M L L bm xn am1 am2 L amn
实验测量得到多组数据，而数据之间存在一定的函 数关系，为了求得逼近函数与已给函数，同时使得 其偏差按某种方法度量能达到最小，可以采用最小 二乘法。
4
例1 测得铜导线在温度tj时的电阻rj，求出电阻r 与温度t的近似表达式。
j tj/℃ rj/Ω
1 19.1 76.30
2 25.0 77.80
3 30.1 79.25
计算方法
主 讲： 孙 在 Email: sunzai@cjlu.edu.cn
2009
第5章 数据拟合方法
§5–1 最小二乘原理 §5–2 超定方程组的最小二乘解 §5–3 其它函数的拟合 §5–4 Bezier曲线及应用
2
学习要点
最小二乘法的概念； 曲线的最小二乘拟合方法；
3
5.1 最小二乘原理
r/
86 84 82 80 78 76 15 20 25 30 35 40 45 50
拟拟 实实
阻与温度的拟合曲线方 程： r=70.57+0.2915t
r=70.57+0.2915t
15
t /℃
两个问题？ （1）正规方程组是否有解；
* （2）由正规方程组得到的系数 {ak} 是否能使 ϕ ( a0 , a1 ,...am ) 取得最小值
如果存在不全为零的常数c0,c1,…cn使得
c0ϕ0(x) + c1ϕ1(x) + c2ϕ2(x) +L+ cnϕn(x) = 0
则称函数 φ0(x), φ1(x) ..φ0(x), φn (x)关于点x1,x2,…xn是 线性相关的，否则称线性无关。
Leabharlann Baidu
8
定义5.2
给定数据(xj,yj),j=1,2,…n。假设拟合函数的形
分别计算各项：
(ϕ0, ϕ0) = ∑ = 9,(ϕ0, ϕ1) = ∑xi = 53,(ϕ0, ϕ2) = ∑xi2 = 381 1*1
i=1 9 i=1 i=1 9 9 9
(ϕ1, ϕ1) = ∑xi = 381 ϕ1, ϕ2) = ∑xi = 3017,(ϕ2, ϕ2) = ∑xi4 = 25317 ,(
24
例3 用最小二乘法 求下列超定方程组 的近似解：
2x1 − x2 =1 8x + 4x = 0 2 1 2x1 + x2 =1 7x − x = 8 1 2 4x1 = 3
2 −1 1 8 4 0 A= 2 1 , b = 1 7 −1 8 4 0 3
若m>n，此方程组称为超定方程组
22
通常对任意一组xj（j=1..n）：
δi = ∑aij xj −bi
j=1 n
i =1 ,2,..., m
不会全为零。可以寻求一组xi*（i=1..n）,使得
ϕ(x1, x2,...xn ) = ∑ i2 = ∑(∑aij xj −bi )2 δ
i=1 i=1 j=1
式为 p(x) = a0ϕ0(x) + a1ϕ1(x) +L+ amϕm(x)
* * * ϕ 这里{ k (x)}m=0 为已知线性无关函数。求系数 a0 , a1 , L , am k
ϕ(a0, a1,L am) = ∑ p(xj ) − yj ]2 = ∑∑akϕk (xj ) − yj ]2 , [ [ 使得
ϕ0(x1) ϕm(x1) ϕ1(x1) y1) ϕ (x ) y ϕm(x2) ϕ0(x2) ,ϕ = 1 2 L = , y = 2 ϕm ϕ0 = M 1 M M M ϕ1(xn ) yn ϕ0(xn ) ϕm(xn )
⇒∑∑ i (xj ) k (xj )]a = ∑yjϕk (xj ) k = 0,2,...m [ ϕ ϕ
i=0 j=1 * i j=1
m
n
n
10
内积标识
u = (u( x1 ), u( x2 ),...u( xn ))T , v = ( v ( x1 ), v ( x2 ),...v ( xn ))T 设 w = ( w( x1 ), w( x2 ),...w( xn ))T
13
对例1中： r=a+bt
ϕ0(t) =1, ϕ1(t) = t
则：
(ϕ0,ϕ0) = ∑ (t j ) = 7, (ϕ0,ϕ1) = ∑ 0(t j ) 1(t j ) = 245.3 ϕ ϕ ϕ
j=1 2 0 j=1 7 7
ϕ (ϕ1,ϕ1) = ∑ (t j ) = 9325.83, (r,ϕ0 ) = ∑rjϕ0(t j ) = 565.5
25
2 −1 1 8 4 0 137 25 2 8 2 7 4 2 8 2 7 4 72 T T A A= 2 1 = 25 19 A b = −1 4 1 −1 0 1 = −8 −1 4 1 −1 0 7 −1 8 4 0 3
4 36.0 80.80
5 40.0 82.35
6 45.0 83.90
7 50.0 85.10
5
可以看到电阻与温 度呈现类似直线的 线性关系。 设此直线方程为： r=a+bt a,b待定。 误差为： Rj=a+btj-rj j=1,2…7
r r/O
86 84 82 80 78 76 15 20 25 30 35 40 45 50
,称为点集函数。记
(u, v ) = ∑ u ( x j )v ( x j )
j =1 n
称为u和v的内积。有三个性质：
(1)(u, u ) ≥ 0,(u, u ) = 0当且仅当u( x j ) = 0; (2)(u, v ) = (v, u ); (3)(∂u + β v, w) = ∂ (u, w) + β (v, w), ∂, β 为任意实数。
j=1 2 1 j=1
7
7
(r,ϕ1) = ∑rjϕ1(t j ) = 20029.445
j=1
7
14
245.3 a* 565.5 7 正规方程组为： b* = 20029.445 245.3 9325.83
可以求得a=70.57， b=0.2915，代入得到电
yi
10 8 6 4 2 0 0 2 4 6 8 10
ϕ0(x) =1, ϕ1(x) = x, ϕ2(x) = x2
18
xi
正规方程组为：
(ϕ0, ϕ0) (ϕ0, ϕ1) (ϕ0, ϕ2) a ( y, ϕ0) (ϕ1, ϕ0) (ϕ1, ϕ1) (ϕ1, ϕ2) b = ( y, ϕ1) (ϕ , ϕ ) (ϕ , ϕ ) (ϕ , ϕ ) c ( y, ϕ ) 2 2 1 2 2 2 0
t /℃
电阻r和温度t的数据关系
6
选择a，b使得Rj的平方和最小，即
R = R(a, b) = ∑R =∑(a + bt j − rj )
j =1 2 j j =1
7
7
2
用这种方法来求a,b的原理就是一种最小二乘原理
7
线性相关 定义5.1 设x1,x2,…xn为互不相同的点，函数φ0(x),
φ1(x) ..φ0(x), φn (x) , 是n+1个已知函数
利用内积的定义，前式可以表达为：
* a0 ( y, ϕ0) (ϕ0, ϕ0) (ϕ1, ϕ0) L (ϕm, ϕ0) (ϕ , ϕ ) (ϕ , ϕ ) L (ϕ , ϕ ) * a1 ( y, ϕ1) 1 1 m 1 0 1 = M M L L L L * a ( y, ϕm) (ϕ0, ϕm) (ϕ1, ϕm) L (ϕm, ϕm) m
可以求得a=13.4609，b=-3.60585，c=0.267616 代入得到拟合曲线方程： y=13.4609- 3.60585x+0.267616x2
20
10 8
测测 拟拟
y=13.4609- 3.60585x+0.267616x2
6
yi
4 2 0 0 2 4 6 8 10
xi
21
5.2 超定方程组的最小二乘解
m
m
n
取最小值。
23
即求
m n ∂ϕ = 2∑ ∑aij xj −b )aik = 0 k =1 ( ,2,...n i ∂xk i= 1 j=1
⇒∑(∑aijaik )xj =∑aikb i
i= 1 j= 1 i=1
m
n
m
k =1 ,2,...n
用矩阵表达即为： ATAx=ATb 当A为列满秩时，有唯一解，此解称为超定方程组 的最小二乘解
2 3 i=1 9 i=1 i=1
9
9
( y, ϕ0) = ∑yi = 32,( y, ϕ1) = ∑yi xi =147,( y, ϕ2) = ∑yi xi2i =1025
i=1 i=1 i=1
9
9
19
代入正规方程组为：
9 53 381 53 381 3017 381 a 32 3017 b = 147 c 1025 25317
16
例2 设某一实验中测得的两个吧变量x和y的一组数 据如下，求一代数多项式曲线，使其能最好地拟合 实验数据。
i xi yi
17
1 1 10
2 3 5
3 4 4
4 5 2
5 6 1
6 7 1
7 8 2
8 9 3
9 10 4
可以看到x与y呈现 类似抛物线关系。 设拟合曲线方程为： y=a+bx+cx2
j= 1 j=1 k=0
n
n
m
* 取最小值，称 p*(x) = ∑akϕk (x)
m
为拟合函数，或经验公式。
9
k=0
ϕ ( a0 , a1 ,L , am ) 是 a0 , a1 ,L, am 的m+1元二次多项式，
求其极值方法为：
n m ∂ϕ = 2∑(∑ai*ϕi (xj ) − yj )ϕk (xj ) = 0 k = 0,2,...m ∂ak j=1 i=0
得方程组： 137x1 + 25x2 = 72
25x1 +19x2 =−8
解得：x1=0.792 72， x2=-1.464 1
26
作业
4.1, 4.3
27
12
上方程组称为正规方程组，是关于 {ak}k=0 的m+1阶
m
线性方程组。可以用各种消去法、矩阵分解、和迭 代法求解，然后得到拟合函数：
p * ( x ) = ∑ a kϕ k ( x )
m k =0
这个方程组也是对称矩阵，也可以写为：
* (ϕ0, ϕ0) (ϕ0, ϕ1) L (ϕ0, ϕm) a0 ( y, ϕ0) * (ϕ1, ϕ0) (ϕ1, ϕ1) L (ϕ1, ϕm) a1 ( y, ϕ1) = L L M M L L * (ϕm, ϕ0) (ϕm, ϕ1) L (ϕm, ϕm) am ( y, ϕm)
对线性方程组 Ax=b
a11 a12 L a1n b x1 1 b x a21 a22 L a2n A= b = 2 x = 2 L L M M L L bm xn am1 am2 L amn
实验测量得到多组数据，而数据之间存在一定的函 数关系，为了求得逼近函数与已给函数，同时使得 其偏差按某种方法度量能达到最小，可以采用最小 二乘法。
4
例1 测得铜导线在温度tj时的电阻rj，求出电阻r 与温度t的近似表达式。
j tj/℃ rj/Ω
1 19.1 76.30
2 25.0 77.80
3 30.1 79.25
计算方法
主 讲： 孙 在 Email: sunzai@cjlu.edu.cn
2009
第5章 数据拟合方法
§5–1 最小二乘原理 §5–2 超定方程组的最小二乘解 §5–3 其它函数的拟合 §5–4 Bezier曲线及应用
2
学习要点
最小二乘法的概念； 曲线的最小二乘拟合方法；
3
5.1 最小二乘原理
r/
86 84 82 80 78 76 15 20 25 30 35 40 45 50
拟拟 实实
阻与温度的拟合曲线方 程： r=70.57+0.2915t
r=70.57+0.2915t
15
t /℃
两个问题？ （1）正规方程组是否有解；
* （2）由正规方程组得到的系数 {ak} 是否能使 ϕ ( a0 , a1 ,...am ) 取得最小值
如果存在不全为零的常数c0,c1,…cn使得
c0ϕ0(x) + c1ϕ1(x) + c2ϕ2(x) +L+ cnϕn(x) = 0
则称函数 φ0(x), φ1(x) ..φ0(x), φn (x)关于点x1,x2,…xn是 线性相关的，否则称线性无关。
Leabharlann Baidu
8
定义5.2
给定数据(xj,yj),j=1,2,…n。假设拟合函数的形
分别计算各项：
(ϕ0, ϕ0) = ∑ = 9,(ϕ0, ϕ1) = ∑xi = 53,(ϕ0, ϕ2) = ∑xi2 = 381 1*1
i=1 9 i=1 i=1 9 9 9
(ϕ1, ϕ1) = ∑xi = 381 ϕ1, ϕ2) = ∑xi = 3017,(ϕ2, ϕ2) = ∑xi4 = 25317 ,(
24
例3 用最小二乘法 求下列超定方程组 的近似解：
2x1 − x2 =1 8x + 4x = 0 2 1 2x1 + x2 =1 7x − x = 8 1 2 4x1 = 3
2 −1 1 8 4 0 A= 2 1 , b = 1 7 −1 8 4 0 3
若m>n，此方程组称为超定方程组
22
通常对任意一组xj（j=1..n）：
δi = ∑aij xj −bi
j=1 n
i =1 ,2,..., m
不会全为零。可以寻求一组xi*（i=1..n）,使得
ϕ(x1, x2,...xn ) = ∑ i2 = ∑(∑aij xj −bi )2 δ
i=1 i=1 j=1
式为 p(x) = a0ϕ0(x) + a1ϕ1(x) +L+ amϕm(x)
* * * ϕ 这里{ k (x)}m=0 为已知线性无关函数。求系数 a0 , a1 , L , am k
ϕ(a0, a1,L am) = ∑ p(xj ) − yj ]2 = ∑∑akϕk (xj ) − yj ]2 , [ [ 使得
ϕ0(x1) ϕm(x1) ϕ1(x1) y1) ϕ (x ) y ϕm(x2) ϕ0(x2) ,ϕ = 1 2 L = , y = 2 ϕm ϕ0 = M 1 M M M ϕ1(xn ) yn ϕ0(xn ) ϕm(xn )
⇒∑∑ i (xj ) k (xj )]a = ∑yjϕk (xj ) k = 0,2,...m [ ϕ ϕ
i=0 j=1 * i j=1
m
n
n
10
内积标识
u = (u( x1 ), u( x2 ),...u( xn ))T , v = ( v ( x1 ), v ( x2 ),...v ( xn ))T 设 w = ( w( x1 ), w( x2 ),...w( xn ))T
13
对例1中： r=a+bt
ϕ0(t) =1, ϕ1(t) = t
则：
(ϕ0,ϕ0) = ∑ (t j ) = 7, (ϕ0,ϕ1) = ∑ 0(t j ) 1(t j ) = 245.3 ϕ ϕ ϕ
j=1 2 0 j=1 7 7
ϕ (ϕ1,ϕ1) = ∑ (t j ) = 9325.83, (r,ϕ0 ) = ∑rjϕ0(t j ) = 565.5
25
2 −1 1 8 4 0 137 25 2 8 2 7 4 2 8 2 7 4 72 T T A A= 2 1 = 25 19 A b = −1 4 1 −1 0 1 = −8 −1 4 1 −1 0 7 −1 8 4 0 3
4 36.0 80.80
5 40.0 82.35
6 45.0 83.90
7 50.0 85.10
5
可以看到电阻与温 度呈现类似直线的 线性关系。 设此直线方程为： r=a+bt a,b待定。 误差为： Rj=a+btj-rj j=1,2…7
r r/O
86 84 82 80 78 76 15 20 25 30 35 40 45 50
,称为点集函数。记
(u, v ) = ∑ u ( x j )v ( x j )
j =1 n
称为u和v的内积。有三个性质：
(1)(u, u ) ≥ 0,(u, u ) = 0当且仅当u( x j ) = 0; (2)(u, v ) = (v, u ); (3)(∂u + β v, w) = ∂ (u, w) + β (v, w), ∂, β 为任意实数。
j=1 2 1 j=1
7
7
(r,ϕ1) = ∑rjϕ1(t j ) = 20029.445
j=1
7
14
245.3 a* 565.5 7 正规方程组为： b* = 20029.445 245.3 9325.83
可以求得a=70.57， b=0.2915，代入得到电
yi
10 8 6 4 2 0 0 2 4 6 8 10
ϕ0(x) =1, ϕ1(x) = x, ϕ2(x) = x2
18
xi
正规方程组为：
(ϕ0, ϕ0) (ϕ0, ϕ1) (ϕ0, ϕ2) a ( y, ϕ0) (ϕ1, ϕ0) (ϕ1, ϕ1) (ϕ1, ϕ2) b = ( y, ϕ1) (ϕ , ϕ ) (ϕ , ϕ ) (ϕ , ϕ ) c ( y, ϕ ) 2 2 1 2 2 2 0
t /℃
电阻r和温度t的数据关系
6
选择a，b使得Rj的平方和最小，即
R = R(a, b) = ∑R =∑(a + bt j − rj )
j =1 2 j j =1
7
7
2
用这种方法来求a,b的原理就是一种最小二乘原理
7
线性相关 定义5.1 设x1,x2,…xn为互不相同的点，函数φ0(x),
φ1(x) ..φ0(x), φn (x) , 是n+1个已知函数