第六章 数据拟合与函数逼近
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
4
KU
a1 = −3.6053
a 2 = 0.2676
仅供 KUST 内部使用
吴老师
*三 最小二乘拟合多项式的存在唯一性 定理 1 设节点 x0 , x1 ,L , xn 互异，则法方程组（4 ）的解存在唯一。 证 由克莱姆法则，只需证明方程组（4）的系数矩阵非奇异即可。 用反证法，设方程组（4）的系数矩阵奇异，则其所对应的齐次方程组 m +1 m x i ∑ i =0 M m ∑ xin i= 0
x i2
列表如下 I 0 1 2 3 4 5 6 7 8
xi 1 3 4 5 6 7 8 9 10 53
x i3
x i4
xi yi 10 15 16 10 6 7 16 27 40 147
x i2 y i
∑
10 5 4 2 1 1 2 3 4 32
1 9 16 25 36 49 64 81 100 381
m
（7 ）
有非零解。式(7)可写为
∑ (∑ x
k =0 i =0
)a k = 0,
j = 0,1,L , n
（8）
将式（8 ）中第 j 个方程乘以 a j (j=0,1, …，n) ，然后将新得到的 n+1 个方程左
n m j+k a j ∑(∑xi )ak 0 = 0 ∑ 右两端分别 相加，得 j =0 k =0 i =0
r = ( r0 , r1 , L rm ) 的∞—范数；二是误差绝对值的和 i =0
T
ri = p ( xi ) − y i (i=0,1, …,m)
∑r
m
i
，即误差向量 r 的 1—
范数；三是误差平方和 i =0 的算术平方根，即误差向量 r 的 2—范数；前两种 方法简单、自然，但不便于微分运算 ，后一种方法相当于考虑 2 —范数的平方， 因此在曲线拟合中常采用误差平方和 i =0 体大小。
n
因为
其中
KU
所以
pn ( x) 是次数不超过 n 的多项式，它有 m+1＞n 个相异零点，由代数基本定理，必 与齐次方程组有非零解的假设矛盾。 因此正规方程组 （4 ） 须有 a 0 = a1 = L a n = 0 ， 必有唯一解 。 定理 2 设 a 0 , a1 ,L, a n 是正规方程组 （4 ） 的解， 则 是满足式（1）的最小二乘拟合多项式。 证 只需证明，对任意一组数 b0 , b1 , L , bn 组成的多项式 p n ( x) = ∑ a k x k
吴老师
当拟合函数为多项式时，称为多项式拟合，满足式（1）的 p n ( x) 称为最小二乘 拟合多项式。特别地，当 n=1 时，称为线性拟合或直线拟合。 显然 I = ∑ (∑ a k xik − yi ) 2 为 a 0 , a1 ,L a n 的多元函数，因此上述问题即为求 I = I (a 0 , a1 ,L a n ) 的极值 问题。 由多元函数求极值的必要条件，得 m n ∂I = 2∑ (∑ a k xik − yi ) xi j = 0, j = 0,1,L , n ∂a j i =0 k =0 (2) 即
ST
3
仅供 KUST 内部使用
吴老师
6-2 例2 例 2 已知实验数据如下表
i xi yi
0 1 10
1 3 5
2 4 4
3 5 2
4 6 1
5 7 1
6 8 2
7 9 3
8 10 4
试用最小二乘法求它的二次拟合多项式。 解 设拟合曲线方程为 y = a 0 + a1 x + a 2 x 2
ST
yi
∑x
m
n i
= ∑ [ p n ( xi ) − yi ]
2
由式(2)可得 r
2 2
= ∑ y i2 − ∑ a k (∑ xik y i )
(6)
多项式拟合的一般方法可归纳为以下几步： (1) 由已知数据画出函数粗略的图形——散点图，确定拟合多项式的次数 n；
(2) 列表计算 i =0
和 i =0 (3) 写出正规方程组，求出 a 0 , a1 ,L a n ；
k =0 n
ST
6—1
2 m
∑ r ∑ [ p( x ) − y ]
2 i= 0 i
m
m
2
= i =0
i
i
wk.baidu.com
= min
,使得
2
I = ∑ [ p n ( xi ) − yi ]
n = ∑ ∑ a k xik − y i = min i =0 k =0
1
(1)
仅供 KUST 内部使用
KU
m i= 0
合函数 p ( x) 的方法称为曲线拟合的最小二乘法。 在曲线拟合中，函数类 Φ 可有不同的选取方法.
二 多项式拟合 Φ 为所有次数不超过 n( n ≤ m) 的多项式构 假设给定数据点 ( xi , y i ) (i=0,1,…,m) ， 成的函数类，现求一 p n ( x) = ∑ a k x k ∈ Φ
i =0 k =0 m n
∑ (∑ x
k =0 i =0
n
m
j +k i
)a k = ∑ xi j y i ,
i= 0
m
j = 0,1,L, n
(3)
（3）是关于 a 0 , a1 ,L a n 的线性方程组，用矩阵表示为 m +1 m x i ∑ i =0 M m ∑ xin i= 0
n m
∑ xi ∑x
i =0 i =0 m 2 i
m
∑x
i =0 j +k i
m
M
n +1 i
m n x yi ∑ i ∑ i =0 i=0 a0 m m n +1 a L ∑ xi 1 ∑ xi yi = i =0 i =0 M M M a m m 2n n ∑ xin y i L ∑ xi i =0 i =0 L
p n ( x) = ∑ a k x k
p n ( xi ) = 0
(i=0,1,…,m)
Qn ( x ) = ∑ b k x k
k =0
，恒有
∑ [Q
i =0
m
n
( xi ) − y i ] ≥ ∑ [ p n ( xi ) − yi ]
2 i =0
m
2
即可。
5
仅供 KUST 内部使用
m m
吴老师
∑ [Q
i =0 m i =0
n
( xi ) − y i ] − ∑ [ p n ( x i ) − y i ]
2 i =0 2 m
2
= ∑ [Qn ( xi ) − p n ( xi )] +2∑ [Qn ( xi ) − p n ( xi )]⋅ [ p n ( xi ) − y i ]
i =0 n m n n ≥ 0 + 2∑∑ (b j − a j ) xij ⋅ ∑ a k xik − yi = 2∑ (b j − a j )∑ ∑ a k xik − yi xi j k =0 j =0 i = 0 k = 0 i =0 j =0 因为 a k (k=0,1, …，n) 是正规方程组（4）的解，所以满足式（2 ），因此有 m n
∑x ∑x
i =0 i =0 m
m
i
2 i
(5) 可以证明，式（5）中的 p n ( x) 满足式（1 ），即 p n ( x) 为所求的拟合多项式。我
k =0
们把 i =0
∑[p
m
KU
n
( xi ) − yi ]
2
称为最小二乘拟合多项式 p n ( x) 的平方误差，记作 r
2 2
ST
p n ( x) = ∑ a k x k
1 27 64 125 216 343 512 729 1000 3017
1 81 256 625 1296 2401 4096 6561 10000 25317
10 45 64 50 36 49 128 243 400 1025
得正规方程组 52 381 a 0 32 9 52 381 3017 a = 147 1 381 3017 25317 a 1025 2 解得 a 0 = 13.4597, 故拟合多项式为 y = 13.4597 − 3.6053 + 0.2676 x 2
正规方程组为
解方程组得
a 0 = 70.572 , a1 = 0.921 故得 R 与 T 的拟合直线为 R = 70.572 + 0.921T 利用上述关系式，可以预测不同温度时铜导线的电阻值。例如，由 R=0 得 T=-242.5，即预测温度 T=-242.5℃时，铜导线无电阻。
KU
∑
245.3 a 0 565.5 7 245.3 9325.83 a = 20029.445 1
2
∑x
m
j i
( j = 0,1,L ,2n )
∑x
m
j i
yi
( j = 0,1, L,2n)
；
仅供 KUST 内部使用
n
吴老师
k =0 (4) 写出拟合多项式 。 在实际应用中， n < m 或 n ≤ m ；当 n = m 时所得的拟合多项式就是拉格朗日或牛 顿插值多项式。 例 1 测得铜导线在温度 Ti ( ℃)时的电阻 Ri (Ω) 如表 6-1，求电阻 R 与温度 T
仅供 KUST 内部使用
吴老师
第六章数据拟合与函数逼近
第一节 最小二乘法的基本原理和多项式拟合 一 最小二乘法的基本原理 从整体上考虑近似函数 p ( x ) 同所给数据点 ( xi , y i ) (i=0,1,…,m)误差 的大小，常用的方法有以下三种：一是误差 ri ri = p ( xi ) − y i (i=0,1, …,m)绝对值的最大值 max 0≤i ≤ m ，即误差 向量
∑r
m
2
i
∑r
m
2
i
来 度量误差 ri (i=0 ，1，…，m)的整
数据拟合的具体作法是：对给定数据 ( xi , y i ) (i=0,1,…，m)，在取定的函 数类 Φ 中,求 p ( x ) ∈ Φ , 使误差 ri = p ( xi ) − y i (i=0,1,…,m)的平方和最小，即
从几何意义上讲， 就是寻求与给定点 ( xi , y i ) (i=0,1, …,m)的距离平方和为最 小的曲线 y = p ( x ) （图 6-1）。函数 p ( x ) 称为拟合 函数或最小二乘解，求拟
p n ( x) = ∑ a k x k
的近似函数关系。 i 0 19.1 Ti (℃) Ri (Ω) 76.30
1 25.0 77.80
2 30.1 79.25
3 36.0 80.80
4 40.0 82.35
5 45.1 83.90
6 50.0 85.10
解 画出散点图（图 6-2 ），可见测得的数据接近一条直线，故取 n=1 ，拟合函 数为 R = a 0 + a1T 列表如下 i Ti Ri Ti Ri Ti 2 0 1 2 3 4 5 6 19.1 25.0 30.1 36.0 40.0 45.1 50.0 245.3 76.30 77.80 79.25 80.80 82.35 83.90 85.10 565.5 364.81 625.00 906.01 1296.00 1600.00 2034.01 2500.00 9325.83 1457.330 1945.000 2385.425 2908.800 3294.000 3783.890 4255.000 20029.445
n m i =0 m n m i =0 k =0 i =0
(4) 式（3）或式（4）称为正规方程组或法方程组。 可以证明，方程组（4）的系数矩阵是一个对称正定矩阵，故存在唯一解。 从式（4）中解出 a k (k=0,1,…，n)，从而可得多项式
i =0
∑x
m
M
n +1 i
m yi ∑ i =0 i=0 a0 m m n +1 a L ∑ xi 1 xi yi = ∑ i =0 i =0 M M M a m n m n ∑ xi y i L ∑ xi2 n i =0 i =0 L
k =0 n n
ST
n k =0
∑ a ∑ (∑ x
j =0 j
n
n
m
j+k i
k =0
i =0
n n m m m n n 2 )a k =∑ ∑∑ a k a j xij + k =∑ (∑ a j xij )(∑ a k xik ) = ∑ [ p n ( xi )] k =0 i =0 j =0 i =0 i= 0 j =0 k =0
KU
a1 = −3.6053
a 2 = 0.2676
仅供 KUST 内部使用
吴老师
*三 最小二乘拟合多项式的存在唯一性 定理 1 设节点 x0 , x1 ,L , xn 互异，则法方程组（4 ）的解存在唯一。 证 由克莱姆法则，只需证明方程组（4）的系数矩阵非奇异即可。 用反证法，设方程组（4）的系数矩阵奇异，则其所对应的齐次方程组 m +1 m x i ∑ i =0 M m ∑ xin i= 0
x i2
列表如下 I 0 1 2 3 4 5 6 7 8
xi 1 3 4 5 6 7 8 9 10 53
x i3
x i4
xi yi 10 15 16 10 6 7 16 27 40 147
x i2 y i
∑
10 5 4 2 1 1 2 3 4 32
1 9 16 25 36 49 64 81 100 381
m
（7 ）
有非零解。式(7)可写为
∑ (∑ x
k =0 i =0
)a k = 0,
j = 0,1,L , n
（8）
将式（8 ）中第 j 个方程乘以 a j (j=0,1, …，n) ，然后将新得到的 n+1 个方程左
n m j+k a j ∑(∑xi )ak 0 = 0 ∑ 右两端分别 相加，得 j =0 k =0 i =0
r = ( r0 , r1 , L rm ) 的∞—范数；二是误差绝对值的和 i =0
T
ri = p ( xi ) − y i (i=0,1, …,m)
∑r
m
i
，即误差向量 r 的 1—
范数；三是误差平方和 i =0 的算术平方根，即误差向量 r 的 2—范数；前两种 方法简单、自然，但不便于微分运算 ，后一种方法相当于考虑 2 —范数的平方， 因此在曲线拟合中常采用误差平方和 i =0 体大小。
n
因为
其中
KU
所以
pn ( x) 是次数不超过 n 的多项式，它有 m+1＞n 个相异零点，由代数基本定理，必 与齐次方程组有非零解的假设矛盾。 因此正规方程组 （4 ） 须有 a 0 = a1 = L a n = 0 ， 必有唯一解 。 定理 2 设 a 0 , a1 ,L, a n 是正规方程组 （4 ） 的解， 则 是满足式（1）的最小二乘拟合多项式。 证 只需证明，对任意一组数 b0 , b1 , L , bn 组成的多项式 p n ( x) = ∑ a k x k
吴老师
当拟合函数为多项式时，称为多项式拟合，满足式（1）的 p n ( x) 称为最小二乘 拟合多项式。特别地，当 n=1 时，称为线性拟合或直线拟合。 显然 I = ∑ (∑ a k xik − yi ) 2 为 a 0 , a1 ,L a n 的多元函数，因此上述问题即为求 I = I (a 0 , a1 ,L a n ) 的极值 问题。 由多元函数求极值的必要条件，得 m n ∂I = 2∑ (∑ a k xik − yi ) xi j = 0, j = 0,1,L , n ∂a j i =0 k =0 (2) 即
ST
3
仅供 KUST 内部使用
吴老师
6-2 例2 例 2 已知实验数据如下表
i xi yi
0 1 10
1 3 5
2 4 4
3 5 2
4 6 1
5 7 1
6 8 2
7 9 3
8 10 4
试用最小二乘法求它的二次拟合多项式。 解 设拟合曲线方程为 y = a 0 + a1 x + a 2 x 2
ST
yi
∑x
m
n i
= ∑ [ p n ( xi ) − yi ]
2
由式(2)可得 r
2 2
= ∑ y i2 − ∑ a k (∑ xik y i )
(6)
多项式拟合的一般方法可归纳为以下几步： (1) 由已知数据画出函数粗略的图形——散点图，确定拟合多项式的次数 n；
(2) 列表计算 i =0
和 i =0 (3) 写出正规方程组，求出 a 0 , a1 ,L a n ；
k =0 n
ST
6—1
2 m
∑ r ∑ [ p( x ) − y ]
2 i= 0 i
m
m
2
= i =0
i
i
wk.baidu.com
= min
,使得
2
I = ∑ [ p n ( xi ) − yi ]
n = ∑ ∑ a k xik − y i = min i =0 k =0
1
(1)
仅供 KUST 内部使用
KU
m i= 0
合函数 p ( x) 的方法称为曲线拟合的最小二乘法。 在曲线拟合中，函数类 Φ 可有不同的选取方法.
二 多项式拟合 Φ 为所有次数不超过 n( n ≤ m) 的多项式构 假设给定数据点 ( xi , y i ) (i=0,1,…,m) ， 成的函数类，现求一 p n ( x) = ∑ a k x k ∈ Φ
i =0 k =0 m n
∑ (∑ x
k =0 i =0
n
m
j +k i
)a k = ∑ xi j y i ,
i= 0
m
j = 0,1,L, n
(3)
（3）是关于 a 0 , a1 ,L a n 的线性方程组，用矩阵表示为 m +1 m x i ∑ i =0 M m ∑ xin i= 0
n m
∑ xi ∑x
i =0 i =0 m 2 i
m
∑x
i =0 j +k i
m
M
n +1 i
m n x yi ∑ i ∑ i =0 i=0 a0 m m n +1 a L ∑ xi 1 ∑ xi yi = i =0 i =0 M M M a m m 2n n ∑ xin y i L ∑ xi i =0 i =0 L
p n ( x) = ∑ a k x k
p n ( xi ) = 0
(i=0,1,…,m)
Qn ( x ) = ∑ b k x k
k =0
，恒有
∑ [Q
i =0
m
n
( xi ) − y i ] ≥ ∑ [ p n ( xi ) − yi ]
2 i =0
m
2
即可。
5
仅供 KUST 内部使用
m m
吴老师
∑ [Q
i =0 m i =0
n
( xi ) − y i ] − ∑ [ p n ( x i ) − y i ]
2 i =0 2 m
2
= ∑ [Qn ( xi ) − p n ( xi )] +2∑ [Qn ( xi ) − p n ( xi )]⋅ [ p n ( xi ) − y i ]
i =0 n m n n ≥ 0 + 2∑∑ (b j − a j ) xij ⋅ ∑ a k xik − yi = 2∑ (b j − a j )∑ ∑ a k xik − yi xi j k =0 j =0 i = 0 k = 0 i =0 j =0 因为 a k (k=0,1, …，n) 是正规方程组（4）的解，所以满足式（2 ），因此有 m n
∑x ∑x
i =0 i =0 m
m
i
2 i
(5) 可以证明，式（5）中的 p n ( x) 满足式（1 ），即 p n ( x) 为所求的拟合多项式。我
k =0
们把 i =0
∑[p
m
KU
n
( xi ) − yi ]
2
称为最小二乘拟合多项式 p n ( x) 的平方误差，记作 r
2 2
ST
p n ( x) = ∑ a k x k
1 27 64 125 216 343 512 729 1000 3017
1 81 256 625 1296 2401 4096 6561 10000 25317
10 45 64 50 36 49 128 243 400 1025
得正规方程组 52 381 a 0 32 9 52 381 3017 a = 147 1 381 3017 25317 a 1025 2 解得 a 0 = 13.4597, 故拟合多项式为 y = 13.4597 − 3.6053 + 0.2676 x 2
正规方程组为
解方程组得
a 0 = 70.572 , a1 = 0.921 故得 R 与 T 的拟合直线为 R = 70.572 + 0.921T 利用上述关系式，可以预测不同温度时铜导线的电阻值。例如，由 R=0 得 T=-242.5，即预测温度 T=-242.5℃时，铜导线无电阻。
KU
∑
245.3 a 0 565.5 7 245.3 9325.83 a = 20029.445 1
2
∑x
m
j i
( j = 0,1,L ,2n )
∑x
m
j i
yi
( j = 0,1, L,2n)
；
仅供 KUST 内部使用
n
吴老师
k =0 (4) 写出拟合多项式 。 在实际应用中， n < m 或 n ≤ m ；当 n = m 时所得的拟合多项式就是拉格朗日或牛 顿插值多项式。 例 1 测得铜导线在温度 Ti ( ℃)时的电阻 Ri (Ω) 如表 6-1，求电阻 R 与温度 T
仅供 KUST 内部使用
吴老师
第六章数据拟合与函数逼近
第一节 最小二乘法的基本原理和多项式拟合 一 最小二乘法的基本原理 从整体上考虑近似函数 p ( x ) 同所给数据点 ( xi , y i ) (i=0,1,…,m)误差 的大小，常用的方法有以下三种：一是误差 ri ri = p ( xi ) − y i (i=0,1, …,m)绝对值的最大值 max 0≤i ≤ m ，即误差 向量
∑r
m
2
i
∑r
m
2
i
来 度量误差 ri (i=0 ，1，…，m)的整
数据拟合的具体作法是：对给定数据 ( xi , y i ) (i=0,1,…，m)，在取定的函 数类 Φ 中,求 p ( x ) ∈ Φ , 使误差 ri = p ( xi ) − y i (i=0,1,…,m)的平方和最小，即
从几何意义上讲， 就是寻求与给定点 ( xi , y i ) (i=0,1, …,m)的距离平方和为最 小的曲线 y = p ( x ) （图 6-1）。函数 p ( x ) 称为拟合 函数或最小二乘解，求拟
p n ( x) = ∑ a k x k
的近似函数关系。 i 0 19.1 Ti (℃) Ri (Ω) 76.30
1 25.0 77.80
2 30.1 79.25
3 36.0 80.80
4 40.0 82.35
5 45.1 83.90
6 50.0 85.10
解 画出散点图（图 6-2 ），可见测得的数据接近一条直线，故取 n=1 ，拟合函 数为 R = a 0 + a1T 列表如下 i Ti Ri Ti Ri Ti 2 0 1 2 3 4 5 6 19.1 25.0 30.1 36.0 40.0 45.1 50.0 245.3 76.30 77.80 79.25 80.80 82.35 83.90 85.10 565.5 364.81 625.00 906.01 1296.00 1600.00 2034.01 2500.00 9325.83 1457.330 1945.000 2385.425 2908.800 3294.000 3783.890 4255.000 20029.445
n m i =0 m n m i =0 k =0 i =0
(4) 式（3）或式（4）称为正规方程组或法方程组。 可以证明，方程组（4）的系数矩阵是一个对称正定矩阵，故存在唯一解。 从式（4）中解出 a k (k=0,1,…，n)，从而可得多项式
i =0
∑x
m
M
n +1 i
m yi ∑ i =0 i=0 a0 m m n +1 a L ∑ xi 1 xi yi = ∑ i =0 i =0 M M M a m n m n ∑ xi y i L ∑ xi2 n i =0 i =0 L
k =0 n n
ST
n k =0
∑ a ∑ (∑ x
j =0 j
n
n
m
j+k i
k =0
i =0
n n m m m n n 2 )a k =∑ ∑∑ a k a j xij + k =∑ (∑ a j xij )(∑ a k xik ) = ∑ [ p n ( xi )] k =0 i =0 j =0 i =0 i= 0 j =0 k =0