第六章研究生数值分析

1 x 1 M m x1 1 x2
m x2
求 x , y的 函数关系
解: (1) 作散点分布图
L
M
1 1 x1 L x1m a0 1 m L xn 1 x2 L x2 a1 = x1 M M M M M M m m m L xn 1 x L x n n am x1
n
i 2
∑x
i =1
n
M
m +1 i
n ∑ yi i =1 i =1 a0 n n m +1 a L ∑ xi 1 y x = ∑ i i =1 i =1 M M M n n a m m 2m y i xi L ∑ xi ∑ i =1 i =1 L
∑x
n
m
i
(2)确定近似表达式
设拟合曲线为二次多项式 y = P2 ( x ) = a0 + a1 x + a2 x 2
(3)建立正则方程组 n = 7,
7 7
xi yi
1 2 3 4 6 7 8 2 3 6 7 5 3 2
n n ∑ xi i =1 n 2 ∑ xi i =1
∑ y − (a
i =1 i
0
+ a1 xi + a2 xi2 + Lam xim ) 最小
称 Pm ( x )为数据组的最小二乘 m 次拟合多项式。
如何求 ?
2 m 令F (a0 , a1 ,Lam ) = ∑ yi − (a0 + a1 xi + a2 xi + Lam xi )
3
称此方程组为正则方程法方程组
7
求逼近函数 ϕ ( x )的常用规则： 1、 使 残 差 的 绝 对 值 和 最 小 , 即
结论：正则方程组存在唯一解， 且解所对应的多项式为 已知数据组 ( x i , y i ) ( i = 1,2,L , n)的最小二乘 m 次拟合多项式 .
∑
n
n
i=1
δi = δ
n i ∑ yi i =1 0 = = i =1 n n 2 a1 xi ∑ ∑ xi y i i =1 i= 1
∑ x a
n

m ax δ i = δ
1≤ i ≤ n
∞
最小
最佳一致逼近
4
Sy S x a0 == S xx a1 S xy
31 179 a0 7 31 179 1171 a = 得正则方程组为 1 179 1171 8147 a2 (4) 求解正则方程组得
28 121 635
求已知数据组形如 y = be ax的最小二乘拟合函数 .
n 2 i
∑ xi3 = 1171,
i =1 7
∑ yi = 28,
i =1
∑ xi yi = 121,
i =1
7
yi xi2 = 635, ∑ i =1
7
16
Printed with FinePrint - purchase at www.fineprint.com PDF 文件使用 "pdfFactory Pro" 试用版本创建 www.fineprint.com.cn
6
已知数据表 ( x i , y i )( i = 1,2, L , n )， 近似函数为 ϕ ( x )
求最小二乘拟合 m次多项式 ,即求下列函数的极小值点
2 m F (a0 , a1 L am ) = ∑ y i − (a 0 + a 1 x i + a 2 x i + L a m x i ) i =1 n 2
例 : 已知数据表 xi
n
1 0.5
2 2.5
3 2.0
4 4.0
5 3.5
6 6.0
7 5.5
∑x ∑x
i =1 n i
n
∑x
i =1 n
2 i
∑x
i =1
3 i
∑ yi i =1 a0 i = 1 n n 3 xi a1 = ∑ x i y i ∑ i =1 a i = 1 2 n n 2 xi4 ∑ xi yi ∑ i =1 i =1
x i = 31, ∑ xi2 = 179, ∑ i =1 i =1 xi4 = 8147, ∑ i =1
7
7
n ∑ yi a0 i = 1 n n xi3 a1 = ∑ xi yi ∑ i=1 a i =1 n 2 n 2 xi4 ∑ xi yi ∑ i =1 i= 1
此问题的正则方程组为 : 7 28 a0 24 即 = 28 140 a1 119.5 解得，a0 = 0.0714,
10
n S x
Sy S x a0 == S xx a1 S xy
最小 1
特别地 , 一次 ( 线性 )最小二乘拟合多项式求 解公式 :
2、 使 残 差 的 平 方 和 最 小 , 即
∑ δ i2 = δ
i =1
2
最佳平方逼近 最小二乘拟合
最小 2
3、 使 残 差 的 最 大 绝 对 值 最 小 , 即
n n ∑ xi i =1 n S x
n ∂F m 2 = 2∑ yi − (a0 + a1 xi + a2 xi + Lam xi ) ( − xi ) = 0 ∂a1 i =1
整理得
na0 + a1 ∑ xi +a2 ∑ xi 2 + L+ am ∑ xi m = ∑ yi
i =1 i =1 i =1 i =1
n
n
n
n
§1 数据拟合的最小二乘法 第六章习题 P162, 1, 3, 4, 6, 13(2)
1.1 多项式拟合
已知数据组( xi , yi )( i = 1, 2, L , n)，
n
xi yi
x1 y1
2
x2 L x n y2 L yn
如果m次多项式Pm ( x ) = a0 + a1 x1 + a2 x 2 + Lam x m , 使得
1
n
2
即求F (a0 , a1 ,Lam )的最小值点
n
i =1
5
第六章
函数逼近
求最小二乘拟合m次多项式,即求下列函数的极小值点
y i − (a 0 + a1 x i + a 2 xi2 + L a m x im ) F ( a0 , a1 L am ) = ∑
i =1 2
问题 : 已知数据表 ( x i , y i ) ( i = 1, 2, L , n )
当m > n时为超定方程组 , 其最小二乘解
列 xi yi xi2 x i yi
wenku.baidu.com
数 据 表: 1 2 3 0.5 2.5 2.0 1 4 9 0.5 5.0
4 4.0 16
5 3.5 25
6 6.0 36
7 5.5 49
S x = 28 S y = 24.0 S xx = 140
6.0 16.0 17.5 36.0 38.5 S xy = 119.5
∑x ∑x
i =1 n i i =1
n
∑x
i =1 n
2 i
∑x
i =1
3 i
n n n n 2 m na0 + a1 ∑ xi +a2 ∑ xi + L+ am ∑ xi = ∑ yi i =1 i =1 i =1 i =1 n n n n n a0 ∑ xi + a1 ∑ xi 2 + a2 ∑ xi 3 + L+ am ∑ xi m+1 = ∑ yi xi i =1 i =1 i =1 i =1 i =1 LLL n n n n n m m a0 ∑ xi + a1 ∑ xi m+1 + a2 ∑ xi m+ 2 + L+ am ∑ xi 2m = ∑ yi x12 i i =1 i =1 i =1 i =1 i =1
8
Printed with FinePrint - purchase at www.fineprint.com PDF 文件使用 "pdfFactory Pro" 试用版本创建 www.fineprint.com.cn
二次最小二乘拟合多项式
n n ∑ xi i =1 n 2 ∑ xi i =1
残差：
δ i = yi − ϕ ( xi ) (i = 1,2,L, n)
残差向量：
δ = (δ1 ,δ2 ,Lδ n )
由多元函数取极值的必要条件 ,
n n n n m 2 na0 + a1 ∑ xi +a2 ∑ xi + L+ am ∑ xi = ∑ yi i =1 i =1 i =1 i =1 n n n n n m +1 2 3 a0 ∑ xi + a1 ∑ xi + a2 ∑ xi + L+ am ∑ xi = ∑ yi xi i =1 i =1 i =1 i =1 i =1 LLL n n n n n m a0 ∑ xi + a1 ∑ xi m +1 + a2 ∑ xi m + 2 + L+ am ∑ xi 2m = ∑ yi xi m i =1 i =1 i =1 i =1 i =1
n 2 i
yi
求它的最小二乘一次拟合多项式 . 解 : 列数据表
xi yi xi2 xi yi
9
n S x
4 4.0 5 3.5 6 6.0
Sy S x a0 == S xx a1 S xy
7 5.5 S x = 28 S y = 24.0
1 x2
m x2
L L
M
1 y1 xn y2 M M m L xn yn
11
点的分布近似为抛物线
15
n n x i ∑ i =1 M n xm ∑ i i =1
∑x ∑x
i =1 i =1 n i
1 2 3 0.5 2.5 2.0
S xx = 140 1 4 9 16 25 36 49 0.5 5.0 6.0 16.0 17.5 36.0 38.5 S xy = 119.5
13
超定线性方程组的最小二乘解
a 11 x 1 + a 12 x 2 + L a 1 n x n = b1 a 21 x 1 + a 22 x 2 + L a 2 n x n = b 2 L a m 1 x 1 + a m 2 x 2 + L a mn x n = b m
由多元函数取极值的必要条件 ,
n ∂F 2 m =0 2∑ yi − (a0 + a1 xi + a2 xi + Lam xi ) ( − 1) = 0 ∂a0 i =1
插值 求一近似函数 ϕ ( x ), 使其尽可能 " 好 " 地 反映数据点的基本趋势 .
2
LLLLL n ∂F 2 m m = 2∑ yi − (a0 + a1 xi + a2 xi + Lam xi ) ( − xi ) = 0 ∂am i =1
是正则方程组的 AT Ax = AT b的解 .
a1 = 0.8393
14
此数据表的一次最小二乘拟合多项式为 : P1 ( x ) = 0.0714 + 0.8393 x
例 : 给定 一组实验数据如下 xi yi 1 2 2 3 3 6 4 7 6 5 7 3 8 2
求数据表( xi , yi )( i = 1,2,L , n),的最小二乘拟合m次多项式 等价于求超定方程组的最小二乘解, a 0 + a 1 x 1 + L a m x 1m = y1 m a 0 + a1 x 2 + L a m x 2 = y 2 n> m +1 L m a 0 + a1 x n + L a m x n = yn 正则方程组为 :