数值计算方法37 45页PPT文档

华长生制作
12
方程组(4)便可化为
a 0 ( k ,0 ) a 1 ( k ,1 ) a n ( k ,n ) ( k , f )
k0,1, ,n
---------(7)
这是一(个 k,j)系 常 , 数 数 (为 k项 ,f)的 为线性方
将其表示成矩阵形式
华长生制作
i0
i0
16
例1. 回到本节开始的实例，从散点图可以看出 纤维强度和拉伸倍数之间近似与线性关系 故可选取线性函数
y(x)a0a1x
为拟合函数，其基函数为
0(x)1 1(x)x
建立法方程组
根据内积公式，可得
华长生制作
17
(0,0)24 (0,1)12.57(1,1)82.691
(0,f)11.13 (1,f)73.61
法方程组为
12247.5
81229.7.651

a a
0 1



113.1 731.6

解得 a0 0.1505 a1 0.8587 y*(x)0.15050.858x7 即为所求的最小二
平方误差为

*
2 2
j0 i0
i0
k0,1, ,n
---------(4)
即
m
m
m
a0 0(xi)k(xi)a1 1(xi)k(xi) an n(xi)k(xi)
i0
i0
i0
m
yik(xi) i0
k0,1, ,n
华长生制作
11
显(4 然 )是一a 个 0,a1, 关 ,an的 于 n1元线性方
拟合函 S(x)数 Pn(x)的基函数为
0(x)1, 1(x)x, ,k(x)xk, , n(x)xn
基函数之间的内积为
m
m
m
(k,j) k(xi)j(xi)
xik xij
x
k i

j
i0
i0
i0
m
m
(k, f) k(xi)yi xik yi
5.6615
华长生制作
18
拟合曲线与散点 的关系如右图:
9
8
7
6
5
4
3
2
1
1
2
3
4
5
6
7
8
9
10
华长生制作
19
例2. 求拟合下列数据的最小二乘解
x=.24 .65 .95 1.24 1.73 2.01 2.23 2.52 2.77 2.99 y=.23 -.26 -1.10 -.45 .27 .10 -.29 .24.56 1

( ( (
0, 1,
n,
f f
f
) ) )
华长生制作
-----(8)
13
称 (8)式为函数 0(x序 ),1(列 x) , ,n(x)
在点 x0,x1,,xm上的法方程组
并且其系数矩阵为对称阵
由 0于 (x),1(x) ,,n(x)为函 的 数 基 类
指数函数形式 yaebt
双曲线形 y式 t a t b
其中a,b都是待定系数
华长生制作
lnylnab1 t
1 ab1
y
t
23
(1).指数函数形 y式 aebt
两边取对数,得
lnylnab1
t 设 ylny,t1,alna
华长生制作
21 Go!
用Gauss列主元消去法,得

a b c


0--.0113..020467113035
y关于x的最小二乘解是
S*(x) 1 .04 ln x 1 1 0 .26 c1 o x 3 0 s.03e 0 x 735
拟合的平方误差为
t=1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16 y=4.00,6.40,8.00,8.80,9.22,9.50,9.70,9.86,10.00,
10.20,10.32,10.42,10.50,10.55,10.58,10.60
解: 画出时 t与 间浓y度 的散点图
具有图示的图形的曲线很多，本题特提供两种形式
因此 0(x),1(x) , ,n(x)必然线性无关
所以法方程组的系数矩阵非奇异,即
deti, [j)(n)(n]0
根据Cramer法则,法方程组有唯一解
a 0 a 0 *a 1 , a 1 * ,a n a n *
华长生制作
14
mn
即 (a0*a ,1* ,,an*) ( aj *j(xi)yi)2 i0 j0
mn
是 (a0,a1, ,an) ( ajj(xi)yi)2 的最小值 i0 j0
所以
mn
mn
( aj *
i0 j0
j(xi)yi)2 Sm (x)iin0(j0aj
j(xi)yi)2
m
m
(S*(xi)yi)2
i0
Sm (x) in i0(S(xi)yi)2
二、法方程组
由 可知
n
S(x) ajj(x) j0
m
mn

2 2

(S(xi)yi)2 (
ajj(xi)yi)2
i0
i0 j0
为拟合 aj(j 系 0,1, 数 ,n)的函数 因此可假设
mn
(a0,a1, ,an) ( ajj(xi)yi)2 i0 j0
2 2
Sm (x) in i0(S(xi)yi)2
---------(3)
m
其中 S(x) ajj(x)为中的任意函数
华长生制作
j0
7
n
称满足 (3)条 的件 求函 S*(x数 ) a*jj(x)的方法为 j0
数据拟合的最小二乘法
n
S*(x) a*jj(x)为最小二乘解 j0
i0 j0
mn
即
[ ajj(xi)k(xi)yik(xi)]0
i0 j0
mn
m
ajj(xi)k(xi) yik(xi)
华长生制作 i0j0
i0
10
mn
m
ajj(xi)k(xi) yik(xi)
i0j0
i0
nm
m
[ j(xi)k(xi)a ]j yik(xi)
5 5.2
6
6.3 6.5 7.1
8 8 8.9 9 9.5 10
¿Ç ȶ yi
5.5 5
5.5
6.4 6
5.3 6.5
7 8.5
8 8.1 8.1
2
纤维强度随拉伸 倍数增加而增加
并且24个点大致分 布在一条直线附近
因此可以认为强度 y与拉伸倍数 x的主 要关系应是线性关 系
9
8
7
6
5
4
3
2
1
1
在回归分析中称为残差
一般使用
m
m

2 2


2 i

(y(xi ) yi )2
i0
i0
作为衡 y(x)量 与数据 (xi,y点 i)偏离程度大小 准的度
称为平方误差
华长生制作
4
从而确定(1)中的待定系数
m
m

2 2

i2 (y(xi)yi)2
i0
i0
在回归分析中称为残差平方和
也 称 是由 i(x)i(0,1, ,n)生成的 ,即 函数集
sp {0 ( x a )1 ,( x n ) ,,n ( x )}
n
S(x) ajj(x) j0
仍然定义平方误差
m
m
华长生制作

2 2


2 i

(S(xi ) yi )2
6
i0
i0
引入记号
r (r(x 0 ),r(x 1 ) ,,r(x m ))
f (y0,y1, ,ym)
则由内积的概念可知
m
(k,j) k(xi)j(xi) i0 m
(k, f) k(xi)yi i0
---------(5) ---------(6)
显然内积满足交换律 (k ,j ) (j,k)
解: 从数据的散点图可以看出 y与x之间具有三角函数关co系sx y与x之间还具有指数函数关系ex
y与x之间还具有对数函数系关 lnx 因此假设拟合函数与基函数分别为
S(x)aln xbco x scxe
0(x)lnx 1(x)coxs 2(x)ex
华长生制作
20
1
0.5
0
y
-0.5
我们选取的度量标准是
在函数中 类选取一个 S*函 (x)数
n
S*(x) a*jj(x)
---------(2)
j0
a 0 * 0 ( x ) a 1 * 1 ( x ) a n * n ( x )
m

*
2 2

(S*(xi)yi)2
i0
m
min S( x)

*
2 2
min S( x)
2 2
因此
华长生制作
n
S*(x) a*jj(x)为最小二乘解
j0
15
m
n
平方误差

*
2 2

(S*(xi)yi)2 (f, f) aj *(f,j)
i0
j0
作为一种简单的情况,
常使S (用 x ) P n (x 多 )作 (x i项 ,为 y i)i( 式 0 ,1 , ,m )的拟
-1
-1.5
0
0.5
1
1.5
2
2.5
Байду номын сангаас
3
x
通过计算,得法方程组的系数矩阵及常数项矩阵为
6.7941 -5.3475
-653..32457859
5.1084 -49.0086
63.2589 10-0429..50086

1.6163 -2.3827 26.7728

Axb
第二章 插值与逼近 A
a11
§ a221.9

an1
aaan12数222 据 拟aaa合21nnnn (最小二x乘i 法bii )2 ijlii,113l,ij x j ,n
华长生制作
1
§2.9 数据拟合(最小二乘法)
实例：考察某种纤维的强度与其拉伸倍数的关系,下表 是实际测定的24个纤维样品的强度与相应的拉伸倍数 是记录:
(0 ,0 ) (1 ,0 ) (n ,0 )
(0 ,1 ) (0 ,n ) ( (n 1 , ,1 1 ) ) ( (n 1 , ,n n ) )
a a
a

0 1
n

注意(1)式是一条直线 但x, y的关系并不一定是线关性系
因此将问题一般化
华长生制作
5
设(xi,yi)(i0,1,,m)为给定的一组数据 设 x,y的关系y为 S(x)
其中S(x)来自函数类 如(1)中y(x)来自线性函数类
设函 的 数基 类 函 i(x)i( 数 0,1, 为 ,n) 一般要n求 m
因此求最小二乘解转化为
华长生制作
二次函数
9
求 ( a 0 ,a 1 , ,a n ) 的( 极 最 ) 点 a 小 小 0 * a 1 * , ,a 值 值 n * 的
由多元函数取极值的必要条件
(a0,a1,,an)0
ak
k0,1, ,n
得

ak
m
n
[2( ajj(xi)yi)k(xi)] 0
2
3
4
5
6
7
8
9
10
y(x)01x ---------(1)
其中 0,1为待定参数
华长生制作
3
我们y(希 x)望 01x与所有的 (样数 本 )x (i据 ,点 yi)点
越接近越好
必须找到一种度量标准来衡量什么曲线最接近所有数据点
一、最小二乘法的基本概念
令 iy(xi)yi
n
S(x) ajj(x)为拟合 ,aj(j函 0,1,数 ,n)为拟合
j0

*
2称为最小二乘解的误平差方
2
在确定S 了 (x)后 拟 ,如合 何函 求 aj数 (拟 j0,1 合 , ,n)系
n
使得 S*(x) a*jj(x)满足拟合 (3)呢 条？ 件
j0
华长生制作
8
± à ź À­ Éì ± ¶ Êý xi ¿Ç ȶ yi ± à ź
1
1.9
1.4
13
2
2
1.3
14
3
2.1
1.8
15
4
2.5
2.5
16
5
2.7
2.8
17
6
2.7
2.5
18
7
3.5
3
19
8
3.5
2.7
20
9
4
4
21
10
4
3.5
22
11
4.5
4.2
23
华长生1制2作
4.6
3.5
24
À­ Éì ± ¶ ýÊ xi
图象如图
m

*
2 2

(S*(xi )yi )2
i0
m
( 1 .04 ln x 1 i 1 0 .26 c1 o xi 3 0 s.03e 0 xi 7 yi)23
i 0
0.92557
华长生制作
22
例3. 在某化学反应里,测得生成物浓度y%与时间t的 数据如下，试建立y关于t的经验公式