数值分析之曲线拟合

S * ( x ) = ∑ a *jϕ j ( x )为最小二乘解
j =0 n
S ( x ) = ∑ a jϕ j ( x )为拟合函数 , a j ( j = 0 ,1,L , n )为拟合系数
j =0
n
δ * 2 称为最小二乘解的平方 误差
2
在确定了拟合函数 S ( x )后, 如何求拟合系数 a j ( j = 0 ,1,L , n )
j =0 n
定义平方误差 偏差平方和 定义平方误差(偏差平方和 平方误差 偏差平方和):
δ
其中
2 2
= ∑δ
i =0
m
2 i
δ = (δ 0 , δ1 ,L , δ m )T ,
δ i = S ( x i ) − f i (误差或残差)
我们选取的度量标准是
在函数空间Φ 中选取一个函数S * ( x )
2 − 范数 : f
2
= ( f , f ) = ( ∫ ρ ( x ) f 2 ( x ) dx )
a
1 2
b
1 2
定理3.1.1 设ϕ0 , ϕ1 , ϕ2 ,L , ϕn ∈ C[a, b],由他们的内积构成的 矩阵(称Gram矩阵)
(ϕ 0 ,ϕ 0 ) G = (ϕ 1 ,ϕ 0 ) M (ϕ ,ϕ ) n 0
常采用的内积与范数
1. 向量R n空间上的内积:
n (x, y)= ∑ ωi xi yi i=1 x = ( x1 , x2 ,L , xn )T y = ( y1 , y2 ,L , yn )T
由内积定义范数（满足三个条件） 2 − 范数 : x = (x, x) =
构造出正交多项式序列
。
2.勒让德多项式 定义3 当区间为 [-1,1], 权函数 ρ(x) ≡1 时, 由 {1,x,…,xn ,…}正交化得到的多项式就称为勒让德 (Legendre) 多项式,并用 P0(x),P1(x)，…，Pn(x)，… 表示。 这是勒让德于1785年引进的。1814年罗德利克 (Rodrigul) 给出了简单的表达式：
---------(1)
其中β 0 , β 1为待定参数
我们希望y( x ) = β 0 + β 1 x与所有的数据点(样本点)( xi , yi ) 越接近越好
必须找到一种度量标准来衡量什么曲线最接近所有数据点.
二、 问题的提法
设y = f ( x )在m+1个节点xi ∈[a,b]上的值给定, 即 ( xi , f i ) i = 0,1,L , m ---------(1) 要在某一个特定的函数空间Φ 中, 找一个函数 y = S * ( x ) 作为f ( x )的近似模型.
使得S * ( x ) = ∑ a *ϕ j ( x ) 满足拟合条件(3)呢？ j
j =0
n
三、法方程组
由 可知
S ( x ) = ∑ a jϕ j ( x )
j =0
n
δ
2 2
= ∑ ( ∑ a jϕ j ( xi ) − f i ) 2 = ∑ ( S ( xi ) − f i )
2 i =0
第三章
曲线拟合的最小二乘法 /函数平方逼近初步
§ 3.1 拟合与逼近问题
曲线拟合问题: 曲线拟合问题 (建立试验数据的模型)
在实际应用中，往往并不需要曲线通过给定的数据点， 而只要求用曲线(函数)近似代替给定的列表函数时，其 误差在某种度量意义下最小。
函数逼近问题: 函数逼近问题 (连续函数的逼近)
由多元函数取极值的必要条件
∂F ( a0 , a1 ,L , an ) =0 ∂ak
得
k = 0 ,1,L , n
m n ∂F = ∑ [2( ∑ a jϕ j ( xi ) − f i )ϕ k ( xi )] = 0 ∂ak i =0 j =0
即
∑ [∑ a ϕ ( x )ϕ
i =0 j =0 n j j i
性质4. pn(x) 在区间[-1，1]内有n个不同的实零点。
§ 3.2 曲线拟合 最小二乘法 曲线拟合(最小二乘法 最小二乘法)
一. 实例讲解
实例：考察某种纤维的强度y与其拉伸倍数x的关系，下表是 实际测定的24个纤维样品的强度与相应的拉伸倍数的记录:
编 号 拉伸倍数 1 1.9 2 2 2.1 3 4 2.5 5 2.7 6 2.7 7 3.5 8 3.5 9 4 10 4 11 4.5 12 4.6
j =0 i =0 j i
n
m
k
( xi )]a j = ∑ f iϕ k ( xi )
i =0
m
k = 0 ,1,L , n
即
m m m
---------(4)
a0 ∑ ϕ 0 ( xi )ϕ k ( xi ) + a1 ∑ ϕ1 ( xi )ϕ k ( xi ) + L + an ∑ ϕ n ( xi )ϕ k ( xi )
则称f(x)与g(x)在[a,b]上带权ρ(x)正交 正交。 正交
若函数族 ψ0(x), ψ1(x), …, ψn(x), … 满足关系
则称{ψk(x)}是[a,b]上带权ρ(x)的正交函数族 正交函数族。 正交函数族 例如，三角函数族 1 ,cosx , sinx , cos2x , sin2x , … 就是在区间 [-π, π] 上的正交函数族。
(ϕ 0 , ϕ 1 ) L (ϕ 0 , ϕ n )
(ϕ 1 , ϕ 1 ) L (ϕ 1 , ϕ n ) M M (ϕ n , ϕ 1 ) L (ϕ n ,ϕ n )
则G非奇异的充分必要条件是:
ϕ 0 , ϕ1 , ϕ 2 ,L , ϕ n线性无关.
正交多项式
1.正交函数族与正交多项式 定义1 若f(x),g(x)∈C[a,b], ρ(x)为[a,b]上的权函数 且满足:
由于(x2 -1)n 是2n次多项式，求n阶导数后得到
于是得首项 xn 的系数
显然最高项系数为1的勒让德多项式为:
勒让德多项式有下述几个重要性质： 性质1. 正交性
性质2.奇偶性 pn(-x)=(-1)n pn (x) 性质3.递推关系 (n+1)pn+1(x)=(2n+1)xpn(x)-npn-1(x) (n=1,2,……) (*) 由p0(x)=1，p1(x)=x，利用 (*) 就可推出pn(x)的 表达式:
∑ω x
i =1
n
2 i i
2. 连续函数空间 C[a, b] 上的内积 : 设 f , g ∈ C[a, b], 定义内积: ( f , g ) = ∫ f ( x ) g ( x )dx;
a b
及加权内Biblioteka Baidu ( f , g ) = ∫ ρ ( x ) f ( x ) g ( x )dx,
a b
ρ ( x )为权函数.
5.5 5 5.5 6.4 6 5.3 6.5 7 8.5 8 8.1 8.1
9
纤维强度随拉伸 倍数增加而增加 并且24个点大致分 并且 个点大致分 布在一条直线附近
因此可以认为强度 y 与 拉 伸 倍 数 x的 主 要关系应是线性关系
8
7
6
5
4
3
2
1 1 2 3 4 5 6 7 8 9 10
y( x ) = β 0 + β 1 x
在实际应用中常需为解析式子比较复杂的函数寻找一个 简单函数来近似代替它，并要求其误差在某种度量意义 下最小。 可统称为最佳逼近问题
一. 问题的提出
插值法是使用插值多项式来逼近未知或复杂函数的， 它要求插值函数与被插函数在插值节点上函数值相同 ， 而在其他点上没有要求。在非插值节点上有时函数值 会相差很大。若要求在被插函数的定义区间上都有 较好的近似，就是最佳逼近问题。 必须找到一种度量标准来衡量什么是最佳逼近.
∑ ρ ( f ( x i ) − p ( x i ))
m i=0 i
2
= min
就是常说的曲线拟合的最小二乘法.
二. 预备知识
内积: 内积
设X是数域K上的线性空间,若对∀u,v ∈ X, 有K中一个数与之对应,记为(u,v),其满足: (1) (u, u) ≥ 0, 且 (u, u)=0 ⇔ u=0; (2) (u, v)=(u, v); (3) (α u, v)=α (u, v), α ∈ K; (4) (u+v, w)=(u, w)+(v, w), w ∈ X, 则 (u, v) 称为u 与 v 的内积; 而定义了内积的 线性空间 X 称为内积空间.
2 2
= min
S ( x )∈Φ
( S ( xi ) − f i ) 2 ∑
i =0
m
---------(3)
其中S ( x ) = ∑ a jϕ j ( x )为Φ中的任意函数
j =0
称满足条件(3)的求函数S * ( x ) = ∑ a *jϕ j ( x ) 的方法为
j =0
n
数据拟合的最小二乘法
i =0 j =0
m
m
n
为拟合系数 a j ( j = 0 ,1,L , n )的函数
因此可假设
二次函数
F ( a0 , a1 ,L , an ) = ∑ ( ∑ a jϕ j ( xi ) − f i ) 2
i =0 j =0
m
n
因此求最小二乘解转化为
* * * 求F( a0 , a1 ,L , an )的最小值(极小值)点a0 , a1 ,L , an 的问题.
最佳逼近
最佳一致逼近是在函数空间 M中选 P(x) 满足 最佳一致逼近 max f ( x ) − p ( x ) = min L (*)
a≤ x≤b
b
但由于绝对值函数不宜进行分析运算，常替之以
∫
a
ρ (x) (
f ( x ) − p ( x ))
2
dx = min
来讨论，于是最佳逼近问题变为最佳平方逼近问题 这即为连续函数的最佳平方逼近. 对于离散的问题，最佳平方逼近问题为:
设函数类Φ的基函数为ϕ i ( x )(i = 0 ,1,L , n ) 一般要求 n ≤ m 也称Φ是由ϕ i ( x )(i = 0 ,1,L , n)生成的函数集 ,即
Φ = span{ϕ 0 ( x ),ϕ 1 ( x ),L ,ϕ n ( x )}
则可设 S ( x ) = ∑ a jϕ j ( x ) ∈ Φ
i =0 i =0 i =0
= ∑ f iϕ k ( xi )
i =0
m
k = 0 ,1,L , n
显然( 4 )是一个关于a0 , a1 ,L , an的n + 1元线性方程组
引入记号
ϕ r = (ϕ r ( x 0 ),ϕ r ( x1 ),L ,ϕ r ( xm ))
f = ( f 0 , f1 ,L , f m )
x i 强度 y i 编 号 拉伸倍数 强 度
1.4 1.3 1.8 2.5 2.8 2.5 3 2.7 4 3.5 4.2 3.5 13 14 15 16 17 18 19 20 21 22 23 24
5 5.2 6 6.3 6.5 7.1 8 8 8.9 9 9.5 10
x i 强度 y i 强度
定义2 设 ψn(x) 是[a,b]上首项系数 an≠0 的 n次多项 式,ρ(x)为[a,b]上权函数，如果多项式序列 满足关系式:
则称为多项式序列 为在[a,b]上带权ρ(x)正交 正交， 正交 称ψn(x)为[a,b]上带权ρ(x)的n次正交多项式 正交多项式。 正交多项式
只要给定区间[a,b]及权函数ρ(x), 均可由一族 线性无关的幂函数 { 1 , x , … , xn , … } 利用逐个正交化手续(Gram-Schmidt正交化方法)：
S * ( x ) = ∑ a *jϕ j ( x )
j =0 n
---------(2)
* * = a0*ϕ 0 ( x ) + a1ϕ1 ( x ) + L + anϕ n ( x )
使得 δ *
2 2
= ∑ ( S * ( xi ) − f i ) 2
i =0
m
= min δ
S ( x )∈Φ m
m
n
k
( xi ) − f iϕ k ( xi )] = 0
m
∑∑ a ϕ
i =0 j =0 j
m
j
( xi )ϕ k ( xi ) = ∑ f iϕ k ( xi )
i =0
∑∑ a ϕ
i =0 j =0 j
m
n
j
( xi )ϕ k ( xi ) = ∑ f iϕ k ( xi )
i =0
m
∑ [∑ϕ ( x )ϕ
则由内积的概念可知
(ϕ k ,ϕ j ) = ∑ ϕ k ( xi )ϕ j ( xi ) (ϕ k , f ) = ∑ ϕ k ( xi ) f i
i =0
m
i =0 m
---------(5) ---------(6)
显然内积满足交换律
(ϕ k ,ϕ j ) = (ϕ j ,ϕ k )
方程组(4)便可化为