【精品】第三章函数逼近及最小二乘法
数值分析之最小二乘法与最佳一致逼近
这里 ( x) 0是 [a, b]上的权函数，它表示不同点 ( xi , f ( xi ))
处的数据比重不同.
5
S ( x) a00 ( x) a11 ( x) ann ( x) (n m) 用最小二乘法求拟合曲线的问题，就是在
S ( x )中求一函数 y S * ( x)， 使误差取得最小.
23
结果如下：
24
2
用正交多项式做最小二乘拟合
用最小二乘法得到的法方程组，其系数矩阵
n . G是病态的
(
(k 0,1,, n). （5.6） j 0 如果 0 ( x), 1 ( x), , n ( x) 是关于点集
k
, j )a j d k
{xi } (i 0,1,, m) 带权 ( xi ) (i 0,1,, m)
4 2.00 8.46 2.135
21
( 0 , y ) yi 9.404,
i 0 4
4
(1 , y ) xi yi 14.422.
i 0
故有法方程
5 A 7.50b 9.404, 7.50 A 11.875b 14.422.
解得
A 1.122, b 0.505, a e A 3.071.
使误差平方和
* 2 [ S ( x ) y ] i i i 0 2 i i 0 m m m
min
S ( x )
2 [ S ( x ) y ] , i i i 0
这里
S ( x) a00 ( x) a11 ( x) ann ( x)
(n m).
y S * ( x) 与所给数据{( xi , yi ), i 0,1,, m} 拟合.
《数学函数逼近》PPT课件
---------(2)
a0 * 0(x) a1 * 1(x) an * n(x)
使得 * 2 2
m
(S * ( xi ) yi )2
i0
m
min S ( x)
2 2
min
S ( x)
i0
( S ( xi
)
yi
)2
n
其中S(x) a j j (x)为中的任意函数。
j0
---------(3)
EAST CHINA INSTITUTE OF TECHNOLOGY
理学院
n
称满足条件(3)的求函数S *(x) a*j j (x)的方法为 j0
数据拟合的最小二乘法.
n
S *(x) a*j j (x)为最小二乘解. j0 n
S(x) a j j (x)为拟合函数, a j ( j 0,1, , n)为拟合系数. j0 * 2 称为最小二乘解的平方误差. 2
解: 从数据的散点图可以看出
y与x之间具有三角函数关系 cos x y与x之间还具有指数函数关 系ex
y与x之间还具有对数函数关 系ln x 因此假设拟合函数与基函数分别为
设x, y的关系为
y S(x)
其中S(x)来自函数类 如(1)中y(x)来自线性函数类
设函数类 的基函数为 i(x)(i 0,1,,n) 一般要求n m
也称是由i(x)(i 0,1,, n)生成的函数集 ,即
span{0(x),1(x),,n(x)}
n
i0
k 0,1,,n 即
m
m
m
a0 0(xi )k (xi ) a1 1(xi )k (xi ) an n(xi )k (xi )
数值计算方法(宋岱才版)课后答案
第一章 绪论一 本章的学习要求（1）会求有效数字。
（2）会求函数的误差及误差限。
（3）能根据要求进行误差分析。
二 本章应掌握的重点公式（1）绝对误差：设x 为精确值，x *为x 的一个近似值，称e x x **=-为x *的绝对误差。
（2）相对误差：r e e x***=。
（3）绝对误差限：e x x ε***==-。
（4）相对误差限：r x x xxεε*****-==。
（5）一元函数的绝对误差限：设一元函数()()()0,df f x f x dx εε***⎛⎫==⋅ ⎪⎝⎭则。
（6）一元函数的相对误差限：()()1r df f x dx f εε****⎛⎫=⋅ ⎪⎝⎭。
（7）二元函数的绝对误差限：设一元函数()()(),0,f f x y f y y εε***⎛⎫∂==⋅ ⎪∂⎝⎭则。
（8）二元函数的相对误差限：()()()1r f f f x y x y f εεε******⎡⎤⎛⎫∂∂⎛⎫⎢⎥=⋅+⋅ ⎪ ⎪∂∂⎝⎭⎢⎥⎝⎭⎣⎦。
三 本章习题解析1. 下列各数都是经过四舍五入得到的近似值，（1）试指出它们有几位有效数字，（2）分别估计1123A X X X ***=及224X A X **=的相对误差限。
12341.1021,0.031,385.6,56.430x x x x ****====解：（1）1x *有5位有效数字，2x *有2位有效数字，3x *有4位有效数字，4x *有5位有效数字。
（2）1111123231312123,,,,A A AA x x x x x x x x x x x x ∂∂∂====∂∂∂由题可知：1A *为1A 的近似值，123,,x x x ***分别为123,,x x x 近似值。
所以()()111rA A Aεε***=()()()12311111123A A A x x x A X X X εεε*******⎡⎤⎢⎥=++⎢⎥⎢⎥⎣⎦⎛⎫⎛⎫⎛⎫∂∂∂ ⎪ ⎪ ⎪∂∂∂⎝⎭⎝⎭⎝⎭43123131212311111010100.215222x x x x x x x x x **-**-**-***⎡⎤=⨯⨯+⨯⨯+⨯⨯=⎢⎥⎣⎦()222222424441,,,X A Ax A X x x x x ∂∂===-∂∂则有同理有2A *为2A 的近似值，2x *，4x *为2x ，4x 的近似值，代入相对误差限公式：()()222rA A Aεε***=()()24212224A A X X A X X εε*****⎡⎤⎢⎥=+⎢⎥⎢⎥⎣⎦⎛⎫⎛⎫∂∂ ⎪ ⎪∂∂⎝⎭⎝⎭()33542224411*********X X X X X **--***⎡⎤⎢⎥=⨯⨯+⨯⨯=⎢⎥⎣⎦2. 正方形的边长大约为100cm ，怎样测量才能使其面积误差不超过21cm ? 解：设正方形的边长为x ，则面积为2S x =，2dsx dx=，在这里设x *为边长的近似值，S *为面积的近似值：由题可知：()()1ds s x dx εε***=≤⎛⎫ ⎪⎝⎭即：()21x x ε**⋅≤ 推出：()10.005200xcm ε*≤=。
数值分析第二次作业答案answer2
S4 = 0.11157238253891，S8 = 0.11157181325263。 同学们根据自己理解计算 S4 ，S8 都可。 复合梯形公式和复合 Simpson 公式的代码已重复多次，同学们自己整 理。 3. 用 Simpson 公式计算积分 误 差 为 |R(f )| = | − η ∈ (0, 1)。 4. 推导下列三种矩形求积公式： ∫b f (x)dx ∫a b f (x)dx ∫a b a f (x)dx = (b − a)f (a) + = (b − = (b −
14.7 53.63 从而 a = −7.855048，b = 22.25376。 2. 已知实验数据如下： 。 xi 19 25 31 38
44
yi 19.0 32.3 49.0 73.3 97.8 用最小二乘法求形如 y = a + bx2 的经验公式。 答案：两个待定常数，只能两个 φ。 φ0 ，φ1 也必须形如 y = a + bx2 。 可设 φ0 = 1，φ1 = x2 。法方程为： ( 5 5327 )( a b ) = ( 271.4 369321.5 )
第三章 函数逼近 1. 观测物体的直线运动，得出以下数据： 时间 t(s) 0 0.9 1.9 3.0 3.9 5.0 距离 s(m) 0 求运动方程。 ( 10 φ0 = 1，φ1 = t。法方程为： 6 14.7 )( a b ) = ( 280 1078 )
6
1. 用 LU 分解及列主元高斯消去法解线性方程组 8 10 −7 0 1 x1 −3 2.099999 6 2 x 5.900001 2 = 5 5 − 1 5 − 1 x 3 x4 1 2 1 0 2 输出 Ax = b 中系数 A = LU 分解的矩阵 L 及 U ，解向量 x 及 det A；列 主元法的行交换次序，解向量 x 及 det A；比较两种方法所得的结果。 代码： A=[10,-7,0,1;-3,2.099999,6,2;5,-1,5,-1;2,1,0,2]; b=[8,5.900001,5,1]'; x=A\b;x(1) 结果：1.7764e-016 LU分解代码： A=[10,-7,0,1;-3,2.099999,6,2;5,-1,5,-1;2,1,0,2]; b=[8,5.900001,5,1]'; [m,n] = size(A); if m~=n, error('A matrix needs to be square'); end for i=1:n-1 pivot = A(i,i); if abs(pivot)<50*eps, error('zero pivot encountered'); end for k = i+1:n A(k,i) = A(k,i)/pivot; A(k,i+1:n) = A(k,i+1:n) - A(k,i)*A(i,i+1:n); end end 7
最佳平方逼近与最小二乘拟合
最佳平方逼近与最小二乘拟合——两者的区别与联系 函数逼近是用一个多项式无限接近原函数，而拟合是将函数中的元素联系起来。
也就是说，最佳平方逼近是针对函数，最小二乘法是针对离散的点，二者在形式上基本一致。
另外，最小二乘拟合也称为离散型最佳平方逼近，两者的解法有很多相似之处。
一、 函数的最佳平方逼近 （一）最佳平方逼近函数的概念对[]b a C x f ,)(∈及[]b a C ,中的一个子集{}n span ϕϕϕφ,,,10⋯=，若存在φ∈)(*x S，使[]dx x S x f x S f Sf baS S ⎰-=-=-∈∈22222*)()()(infinf ρϕϕ，则称)(*x S 是)(x f 在子集[]b a C ,⊆φ中的最佳平方逼近函数。
（二）最佳平方逼近函数的解法为了求)(*x S ，由[]dxx S x f x S f Sf baS S ⎰-=-=-∈∈22222*)()()(infinf ρϕϕ可知，一般的最佳平方逼近问题等价于求多元函数dxx f x a x a a a I banj j j n 2010)()()(),,,(⎰∑⎥⎦⎤⎢⎣⎡-=⋯=ϕρ的最小值问题。
由于),,,(10n a a a I ⋯是关于n a a a ,,,10⋯的二次函数，利用多元函数极值的必要条件),,1,0(0n k a Ik⋯==∂∂，即n),,1,0(0)()()()(20⋯==⎥⎦⎤⎢⎣⎡-=∂∂⎰∑=k dx x x f x a x a Ik b a n j j j kϕϕρ，于是有()()),,1,0(,,0n k f a k j nj j k ⋯==∑=ϕϕϕ。
),,,,1(2n n x x x G G Λ=()()),,1,0(,,0n k f a k j nj j k⋯==∑=ϕϕϕ是关于n 10,,,a a a ⋯的线性方程组，称其为法方程。
由于n ϕϕϕ,,,10⋯线性无关，故系数行列式()0,,,10≠⋯n G ϕϕϕ，于是方程组()()),,1,0(,,0n k f a k j nj j k⋯==∑=ϕϕϕ有唯一解),,1,0(*n k a a k k ⋯==，从而得到)()()(*0*0*x a x a x S n n ϕϕ+⋯+=。
最小二乘法及其应用
（3-2-4）
这就是书中例2-4-1中所得到的法方程 若使用配方法，则有：
g(x) xT AT Ax 2bT Ax bTb
( AT Ax ATb)T ( AT A)1( AT Ax ATb)
bTb bT A( AT A)1 ATb
min AT Ax ATb
可以看出，
gmin bT b bT A( AT A)1 AT b
本例中介绍的两个向量求导公式中，
提到了对于向量x求导的梯度算符 x ,我
们还可以引入对矩阵 A aij 求导的梯度算
符 A
：
a11
L
a12
a1n
L
A
L
L L L
L
L
L
（3-2-5）
an1 an2 L ann
需要说明的是，算符A 只有作用在关于 aij 的标量函数上才有意义。例如对于二次型
在上述解法中，卡享南-洛厄维变换被 选用并不是偶然的，因为这种变换消除了 原始信号x的诸分量间的相关性，从而使 数据压缩能遵循均方误差最小的准则实施。 上述数据压缩方法告诉我们应该压缩掉y 中那些方差大的分量，这称为数据压缩的 方差准则。
J1(A) || Y XA ||2 tr[(Y XA)T (Y XA)] min （3-3-12）
式（3-3-12）的形式与（3-3-9）类似，但 应注意在此处 J1(A)是标量函数。她可以
完全类似于式（3-3-10）那样来配方而求 解，也可体用求导法来求解。由于
J1( A) tr(Y TY ) 2tr(Y T XA) tr(AT X T XA) （3-3-13）
M
M
A
yT (m) xT (m)
或简记为
函数逼近
3-1
3与预备知识
什么是函数逼近
对于一个给定的复杂函数 f (x), 在某个表达式较简单的函数类 Φ 中寻找一个函数 p(x), 使其在某种 度量下距离 f (x) 最近, 即最佳逼近. 这就是函数逼近. • • • • 函数 f (x) 通常较复杂, 但一般是连续的. 我们这里主要考虑 [a, b] 上的连续函数, 即 f (x) ∈ C [a, b]; 函数类 Φ 通常为多项式函数, 或分段多项式函数, 或有理函数, 或三角多项式函数, 等等; 在不同的度量下, f (x) 的最佳逼近可能不一样; 函数逼近通常采用基函数法.
2
例 3.1 常见的线性空间 • • • • • 3.1.4 Rn : 数域 R 上的 n 为线性空间; Cn : 数域 C 上的 n 为线性空间; C [a, b]: 定义在 [a, b] 上的实系数连续函数全体构成 R 上的线性空间; Hn : 次数不超过 n 的实系数多项式全体构成 R 上的 n + 1 维线性空间; C p [a, b]: 定义在 [a, b] 上的实系数 p 阶连续可导函数全体构成 R 上的线性空间; 范数与赋范线性空间
3.1 基本概念与预备知识 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-2 3.1.1 3.1.2 3.1.3 3.1.4 3.1.5 3.1.6 3.2 什么是函数逼近 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-2 多项式逼近的理论基础 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-2 线性空间 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-2 范数与赋范线性空间 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-2 内积与内积空间 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-3 最佳逼近多项式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-8
数值分析第3章
20
定义了内积的线性空间称为内积空间. 定义中（1）的右端 (u称, v为) 的(u共,轭v)， 当K为实数域R时 (u, v) .(v, u) 如果 (u, v，) 则 称0 与 正交u ，这v 是向量相互垂 直概念的推广.
b a
f
2
(
x)dx
2
33
若 0 ,1,,n是 C[a, b]中的线性无关函数族，记 span{0 ,1,,n}, 它的格拉姆矩阵为
G G(0 ,1,,n )
(0 ,0 ) (0 ,1) (0 ,n )
(1
,
0
)
(1 , 1 )
(1
,
n
)
(n ,0 )
(n ,1 )
(
n
,
n
)
（1.17）
Hn span{1, x,, xn},
且 (a0 , a1,, an ) 是 p(x) 的坐标向量，H n 是 n 1维的.
8
对连续函数 f (x) C[a,b]，它不能用有限个线性无关的 函数表示，故 C[a,b]是无限维的，但它的任一元素 f (x) 均可用有限维的 p(x) Hn逼近，使误差
与数的乘法构成实数域上的线性空间， 记作 R n，称为 n维
向量空间.
4
对次数不超过 n( n为正整数)的实系数多项式全体，
按通常多项式与多项式加法及数与多项式乘法也构成数域
R上一个线性空间，用
H
表示，称为多项式空间.
n
所有定义在 [a,b] 上的连续函数集合，按函数加法和
第3讲-函数逼近
5
函数插值是插值函数 p(x) 与被插函数 f(x) 在节点处函数 值相同，即 P ( x i )
f ( x i )， ( i 0 ,1, , n ) ；而曲线拟合函数 ( x ) 不
要求严格地通过所有数据点 ( x i , y i ) 。 即，拟合函数 (x) 在xi处的偏差(亦称残差）
5
4
实 验 数 据
3
y
2 1
0
1
2
3
4
5
x
17
例 设某实验数据如下： i xi yi 1 0 5 2 1 2 3 2 1 4 3 1 5 4 2 6 5 3
6 6 6 2 a0m a1 xi a2 xi yi i 1 i 1 i 1 6 6 6 6 2 3 a0 xi a1 xi a2 xi xi yi i 1 i 1 i 1 i1 6 6 6 6 2 3 4 2 a0 xi a1 xi a2 xi xi yi i 1 i 1 i 1 i1
13.8434
70.376
i
i 1 4
2 i
i
a0 3.9374 a1 7.4626
4 a 0 7 .32 a1 70 .376 7 .32 a 0 13 .8434 a1 132 .12985
x y
i
132.12985
y 3.9374 7.4626 x
2
2
即
e
1 2
i0
n
2 i
( x
i0
n
i
) f ( x i )
2
最小。
这种要求误差（偏差）平方和最小的拟合称为曲线拟合的 最小二乘法。
最小二乘问题的解法
Hx
x
u
w
proof
(1)显然成立， ( 2)和(3)可直接得出， 事实上 H T H H 2 ( I 2 ww T )( I 2 ww T ) I 4 ww T 4 ww T ww T I
2
w
令w ( x y ) / x y 2 , 构 造Householde r变 换 2 H I 2 ww T I ( x y )( x y ) T 2 x y 2 注意到 x T x y T y (已 知),于 是 2 x y 2 ( x y ) T ( x y ) 2( x T x y T x ) 2 ( x y ) T x 从而 2 Hx x ( x y )( x y ) T x x ( x y ) y 2 x y 2 proof
i 1 T n
这 里A a i ,, a n .
于 是, 令x ( x1 , , x n ) ,即 有Ax b. 定理得证 Th3.1.2 方程 组 Ax b的解 存在 , 并且 假定 x是其 任一 给 定的 解 , 则方 程组 的全 部解 的集 合是 x N ( A) proof : 如 果y满 足 方 程 组 , 则A( y x ) 0,即( y x ) N ( A), 于是有 y x ( y x ) x N ( A).反 之, 如 果y x N ( A),则 存 在z N ( A),使y x z, 从 而 有 Ay Ax Az Ax b. 证 毕.
数值分析—第3章函数逼近与数据拟合法
称为广义多项式。
数值分析
三、函数的最佳平方逼近 对于给定的函数 f ( x) C[a, b] 如果存在 使
* ( x) Span 0 , 1 , , n } {
b
a
( x) f ( x) ( x) dx min
* 2
( x ) a
mn mn0 mn0
(2) 递推关系
相邻的三个切比雪夫多项式具有三项递推关系式： T0 ( x ) 1, T1 ( x ) x (n 1, 2, ) Tn1 ( x ) 2 x Tn ( x ) Tn1 ( x ) Tn (x) 的最高次项系数为 2n-1 (n = 1, 2, …)。
连续函数在[a, b]上线性无关的充分必要条件是它们 的Gramer行列式Gn 0，其中
( 0 , 0 ) ( 0 , 1 ) ( 0 , n ) G n G n ( 0 , 1 , , n ) (1 , 0 ) (1 , 1 ) (1 , n ) ( n , 0 ) ( n , 1 ) ( n , n )
(n 1, 2, )
(3) 奇偶性： 当n为偶数时，Pn (x)为偶函数； 当n为奇数时，Pn (x)为奇函数。 (4) Pn (x)的n个零点都是实的、相异的，且全
部在区间[-1, 1]内部。
数值分析
2．切比雪夫(Tchebyshev)多项式 称多项式
Tn ( x) cos(narc cos x)
Span{ 0 , 1 , , n }
并称 0 ( x), 1 ( x), , n ( x) 是生成集合的一个基底。 设函数系{
0 ( x), 1 ( x), , n ( x) ，…}线性无关，
数值逼近
证明： (b) (a ) [ F ( x i ) yi ] [ P ( xi ) yi ]2
2 i 1
m
m
m
i 1
[F ( xi ) P( xi ) P( xi ) yi ] [ P( xi ) yi ]2
2
m
[F ( xi ) P( xi )] 2 [F ( xi ) P( xi )][P( xi ) yi ]
| P ( xi ) yi |2 最小
i 1
m
i 1 m
一、 最小二乘拟合多项式
确定多项式 P( x) a0 a1 x ... an x n ，对于一组数据(xi, yi)
(i = 1, 2, …, n)
使得 [ P ( xi ) yi ]2 达到极小，这里 n << m。
3 4 15 32
15 32 a0 21 a 64 1
a0 10 , * 7 10 88 27 12 , p1 ( x ) x. 31 88 27 135 a1 135 . 80
1
i 1
m
m 法方程组(或正规方程组) ( a 0 , a1 , ... , a n ) a 0 a1 x i ... a n x in y i
实际上是 a0, a1, …, an 的多元函数，即 回归系数
在 的极值点应有 0 , k 0, ... , n
f ( x0 ) f ( n ) ( x0 ) Pn ( x ) f ( x0 ) ( x x0 ) ( x x0 ) n 1! n!
就是的一种近似公式．用它求 x0 附近的函数值误差较小，当|x-x0 | 较
最佳平方逼近
同时，还需要给出连续函数
空间上的一个度量标准，下面通过内积给出平方范数。
二、连续函数的平方范数
已知所有连续函数构成的集合C[a,b]是一个线性
空间，对于C[a,b]中的任意函数
、 ，定义
实数
可以证明此实数满足性质：
这时，称
为与
的内积。
并称 为函数
（3.1） 的平方范数， 且满足以下性质：
（1）
，当且仅当
xi 1 2 3 4 5 6 7 8 zi 2.72 3.02 3.31 3.60 3.89 4.18 4.48 4.77
对
作线性拟合曲线，取
得正则方程组
解得 于是有 拟合曲线为：
练习 三
3-1 利用Legendre多项式
求函数
在
上的最佳均方逼近，并估计误差。
3-2 求 上权函数为
的正交多项
式前四项 3-3 求 ，使
由 得到法方程组第 j 行的元素为：
于是法方程组的系数矩阵为： 令右端第二个矩阵为：
则系数矩阵可以表示为： 再看法方程组的右端项：
由 得到
最后可以将法方程组表示为： 其中
这样会更快的写出法方程组来。
如果所求得最小二乘拟合函数为n次多项式，则： 这时：
误差：
三、数值例子
例3.3 根据如下离散数据拟合曲线并估计误差 x1 2 3 4 6 7 8
使得对于一切
都有：
不等式
说明，所求的 满足等式：
(3.2)
而
是由系数
唯一确定的，因此，只要我
们求出了满足(3.2)的
，就可以求出
f(x)最佳平方逼近。
令
(3.3)
则
这时等式
第三章函数逼近1
6.7941 -5.3475
-653..32457859
5.1084 -49.0086
63.2589 10-0429..50086
-2126...763718262837
Go!
用Gauss列主元消去法,得
a b c
0--.0113..020467113035
y(x) a0 a1x
为拟合函数，其基函数为
0(x) 1 1(x) x
建立法方程组 根据内积公式，可得
(0 ,0 ) 24 (0 , f ) 113.1
法方程组为
(0 ,1 ) 127.5 (1 ,1 ) 829.61 (1 , f ) 731.6
m
*
2 2
(S * ( xi ) yi )2
i0
m
min S ( x)
2 2
min
S ( x)
i0
(S(xi )
yi
)2
m
其中S(x) a j j (x)为中的任意函数 j0
---------(3)
n
称满足条件(3)的求函数S * (x) a*j j (x)的方法为 j0
mn
m
a j j (xi )k (xi ) yik (xi )
i0 j0
i0
mn
m
a j j (xi )k (xi ) yik (xi )
i0 j0
i0
nm
m
[ j (xi )k (xi )]a j yik (xi )
mn
是 (a0 , a1 , , an ) ( a j j ( xi ) yi )2 的最小值 i0 j0
第三章函数逼近及最小二乘法
第三章 函数逼近及最小二乘法 §1 内积空间及函数的范数定义1 设)(x ρ是定义在(a,b)上的非负函数，且满足：1）dx x x nba )(ρ⎰存在 （n=0,1,2,…）2）对非负的连续函数g(x)，若0)()(=⎰dx x x g ba ρ则在(a,b)上有g(x)=0，则称)(x ρ为(a,b)上的权函数。
定义2 设f(x),g(x)为[a,b]上的连续函数，)(x ρ为(a,b)上的权函数，称),(g f =dx x x g x f ba)()()(ρ⎰为函数f(x)与g(x)在[a,b]的内积。
特别当)(x ρ=1时，上式变为 ),(g f =dx x g x f ba⎰)()(设],[b a C 表示在区间[a,b]上连续函数的全体，那么定义了内积之后，],[b a C 就变成了一个内积空间。
显然有),(f f =dx x x f ba)()(2ρ⎰为一个非负值，因此我们有定义3 对],[)(b a C x f ∈，称),()(2f f x f = 为)(x f 的欧氏范数（又称2-范数）。
其实，我们还经常用到函数的其他范数。
比如，)(max)(xfxfbxa≤≤∞=dxxxfxf ba)()()(1ρ⎰=n维向量空间中两个向量正交的定义也可以推广到连续内积空间],[baC中.定义4 若],[)(),(baCxgxf∈,满足),(gf = dxxxgxf ba)()()(ρ⎰=0则称函数f(x)与g(x)在[a,b]上带权)(xρ正交.若函数族),(,),(),(1xxxnϕϕϕ满足⎰⎩⎨⎧=>≠==bakkjkj kjAkjdxxxx)()()(),(ϕϕρϕϕ则称函数族{})(xkϕ是[a,b]上带权)(xρ的正交函数族.特别地,若1=kA,就称之为标准正交函数族.由高等数学的知识，我们知道, Foureir级数展开中函数族1,cosx,sinx,cos2x,sin2x,……即为],[ππ-上带权)(xρ=1的正交函数族.如同线性代数中的向量组线性无关概念一样,在此也有函数组的线性无关概念.定义5设函数组)(,),(),(11xxxn-ϕϕϕ 在[a,b]上连续,若)()()(1111=+++--xaxaxannϕϕϕ当且仅当011====-naaa 时成立,则称函数族)(,),(),(11xxxn-ϕϕϕ 在[a,b]上是线性无关的.否则称为线性相关函数组。
数值分析--第3章 函数逼近和快速傅里叶变换
（1.3）
ln i m B n (m )(f,x)f(m )(x).
这个结果不但证明了定理1，而且由(1.3)给出了 f (x) 的一个逼近多项式，但它收敛太慢，实际中很少使用.
2020/5/8
课件
11
更一般地，可用一组在 C[a,b] 上线性无关的函数集合
i(x)in0 来逼近 f(x)C[a,b]，此时元素
在 C[a,b]上也可以类似定义带权内积.
（1.14）
2020/5/8
课件
30
定义4 设 [a, b] 是有限或无限区间，在 [a, b] 上的非负 函数 (x)满足条件：
（1）
b
a
xk
(x)dx存在且为有限值
(k0,1,),
（2） 对 [a, b] 上的非负连续函数 g (x) ，如果
bg(x)(x)dx0, a
(x ,y ) x 1 y 1 x n y n .
（1.5）
若将它推广到一般的线性空间 ，X则有下面的定义.
2020/5/8
课件
19
定义3 X 是数域K(R或C)上的线性空间，对 u,vX, 有K中一个数与之对应，记为 (u, v，) 它满足 以下条件：
(1)(u ,v ) (v ,u ), u ,v X ;
mafx (x)p(x)
axb
( 为任给的小正数)，这就是著名的魏尔斯特拉斯定理.
2020/5/8
课件
9
定理1 设 f(x)C[a,b]，则对任何 0，总存在一
个代数多项式 p(x) ， 使
f(x)p(x)
在 [a , b ] 上一致成立.
伯恩斯坦1912年给出的证明是一种构造性证明.
他根据函数整体逼近的特性构造出伯恩斯坦多项式
第3章 函数逼近与计算
0 ( x) 1
2 2 ( x , ) ( x , 1 ) 2 0 2 ( x) x 0 1 ( x) (0 , 0 ) (1 , 1 )
1 1 ( 0 , 0 ) ln dx ln xdx 1 0 0 x 1
( x, 0 )
b
a
f 2 ( x)dx
函数的平方模满足 (1) 20,而且2=0(x)=0;
(2) c2=|c|2;
(3) +g22+g2 (4) (,g)2 g2
权函数 考虑到(x)在区间[a,b]上各点的函数值比重不同, 常引进加权形式的定义
什么是函数逼近
对函数类A中给定的函数 f(x),记作f(x)∈A,
要求在另一类简单的便于计算的函数类 B
中求函数 p(x)∈B ,使 p(x)与 f(x)的误差在 某种意义下最小.函数类A通常是区间[a, b] 上的连续函数,记作C[a, b],称为函数逼近空 间;而函数B通常为n次多项式,有理函数或分
续函数空间---- C[a, b]
3.1 函数逼近的基本概念
1)线性无关
设集合S是数域P上的线性空间,元素x1,x2,…,xn∈S, 如果存在不全为零的数a1,a2,…,an∈P,使得
a1 x1 a2 x2 ... an xn 0,
则称x1,x2,…,xn线性相关.
关的.
若 0 ( x), n1 ( x)
n n ! d ~ 2 n P ( x ) [( x 1 ) ]. n n ( 2n)! dx
勒让德多项式的性质
(1)正交性
m n; 0, 1 1 Pn ( x) Pm ( x)dx 2 ， m＝n. 2n 1
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第三章函数逼近及最小二乘法第三章 函数逼近及最小二乘法 §1 内积空间及函数的范数定义1 设)(x ρ是定义在(a,b)上的非负函数，且满足：1）dx x x nba )(ρ⎰存在 （n=0,1,2,…） 2）对非负的连续函数g(x)，若0)()(=⎰dx x x g b a ρ则在(a,b)上有g(x)=0，则称)(x ρ为(a,b)上的权函数。
定义2 设f(x),g(x)为[a,b]上的连续函数，)(x ρ为(a,b)上的权函数，称),(g f = dx x x g x f ba )()()(ρ⎰为函数f(x)与g(x)在[a,b]的内积。
特别当)(x ρ=1时，上式变为),(g f = dx x g x f b a ⎰)()(设],[b a C 表示在区间[a,b]上连续函数的全体，那么定义了内积之后，],[b a C 就变成了一个内积空间。
显然有),(f f = dx x x f ba )()(2ρ⎰为一个非负值，因此我们有定义3 对],[)(b a C x f ∈，称),()(2f f x f =为)(x f 的欧氏范数（又称2-范数）。
其实，我们还经常用到函数的其他范数。
比如，)(max)(xfxfbxa≤≤∞=dxxxfxf ba)()()(1ρ⎰=n维向量空间中两个向量正交的定义也可以推广到连续内积空间],[baC中.定义4 若],[)(),(baCxgxf∈,满足),(gf = dxxxgxf ba)()()(ρ⎰=0则称函数f(x)与g(x)在[a,b]上带权)(xρ正交.若函数族),(,),(),(1xxxnϕϕϕ满足⎰⎩⎨⎧=>≠==bakkjkj kjAkjdxxxx)()()(),(ϕϕρϕϕ则称函数族{})(x kϕ是[a,b]上带权)(xρ的正交函数族.特别地,若1=kA ,就称之为标准正交函数族.由高等数学的知识，我们知道, Foureir级数展开中函数族 1,cosx,sinx,cos2x,sin2x,……即为],[ππ-上带权)(xρ=1的正交函数族.如同线性代数中的向量组线性无关概念一样,在此也有函数组的线性无关概念.定义5设函数组)(,),(),(11xxxn-ϕϕϕ 在[a,b]上连续,若)()()(1111=+++--xaxaxannϕϕϕ当且仅当011====-naaa 时成立,则称函数族)(,),(),(11xxxn-ϕϕϕ 在[a,b]上是线性无关的.否则称为线性相关函数组。
若函数族 ),(,),(),(10x x x n ϕϕϕ满足任何有限个)(x k ϕ组成的函数组都是线性无关的。
则称此函数族为线性无关函数族。
例如：1， ,,,,2n x x x 即为任意区间[a,b]上的线性无关函数族。
若)(,),(),(110x x x n -ϕϕϕ 在[a,b]上是线性无关的函数组，且110,,,-n a a a 是任意实数，则)()()()(111100x a x a x a x s n n --+++=ϕϕϕ的全体是C[a,b]中的一个子集，记作)}(,),(),({110x x x span n -=ϕϕϕϕ称为由)(,),(),(110x x x n -ϕϕϕ 生成的连续函数空间。
判断)(,),(),(110x x x n -ϕϕϕ 线性无关的条件由下定理给出，定理 )(,),(),(110x x x n -ϕϕϕ 在[a,b]上线性无关的充要条件为0),(),(),(),(),(),(),(),(),(111101111101101000≠------n n n n n n ϕϕϕϕϕϕϕϕϕϕϕϕϕϕϕϕϕϕ。
§2 正交多项式一般地，给定区间[a,b]及权函数)(x ρ后，由1，n x x x ,,,2 可以用Schmidt 正交化方法构造出n 次正交多项式，其公式为：1)(0=x ϕ，)())(),(())(,()(1x x x x x x x j k j j j j k k k ϕϕϕϕϕ∑-=-= （2-1）n k ,,2,1 =这样构造的正交多项式有以下性质：① )(x k ϕ是最高项系数为1的k 次多项式； ② 任何k 次多项式均可表示为前k+1个多项式)(,),(),(10x x x k ϕϕϕ 的线性组合；③ 对于l k ≠，有0),(=l k ϕϕ，并且k ϕ与任一次数小于k 的多项式正交。
例： 给定区间[0,1]及权函数x xx ln 1ln)(-==ρ，由1，n x x x ,,,2 用Schmidt 正交化方法构造出前3个正交多项式)(),(),(210x x x ϕϕϕ。
解 由公式（2-1）知，1)(0=x ϕ，)(),(),()(00001x x x x ϕϕϕϕϕ-=，--=)(),(),()(0000222x x x x ϕϕϕϕϕ)(),(),(11112x x ϕϕϕϕ，其中，11ln ),(1000==⎰dx x ϕϕ，411ln ),(100==⎰dx x x x ϕ，911ln ),(10202==⎰dx x x x ϕ，由此得41)(1-=x x ϕ14451ln )41(),(10212=-=⎰dx x x x x ϕ，14471ln )41(),(10211=-=⎰dx x x ϕϕ 得)41(7591)(22---=x x x ϕ=25217752+-x x 。
2-1 Legendre 正交多项式Legendre 正交多项式为区间[-1,1]及权函数1)(=x ρ时，由1，n x x x ,,,2 用Schmidt 正交化方法构造出的n 次正交多项式。
它是由Legendre 于1785年首先引入的，1814年Rordrigul 给出了更简单的表示式，即,1)(0=x p {}nnn nn x dx d n x p )1(!21)(2-= ,2,1=n （2-2） 易见，)(x p n 的最高次项的系数与nnn nx dxd n 2!21的系数是相同的，所以)(x p n 的最高次项，n x 的系数为2)!(2)!2(n n n ，从而得到最高次项系数为1的Legendre 正交多项式为{}nnnn x dxd n n x p )1()!2(!)(~2-= （2-3）以下是Legendre 正交多项式的几个重要性质： 性质1 正交性⎰-⎪⎩⎪⎨⎧=+≠=111220)()(n m n n m dx x p x p m n （2-4）证明 令n x x )1()(2-=ϕ，显然0)1()(=±k ϕ)10(-≤≤n k 设)(x Q 是[-1,1]上 n 阶连续可导函数，由分部积分⎰-=11)()(dx x Q x p n ⎰-11)()()(!21dx x x Q n n n ϕ ⎰--='-=11)1()()(!21 dx x x Q n n n ϕ⎰--=11)()()(!2)1(dx x x Q n n nn ϕ 若)(x Q 是次数小于n 的单项式时，0)()(=x Q n ，故得 ⎰-=11,0)()(dx x p x p m n 当n m ≠时。
若)()(x p x Q n =)(!21)(x n n n ϕ= +=nn x n n 2)!(2)!2( 则 )()()()(x p x Q n nn =!2)!2(n n n =⎰-=112)(dx x p n 22)!(2)!2()1(n n nn -⎰--112)1(dx x n22)!(2)!2(n n n =⎰--112)1(dx x n 22)!(2)!2(2n n n =⎰-102)1(dx x n又 ⎰-102)1(dx x n)12(31)2(42+⋅⋅=n n 代入上式得⎰-=112)(dx x p n 122+n ，得证。
性质2 奇偶性 )()1()(x p x p n n n -=-证明 由于n x )1(2-为偶函数，n 为偶数时，相当于偶函数求偶次导数，结果仍为偶函数。
n 为奇数时，相当于偶函数求奇次导数，结果为奇函数。
性质3 递推关系 ,1)(0=x p ,)(1x x p =)()()12()()1(11x np x xp n x p n n n n -+-+=+ 1>n （2-5）证明 由于)(x xp n 为一个n+1次多项式，所以它可以表示成)()()()(111100x p a x p a x p a x xp n n n +++++= （2-5）两边乘以)(x p k ，并在[-1，1]上积分，再由正交性知⎰⎰--=11211)()()(dx x p a dx x p x xp k k k n （2-6）当2-≤n k 时，)(x xp k 为一个次数小于等于n-1的多项式，)(x xp k 为)(,),(),(110x p x p x p n - 的线性组合，)(x p n 与它们正交，所以（2-6）式左端等于0，得0=k a ，2,,2,1,0-=n k当n k =时，（2-6）式中)()()(2x xp x p x xp n k n =为奇函数，（2-6）式左端等于0，∴0=n a 。
由以上讨论知（2-5）式变为)()()(1111x p a x p a x xp n n n n n ++--+= （2-7）比较（2-7）两端1+n x的系数，得1211++=+n n a n ，在（2-7）式中取x=1，并注意到Legendre 正交多项式)(x p n 满足1)1(=n p （),2,1,0 =n 得到111+-+=n n a a ，∴121+=-n na n 。
得证。
性质4 )(x p n 在[-1，1]内有n 个不同的零点。
性质5 在[-1,1]区间上，所有最高项系数为1的n 次多项式中，Legendre 正交多项式{}nnnn x dxd n n x p )1()!2(!)(~2-=的欧氏范数（2-范数）最小。
即 2)(2)(min )(~x q x p Jx q n ∈= 。
其中J={最高项系数为1的n 次多项式}。
2-2 Chebyshev 正交多项式Chebyshev 正交多项式为区间[-1,1]及权函数211)(x x -=ρ时，由1，n x x x ,,,2 用Schmidt 正交化方法构造出的n 次正交多项式。
其表达式为)arccos cos()(x n x T n = 1≤x （2-8）若令θcos =x ，则有θn x T n cos )(= ],0[πθ∈ Chebyshev 正交多项式有如下性质： 性质1 )(x T n 有以下递推关系,1)(0=x T ,)(1x x T =)()(2)(11x T x xT x T n n n -+-= （2-9）证明 ∵=+θ)1cos(n θθcos cos n θθsin sin n -=-θ)1cos(n θθcos cos n θθsin sin n +两式相加，得 =+θ)1cos(n θθcos cos 2n θ)1cos(--n ，并由θcos =x 及θn x T n cos )(=得证。