第五章曲线拟合和函数逼近
常用函数的逼近和曲线拟合
常用函数的逼近和曲线拟合在数学中，函数逼近和曲线拟合都是常见的问题。
函数逼近是指找到一个已知函数，尽可能地接近另一个函数。
而曲线拟合则是给定一组数据点，找到一条曲线来描述这些数据点的分布。
本文将讨论常用的函数逼近和曲线拟合方法。
一、函数逼近1. 插值法插值法是最简单的函数逼近方法之一。
它的基本思想是：给定一组已知点，通过构造一个多项式，使得该多项式在这些点处的函数值与已知函数值相等。
插值法的优点是精度高，缺点是易产生龙格现象。
常用的插值多项式有拉格朗日插值多项式和牛顿插值多项式。
拉格朗日插值多项式的形式为：$f(x)=\sum_{i=0}^{n}y_{i}\prod_{j=i,j\neq i}^{n}\frac{x-x_{j}}{x_{i}-x_{j}}$其中，$x_{i}$是已知点的横坐标，$y_{i}$是已知点的纵坐标，$n$是已知点的数量。
牛顿插值多项式的形式为：$f(x)=\sum_{i=0}^{n}f[x_{0},x_{1},...,x_{i}]\prod_{j=0}^{i-1}(x-x_{j})$其中，$f[x_{0},x_{1},...,x_{i}]$是已知点$(x_{0},y_{0}),(x_{1},y_{1}),...,(x_{i},y_{i})$的差商。
2. 最小二乘法最小二乘法是一种常用的函数逼近方法。
它的基本思想是：给定一组数据点，找到一个函数，在这些数据点上的误差平方和最小。
通常采用线性模型，例如多项式模型、指数模型等。
最小二乘法的优点是适用性广泛，缺点是对于非线性模型要求比较高。
最小二乘法的一般形式为：$F(x)=\sum_{i=0}^{n}a_{i}\varphi_{i}(x)$其中，$a_{i}$是待求的系数，$\varphi_{i}(x)$是一组已知的基函数，$n$是基函数的数量。
最小二乘法的目标是使得$\sum_{i=1}^{m}[f(x_{i})-F(x_{i})]^{2}$最小，其中$m$是数据点的数量。
5函数逼近与曲线拟合.docx
第5章函数逼近与曲线拟合上一章讨论的是函数插值问题，通常都是用一个多项式来代替一个已知的函数，它们在 给定的插值基点上有相同的函数值，是对原函数的一-种近似。
然而，在实际应用中插值问题 仍有明显的缺点：对于有解析式的函数而言，在其它点上误差可能很大，如龙格现象；对于 离散(表)函数而言，给定的数据点本身是有误差的，刚性地让插值函数通过这些点不仅没 有意义，而且会影响对原函数的近似程度。
另外，泰勒展示也是对连续函数的一种低阶近似, 它在展开点附近误差较小，但在展开点远处，误差会很大。
本章讨论在新的函数谋旁度最条件下的函数近似问题，对连续函数称之为函数逼近问题, 对于离散函数称之为dii 线拟合问题。
主要内容有：函数最佳逼近的概念，正交多项式，最佳 均方逼近少最小二乘曲线拟合问题等。
5.1函数最佳逼近的概念希望能有一种方法寻求出一个近似多项式，使它在整个区间上既均匀的逼近/(%),所需 的计算呆又小，这就是函数逼近要解决的问题。
为了刻划“均匀逼近”，设P n (x)是定义在区 间［a,b ］上原函数/(x)的近似多项式。
我们用||/(x) -p n (x)||来度量p n (x)与/(x)近似逼近 程度。
这样，自然地会有下面两种不同的度暈标准：fM- p n (x)使丿IJ 这个度量标准的函数逼近称为均方逼近或平方逼近；/W 一 p n (x) = max f(x) 一 p n (x) 使用这个度量标准的函数逼近称为一致逼近或均匀逼近o关于一致逼近的问题，在数学分析中有以下结论。
设函数/(X )在区间［a,b ］上连续，若£>0,则存在多项式P(x)使|/(x)-P(x)|<£,在区间［a,b ］上一致成立。
对于函数插值而 言，如果插值余项也能满足对任意的£〉0, \R n (x)\ = \f(x)-p n M\<e 都成立的话，贝闹 值多项式P n M 是/(Q 的一致逼近多项式。
凸优化理论与应用_逼近与拟合
f (v j ) f (vk ) L v j vk , j , k 1,..., m
一阶微分约束
f (u)
x f ( u ) M i i i 1
n
二阶微分约束
mI 2 f (u ) MI
信息与通信工程学院 庄伯金 bjzhuang@ 29
1
信息与通信工程学院 庄伯金 bjzhuang@
19
信号复原
已知加噪信号：
xcor x v
信号复原问题的描述：
minimize(w.r.t. R ) 函数 ( x ) : R n R 为正则函数或光滑函数。
2
( x xcor 2 , ( x ))
其中 x0 zu 为方程组 Ax b 的解。
信息与通信工程学院 庄伯金 bjzhuang@
13
最小范数问题
最小平方范数问题：范数 2 ，最优解满足： 2 x* AT * 0, Ax* b
最小罚问题：
minimize
(x )
i 1 i
n
subject to Ax b
minimize
sup ( Ax b )
AI A
若 I A 为有限集，可转换为：
minimize t subject to Ai x b t , i 1,..., m
信息与通信工程学院 庄伯金 bjzhuang@
26
函数拟合
已知一函数族：
fi , i A
x* arg min Ax b n
*
xR
注：若 b R( A) ，则 u b 为平凡情况。
实验指导书_函数逼近
实验指导书_函数逼近与曲线拟合曲线拟合：由一组实验数据},,2,1),,{(n i y x i i =，选择一个较简单的函数)(x f （如多项式），在一定准则下，最接近这组数据.函数逼近：已知一个较为复杂的连续函数],[),(b a x x y ∈，要求选择一个较简单的函数)(x f ，在一定准则下最接近)(x y .掌握内容：切比雪夫零点插值、最佳平方逼近、曲线拟合的最小二乘法的Matlab 实现一、切比雪夫零点插值1．算法原理设1[,],()+∈n n f C a b L x 是以,0,1,,22-+=+= k k b a a bx t k n 为插值节点的Lagrange 插值多项式，其中21cos,0,1,,2(1)π+==+ k k t k n n 是Chebyshev 多项式1()n T x +的零点，此时插值误差最小，误差（余项）估计公式为：1(1)21()()()()max ()2(1)!+++≤≤-=-≤+n n n n n a x bb a R x f x L x f x n2．实例例1（P64例4） 求()x f x e =在[0,1]上的四次Lagrange 插值多项式4()L x ,插值节点用5()T x 的零点，并估计误差401max ().x x e L x ≤≤-首先编写Lagrange 插值主程序,并保存为lagrange.mfunction[L ,C, l ,L1]= lagrange (X,Y)%输入的量:n+1个节点(xi,yi)的横坐标向量X ，纵坐标向量Y ；%输出的量:n 次拉格朗日插值多项式L 及其系数向量C ，基函数l 及其系数矩阵L1 m=length(X); L=ones(m,m); for k=1: m V=1; for i=1:m if k~=iV=conv(V ,poly(X(i)))/(X(k)-X(i)); end endL1(k,:)=V; l(k,:)=poly2sym (V); endC=Y*L1; L=Y*l; l=vpa(l,4); L=vpa(L,4);然后编写如下程序,并保存为lc_P64eg4.m%P64eg4求Lagrange- Chebyshev 多项式的程序lc_P64eg4.m %X 为插值节点%L 为Lagrange- Chebyshev 多项式的表达式%C 为按降幂排列的Lagrange- Chebyshev 多项式的系数 %R 为误差限 clear;format short g s=1;for k=0:4X(k+1)=(1+cos((2*k+1)*pi/10))/2; Y(k+1)=exp(X(k+1)); s=s*(k+1); end X,[L ,C, l ,L1]= lagrange(X,Y); L, C,R=2.71828/(s*2^9)x=linspace(X(1), X(5),50); y=polyval(C,x); y1=exp(x);plot(X,Y,'r*',x,y,'r-') figure,plot(X,Y,'r*',x,y1,'b-') figure,plot(X,Y,'r*',x,y,'r-',x,y1,'b-')在Matlab 窗口中运行程序lc_P64eg4.m >> lc_P64eg4 X =0.97553 0.79389 0.5 0.20611 0.024472 L =.9988*x+.1403*x^3+.6942e-1*x^4+.5098*x^2+1.000 C =0.069416 0.14028 0.50978 0.99876 1 R =4.4243e-005图1.()xf x e 在[0,1]上的四次Lagrange- Chebyshev 插值多项式例2 (P65例5)设211()f x x =+,在[-5,5]上利用11()T x 的零点作插值点,构造10次拉格朗日插值多项式 10()L x ,并与等距节点的10()L x 近似()f x 作比较. 首先编写如下程序,并保存为lc_P65eg5.m%P64eg4求Lagrange- Chebyshev 多项式的程序lc_P65eg5.m%X 为Chebyshev 零点%L 为Lagrange- Chebyshev 多项式的表达式%C 为按降幂排列的Lagrange- Chebyshev 多项式的系数 %L1为等距节点多项式的表达式%C1为按降幂排列的等距节点多项式的系数 clear;format short for k=0:10X(k+1)=(10*cos((2*k+1)*pi/22))/2; Y(k+1)=1/(1+X(k+1)^2); end X,[L ,C, l ,L1]= lagrange(X,Y); L,C,x=linspace(X(1), X(11),100); y=polyval(C,x); y1=1./(1+x.^2);X1=linspace(-5,5,11); Y1=1./(1+X1.^2);[L1 ,C1, l1 ,L11]= lagrange(X1,Y1); L1,C1,X2=-5:0.1:5;Y2=polyval(C1,X2);plot(X,Y ,'r*',x,y,'r-',x,y1,'b-',X1,Y1,'O',X2,Y2,'k-') gtext('切比雪夫插值点r*') gtext('切比雪夫插值曲线r-') gtext('被插函数曲线b-') gtext('等距节点插值点o')gtext('等距节点插值多项式k-')在Matlab 窗口中运行程序lc_P65eg5.m,得如下图形结果(这里,数值结果略,请自己运行观察)图2. 211()f x x=+在[-5,5]上的插值多项式 10()L x 与10()L x二、最佳平方多项式逼近1．求定义在区间[a ,b ]上的已知函数最佳平方逼近多项式的算法(1)设已知函数()f x 的最佳平方逼近多项式为01()n n p x a a x a x =+++ ,由最佳平方逼近的定义有:010012(,,)(,,,,)n iF a a a i n a ∂==∂其中()20101(,,)()()b nn n aF a a a f x aa x a x dx =-+++⎰(2)求多项式()p x 系数的法方程:Ca D =,其中1211222111212()(),()(b bb bbn na aa a a bbb b b n n a aa aa b bb b b n n n n n a aa aa bbb bn n n n naaa a dx xdx x dx x dx f x dx xdx x dx x dx x dx xf x dx C D x dx x dxx dx x dx x f x dx x dx x dx x dx x dx x f x -+----+-⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎰⎰⎰⎰⎰⎰⎰⎰⎰⎰⎰⎰⎰⎰⎰⎰⎰⎰⎰)b a dx ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎰2．求定义在区间[a ,b ]上的已知函数最佳平方逼近多项式的主程序function [coff,d]=ZJPF(func,n,a,b) %func:已知函数%n:最佳平方逼近多项式的最高次数 %a:逼近区间的左端点 %b:逼近区间的右端点%coff:按升幂排列的逼近多项式的系数 % d:法方程的右端项 C = zeros(n+1,n+1);var = findsym(sym(func)); func = func/var; for i=1:n+1C(1,i)=(power(b,i)-power(a,i))/i; %算法中的C 矩阵的第一行 func = func*var;d(i,1)=int(sym(func),var,a,b); %算法中的D 向量的第一行 endfor i=2:n+1C(i,1:n)=C(i-1,2:n+1); f1 = power(b,n+i); f2 = power(a,n+i);C(i,n+1)=(f1-f2)/(n+i); %形成C 矩阵 endcoff = C\d; %求解逼近多项式的系数3.例题(教材P68例6)设211()f x x =+,求[0,1]上的一次最佳平方逼近多项式.首先编写被逼近函数的M 文件,并保存为funcp68eg6.m function f=funcp68eg6() syms xf=sqrt(1+x^2);然后编写如下程序,并保存为p68_eg6.m %p68_eg6.m clear;[coff,d]=ZJPF(funcp68eg6,1,0,1); coff=vpa(coff)x = findsym(sym(funcp68eg6)); func=funcp68eg6*funcp68eg6;PFWC=vpa(int(sym(func),x,0,1)-coff'*d,4)运行结果>> p68_eg6 coff =[ .9343200492928959528618412015402] [ .4269470508068461683106156461091] PFWC = .12e-2三、曲线拟合的最小二乘法1. 多项式拟合及其MATLAB 程序面对一组数据,,,2,1),,(n i y x i i = 用线性最小二乘法作曲线拟合时，如果选取一组函数02(),(),,()m x x x ϕϕϕ 为)(,,,,12n m x x x m < ，则拟合曲线为多项式11++++=m m m a x a x a y .一般m = 2,3, 不宜过高.对于指数曲线，拟合前需作变量代换，化为系数参数的线性函数.2. 用MATLAB 作线性最小二乘拟合的多项式拟合用MATLAB 作线性最小二乘拟合的多项式拟合有现成程序. 调用格式为: a=polyfit(x,y,m)其中输入参数 x ,y 为要拟合的数据,是长度自定义的数组,m 为拟合多项式的次数,输出参数a 为拟合多项式:11++++=m m m a x a x a y的系数向量a ),,,(11+=m m a a a .(注意:按降幂排列)3. 多项式在x 处的值y 的计算: y=polyval(a,x)例 给出一组数据点),(i i y x 列入下表中，试用线性最小二乘法求拟合曲线，.解（1）首先根据给出的数据点),(i i y x ，用下列MATLAB 程序画出散点图. 在MATLAB 工作窗口输入程序>> x=[-2.9 -1.9 -1.1 -0.8 0 0.1 1.5 2.7 3.6];y=[53.94 33.68 20.88 16.92 8.79 8.98 4.17 9.12 19.88]; plot(x,y,'r*'), legend('数据点(xi,yi)') xlabel('x'), ylabel('y'),title('例7.4.1的数据点(xi,yi)的散点图')运行后屏幕显示数据的散点图，见图3.（2）因为数据的散点图3的变化趋势与二次多项式很接近，所以选取一组函数2,,1x x ，令3221)(a x a x a x f ++=,其中k a 是待定系数)3,2,1(=k .（3）用作线性最小二乘拟合的多项式拟合的MATLAB 程序求待定系数k a)3,2,1(=k .输入程序>> a=polyfit(x,y,2)运行后输出按拟合多项式的系数a =2.8302 -7.3721 9.1382故拟合多项式为2138.91372.72830.2)(2+-=x x x f .（4）编写下面的MATLAB 程序估计其误差，并做出拟合曲线和数据的图形.输入程序>> xi=[-2.9 -1.9 -1.1 -0.8 0 0.1 1.5 2.7 3.6];y=[53.94 33.68 20.88 16.92 8.79 8.98 4.17 9.12 19.88]; n=length(xi); f=2.8302.*xi.^2-7.3721.*xi+9.1382 x=-2.9:0.001:3.6;F=2.8302.*x.^2-7.3721.*x+8.79; fy=abs(f-y); fy2=fy.^2; Er=sqrt((sum(fy2)/n)), plot(xi,y,'r*', x,F,'b-'),legend('数据点(xi,yi)','拟合曲线y=f(x)') xlabel('x'), ylabel('y'), 运行后屏幕显示数据),(i i y x 与拟合函数f 的均方根误差E 2及其数据点(x i ,y i )和拟合曲线y =f (x )的图形，见图4.图3图4。
《数值分析》第5章 曲线拟合与函数插值
例如用函数
y Aebx
(5.8)
去拟合一组给定的数据，其中 A和 b是待定参这数时. ，可以在 (5.8) 式两端取
对数，得
ln y ln A bx
记 y ln y，a ln A，则上式可写成 y a b. x这样，仍可用最小二乘法解出
和 a (从而b 也就确定了 和 A) ，于b 是得到拟合函数
区间 [a,b]上是存在的，但往往不知道其具体的解析表达式，只能通过观察、
测量或实验得到一些离散点上的函数值.
我们希望对这种理论上存在的函数用一个比较简单的表达式近似地给出整体 上的描述.
此外，有些函数虽然有明确的解析表达式，但却过于复杂而不便于进行理论 分析和数值计算，我们同样希望构造一个既能反映函数特性又便于计算的简 单函数，近似替代原来的函数.
图5-1 人口增长的线性模型
5.1.1 最小二乘问题
设人口 y 与年份 x之间的函数关系为
y a bx
（5.1）
其中 a和 b 是待定参数. 由图5-1可知， (xi , yi并) 不是严格地落在一条直线上，
因此，不论怎样选择 和 a，都b不可能使所有的数据点
(x均i ,满yi )足关系
式 (5.1) .
s0 10, s1 545, s2 29785, u0 18.09, u1 987.78
于是正规方程组为
10 545 a 18.09 545 29785 b 987.78
5.1.2 最小二乘拟合多项式
解得 a 0.570，4 b 0.02，27于是 A ea 1.76，90所求拟合函数为
21 91
441
a1
163
91 441 2275 a2 777
解得 a0 26.8，a1 14.08，57 a2 ，2因此所求拟合多项式为
第五章曲线拟合PPT课件
华南师范大学数学科学学院 谢骊玲
曲线拟合的概念
在科学和工程试验中，经常产生一组数据 (x1,y1),…,(xN,yN),如果所有的数值 {xk}, {yk} 有多位有效数字精度，则能用多项式插值； 若数据的精度不高，或者有试验误差，则 只能使用多项式拟合。
问题：如何找到一个经过数据点附近（不总是穿过） 的最佳逼近表达式？
线性最小二乘法（续2）
矩阵形式：构造矩阵F
f1(x1)
f1(x2 )
F
f1(x3 )
f1(xN )
f2 (x1) f2 (x2 ) f2 (x3 )
f2 (xN )
fM (x1)
f
M
(
x2
)
f
M
(
x3
)
fM (xN )
f1(x1)
则
F'
f2(x1)
f1(x2) f2(x2)
f1(x3) f2(x3)
华南师范大学数学科学学院 谢骊玲
多项式拟合
使用函数集合{fj(x)=xj-1}, j=1,…, M+1作线性最小 二乘，则得到的拟合函数f(x)为M阶多项式 f(x)=c1+c2x+c3x2+…+cM+1xM
使用最小二乘多项式拟合非线性数据的方法简单有 效，但如果数据不具有多项式特性，则求出的曲线可 能产生大的振荡。这种现象称为多项式摆动，它在高 阶多项式情况下更容易发生。由于这个原因，一般很 少使用超过6阶的多项式，除非已知被拟合的曲线是 真实的多项式。
几何意义是：数据点到曲线的垂直距离平方和最小
华南师范大学数学科学学院 谢骊玲
最小二乘拟合直线
定理5.1 设{(xk, yk)}kN1有N个点，其中横坐标{xk}是
函数逼近与曲线拟合实验报告
数值分析实验报告一、实验题目：函数逼近与曲线拟合二、目的和意义：1.掌握曲线拟合的最小二乘法2.最小二乘法亦可用于解超定线性代数方程组3.探索拟合函数的选择与拟合精度间的关系三、计算公式（算法）：由已知的离散数据点选择与实验点误差最小的曲线)(...)()()(1100x a x a x a x S n n ϕϕϕ+++= 称为曲线拟合的最小二乘法。
若记),()()(),(0i k i j m i i k j x x x ϕϕωϕϕ∑==k i k i mi i k d x x f x f ≡=∑=)()()(),(0ϕωϕ 上式可改写为),...,1,0(;),(n k d a k j no j j k -=∑=ϕϕ这个方程成为法方程，可写成矩阵形式.d Ga =其中,),...,,(,),...,,(1010T n T n d d d d a a a a ==⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=),(),(),()(),(),(),(),(),(101110101000n n n n n n G ϕϕϕϕϕϕϕϕϕϕϕϕϕϕϕϕϕϕ 。
它的平方误差为：.)]()([)(||||2022i i mi i x f x S x -=∑=ωδ 1） 按照最小二乘法的性质构造Gram 矩阵G ，并求解Ga=d ；构造的时候首先构造一个零矩阵A ；2）然后开始构造Gram 矩阵（在下面程序里我们把克莱姆矩阵用A来表示）3）然后求列矩阵b，因为Aa=b，所以求a=A\b；（d就是列矩阵b）; 4）然后找对应数据的最小二乘拟合方程和画出它的图像；四、结构程序设计：n=3M=zeros(n,12)%三行十二列的零矩阵M(1,:)=[0:5:55];%输入x值for i=2:nM(i,:)=power(M(1,:),i);end%内积求φiA=zeros(n,n);%n行n列零矩阵for i=1:nfor j=1:nA(i,j)=M(i,:)*M(j,:)'endend%Gram矩阵y=[0 1.27 2.16 2.86 3.44 3.87 4.15 4.37 4.51 4.58 4.02 4.64];y=y.*10.^(-4);b=[];for i=1:nb(i)=M(i,:)*y';endformat long;c=[];b=b'c=A\b%输出系数d=[];for i=1:nd(i)=c(n-i+1);endd(n+1)=0plot(M(1,:),y,'*');hold on x1=[0:1:55];plot(x1,polyval(d,x1)); legend('数据点','二次拟合') title('二次拟合')set(gcf,'color','w');%画图error=0,e=[];e=polyval(d,M(1,:))-y; error=e*e';e=sqrt(error)%求误差五、输出结果：首先是关于原问题的拟合拟合图像再考虑四次项时的拟合，即当n=4时输出结果如图所示可见四次拟合时误差会更小一些六、讨论和分析：拟合方程的选取至关重要，它决定了最大误差、平均误差的大小，即拟合曲线的接近程度。
第五章 曲线拟合
泰勒展开
arctgx x x3 x5 .....取. arctgx x 35
R(x) | arctg11| 0.2146
以x＝0,x=1 作线性插值
arctgx x 1 arctg0 x 0 arctg1 0.7854x
0 1
1 0
R(x) (1 2 ) x(x 1) 0.0711
n
ck j Pk (x j ) y j j 1
m
cik ai ck (k 0,1...m)
i0
写成方程组形式
c00a0 c01a1 c0mam c0 c10a0 c11a1 c1mam c1
cm0a0 cm1a1 cmmam cm
二、正交多项式的曲线拟合
1.) 概念：
)2
j 1
j 1 i0
对ak求偏导数（k＝0,1…m)
ak
nm
2
(
ai
x
i j
j1 i0
y
j
)
x
k j
0
m
m
n
化简得
ai
xik j
y
j
x
k j
i0 j 1
j 1
n
n
记
x
k j
Sk
y
j
x
k j
Tk
j 1
j 1 m
aiSki Tk (k 0,1m)
i0
写成矩阵形式
S0 S1 S2 Sm S1 S2 S3 Sm1 S2 S3 S4 Sm2 Sm Sm1 Sm2 S mm
0 (k 0,1,m)
ak
n
m
j[ ai Pi (x j ) y j ]Pk (x j ) 0
函数逼近与曲线拟合PPT课件
例 已知点集 {xi} i=0,1,…,4 ={0,0.25,0.5,0.75,1} 和 权数{ i}i=0,…4 ={1,1,1,1,1}.试用三项递推公式求关于
该点集的正交多项式 P0(x),P1(x),P2(x)
解 先令 P0(x)=1 ，由此得
4
(P0, P0 ) iP02 (xi ) 5 i0
)
k
(x)
k
k
(x), k 1, 2,
k 1
n 1
给出的多项式序列
n
Pk(x)
(n
k 0
m)
是正交多项式序列
，其中
(x , )
(,
P P P P
k k,
k
a b k ( , ) k ( ,
P P P P k k
k 1
) k.
)
k 1
（5）
三项递推公式（4）是构造正交多项式的简单公 式，此外，还有其他的特殊的情形，这里，不进一 步讨论。
有了内积，就可以定义正交性。若函数 f (x) 和 g (x) 的内积 (f , g)=0，则称两者正交。
第12页/共81页
若多项式组{k(x)}k=0,…n 在离散意义下的内积满足
(i , j )
0,i j ai 0,i
j
(3)
则称多项式组{k(x)}k=0,…n为在离散点集 {xi} i=0,1,…,m 上的带权 { i}i=0,…m的正交多项式序列.
第8页/共81页
更一般函数逼近的概念：
可用一
组
在C
a,
b上线
性
无
关
的函数
集
合
i
x
n i0
湘教版高中数学选择性必修一书本
湘教版高中数学选择性必修一书本《湘教版高中数学选择性必修一》是一本非常重要的数学教材，它由湖南教育出版社出版，适用于高中数学教学。
这本教材内容丰富，覆盖了数学的许多重要领域，深入浅出地讲解了各种数学知识，让学生能够更加深刻地了解和掌握数学的基本原理和方法。
下面是《湘教版高中数学选择性必修一》的主要列表：一、函数与极限《湘教版高中数学选择性必修一》第一章主要讲解了函数与极限的基本概念及其运算法则。
在这个章节中，学生将学习如何用数学语言描述一个函数，掌握一些基本的函数图像，同时还会学会如何求一些简单的极限。
二、导数与微分《湘教版高中数学选择性必修一》第二章主要涉及导数与微分，这也是数学中的一个重要概念。
通过学习这一章节，学生将了解导数的定义与性质，学习如何求导数，以及微分的概念和应用。
三、中值定理与导数的应用《湘教版高中数学选择性必修一》第三章主要讲解中值定理与导数的应用，这些都是导数的进一步应用。
在这个章节，学生将学习一些重要的中值定理，例如拉格朗日中值定理、柯西中值定理等，同时还会学习如何使用导数来解决最优化问题、函数图像问题等。
四、不等式与极值《湘教版高中数学选择性必修一》第四章主要涉及不等式与极值，这个章节要求学生了解一些基本的不等式，掌握求解不等式的方法，以及学习如何求解极值问题。
五、曲线拟合与函数逼近《湘教版高中数学选择性必修一》第五章主要讲解曲线拟合与函数逼近，这个章节是为了帮助学生更好地理解函数和曲线之间的关系。
在这个章节中，学生将学习如何进行曲线拟合，并且学会如何使用函数逼近来解决一些实际问题。
综上所述，这本《湘教版高中数学选择性必修一》涵盖了数学的许多基本领域，可以帮助学生更好地理解和掌握数学的基本概念和方法，进而为以后的学习打下坚实的基础。
小波分析之函数逼近与曲线拟合
∞
=
max
f (x)
a≤ x≤b
绝对值与
n上范数的扩充关系 R
• 数a的绝对值(a离开原点0的距离)：∣a∣ • 数a与b的差异(距离)： ∣a-b∣ • 向量A=( 1, a2,…,an)的范数(A离开0向量 A=(a , 的范数 A=( 的距离) ： n • x = ∑ x i
1 i = 1
x x
距离空间定义
• 设X是非空集合，对于X中的任意两元素x与y ，按某一法则都对应唯一的实数ρ(x, y)，并满足 以下三条公理： • 1.非负性：ρ(x, y) ≥0,ρ(x, y) =0当且仅当x=y; • 2.对称性：ρ(x, y) =ρ(y, x)； • 3.三角不等式；对任意的x, y, z ρ(x, y) ≤ρ(x, z) + ρ(z, y), 则称ρ(x, y)为x与y间的距离（或度量），并称X是 以ρ为距离的距离空间(或度量空间),记为(X, ρ)．
2
2
2
即
内积空间的性质
定理 设 X 为内积空间，{u1 , u2 ,⋯ , un } ⊆ X , 格拉姆(Gram)矩阵
(u1 , u1 ) (u2 , u1 ) ⋯ (u n , u1 ) (u1 , u2 ) (u2 , u2 ) ⋯ (u n , u2 ) G= ⋮ ⋮ ⋮ (u , u ) (u , u ) ⋯ (u , u ) 2 n n n 1 n
内积空间
设X 是定义在实(或复)数域K上的线性空 间，若对于X中 任意一对有序元素x,y, 恒对应 数域K的值(x, y)，且满足: • (x, x) ≥0，且(x, x)=0的充要条件是x=0; • (ax, y) = a(x, y); • (x+y, z) = (x, z) + (x, z). 则称X为内积空间，(x, y)称为x, y的内积. 正交: 正交 若(x, y)=0,称x与y正交.
函数逼近与曲线拟合
函数逼近与曲线拟合3.１函数逼近的基本概念3.1.1 函数逼近与函数空间在数值计算中常要计算函数值，如计算机中计算基本初等函数及其他特殊函数；当函数只在有限点集上给定函数值，要在包含该点集的区间上用公式给出函数的简单表达式，这些都涉及到在区间上用简单函数逼近已知复杂函数的问题，这就是函数逼近问题．上章讨论的插值法就是函数逼近问题的一种．本章讨论的函数逼近，是指“对函数类Ａ中给定的函数，记作，要求在另一类简单的便于计算的函数类Ｂ中求函数，使与的误差在某种度量意义下最小”．函数类Ａ通常是区间上的连续函数，记作，称为连续函数空间，而函数类Ｂ通常为n次多项式，有理函数或分段低次多项式等．函数逼近是数值分析的基础，为了在数学上描述更精确，先要介绍代数和分析中一些基本概念及预备知识．数学上常把在各种集合中引入某些不同的确定关系称为赋予集合以某种空间结构，并将为样的集合称为空间．例如将所有实n维向量组成集合，按向量加法及向量与数的乘法构成实数域上的线性空间，记作，称为n维向量空间．类似地，对次数不超过n（n为正整数）的实系数多项式全体，按通常多项式与多项式加法及数与多项式乘法也构成数域上的一个线性空间，用表示，称为多项式空间．所有定义在上的连续函数集合，按函数加法和数与函数乘法构成数域上的线性空间，记作．类似地，记为具有p阶的连续导数的函数空间．定义１设集合Ｓ是数域Ｐ上的线性空间，元素，如果存在不全为零的数，使得， (3.1.1)则称线性相关．否则，若等式(3.1.1)只对成立，则称线性无关．若线性空间Ｓ是由n个线性无关元素生成的，即对都有则称为空间Ｓ的一组基，记为，并称空间Ｓ为n维空间，系数称为x在基下的坐标，记作，如果Ｓ中有无限个线性无关元素，…，则称Ｓ为无限维线性空间．下面考察次数不超过n次的多项式集合，其元素表示为， (3.1.2）它由个系数唯一确定．线性无关，它是的一组基，故，且是的坐标向量，是维的．对连续函数，它不能用有限个线性无关的函数表示，故是无限维的，但它的任一元素均可用有限维的逼近，使误差（为任给的小正数），这就是著名的Weierstrass定理．定理１（Weierstrass）设，则对任何，总存在一个代数多项式，使在上一致成立．这个定理已在“数学分析”中证明过．这里需要说明的是在许多证明方法中，伯恩斯坦１９１２年给出的证明是一种构造性证明．他根据函数整体逼近的特性构造出伯恩斯坦多项式， (3.1.3)其中，其中，并证明了在上一致成立；若在上阶导数连续，则．这不但证明了定理１，而且由(3.1.3)给出了的一个逼近多项式．它与拉格朗日插值多项式很相似，对，当＝１时也有关系式． (3.1.4)这只要在恒等式中令就可得到．但这里当时还有，于是是有界的，因而只要对任意成立，则有界，故是稳定的．至于拉格朗日多项式，由于无界，因而不能保证高阶插值的稳定性与收敛性．相比之下，多项式有良好的逼近性质，但它收敛太慢，比三次样条插值效果差得多，实际中很少被使用．更一般地，可用一组在上线性无关的函数集合来逼近，元素，表示为． (3.1.5) 函数逼近问题就是对任何，在子空间中找一个元素，使在某种意义下最小．3.1.2 范数与赋范线性空间为了对线性空间中元素大小进行衡量，需要引进范数定义，它是空间中向量长度概念的直接推广．定义2.1.2 设为线性空间，，若存在唯一实数，满足条件：（1）正定性：，（2）当且仅当时，（3）；（4）齐次性：，（5）；（6）三角不（7）等式：，（8）．则称为线性空间上的范数，与一起称为赋范线性空间，记为．例如，在上的向量，三种常用范数为类似地对连续函数空间，若可定义三种常用范数如下：可以验证这样定义的范数均满足定义3.1.2中的三个条件．3.1.3 内积与内积空间在线性代数中，中两个向量及的内积定义为．若将它推广到一般的线性空间，则有下面的定义．定义3.1.3设是数域上的线性空间，对，有中一个数与之对应，记为，它满足以下条件：（１）；（２）；（３）；（４），当且仅当时，．则称为上与的内积．定义了内积的线性空间称为内积空间．定义中（１）的右端称为的共轭，当为实数域时．如果＝０，则称与正交，这是向量相互垂直的概念的推广．关于内积空间性质有以下重要定理．定理3.1.2设为一个内积空间，对，有(3.1.6) 称为Cauchy-Schwarz不等式．［证明］当时(3.1.6)式显然成立．现设，则，且对任何数有．取，代入上式右端，得，即得时．定理证毕定理3.1.2设为一个内积空间，，矩阵（3.1.7）称为Gram矩阵，则Ｇ非奇异的充分必要条件是线性无关．［证明］Ｇ非奇异等价于，其充分必要条件是齐次方程组(3.1.8) 只有零解．而(3.1.9) 从以上的等价关系可知，等价于从(3.1.8)推出．而后者等价于从(3.1.9)推出，即线性无关．定理证毕在内积空间上可以由内积导出一种范数，即对于，记(3.1.10) 容易验证它满足范数定义的三条性质，其中三角不等式(3.1.11)可由定理3.1.2直接得出，即两端开方即得(3.1.11）．例１与的内积．设，，，则其内积定义为(3.1.12)由此导出的向量２－范数为．若给定实数，称为权系数，则在上可定义加权内积为(3.1.13)相应的范数为．不难验证(3.1.13)给出的满足内积定义的４条性质，当时，(3.1.13)就是(3.1.12)．如果，带权内积定义为(3.1.14) 这里仍为正实数序列，为的共轭．在上也可以类似定义带权内积，为此先给出权函数的定义．定义３.1.4 设是有限或无限区间，在上的非负函数满足条件：（１）存在且为有限值；（２）对上的非负连续函数，如果，则．则称为上的一个权函数．例２上的内积．设，是上给定的权函数，则可定义内积． (3.1.15)容易验证它满足内积定义的４条性质，由此内积导出的范数为． (3.1.16)称(3.1.15)和(3.1.16)为带权的内积和范数．特别常用的是的情形，即若是中的线性无关函数族，记，它的Gram矩阵为(3.1.17)根据定理3.1.3可知线性无关的充分必要条件是．3.2 正交多项式正交多项式是函数逼近的重要工具，在数值积分中也有着重要的应用．3.2.1 正交函数族与正交多项式定义3.2.1 若，为上的权函数且满足， (3.2.1)则称与在上带权正交．若函数族满足关系(3.2.2)则称是上带权的正交函数族；若，则称之为标准正交函数族．例如，三角函数族就是在区间上的正交函数族．因为对有，而对，当时有定义3.2.2 设是上首项系数的次多项式，为上权函数，如果多项式序列满足关系式(3.2.2)，则称多项式序列为在上带权正交，称为上带权的次正交多项式．只要给定区间及权函数，均可由一族线性无关的幂函数，利用逐个正交化手续构造出正交多项式序列；，(3.2.3) 这样得到的正交多项式序列有以下性质：（１）是具有最高次项系数为１的次多项式．（２）任何次多项式均可表示为的线性组合．（３）当时，，且与任一次数小于的多项式正交．（４）成立递推关系．其中这里．（５）设是在上带权的正交多项式序列，则的个根都是在区间内的单重实根．3.2.2 勒让德多项式当区间为［－１，１］，权函数时，由正交化得到的多项式就称为勒让德(Legendre)多项式，并用表示．这是勒让德于１７８５年引进的，１８１４年罗德利克(Rodrigul)给出了简单的表达式由于是２次的多项式，求阶导数后得，于是得首项系数为，显然最高项系数为１的勒让德多项式为．(3.2.6) 勒让德多项式有下述几个性质：性质１正交性(3.2.7) ［证明］令，则．设是在区间[-1,1]上的阶连续可微的函数，由分部积分知下面分两种情况讨论：（１）若是次数小于的多项式，则，故得（２）若，则，于是由于，故，于是(3.2.7)得证．性质２奇偶性（3.2.8）［证明］由于是偶次多项式，经过偶次求导仍为偶次多项式，经过奇次求导则为奇次多项式，故为偶数时为偶函数，为奇数时为奇函数，于是(3.2.8)成立．性质３递推关系(3.2.9) ［证明］考虑＋１次多项式，它可表示为两边乘以，并从－１到１积分，得．当时，的次数小于－１，上式左端积分为０，故得．当时．为奇函数，左端积分仍为０，故．于是．其中，代入上式整理可得(3.2.9)．例１由利用性质３可得性质４在区间[-1,1]内有个不同的实零点．3.2.3 切比雪夫多项式当权函数，区间为[-1,1]时，由序列正交化得到的多项式就称为切比雪夫(Chebyshev)多项式，它可表示为(3.2.10)若令，则．切比雪夫多项式有很多重要性质：性质１递推关系(3.2.11) 这只要由三角不等式．令即得．由(3.2.11)就可推出由递推关系(3.2.11)还可得到的最高次项系数是．性质６切比雪夫多项式在区间［－１，１］上带权正交，且(3.2.12) 事实上，令，则，于是性质７只含的偶次幂，只含有的奇次幂．这性质由递推关系直接得到．性质８在区间［－１，１］上的个零点此外，实际计算中时常要求用的线性组合，其公式为． (3.2.13) 例如：结果如下：3.2.4 其他常用的正交多项式一般说，如果区间及权函数不同，则得到的正交多项式也不同．除上述两种最重要的正交多项式外，下面再给出三种较常用的正交多项式．第二类切比雪夫多项式在区间［－１，１］上带权的正交多项式称为第二类切比雪夫多项式，其表达式为． (3.2.14)令，可得即是［－１，１］上带权的正交多项式族．还可得到递推关系式．拉盖尔多项式在区间上带权的正交多项式称为拉盖尔（Laguerre）多项式，其表达式为. (3.2.15)其正交性为和递推关系．３. 埃尔米特多项式在区间上带权的正交多项式称为埃尔米特多项式．其表达式为， (3.2.16)其正交性为递推关系为．3.3 最佳一致逼近多项式3.3.1 基本概念及其理论本节讨论，在中求多项式，使其误差．这就是通常所谓最佳一致逼近或切比雪夫逼近问题．为了说明这一概念，先给出以下定义．定义3.3.1 设，，称． (3.3.1) 为与在上的偏差．显然，的全体组成一个集合，记为｛｝，它有下界０．若记集合的下确界为(3.3.2)则称之为在上的最小偏差．定义3.3.2 假定，若存在，使得， (3.3.3)则称是在上的最佳一致逼近多项式或最小偏差逼近多项式，简称最佳逼近多项式．注意，定义并未说明最佳逼近多项式是否存在，但可证明下面的存在定理．定理４若，则总存在，使．为了研究最佳逼近多项式的特性，先引进偏差点的定义．定义3.3.3设，，若在上有，就称是的偏差点．若，称为“正”偏差点．若，称为“负”偏差点．由于函数在上连续，因此，至少存在一个点，使，也就是说的偏差点总是存在的．下面给出反映最佳逼近多项式特征的切比雪夫定理．定理3.3.2是的最佳逼近多项式的充分必要条件是在上至少有个轮流为“正”、“负”的偏差点，即有个点，使． (3.3.4) 这样的点组称为切比雪夫交错点组．［证明］只证充分性．假定在上有个点使(3.3.4)成立，要证明是在上的最佳逼近多项式．用反证法，若存在，使．由于在点上的符号与一致，故也在个点上轮流取“＋”、“－”号．由连续性质，它在内有个零点，但因是不超过次的多项式，它的零点不超过．这矛盾说明假设不对，故就是所求最佳逼近多项式．充分性得证，必要性证明略，可参看［５］．定理５说明用逼近的误差曲线是均匀分布的．由这定理还可得以下重要推论．推论１若，则在中存在唯一的最佳逼近多项式．证明略．利用定理５可直接得到切比雪夫多项式的一个重要性质，即定理3.3.3 在区间［－１，１］上所有最高次项系数为１的次多项式中与零的偏差最小，其偏差为．［证明］由于，且点是的切比雪夫交错点组，由定理５可知，区间［－１，１］上在中最佳逼近多项式为，即是与零的偏差最小的多项式．定理证毕例３求在［－１，１］上的最佳２次逼近多项式．解由题意，所求最佳逼近多项式应满足由定理3.3.3可知，当时，多项式与零偏差最小，故就是在［－１，１］上的最佳２次逼近多项式．3.3.2 最佳一次逼近多项式定理3.3.2给出了最佳逼近多项式的特性，但要求出却相当困难．下面讨论的情形．假定，且在内不变号，我们要求最佳一次逼近多项式．根据定理3.3.2可知至少有３个点，使由于在内不变号，故单调，在内只有一个零点，记为，于是，即．另外两个偏差点必是区间端点，即，且满足由此得到(3.3.5) 解出， (3.3.6) 代入(3.3.5)得． (3.3.7)这就得到了最佳一次逼近多项式，其几何意义如图３－３所示．直线与弦MN平行，且通过MQ的中点D，其方程为．图３－３一次最佳一致逼近多项式几何意义例4 求在上的最佳一次逼近多项式。
数值分析函数逼近与曲线拟合
数值分析函数逼近与曲线拟合第三章函数逼近和曲线拟合 1 函数的逼近和基本概念1.1问题的提出多数计算机的硬件系统只提供加、减、乘、除四种算术运算指令，因此为了计算大多数有分析表达式的函数的值，必须产生可用四则运算进行计算的近似式，一般为多项式和有理分式函数.实际上，我们已经接触到两种逼近多项式，一种是泰乐多项式，一种是插值多项式.泰乐多项式是一种局部方法，误差分布不均匀，满足一定精度要求的泰乐多项式次数太高，不宜在计算机上直接使用.例如，设()f x 是[1,1]-上的光滑函数，它的Taylor 级数0()kk k f x a x ∞==∑，()(0)!k k f a k =在[1,1]-上收敛。
当此级数收敛比较快时，11()()()n n n n e x f x s x a x ++=-≈。
这个误差分布是不均匀的。
当0x =时，(0)0n e =，而x 离开零点增加时，()n e x 单调增加，在1x =±误差最大。
为了使[1,1]-的所有x 满足()()nf x s x ε-<，必须选取足够大的n ，这显然是不经济的。
插值函数出现的龙格现象表明，非节点处函数和它的插值多项式相差太大。
更重要的是，实际中通过观测得到的节点数据往往有各种误差，此时如果要求逼近函数过全部节点，相当于保留全部数据误差，这是不适宜的。
如图1所示，给出五个点上的实验测量数据，理论上的结果应该满足线性关系，即图1中的实线。
由于实验数据的误差太大，不能用过任意两点的直线逼近函数。
如果用过5个点的4次多项式逼近线性函数，显然误差会很大。
1.2范数和逼近一、线性空间及赋范线性空间要深入研究客观事物，不得不研究事物间的内在联系，给集合的元素之间赋予某种“确定关系”也正是这样的道理.数学上常把在各种集合中引入某些不同的确定关系称为赋予集合以某种空间结构，并将这样的集合称为空间。
最常用的给集合赋予一种“加法”和“数乘”运算，使其构成线性空间.例如将所有实n 维数对组成的集合，按照“加法”和“数乘”运算构成实数域上的线性空间，记作nR ，称为n 维向量空间.类似地，对次数不超过n 的实系数多项式全体，按通常多项式和多项式加法及数和多项式乘法也构成数域R 上一个线性空间，用n H 表示，称为多项式空间。
数值分析 第五章 曲线拟合和函数逼近
an xi n yi ) 0 an xi n yi ) xi 0
an xi n yi ) xi n 0
6
可以化为如下的法方程组或正则方程组：
1 xi n 1 xi
x x
i
i 2
x x x
i
2 3
i i
x x
x
,n 1
( xPk , Pk ) 由 ( Pk 1 , Pk ) 0 k 1 ( Pk , Pk )
2 x P i i k ( xi ) i 0 m
m
P ( x )
i 0 2 i k i
， k 0,1, 2,
, n 1
由 ( Pk 1 , Pk 1 ) 0 k
12
y 1 /(ax b) y x /(ax b) y 2 ax2 bx c y x /(ax bx c)
2
设y 1 / y 设y 1 / y , x 1 / x 设y y 2 x 设y y 设x 1 / x
b c y a 2 x x
求解线性方程组有 a 2, b 1.05 。
3
最小二乘原理
曲线拟合问题：对给定的数据 ( xi , yi ) (i 0,1,
, m) ，在取定的函 , m)
(i 0,1, 数类 中， 求函数 P( x) ， 使偏差 ri P( xi ) yi ，
的平方和最小，即
2 r ( P ( x ) y ) i i i min 2 i 0 i 0 m m
,x 。
n
11
非线性最小二乘拟合
可化为线性拟合问题的常见函数类型
第五章曲线拟合和函数逼近
注：多项式拟合实际上是选取
0 ( x), 1 (x ), , ( ) 为 1, x,, x 。 n x
n
11
非线性最小二乘拟合
可化为线性拟合问题的常见函数类型
1 y ae (a 0) 设y ln y, x x y 1 /(a be x )(a 0) 设x e x , y 1 / y
中求函数 P( x) akk ( x) ，使得平方和
k 0
n
Q i P( xi ) yi
i 0
2
n i akk ( xi ) yi min 。 k 0 i 0
m
2
10
问题如何求解系数 a0 , a1,, an ？
b/ x
y a bx (a ln a ) y a bx y ax b y a bx y ax2 bx c y ax2 bx c y a bx cx 2
12
y 1 /(ax b) y x /(ax b) y 2 ax2 bx c y x /(ax bx c)
i 0 i 0
3
3
i
2, xi 6, yi 8.2, xi yi 14.1,
2 i 0 i 0 i 0
3
3
3
4 2 a0 8.2 对应的法方程组为 a 2 6 14.1 1
得到 a0 1.05, a1 2 ,
Байду номын сангаас
( x ) ( x ) a ( x ) ( x ) a
i n i 0 i i n i 1 i
函数逼近与曲线拟合
8
x p x ( p 时),
所以
x
也是
x
的特例
p
例1.求下列向量的各种常用范数
x (1,4,3,1)T
解: x 1 x1 x2 x4 9 x 2 ( x1 2 x2 2 x4 2 )12 27 3 3
x
max 1i4
a0 a1
an
m i0 m i0
m i0
yi xi yi
xin yi
称之为正规方程组或者法方程组。如何简化表示呢？
17
引入符号
1
x0
A=
1
x1
1 xm
x0n x1n
xmn
a0
=
a1
an
则正规方程组可简化为
y0
Y
=
y1
ym
AT A ATY
一个有趣的问题是AT能不能消去？
18
若强行消除，则正规方程组变化为
xi
4
9
设f (x) C[a,b],可定义范数如下：
f
(
b
1
f p (x) dx ) p ,
p
a
f (x)的p 范数, p 1
b
f f (x) dx
1
a
f (x)的1 范数
f
(
b
f
2 (x)
dx
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
思考：若记矛盾线性方程组对应的系数矩阵为 A ， 法方程组对应的系数矩阵为 B ， 那么， A, B 有什么关系？
7
例：给定以下的数据，用最小二乘法求一次拟合多项式。
xi yi
-1 -0.9
0 1
1 3
2 5.1
解：设一次拟合多项式为 y a0 a1 x ， 由于
1 4, x
x1 y1
xm
ym
n 求 n 次多项式 P ( x ) a a x a x (n m) ，使得 n 0 1 n
m
Q ( Pn ( xi ) yi ) 2 min
i 0
将拟合函数取为多项式的曲线拟合问题称为 多项式拟合问题 。拟合曲线
Pn ( x) a0 a1x an xn 也称最小二乘拟合多项式。
6
可以化为如下的法方程组或正则方程组：
1 xi n 1 xi
x x
i
i 2
x x
2 3
i i
x x
x
n2
i
x
n 3
i
a y i 0 n 1 a xi yi 1 i 。 2 n an 如何求解系数 a0 , a1,, an ？
Q(a0 , a1 ,, an ) (a0 a1 xi an xi n yi )2 ， 要 使 Q 最 小 ， 只 需
i 0 m
Q 0 ， a j
j 0,, n ，即
m Q n 2 ( a a x a x 0 1 i n i yi ) 0 a i 0 0 m Q 2(a0 a1 xi an xi n yi ) xi 0 a1 i 0 m Q n n 2 ( a a x a x y ) x 0 1 i n i i i 0 i 0 an
i 0 i 0
3
3
i
2, xi 6, yi 8.2, xi yi 14.1,
2 i 0 i 0 i 0
3
3
3
4 2 a0 8.2 对应的法方程组为 a 2 6 14.1 1
得到 a0 1.05, a1 2 ,
常用的有最小二乘原理， 即使得误差的平方和
2 r i 最小，也就是使得 || r ||2 最小。
在本例中记 Q(a, b) 求极值的思想，则需满足
2 ，要求 a , b 使 Q (a, b) 最小。根据 r ( ax b y ) i i i 2 i 0 i 0
3
3
Q(a, b) 12a 4b 28.2 0 a Q(a, b) 4a 8b 16.4 0 b
则对应的一次拟合多项式为 y 1.05 2 x 。
解二：设一次拟合多项式为 y a0 a1 x ，
1 1 1 0 , G 1 1 1 2
0.9 1 y 3 5.1
对应的法方程组为 GT Ga GT y ，即为：
第五章 曲线拟合和函数逼近
最小二乘原理和多项式拟合 最小二乘原理 多项式拟合 一般的最小二乘拟合 正交多项式曲线拟合 函数逼近
最小二乘原理
例：已知一组实验数据
xi yi
-1 -0.9
0 1
1 3
2 5.1
如何建立 x 与 y 之间的关系？
观察得知两个变量之间大约成线性关系，我们就用直线方程 来描述，设 P 1 ( x) ax b ，如何来确定系数 a , b ?
2 r ( P ( x ) y ) i i i min 2 i 1 i 1 n n
这就是最小二乘曲线拟合问题。这样的 P ( x) 称为最小二乘拟 合函数或者最小二乘解，求最小二乘拟合函数 P ( x) 的方法叫做曲 线拟合的最小二乘法。
多项式拟合
给定实验数据
xi yi
x0 y0
4 2 a0 8.2 a 2 6 14.1 1
得到 a0 1.05, b 2 ，
拟合多项式为： y 1.05 2 x 。
线性最小二乘拟合的一般形式
把多项式拟合问题做两个方面的推广：
i 1. 函数系由多项式空间 x i ( x) 线性无关
a b 0.9 0 a b 1 若将系数直接代入方程 P ，则有 1 ( x) ax b a b 3 2a b 5.1
这是一个矛盾方程组， P 1 ( x) ax b 一般不会通过所有点，那么就会有误差
ri P 1 ( xi ) yi ，那么将误差 ri 的大小作为衡量系数 a , b 好坏的标志。
中求函数 P( x) akk ( x) ，使得平方和
k 0
n
Q i P( xi ) yi
2. 加权系数 i (i 0,1,, m)
设 0 ( x), 1 ( x),, n ( x) 为 n 1 线性无关的函数，而
span{0 ( x),1 ( x),,n ( x)}(n m) 。
对给定的一组数据 {( xi , yi )}
m
m i 0 ，在
求解线性方程组有 a 2, b 1.05 。
3
最小二乘原理
曲线拟合问题：对给定的数据 ( xi , yi ) (i 0,1,, m) ，在取定的函
(i 0,1,, m) 数类 中， 求函数 P( x) ， 使偏差 ri P( xi ) yi ，
的平方和最小，即