2013.2.18 第3章 曲线拟合的最小二乘法
第3章曲线拟合的最小二乘法计算方法
最小二乘拟合,特别是多项式拟合,是最流行的数据处理 方法之一.它常用于把实验数据(离散的数据)归纳总结为经 验公式(连续的函数),以利于进一步的推演分析或应用.
1
结束
§3.2 线性拟合和二次拟合函数
1. 线性拟合
计 已知数据点为 ( xi , yi ), i 1,2,..., n
算 用直线 p( x) a bx作为近似曲线,均方误差为
计
i xi yi xi yi xi2 xi2yi xi3
xi4
0 3 5 15 9 45 27
81
算
1 5 2 10 25 50 125 625
方
2 6 1 6 36 36 216 1296
法
3 8 2 16 64 128 512 4096
课
4 10 4 40 100 400 1000 10000
件
Y ln y, A ln a Y A bx
8
i
xi
0
1
yi
Yi
15.3
2.7279
xi2
xiYi
1
2.7279
1
2
20.5
3.0204
4
6.0408
计
2
3
27.4
3.3105
9
9.9315
算
3
4
36.6
3.6000
16
14.4000
方
4
5
49.1
3.8939
25
19.4695
法
5
6
65.6
4
例1 设5组数据如下表,用一多项式对其进行拟合。
x 3 5 6 8 10
计
计算方法 第三章曲线拟合的最小二乘法20191103
§2 多项式拟合函数
例3.1 根据如下离散数据拟合曲线并估计误差
x 1 23 4 6 7 8 y 2 36 7 5 3 2
解: step1: 描点
7
*
step2: 从图形可以看出拟
6 5
*
合曲线为一条抛物线：
4
y c0 c1 x c2 x2
3 2 1
* *
* * *
step3: 根据基函数给出法
法
18
定理 法方程的解是存在且唯一的。
证： 法方程组的系数矩阵为
(0 ,0 ) (1 ,0 )
G
(0
,1
)
(1 ,1 )
(0 ,n ) (1 ,n )
(n ,0 )
(
n
,
1
)
(n ,n )
因为0( x),1( x), ...,n( x)在[a, b]上线性无关，
所以 G 0,故法方程 GC F 的解存在且唯一。
第三章 曲线拟合的最小二乘法
2
最小二乘拟合曲线
第三章 曲线拟合的最小二乘
2021/6/21
法
3
三次样条函数插值曲线
第三章 曲线拟合的最小二乘
2021/6/21
法
4
Lagrange插值曲线
第三章 曲线拟合的最小二乘
2021/6/21
法
5
一、数据拟合的最小二乘法的思想
已知离散数据： ( xi , yi ), i=0,1,2,…,m ,假设我们用函
便得到最小二乘拟合曲线
n
* ( x) a*j j ( x) j0
为了便于求解，我们再对法方程组的导出作进一步分析。
第三章 曲线拟合的最小二乘
曲线拟合的最小二乘法
一、曲线拟合是什么？曲线拟合也就是求一条曲线,使数据点均在离此曲线的上方或下方不远处, 它既能反映数据的总体分布,又不至于出现局部较大的波动, 能反映被逼近函数的特性,使求得的逼近函数与已知函数从总体上来说其偏差按某种方法度量达到最小。
设函数y=f(x)在m个互异点的观测数据为求一个简单的近似函数φ(x)，使之“最好”地逼近f(x),而不必满足插值原则。
这时没必要取φ(xi) = yi, 而要使i=φ(xi)yi 总体上尽可能地小。
这种构造近似函数的方法称为曲线拟合,称函数y=φ(x)为经验公式或拟合曲线。
如下为一个曲线拟合示意图。
清楚什么是曲线拟合之后，我们还需要了解一个概念——残差。
曲线拟合不要求近似曲线严格过所有的数据点，但使求得的逼近函数与已知函数从总体上来说其偏差按某种方法度量达到总体上尽可能地小。
若令（1-1）则为残向量（残差）。
“使（1-1）尽可能地小”有不同的准则（1）残差最大值最小（2）残差绝对值和最小（绝对值的计算比较麻烦）（3）残差平方和最小（即最小二乘原则。
计算比较方便，对异常值非常敏感，并且得到的估计量具有优良特性。
）二、最小二乘法是什么？个人粗俗理解：按照最小二乘原则选取拟合曲线的方法,称为最小二乘法。
百度百科：最小二乘法（又称最小平方法）是一种数学优化技术。
它通过最小化误差的平方和寻找数据的最佳函数匹配。
利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。
最小二乘法还可用于曲线拟合。
其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
三、求解最小二乘法（包含数学推导过程）我们以最简单的线性模型来解释最小二乘法。
什么是线性模型呢？监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等），如果预测的变量是连续的，我们称其为回归。
回归分析中，n个自变量，且因变量和自变量之间是线性关系，则称为一/多元线性回归分析。
曲线拟合的最小二乘法
曲线拟合的最小二乘法
既古老 , 但又非常实用的问题 数 s( x ) .
一、拟合问题的提出及其最小二乘法
测量数据的拟合是一个 设已获得一组杂乱无章 我们希望从中找出规律 的实验数据 ( x i , y i ), ( i 1 , 2 , , m n ). 来 , 也就是构造一个近似函
去逼近所求函数 y f ( x ).
最小二乘问题一般提法 , m ), 要求在给定函数类
n * j0
: 对于给定的数据 ( x i , y i )( i 0 ,1,
span { 0 , , n }中找一函数
n m，
2 m 2 s ( x ) i 0
s * ( x ) a j j ,
例
已知实测数据表 xi 1 2 3 4 5
yi ωi
4 2
4.5 1
6 3
8 1
ห้องสมุดไป่ตู้
8.5 1
试用最小二乘法求多项式曲线与此数据组拟合.
解 ： s1 ( x ) a 0 a 1 x , 这里 m 4 , n 1 . 8 22 22 a 0 47 a 145 . 5 , 74 1
* j n * j0
故系数矩阵非奇异
可求出 a ，得到 s * ( x ) a j j .
并可以证明
i0
( x i )[ s * ( x i ) f ( x i ) ] ( x i )[ s ( x i ) f ( x i ) ] , s .
s * ( x ) 2 . 77 1 . 13 x .
例 已知实测数据表
xi 1.00 1.25 1.50 1.75 2.00
2013218 第3章 曲线拟合的最小二乘法
换句话说 :求一条曲线,使数据点均在离此曲线的上方 为此 ,我们希望从给定的数据 (xi,yi)出发,构造一个 或下方不远处 , 所求的曲线称为拟合曲线 , 它既能反映 近似函数 , 不要求函数 完全通过所有的数 ( x) ( x) 数据的总体分布,又不至于出现局部较大的波动,更能 据点，只要求所得的近似曲线能反映数据的基本趋 反映被逼近函数的特性 势，如图 3.1所示。 ,使求得的逼近函数与已知函数 从总体上来说其偏差按某种方法度量达到最小,这就是 最小二乘法。
线。作拟合直线 y ( x ) a a x ,该直线不是通过所有的 0 1 数据点 x i, y i ,而是使偏差平方和
2 F ( a , a ) ( a a x y ) 0 1 0 1i i m
为最小，其中每组数据与拟合曲线的偏差为
i 1
y ( x ) y a a x y i 1 , 2 , , m i i 0 1 i i 根据最小二乘原理，应取 a 0 和 a 1 使 F(a0 , a1) 有极小 值，故 a 0 和 a 1应满足下列条件：
m F ( a 0,a 1) 2 ( a 0 a 1x i y i ) 0 a i 1 0 m F ( a 0,a 1) 2 ( a x 0 a 1x i y i) i 0 a i 1 1
即得如下正规方程组
m m a0 m a1 xi yi i 1 i 1 m m m 2 a x 1 i a0 xi xi yi i 1 i 1 i 1
两种逼近概念:
插值: 在节点处函数值相同.
拟合:
在数据点处误差平方和最小
函数插值是插值函数P(x)与被插函数f(x)在节点 处函数值相同,即 P 而曲线 i 0 , 1 , , n ) ( x f( x i) i) ( 拟合函数 ( x) 不要求严格地通过所有数据点 ( xi , y i ) ,也 就是说拟合函数 ( x) 在xi处的偏差(亦称残差）
最小二乘法拟合曲线公式
最小二乘法拟合曲线公式
最小二乘法是一种常用的数学方法，可以用来拟合一条曲线，使得曲线上的点与实际观测值的误差最小化。
最小二乘法拟合曲线的公式为：
y = a + bx
其中，y 是因变量，x 是自变量，a 和 b 是拟合曲线的系数。
最小二乘法通过最小化误差平方和来确定 a 和 b 的值，即：
b = (n∑xy - ∑x∑y) / (n∑x^2 - (∑x)^2)
a = (∑y - b∑x) / n
其中，n 是数据点的个数，∑表示求和符号，x 和 y 分别表示自变量和因变量的值。
拟合曲线的误差可以通过计算残差平方和来评估，即：
SSR = ∑(y - )^2
其中，y 是实际观测值，是拟合曲线的预测值。
最小二乘法拟合曲线的优点在于可以用简单的数学公式表示，易于理解和应用。
- 1 -。
曲线拟合的最小二乘法
10.00 10.20 10.30 10.42 10.50 10.55 10.58 10.60
的近似函数关系。 求y与t的近似函数关系。 与 的近似函数关系 作图如下： 由观测数据(t 作图如下 解：由观测数据 i,yi)作图如下：
实例讲解
某种合成纤维的强度与其拉伸倍数有直接关系， 某种合成纤维的强度与其拉伸倍数有直接关系，下表给出 个纤维样品的强度与相应拉伸倍数的记录。 的是实际测定的24个纤维样品的强度与相应拉伸倍数的记录 的是实际测定的 个纤维样品的强度与相应拉伸倍数的记录。 提示：将拉伸倍数作为x, 强度作为y,在 标纸上标出各点， 提示：将拉伸倍数作为 强度作为 在坐标纸上标出各点，可 发现什么? 以发现什么
∑
i =1
y*=a0+a1xi ，令δi=yi*-yi=a0-a1xi-yi 使 δ = ∑ δ i2 为最小 即求使F(a0, a1)= 即求使
n
24 a 24 的值. 24 24 0和a1的值. 24 1 ∑ i ∑ 24a0 + a∑xxi=a yi ∑ yi n=24 = i=1 分别对a 求偏导, 分别对 0,a1求偏导,得: i= i=11 i01 = 24 24 24 24 24 24 21 2 a a x x + a x x = x y x 节点个数 y 1 i i i 0∑ ∑=1i i ∑ ∑ i ∑ ∑ i i 计算出它的方程组 计算出它的方程组得: i=1i i =1 i =1 i =1 i=1 . 127 1275a1 113 . 解得： 解得： a0=0.15 24 24a0 +5 .a0 =1131.1 1275 .5a +61.a == 73160 61a . a1=0.859 正规方程组 正规方程组 127 829 829 1 1 0 . .
第3章曲线拟合的最小二乘法
①非负性
X 0,且 X 0 X 0
②齐次性
a R, aX a X
③三角不等式 X Y X Y
称该映射为向量的一种范数
我们定义两点的距离为：X Y
常见的范数有：
n
X 1
xi , X x1, x2 ,, xn
i 1
n
X 2
(xi )2 , X x1, x2,, xn
第3章曲线拟合的最 小二乘法
有时候，问题本身不要求构造的函数过所有的点。如：5个风景点，要修一条公 路S使得S为直线，且到所有风景点的距离和最小。
对如上2类问题，有一个共同的数学提法：找函数空间上的函数g， 使得g到f的距离最小。
先讲些预备知识
预备知识
定义1：向量范数
映射： : Rn R {0} 满足：
我们还能够定义函数的离散范数为：
f
D
f (x0 ), f (x1),
f
D
f (x0 ), f (x1),
, f (xn ) max f (x0 ), f (x1),
n
, f (xn ) 1 f (xi ) i0
, f (xn )
曲线拟合的最小二乘问题
定义
f(x)为定义在区间[a,b]上的函数，xi
n
,
0
D
n ,n D an
f
,
n
D
由 {0 ,1,n} 的线性无关性，知道该方程存在唯一解
法方程
例： ① y a bx
第一步：函数空间的基 1, x ，然后列出法方程
1,1D x,1D
实验3__曲线拟合最小二乘法2
实验三 曲线拟合的最小二乘法1、 实验目的：1.最小二乘法的基本原理；2．用多项式作最小二乘曲线拟合原理的基础上，通过编程实现一组实验数据 的最小二乘拟合曲线。
2、实验要求:1) 认真分析题目的条件和要求，复习相关的理论知识，选择适当的解决方案和算法；2) 编写上机实验程序，作好上机前的准备工作；3) 上机调试程序，算各种方案，记录计算的结果（包括必要的中间结果）；4) 分析和解释计算结果；5) 按照要求书写实验报告；3、实验内容：1) 给定数据如下：x ： ，， ， ， ， ，， ， ， ， ，， ， ，， ；y ： ，， ， ， ， ，， ， ， ， ，， ， ，，；试作出幂函数拟合数据。
2) 已知一组数据：x ： 0，， ， ， ， ，，，， ，1y : ，， ， ， ， ，，，， ，；试用最小二乘法求多项式函数，使与此组数据相拟合。
4、题目： 曲线拟合的最小二乘法5、原理：由已知的离散数据点选择与实验点误差最小的曲线)(...)()()(1100x a x a x a x S n n ϕϕϕ+++=称为曲线拟合的最小二乘法。
若记),()()(),(0i k i j mi i k j x x x ϕϕωϕϕ∑==k i k i m i i k d x x f x f ≡=∑=)()()(),(0ϕωϕ上式可改写为),...,1,0(;),(n k d a k j no j j k -=∑=ϕϕ这个方程成为法方程，可写成距阵形式d Ga =其中,),...,,(,),...,,(1010T n T n d d d d a a a a ==⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=),(),(),()(),(),(),(),(),(101110101000n n n n n n G ϕϕϕϕϕϕϕϕϕϕϕϕϕϕϕϕϕϕ 。
它的平方误差为：.)]()([)(||||2022i i mi i x f x S x -=∑=ωδ6、设计思想： 从几何意义上讲，就是寻求与给定点 (i=0,1,…,m)的距离平方和为最小的曲线。
第三章曲线拟合的最小二乘法
2
2
∂s =0 ∂a k
偏导数： 即：
m ∂s =∑ ∂a k i =1 n
k = (0,1,", n ) 即一阶导数为 0 的点。
∑ [a ϕ
k =0 k
k
′ ( xi ) − y i ](∑ a k ϕ k ( xi ) − y i ) = 0
（3.3.2）
( x ), ϕ 1 ( x )" ϕ n ( x ) 线性无关时，可以证明它存在唯一解
* * a0 = a0 , a 1 = a 1* , " , a n = a n
即
ϕ * ( x ) 就是所求的最小二乘解。
(x i ,
0
定理 1：对于给定的一组实验数据 在 函
0
y i ) ， ( x i 互异；i=1,2,…,m),
y= y= ae
b t
③
(a>0,b<0)
④
为了在求取参数 a 和 b 时，避免求解一个非线性方程组，对上式两边取对数
ln y = ln a +
b t
6
此时若引入变量
y (2) = ln y, t (2) =
1 t
表 3-5
i
ti
yi
( 2)
1
1 ti
2 0.50000 1.85630
3 0.33333 2.07944
∑
解：过程如下： （1）先描绘坐标点. （2）确定拟合曲线形式：由（1）可知，六个点于一条直线附近.故可选用线性函数（直
4
线）
φ
来拟合这组实验数据.
可令
ϕ ( x ) = a + bx , a , b
实验3 曲线拟合的最小二乘法
实验三曲线拟合的最小二乘法1、实验目的：在科学研究与工程技术中，常常需要从一组测量数据出发，寻找变量的函数关系的近似表达式，使得逼近函数从总体上与已知函数的偏差按某种方法度量能达到最小而又不一定过全部的点。
这是工程中引入最小二曲线拟合法的出发点。
充分掌握：1．最小二乘法的基本原理；2．用多项式作最小二乘曲线拟合原理的基础上，通过编程实现一组实验数据的最小二乘拟合曲线。
2、实验要求:1)认真分析题目的条件和要求，复习相关的理论知识，选择适当的解决方案和算法；2)编写上机实验程序，作好上机前的准备工作；3)上机调试程序，并试算各种方案，记录计算的结果（包括必要的中间结果）；4)分析和解释计算结果；5)按照要求书写实验报告；3、实验内容：1) 给定数据如下：x ：0.15，0.4，0.6 ，1.01 ，1.5 ，2.2 ，2.4，2.7，2.9，3.5 ，3.8 ，4.4，4.6 ，5.1 ，6.6，7.6；y ：4.4964，5.1284，5.6931 ，6.2884 ，7.0989 ，7.5507 ，7.5106，8.0756，7.8708，8.2403 ，8.5303 ，8.7394，8.9981 ，9.1450 ，9.5070，9.9115；试作出幂函数拟合数据。
2) 已知一组数据：x ：0，0.1，0.2 ，0.3 ，0.4 ，0.5 ，0.6，0.7，0.8，0.9 ，1y ：-0.447，1.978，3.28 ，6.16 ，7.08 ，7.34 ，7.66，9.56，9.48，9.30 ，11.2；试用最小二乘法求多项式函数，使与此组数据相拟合。
4、题目：曲线拟合的最小二乘法5、原理：从整体上考虑近似函数同所给数据点(i=0,1,…,m)误差(i=0,1,…,m) 的大小，常用的方法有以下三种：一是误差(i=0,1,…,m)绝对值的最大值，即误差向量的∞—范数；二是误差绝对值的和，即误差向量r的1—范数；三是误差平方和的算术平方根，即误差向量r的2—范数；前两种方法简单、自然，但不便于微分运算，后一种方法相当于考虑2—范数的平方，因此在曲线拟常采用误差平方和来度量误差(i=0，1，…，m)的整体大小.。
第三章(曲线拟合的最小二乘法-2)剖析
第三章 曲线拟合的最小二乘法一、 曲线拟合的最小二乘法根据一组给定的实验数据点),(i i y x m i ,,1, =，求出)(x f y =的近似函数关系（1） 观测数据本身有误差（2） 反映实验数据规律的数学模型问题特点：所给数据本身不一定可靠，个别数据的误差甚至可能很大。
研究目标：设法构造一条曲线（所谓拟合曲线）反映所给数据点总的趋势，以消除其局部波动与插值问题不同，不要求通过点),(i i y x m i ,,1, =（否则将保留着一切观测误差），只要求在给定点i x 上的误差最小，即构造一条最佳拟合曲线．．．．．．)(*x ϕ 节点i x 误差(偏差)：),,1()(*m i y x i i i =-=ϕδ最佳标准：1）min max 1=≤≤i mi δ：误差绝对值最大达到最小(不易算)2）min1=∑=mi iδ：误差绝对值和最小(不易算)3）min12=∑=mi iδ：误差平方和达到最小（或平方误差，常用，最小二乘拟合）定义1：给定数据点m i y x i i ,,2,1),,( =，假设拟合曲线的函数形式为：)()()()()(11000x a x a x a x a x n n nk k k ϕϕϕϕϕ+++==∑=其中n k k x 0)}({=ϕ为已知的线性无关函数。
求系数**1*0,,,n a a a ，使得：min])([])([),,,(121210=-=-=∑∑∑===mi i nk i k k mi i i n y x a y x a a a S ϕϕ称∑==nk k k x a x 0**)()(ϕϕ为最小二乘拟合函数若n k x x kk ,,1,0,)( ==ϕ时称为最小二乘拟合多项式（S为误差平方和函数）注：若n k k x 0)}({=ϕ为定义在区间I 上的n+1个函数满足：I x x c x c x c n n ∈∀≡+++,0)()()(1100ϕϕϕ 010====⇔n c c c则称)(,),(),(10x x x n ϕϕϕ 是1+n 个线性无关函数如：n k x x kk ,,1,0,)( ==ϕ；线性无关如：x x 22sin ,cos ,1在整个数轴上是线性相关，因为1,1210-===c c c 时0sin cos 122≡--x x二、最小二乘拟合多项式的求法如：4=m ，2=n),,(),,(),,(),,(44332211y x y x y x y x 2210)(x a x a a x ++=ϕ为使min])[(),,(4122210210=-++=∑=i i ii y x a x a a a a a S由极值点必要条件有：⎪⎪⎪⎩⎪⎪⎪⎨⎧=++=++=++⇒⎪⎪⎪⎩⎪⎪⎪⎨⎧=⋅-++=∂∂=⋅-++=∂∂=-++=∂∂∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑===============412414142413120414141324121041414122411024122102412210141221000])[(20])[(20])[(2i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i y x x a x a x a y x x a x a x a y x a x a a x y x a x a a a S x y x a x a a a S y x a x a a a S⎪⎪⎪⎩⎪⎪⎪⎨⎧=++=++=++⇒⎪⎪⎪⎩⎪⎪⎪⎨⎧=⋅-++=∂∂=⋅-++=∂∂=-++=∂∂∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑===============412414142413120414141324121041414122411024122102412210141221000])[(20])[(20])[(2i i i i i i i i i i ii i i i i i i i i i i i i i i i i i i i i i i i i i i i y x x a x a x a y x x a x a x a y x a x a a x y x a x a a a S x y x a x a a a S y x a x a a a S即：⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⋅⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎣⎡∑∑∑∑∑∑∑∑∑∑∑===========m i i i mi i i mi i i i i ii i i i i ii ii i i iy x y x y a a a x xx x x xx x121121041441341241341241412414 (法方程组)最小二乘拟合多项式求解一般情况)(m n < 假设给定数据m i y x i i ,,2,1),,( = 拟合多项式为：nn x a x a a x +++= 10)(ϕ为使：∑=-==mi i i n y x a a a S S 1210])([),,,(ϕ min])[(1210=-+++=∑=mi i n in i y x a x a a由n i a Si ,,2,1,0,0 ==∂∂可得:⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡⇔=+++=+++=+++∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑=====+==+=======+===+=====m i i ni m i i i m i i n m i n i mi n i m i n i m i n im i i m i i mi nimi im i m i ini n i n m i n i mi n i m i mi ii n i n m i i m i i m i mi i ni n m i i y x y x y a a a x x x x x x x xmy x x a x a x a y x x a x a x a y x a x a m a 11110121111112111112111101111211011110（法方程组，见书P74）//注：系数矩阵关于主对角线对称，次对角线元素相等定理1：以上法方程组在i x 互异时有解存在且唯一，而且其解即为min ])([),,,(1210=-=∑=mi i i n y x a a a S ϕ 的解（使误差取平方和最小的极小点）例1：已知一组实验数据如表所示.i 1 2 3 4 x i 2 4 6 8 y i 2 11 28 40试求最小二乘拟合曲线.0510152025303540450246810系列1解：作散点图，如图所示，说明它可用线性函数作曲 线拟合，即选择形如x a a x 10)(+=ϕ作为拟合曲线. 这里x a a x 10)(+=ϕ1,4,==n m ，故法方程⎩⎨⎧=+=+⇒⎪⎪⎩⎪⎪⎨⎧=+=+∑∑∑∑∑=====5361202081204)()()(41010411412041411410a a a a y x a x a x y a x a i ii i i i i i ii i 得55.6,5.1210=-=a a所求的最小二乘拟合曲线为：x x 55.65.12)(+-=ϕ例2：求下列数据)5,4,3,2,1,0)(,( i y x i i 对应的最小二乘拟合多项式i 1 2 3 4 5 6 x i 0 1 2 3 4 5 y i 5 3 1 1 2 3解：做散点图01234560123456系列1接近抛物线，因此2210)(x a x a a x ++=ϕ法方程组为：⎪⎪⎪⎩⎪⎪⎪⎨⎧⋅=++⋅=++=++∑∑∑∑∑∑∑∑∑∑∑∑============61261426131612061613261216106161226116101i i i i i i i i i i ii i i i i i i i ii i i i i y x x a x a x a y x x a x a x a y x a x a a⎪⎩⎪⎨⎧=++=++=++123979225553122555151555156210221210a a a a a a a a a解得：5.0,7857.2,7143.4210=-==a a a 从而：25.07857.27143.4)(x x x +-=ϕ三、非线性模型的线性化定义2：若拟合函数)(x ϕ与待定参数n a a a ,,,10 为线性关系，就称其为线性最小二乘拟合，如nn x a x a a x +++= 10)(ϕ 若拟合函数)(x ϕ与待定参数n a a a ,,,10 为非线性关系，就称其为非线性最小二乘拟合，如xa e a x y 10)(==ϕ 非线性模型有时可经过变换可化为线性模型，这些也应按线性模型处理。
计算方法(3)-曲线拟合的最小二乘法
m
m
使 Wi [ * (xi ) i 1
yi ]2
min ( x)
Wi [ (xi )
i 1
yi ]2
其 中 (x) a0 0 (x) a11 (x) an n (x)是
中 任 一 函 数;Wi (i 1, , m)是 一 列 正 数, 称 为 权.
第三章 曲线拟合的最小二乘法
§1 引言 §2 最小二乘法 §3 最小二乘法的求法 §4 加权最小二乘法
*§5 利用正交函数作最小二乘拟合
1
§1 引言
一.曲线拟合问题
从一组实验数据(xi , yi )(i 1,2, , m)出发,
寻求函数y (x)的一个近似表达式
m
xin
i1
m
xi
i 1 m
xi2
i 1
m
x n1 i
i 1
m
xin
i 1 m
xn1 i
i 1
m
xi2n
a0 a1 an
m
WI xin
i 1
m
Wi xin1
i 1
m
Wi xi2n
a0 a1 an
m
Wi yi
i 1 m
Wi xi yi
i 1
m
Wi xin yi
是中 任 一 函 数
5
§3 最小二乘解的求法
一.法方程组
最小二乘解 * (x) a0* 0 (x) a1*1 (x) an* n (x)
第03章曲线拟合的最小二乘法
合的最小二乘 法
本次您浏览到是第一页，共四十六页。
本章内容
§3.1 引言
§3.2 什么是最小二乘法
§3.3 最小二乘解的求法 §3.4 加权最小二乘法
小结
作业与实验
2
本次您浏览到是第二页，共四十六页。
本章要求
1. 熟悉插值法和拟合法的区别； 2. 了解偏差的概念; 3. 掌握使用最小二乘法进行数据拟合。
P73 3.3.2
26
本次您浏览到是第二十六页，共四十六页。
§3.3 最小二乘解的求法
2. 多项式拟合： 对于给定的一组数据
多项式 (n m ) :
( x i , y i )( i 0,1, , m )，求作 n 次
n
* ( x )
a
* 0
a
* 1
x
...
a
* n
x
n
a
* j
x
k
j0
使得关系式
偏差最大绝对值最小
m
Ø使 |(xi ) yi |2 最小 /* Least-Squares method */ i1
偏差平方和最小
20
本次您浏览到是第二十页，共四十六页。
§3.2 什么是最小二乘法
三. 最小二乘原则
P71
1. 最小二乘原则 使偏差平方和最小（上页中方法3）的原则称为最小二 乘原则；
。
P74 m次多项式拟合
28
本次您浏览到是第二十八页，共四十六页。
§3.3 最小二乘解的求法
（1）直线拟合（一次多项式拟合）
若 y(x)a0a1x ， a0, a1满足法方程组
n
n
na0
(
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
即得如下正规方程组
m m a 0 m a1 xi y i i 1 i 1 m m m 2 a x 1 i a 0 xi xi y i i 1 i 1 i 1
, , , ,
1 0 1 1
... ... ... ...
, f , a , , f a
0 n 0 0 1 n
, ,
x
y
x0
y0
x1
y1
x2
y2
……
……
xn
yn
y=p(x)
y=f(x)
3.2. 曲线拟合的最小二乘法 如果已知函数f(x)在若干点xi(i=1,2,…,n)处 的值yi,便可根据插值原理来建立插值多项式作为f(x)的 近似。但在科学实验和生产实践中，往往会遇到这样一 种情况，即节点上的函数值并不是很精确的，这些函数
y
图3.1
曲线拟合示意图
o
x
与函数插值问题不同,曲线拟合不要求曲线通过所有 已知点,而是要求得到的近似函数能反映数据的基本关系 。在某种意义上,曲线拟合更有实用价值。 在对给出的实验(或观测)数据 ( xi , y i )(i 0,1,, n) 作曲线拟合时,怎样才算拟合得最好呢？一般希望各实验 (或观测)数据与拟合曲线的偏差的平方和最小 ,这就是最 小二乘原理。
其法方程组为
6a 0 15a1 55a 2 14 15a 0 55a1 225a 2 30 55a 225a 979a 122 1 2 0 解之得 a0 4.7143 , a1 2.7857 , a2 0.5000
2 所求的多项式为 y 4.7143 2.7857x 0.5000 x
m
n
若引入记号 :
, ( x ) ( x ) , f ( x ) y
m j k i 1 j i k i j i 1 j i
i
则有: a k
k 0
n
, , f
j k j 0 0 0 1
( j 0,1,..., n)
可得矩阵 可知 当 0( x), 1( x),... n( x) 线性无关时存在唯一解 ,
对函数 求偏导数并令其为零,可得 : 0 ai
2( a ( x ) y ) ( x ) 0
i 1 k 0 k k i i j i m m n 得: 2 a k ( x i ) ( x i ) y ( x i ) 0 k j j i i 1 i 1 k 0 m
,m
y a0 a1x a2 x
2
an x
n
来拟合所给定的数据，与线性拟合类似，使偏差的 平方和
Q ( yi a j xij )2
i 1 j 0 m n
为最小
Q ( yi a j xij ) 2
i 1 j 0
m
n
由于Q可以看作是关于 ( j=0,1,2,…, n)的多元 函数, 故上述拟合多项式的构造问题可归结为 多元函数的极值问题。令
记x1=1.36, x2=1.37, x3 =1.95
x4 =2.28, y1 =14.094, y2= 16.844, y3=18.475, y4=20.963
则正规方程组为
4 4 4a0 a1 xi yi i 1 i 1 4 4 4 2 a x a x 0 i 1 i xi yi i 1 i 1 i 1
解得
a0 3.9374,
1 a1 7.4626 2
即得拟合直线
y 3.9374 7.4626x
（2）多项式拟合
有时所给数据点的分布并不一定近似地呈一条直 线,这时仍用直线拟合显然是不合适的,可用多项式拟合
。对于给定的一组数据 xi , yi , i 1, 2, 寻求次数不超过n (n<<m ) 的多项式，
e
1
或∞-范数 e
或
(x ) f (x ) e max i max ( xi ) f ( x i )
e
1
n
n
i 0
i
i 0
i
i
i
i
最小。为了便于计算、分析与应用，
e 通常要求的2-范数
e
2
n 2 i i 0
2 2
1 2
（3）一般曲线拟合的 最小二乘法的求法
设近似方程为 : ( 共有m组数据且m n) y* ( x) a 0 ( x) a 1 ( x) ... a n ( x)
0 1 n m
(a 0, a 1,..., a n) ( y
* i i 1
y
i
) 2 min
y a0 a1 x a2 x
m=6, xi 15, x
i 1 i 1 6 6 2 i 6 3 i 6 4 i
2
由法方程组（3.2）, 经计算得
55, x 225, x 797, yi 14, xi yi 30, xi2 yi 122
i 1 i 1 i 1 i 1 i 1 6 6 6
n 0 n 1
...
...
,
n n
...
... a n
1
n, f ...
1
a (i 0,1,..., n)
i
a ( x)就是所求的拟非线性拟合
值是由实验或观测得到的数据，不可避免地带有测量误
差，如果要求所得的近似函数曲线精确无误地通过所有 的点(xi,yi),就会使曲线保留着一切测试误差。当个别 数据的误差较大时,插值效果显然是不理想的。此外,由 实验或观测提供的数据个数往往很多,如果用插值法,势
必得到次数较高的插值多项式，这样计算起来很烦琐。
2 n ( xi ) f ( x i ) i 0
1 2
即
e
2 i i 0
n
( x
i 0
n
i
) f ( x i )
2
为最小。这种要求误差（偏差）平方和最小的拟
合称为曲线拟合的最小二乘法。
（1）直线拟合 设已知数据点 xi , yi , i 1,2,, m ,分布大致为一条直
两种逼近概念:
插值: 在节点处函数值相同.
拟合:
在数据点处误差平方和最小
函数插值是插值函数P(x)与被插函数f(x)在节点 处函数值相同,即 P( xi ) f ( xi ) (i 0,1,, n) 而曲线 拟合函数 ( x) 不要求严格地通过所有数据点 ( xi , y i ) ,也 就是说拟合函数 ( x) 在xi处的偏差(亦称残差）
任课教师：蔡军伟
联系电话：理学院 87617798
E-mail： cjwlh@
授课总学时: 32学时 其中上课10*3=30,考试2课时
第三章
3.1 问题的提出
曲线拟合的最小二乘法
– 函数解析式未知,通过实验观测得到的一组数据, 即在 某个区间[a, b]上给出一系列点的函数值 yi= f(xi) – 或者给出函数表
线。作拟合直线 y( x) a0 a1 x ,该直线不是通过所有的 数据点 xi , yi ,而是使偏差平方和
F (a0 , a1 ) (a0 a1 xi yi ) 2
m
为最小，其中每组数据与拟合曲线的偏差为
i 1
y( xi ) yi a0 a1 xi yi i 1,2,, m 根据最小二乘原理，应取 a0 和 a1使 F (a0 , a1 ) 有极小 值，故 a0 和 a1应满足下列条件：
(3.1)
例3.21
设有某实验数据如下： i 1 2
xi
3
1.95
4
2.28
1.36
1.37
yi
14.094
16.844
18.475 20.963
用最小二乘法求以上数据的拟合函数 解:把表中所给数据画在坐标纸上,将会看到数据点的 分布可以用一条直线来近似地描述,设所求的
拟合直线为 y( x) a a x 0 1
换句话说 :求一条曲线,使数据点均在离此曲线的上方 为此 ,我们希望从给定的数据 (xi,yi)出发,构造一个 或下方不远处 所求的曲线称为拟合曲线 ,它既能反映 近似函数 不要求函数 ( x) 完全通过所有的数 ( x),, 数据的总体分布,又不至于出现局部较大的波动,更能 据点，只要求所得的近似曲线能反映数据的基本趋 反映被逼近函数的特性 势，如图 3.1所示。 ,使求得的逼近函数与已知函数 从总体上来说其偏差按某种方法度量达到最小,这就是 最小二乘法。
表3-4列举了几类经适当变换后化为线性拟合求 解的曲线拟合方程及变换关系
曲线拟合方程
y aeb x
表3-4 变换关系 变换后线性拟合方程 y ln y, x ln x y a bx (a ln a)
x x
1 1 y ,x y x y 1 y
y ax c
x y ax b
y ax c
y a bx
1 y ax b
y b ax
y ax bx c