数值分析课件 数据拟合和最小二乘法
数值分析学习课件
对任意 u ≠ 0 ∈ R n +1 ，必有 Φ u ≠ 0 。 则 u T B u = u T Φ T Φ u =|| Φ u || 2 > 0 2 若不然， 若不然，则 存在唯一解 ⇒ B为正定阵，则非奇异，所以法方程组存在唯一解。 为正定阵，则非奇异，所以法方程组存在唯一 n +1 存在一个 u ≠ 0 ∈ R 使得 Φ u = 0 … 即
则 (ϕ i , ϕ j ) =
∫
1 0
x i x j dx =
1 i + j+1
Hilbert阵！ 阵
若能取函数族Φ={ ϕ0(x), ϕ1(x), … , ϕn(x), … }， ， 两两（ 使得任意一对ϕi(x)和ϕj(x)两两（带权）正交， 和 两两 带权）正交， 改进： 改进： 对角阵！ 就化为对角阵 则 B 就化为对角阵！ (ϕ k , y ) 这时直接可算出a 这时直接可算出 k = (ϕ k , ϕ k ) 正交多项式的构造： 正交多项式的构造： 多项式的构造 取为k 多项式，为简单起见， 将正交函数族中的ϕk 取为 阶多项式，为简单起见，可取 ϕk 的首项系数为 1 。
①
总体上尽可能小 尽可能小。 这时没必要取 P(xi) = yi , 而要使 P(xi) − yi 总体上尽可能小。 常见做法： 常见做法：
m
不可导， 不可导，求解困难
太复杂
使 max | P ( x i ) − y i | 最小 /* minimax problem */ 1≤ i ≤ m 使 ∑ | P ( x i ) − y i | 最小 使 ∑ | P ( x ) − y | 最小 /* Least-Squares method */ 定义 最佳平方逼近：即连续型 逼近，在 || f ||2 = 最佳平方逼近：即连续型L-S逼近 平方逼近 逼近，
数值分析16(最小二乘法2)
14/46
1范数意义下的残差最小
Sparse and Redundant Representations:
参考文献:
ห้องสมุดไป่ตู้
From Theory to Applications in Signal and Image Processing
超定方程组
3/46
13:32
离散数据的线性拟合 x x1 x2 f(x ) y1 y2
· · · · · · · · · · xm · · · · · · · · · · ym
求拟合函数: ( x ) a00 ( x) a11 ( x) ann ( x)
y1 0 ( x1 ) 1 ( x1 ) n ( x1 ) a0 y2 0 ( xm ) 1 ( xm ) n ( xm ) an y m
( u1 , vk ) ( u1 , u1 )
u1
uk -1 +uk
23/46
Gram-Schmidt正交化的矩阵编码
v1 u1 v2 v3 vk
( u1 , vk ) ( u1 , u1 )
1 k u1 ( ukk1 , uk 1 ) uk -1 +uk
x
13:32
2
进一步地如果AT A可逆, 则x ( AT A)1 AT b
5/46
最小二乘拟合问题研究包括:
模型的选取
存在唯一性 最小二乘解的计算
13:32
6/46
广义矩阵(Ax=b统一的理论解释)
第十一讲_数据拟合与线性最小二乘拟合分解
1
1.25
1
1.50
1
1.75
1
2.00
1 1 R 1 1 1
1.25 1.50 1.75 2.00 1
R TR
1 1 1 1 1 1 1 1 1.25 1.50 1.75 2.00 1 1 1
1.25 5 7.50 1.50 7 . 50 11 . 875 1.75 2.00 1
求解法方程组得到
a=3.6294，b=0.5406，c=0.9371，
于是得到该模型下的最小二乘拟合曲线为
g(x)=3.6294+0.5406x+0.9371x2
数据拟合与线性最小二乘法
2．线性最小二乘法
• 双曲线模型
y=1/(a0+a1x)
选取双曲函数模型，例如，选取y=1/(a0+a1x)，令Y=1/y=a0+a1x， 此时，r1(x)=1，r2(x)=x。 要求Y=a0+a1x与(xi，yi)，i=0,1,2,3,4，做最小二乘拟合， Yi=1/f(xi)。列表计算如下： i 0 1 xi 1.00 1.25 f(xi) 5.10 5.79 Yi=1/f(xi) 0.19607 0.17271 8 2 r1(x) 1 1 r2(x) 1.00 1.25
点(xi，yi)，i=1,2,…,n，xi互不相同，寻求一个函数(曲线) y=f(x) ，使f(x)在某种准则下与所有数据点最为接近，即曲线拟合
的最好，如下图所示(图中δi为(xi，yi)与y=f(x)的距离)。
y
(xi，yi)
δi
2）.求解思路
线性最小二乘法是解决曲线拟合最常用的方法。 O 基本思路是，令 f(x)=a1r1(x)+a2r2(x)+…+amrm(x) (1) 其中rk(x)是事先选定的一组函数，ak是待定系数(k=1,2,…,m，m<n)。 拟合准则是使n个点(xi，yi)，i=1,2,…,n，与y=f(xi)的距离δi 的
数值分析课件-6曲线拟合
第六章 曲线拟合的最小二乘 /函数平方逼近初步实例：考察某种纤维的强度与其拉伸倍数的关系,下表是实际测定的24个纤维样品的强度与相应的拉伸倍数是记录:编 号拉伸倍数 强 度编 号拉伸倍数 强 度1 1.9 1.4135 5.522 1.314 5.253 2.1 1.8156 5.54 2.5 2.516 6.3 6.45 2.7 2.817 6.566 2.7 2.5187.1 5.37 3.53198 6.58 3.5 2.72087944218.98.5104 3.5229811 4.5 4.2239.58.112 4.63.524108.1i i y x ii y x 一.实例讲解6.2 数据拟合(最小二乘法)§2(())m nj j i i i j a x f ϕ===-∑∑2(())mi i i S x f ==-∑三、法方程组22δ∑==nj j j x a x S 0)()(ϕ由的函数为拟合系数),,1,0(n j a j =可知因此可假设01(,,,)n F a a a 2(())mnj j i i i j a x f ϕ===-∑∑因此求最小二乘解转化为二次函数四、加权最小二乘法(,)(0,1,,)i i x f i m = 对于一组给定的数据点(,)(0,1,,)i i x f i m = 在拟合的数据点中各点的重要性可能是不一样的()(,)0,1,,i i i i x x f i mρρ= 假设=表示数据点的权(或权重),权:即权重或者密度，统称为权系数.定义加权平方误差为222m i i i δρδ==∑2(())mi i i i S x f ρ==-∑-----(9)6.3 连续函数的最佳平方逼近§0102**222*[,],{,,,}[,].(),()();()[()()]()[()()]()().min n ni i i b a b a S f C a b span C a b S x S x a x f S x f x S x dx x f x S x dx S x f x ϕϕϕϕρρ=∈Φ∈Φ=⊂∀∈Φ=-=-=-∑⎰⎰ 设为的最佳平方逼近1. 最佳平方逼近问题-----(14)0(,)(,)(,)()()()(,)()()()0,1,,x n k i i k k i b k i k i a b k k k a a f d x x x dx d f x f x x dxk nG dϕϕϕϕϕρϕϕϕρϕ=⎧==⎪⎪⎪=⇒⎨⎪==⎪⎪=⎩⇒=∑⎰⎰ ⎪⎪⎪⎪⎭⎫ ⎝⎛),(),(),(01000n ϕϕϕϕϕϕ ),(),(),(11101n ϕϕϕϕϕϕ ),(),(),(10n n n n ϕϕϕϕϕϕ G =最小二乘法方法评注曲线拟和的最小二乘法是实验数据处理的常用方法。
数值分析15(最小二乘法1)
x
k 1
m
k
y1 x a0 y2 n xm an y mm y k m k 1 n x k m a k 1 0 x k yk
一个无解的方程组称为不相容。许多情况下方程 个数大于未知量个数使解不大可能满足所有的方程。 定义: 一个方程组称为相容方程(consistent equation),若 至少存在一个解能够严格满足该方程组。 定理: 线性方程Ax=b是相容的当且仅当增广矩阵的秩 等于矩阵A的秩, 即rank([A,b])=rank(A) 。
T T
20:23
10/43
1 1 2 例2 x1 1 1 1 x 2 1 1 3 1 1 1 1 1 3 1 T A A 1 1 1 3 1 1 1 1 1 2 x 3 1 1 1 1 6 1 T A b 1 1 1 1 4 1 3 x2 3 0.5 残差( residuals )r b Ax 0 2 20:23 2 2 2 r 2 r1 r2 r3 ( least squares ) 0.5
20:23
2/43
离散数据的拟合 x x1 f(x ) y1
求拟合函数:
x2 y2
· · · · · · · · · · xm · · · · · · · · · · ym
c1 c2 x1 y1 c1 c2 x2 y2
( x ) c1 c2 x
y1 1 x1 1 x c y 1 2 2 Ac=y c2 1 x m ym
《数据拟合方法》PPT课件
n
n
记 J(a1,a2,am)
2 i
[f(xi)yi]2
i1
i1
nm
[ akrk(xi)yi]2 (2) i1 k1
问题归结为，求 a1,a2, …am 使 J(a1,a2, …am) 最小。
最小二乘法的求解：预备知识
超定方程组：方程个数大于未知量个数的方程组
r11a1r12a2 r1mamy1 (nm) rn1a1rn2a2rnmamyn
第一步:先选定一组函数 r1(x), r2(x), …rm(x), m<n, 令
f(x)=a1r1(x)+a2r2(x)+ …+amrm(x)
（1）
其中 a1,a2, …am 为待定系数。
第二步: 确定a1,a2, …am 的准则（最小二乘准则）：
使n个点（xi,yi) 与曲线 y=f(x) 的距离i 的平方和最小 。
即 Ra=y
其中
r11 r12 r1m
a1
y1
R ,
a
,
y
rn1 rn2 rnm
am
yn
超定方程一般是不存在解的矛盾方程组。
n
如果有向量a使得
(ri1a1ri2a2 rim amyi)2达到最小，
i1
则称a为上述超定方程的最小二乘解。
最小二乘法的求解
所以，曲线拟合的最小二乘法要解决的问题，实际上就是 求以下超定方程组的最小二乘解的问题。
(x)
( x ) ...
(x)
0
0
11
n
n
a a a y y ( , ,...,
0
1
m
*
) (
4.5数据拟合(最小二乘法)
(2) 利用改进的平方根法或迭代法求正规方程组的解 利用改进的平方根法或迭代法求正规方程组的解: 则最小二乘数据拟合多项式为
14
通过实验获得数据如下： 例8 通过实验获得数据如下：
试用最小二乘法求多项式曲线，使与此数据组相拟合。 试用最小二乘法求多项式曲线，使与此数据组相拟合。 解：根据前面所述，解题步骤如下： 根据前面所述，解题步骤如下： (1) 描绘分布图。将数据 (xi, yi) 描绘分布图。 标在坐标纸上，如图4-3所示。 标在坐标纸上，如图 所示。 所示 从图可以看出，点的分布接 从图可以看出， 近一条抛物线。 近一条抛物线。
5 数据拟合 最小二乘法) 数据拟合(最小二乘法 最小二乘法
1
1 问题的引出
在自然科学和工程技术中， 在自然科学和工程技术中，常常通过测量或实验得到函数 y=f (x)在一些点 x0，x1，x2，…，xn 上的函数值 y0，yl，y2，…， 在一些点 ， ， yn，其中各 i互不相同。这些数据本身具有两个特点：一是数据 其中各x 互不相同。这些数据本身具有两个特点： 量比较大；二是由于这些数据是通过测量得到的， 量比较大；二是由于这些数据是通过测量得到的，因此数据本 身存在一定的误差。 身存在一定的误差。 如果用前面介绍的插值法， 如果用前面介绍的插值法，通过这几个已知点所求得的插 值多项式必定是高次插值多项式，而高次插值是数值不稳定的。 值多项式必定是高次插值多项式，而高次插值是数值不稳定的。 另一方面，由于数据本身存在误差， 另一方面，由于数据本身存在误差，利用插值所得到的插 值多项式必然保留了所有的测量误差， 值多项式必然保留了所有的测量误差，使所得结果可能与实际 问题误差较大。然而，对数据拟合问题，一般地说， 问题误差较大。然而，对数据拟合问题，一般地说，并不要求 所得出的近似解析表达式通过所有已知点， 所得出的近似解析表达式通过所有已知点，而只要求尽可能
数值分析中的最小二乘法与曲线拟合
数值分析中的最小二乘法与曲线拟合数值分析是现代理论与实践密切结合的一门交叉学科，其中最小二乘法和曲线拟合是其中两个非常重要的概念。
最小二乘法是一种数学运算方法，用于求解一组方程组的未知参数，使得每个方程的误差平方和最小。
在实际应用中，最小二乘法广泛应用于数据拟合、信号处理、回归分析等领域。
在数据拟合中，最小二乘法是一种常见的方法，它可以用于拟合曲线和函数。
它通过延伸曲线以获得局部数据之间的交点，并通过在它们上进行平均化的方法来尝试匹配数据。
最小二乘法的概念为我们提供了一个理论基础，以便在一定程度上预测新的数据中对象的行为或趋势。
但是，即使在相对简单的问题中，最小二乘法可能并不是最佳选择。
曲线拟合是对一系列数据进行插值的过程，以便获得与原始数据点更准确相匹配的曲线或函数。
曲线拟合可以通过在相邻数据点之间进行插值来完成。
在曲线拟合中，只有在数据有很好的统计关系或在相邻数据点
有很好的相关性时，才会产生准确的结果。
否则，结果可能并不
准确，因为这些结果取决于数据点的数量和分布。
需要注意的是，曲线拟合和最小二乘法并不是一个可以代替另
一个的工具。
它们的适用范围不同。
曲线拟合适用于对离散数据
点进行联合分析，而最小二乘法适用于求解连续数据的线性模型。
总之，数值分析中的最小二乘法和曲线拟合是非常实用的概念，可以应用于各种领域。
它们作为现代数据分析的主要工具之一，
不断吸引着越来越多的学者和工程师投入到其中，将继续发挥重
要作用。
最小二乘法及数据拟合
实验五 最小二乘法及数据拟合建模的回归分析一、实验目的:1．掌握用最小二乘建立回归数学模型。
2．学习通过几个数据拟合的回归分析来判断曲线（直线）拟合的精度，通过回归分析来判断模型建立是否正确。
3．应用建立的模型进行预测。
二、基本原理和方法 1．建立回归数学模型在进行建模和仿真分析时，人们经常面临用已知系统实测数据应用数学模型描述对应系统，即对数据进行拟合。
拟合的目的是寻找给定的曲线（直线），它在某种准则下最佳地拟合数据。
最佳拟合要在什么准则下的最佳？以及用什么样的曲线模型去拟合。
常用的拟合方法之一是多项式的最小二乘拟合，其准则是最小误差平方和准则，所用的拟合曲线为多项式。
本实验在Matlab 平台上，以多项式最小二乘拟合为例，掌握回归模型的建立（包括参数估计和模型建立）和用模型进行预测的方法，并学习回归分析的基本方法。
2．在MATLAB 里，用于求解最小二乘多项式拟合问题的函数如下： polyfit 最小二乘多项式拟合p=polyfit(x,y,n) 对输入数据y 的n 阶最小二乘拟合多项式p(x)的系数Y=polyval(p,x) 求多项式的函数值Y )1n (p x )n (p x )2(p x )1(p Y 1n n +++++=−L以下是一个多项式拟合的例子。
已知 x=0,0.1,0.2,0.3,...,0.9,1 共11个点（自变量），实测数据y=-0.447, 1.978, 3.28, 6.16, 7.08, 7.34, 7.66, 9.56,9.48, 9.30, 11.2求：2阶的预测方程，并用8阶的预测方程与之比较。
x=linspace(0,1,11);y=[-.447 1.978 3.28 6.16 7.08 7.34 7.66 9.56 9.48 9.30 11.2]; p=polyfit(x,y,2)%求2阶的预测方程 2210x b x b b y ++= 的系数 p= b 2 b 1 b 0z=polyval(p,x); %求预测的y 值 （z 表示y )） p2=polyfit(x,y,8) %求8阶的预测方程 z1=polyval(p2,x);plot(x,y,'om',x,z,':*r'x,z1, ':+b')图中：”0” 代表散点图 “+”代表8阶预测方程“*”代表2阶预测方程图1 散点图与2阶预测方程3．回归模型的检验回归模型的检验是判断数据拟合的好坏即模型建立的正确与否，为建立模型和应用模型提供支持。
数值分析方法(讲义)
第十章 数值分析方法在生产实际中，常常要处理由实验或测量所得到的一批离散数据，数值分析中的插值与拟合方法就是要通过这些数据去确定某一类已经函数的参数，或寻求某个近似函数使之与已知数据有较高的拟合精度。
插值与拟合的方法很多，这里主要介绍线性插值方法、多项式插值方法和样条插值方法，以及最小二乘拟合方法在实际问题中的应用。
相应的理论和算法是数值分析的内容，这里不作详细介绍。
§1 数据插值方法及应用在生产实践和科学研究中，常常有这样的问题：由实验或测量得到变量间的一批离散样点，要求由此建立变量之间的函数关系或得到样点之外的数据。
与此有关的一类问题是当原始数据),(,),,(),,(1100n n y x y x y x 精度较高，要求确定一个初等函数)(x P y =（一般用多项式或分段多项式函数）通过已知各数据点（节点），即n i x P y i i ,,1,0,)( ==，或要求得函数在另外一些点（插值点）处的数值，这便是插值问题。
1、分段线性插值这是最通俗的一种方法，直观上就是将各数据点用折线连接起来。
如果b x x x a n =<<<= 10那么分段线性插值公式为n i x x x y x x x x y x x x x x P i i i i i i i i i i ,,2,1,,)(11111 =≤<--+--=-----可以证明，当分点足够细时，分段线性插值是收敛的。
其缺点是不能形成一条光滑曲线。
例1、已知欧洲一个国家的地图，为了算出它的国土面积，对地图作了如下测量：以由西向东方向为x 轴，由南向北方向为y 轴，选择方便的原点，并将从最西边界点到最东边界点在x 轴上的区间适当的分为若干段，在每个分点的y 方向测出南边界点和北边界点的y 坐标y1和y2，这样就得到下表的数据（单位：mm ）。
根据地图的比例，18 mm 相当于40 km 。
根据测量数据，利用MA TLAB 软件对上下边界进行线性多项式插值，分别求出上边界函数)(2x f ，下边界函数)(1x f ，利用求平面图形面积的数值积分方法—将该面积近似分成若干个小长方形，分别求出这些长方形的面积后相加即为该面积的近似解。
数值分析课件Chapter7曲线拟合与线性最小二乘问题.ppt
可以验证 x GT (GGT )1(F T F )1 F T b
是法方程组的一个解，故是原方程组的一个最小二乘解
推论7.1.2 若 rankA ，r则方n程组
有无穷多个最小二乘解。
Ax b
Def 2 方程组 Ax b 的所有最小二乘解中2-范数最小
8.9
8.5
10
4
3.5
22
9
8
11
4.5
4.2
23
9.5
8.1
12
4.6
3.5
24
10
8.1
可以看出,纤维强度随 拉伸倍数增加而增加
并且24个点大致分 布在一条直线附近
因此可认为强度与 拉伸倍数之间的主 要关系是线性关系
9
8
7
6
5
4
3
2
1
1
2
3
4
5
6
7
8
9
10
y ( x ) a bx
该直线称为这一问题的数学模型。
线性无关，下面讨论正交分解的具体实现方法。
记 A [a1, a2 , , an ]，Q [q1, q2 , , qr ] 其中 a1, a2 , , ar线性无关，q1, q2 , , qr两两正交。
Gram-Schmidt正交化方法： 由 A QU 得
a1 u11q1 a2 u12q1 u22q2
y a bx c 1 x
1( x) 1;
2(x)
x;
3(x)
1 x
三、最小二乘问题解的存在性、唯一性
Def 1 设 A R，m若n 存在 x 精R确n地满足
数值分析3-4(最小二乘法)
按某种标准最小。
度量标准不同，将导致不同的拟合结果，常用的准则有如下三种：
(1)使残差的最大绝对值为最小
max i
ei
max i
yi
F(xi )
min
(2)使残差的绝对值之和为最小
ei min i
(3)使残差的平方和为最小
ei2 min i
A 4.48072, b 1.0567 a e A 11.3253103
y 11.3253 103 e1.0567t F (2) (t )
请回答: 怎样比较这两个数学模型的好坏呢？ 答：只要分别计算这两个数学模型的误差，从中挑选误差较小的模型即可。
本例经过计算可得
max i
|
(1) i
三、求解步骤
确定拟合曲线的形式 确定变量对应的数据
确定法方程 求解法方程
最困难！
四、举例
例1. 已知一组实验数据如下，求它的拟合曲线.
xi
1
2
3
4
5
fi
4 4.5 6
8 8.5
ωi
21311
解
根据所给数据，在坐标纸上标出，从图中看到各点在一条直线附近，故
可选择线性函数作拟合曲线，即令
S1( x) a0 a1 x
|
0.568
103
, max i
可由原始数据
计算出来。
拟合S数1(据x) a bx
。
( xi , yi ) (i 1,...,16) ( xi , yi )
(ti , yi )
这里0( x) 1,1( x) x 可求得 (k , j ),( y,代j入),法j方, 程k 得 0,1
3.4 离散数据的曲线拟合——数值分析课件PPT
i 1
i 1
பைடு நூலகம்
i 1
以上计算可用下表的形式表示（更简便）
i xi yi xi2
xi3
0 0.00 0.10 0.00
1 0.25 0.35 0.0625
2 0.50 0.81 0.25
3 0.75 1.09 0.5625
4 1.00 1.96 1.00
xi4
xi yi xi2 yi
2.5 4.31 1.875 1.5625 1.3828 3.27 2.7975
a
(a0*
,,
an*
)T，
d (( f ,0),,( f ,n))T ,
结论： （1）必要条件
误差与基函数正 交
n
由(3.4.3) (k , j )a*j ( f ,k ) j0
(k 0,1,, n),
n
(k , a*j j ) ( f ,k ) (k 0,1,, n), j0
得( f p*,k ) 0，(k 0,1, , n)
以上的平方误差与连续函数最佳平方逼近的平方误 差有相同形式的表达式。
(2)多项式的拟合
前面讨论了子空间 S 中的最小二乘拟合。 在离散数据 { xi , yi }mi0 的最小
二乘拟合中，最简单、最常用的数学模型是多项式
p(x) a0 a1x an xn.
即在多项式空间 span{1, x,, xn } 中作曲线拟合，称为多项式拟合。
5
(0,0 ) 11 5 i 1
5
(1,2 ) xi xi2 1.5625 i 1
5
5
(0,1) 1 xi 2.5 (1,1) xi2 1.875
i 1
i 1
5
2-8数据拟合与最小二乘法
第二章
测量误差与数据处理
2.8
数据拟合与最小二乘法
索引
一,数据拟合 二,最小二乘法 三,回归分析 四,一元线性回归 五,一元非线性回归
一,数据拟合
在测量的数据处理中,通常需要根据实际 根据实际 测量所得的数据中, 测量所得的数据中,求得反映各变量之间 的最佳函数关系的表达式. 的最佳函数关系
Y = f ( X ; a1 , a 2 , , a n )
二,最小二乘法
根据最小二乘原理,为获得参数a1,a2,…, 1 , a 2 , , a n a,应该使各个测 an的最佳估计值 量值yi的残差vi的平方和为最小,即所获得 ,应该使变量 应该使变量Y的 a1 , a应该使变量 的 的参数估计值 2 ,, a n yi 测量值y 测量值 i与其真值的估计值 之差的平方和 为最小. 为最小.
n n
这个方程组称为正则方程组 正则方程组. 正则方程组 正则方程组有唯一的一组解. 通过求解正则方程组,即可求得回归系 数 a0 , a1 .
3.正则方程组的求解步骤
求n组测量数据两变量的算术平均值 1 n 1 n x = ∑ xi yi = ∑ yi n i =1 n i =1 求离差平方和Lxx,Lyy
这个方程组有两个未知数 a0 , a1 ,而有n个 方程(n>2),因此有无穷多组解 因此有无穷多组解,是不 因此有无穷多组解 定解方程.
2.正则方程组
为求得一组最佳的解,应用最小二乘原理. 令残余误差 ,则有方程组
vi = yi yi
v1 = y 1 1 = y 1 a 0 a 1 x 1 y v 2 = y 2 2 = y 2 a0 a1 x 2 y v n = y n n = y n a0 a1 x n y 这个方程组称为误差方程组.
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
解得
a0 1.006321428, = a1 0.862589295, = a2 0.842410704,
y= 1.006321428 + 0.862589295 x + 0.842410704 x 2 .
平方误差和为
δ
∴δ
2 2
= ∑ ( yi − y ( xi )) ≈ 3.07893 ×10 .
的最小二乘解问题。下面我们介绍如何 解超定方程
考虑超定方程组 Am×n xn = bm , 其中m>n. 记 r=Ax-b，则最小二乘解为：
Min = r 2 Min Ax − b 2 .
定理：向量 X 为 Ax = b 的最小二乘解
*
2
2
⇔ AT AX * = AT b.
法方程
（若A各列向量线性无关，解存在唯一）
第六章 曲线拟合和最小二乘法
6.1 曲线拟合
背景：大量数据, 1）利用简单函数，尽可能表现数据的趋势 2）减小误差影响,不要求过所有的点
例 某种合成纤维的强度与其拉伸倍数有直 接关系，下表是实际测定的24个纤维样 品的强度与相应拉伸倍数的记录。
编号 拉伸倍数
强度 kg/mm2 1.4 1.3 1.8 2.5 2.8 3.5 3.0 2.7 4.0 3.5 4.2 3.5
利用线性拟合求解药物浓度模型中的系数。
令药物浓度和时间的关系满足
y = c1te
两边同时取log，得到
c2 t
log c1 + c2t = log y − log t 利用线性拟合模型解得
y = 9.77te
−0.215t
6.2超定方程组的最小二乘解
事实上，实验数据 ( xi , yi ), (i = 1, 2,...m) 的曲线拟合最小二乘问题等价于超定方程 组
2 −4 i =0
5
2
= 0.1755.
解2： 令 f ( x) = ax + bx + c,
2
建立超定方程组如下：
a *02 + b *0 + c 2 a *0.2 + b *0.2 + c 2 a *0.4 + b *0.4 + c 2 a *0.6 + b *0.6 + c a *0.82 + b *0.8 + c 2 a *1 + b *1 + c = 1.000 = 1.221 = 1.492 = 1.822 2.226 = 2.718 =
* * * , a1 , ⋅⋅⋅, an . 该方程组存在唯一解 a0
最小二乘解为：
= ϕ ( x) a ϕ ( x) + a ϕ ( x) + ⋅⋅⋅ + a ϕn ( x),
* * 0 0 * 1 1 * n
相应的平方误差为：
δ = 2
2
f
2 2
− ∑ α (ϕk , f ),
k =0 * k
n
1 = 0 2 0
1 0.2 0.22
1 0.4 0.42
1 0.6 0.62
1 0.8 0.82
1.000 1.221 1 1.492 1 1.822 12 2.226 2.718
即
3 2.2 c 10.479 6 3 2.2 1.8 b = 6.433 2.2 1.8 1.5664 a 5.08612
解：为简化数据，从1870年起年份记N，变换w为 n=(N-1870)/10。将地球气温增加值改记为 t=1,2,3,4,6,8,10,13,18,24,32，即将原气温增加值扩 大100倍。根据新数据绘图。 可以看出，气温t与变换n大致服从指数函数增长 过程，因此，可以假设t与n满足指数函数关系
y = ln t
取n=1，m=10，利用上表数据得法方程组
21.45095078 11a + 66b = 164.2174248 66a + 506b =
= a 0.013083518, = b 0.322833819, 解得
a α = e= 1.013169482 β= b= 0.322833819
i 2 i i i i
6.1.3 模型线性化 有一些数据点的曲线拟合问题不是直接的线 性拟合，我们需要对模型进行一定的线性 化来进行线性拟合。
例 下表统计了近100年内地球大气气温上升的数 据。试根据表中数据建立一数学模型（即拟和 曲线），并根据这一模型预报地球气温何年会 比1870年的平均温度高 7 0C.
编号
拉伸倍数
强度 kg/mm2 5.5 5.0 5.5 6.4 6.0 5.3 6.5 7.0 8.5 8.0 8.1 8.1
1 2 3 4 5 6 7 8 9 10 11 12
1.9 2.0 2.1 2.5 2.7 2.7 3.5 3.5 4.0 4.0 4.5 4.6
13 14 15 16 17 18 19 20 21 22 23 24
y = c1te
c2 t
log y = log c1 + log t + c2t 将 log c1和c2 作为线性模型的参数，并数据点 带入
时间（小时） 1 2 3 4 5 6 7 8 浓度（毫克/升） 8.0 12.3 15.5 16.8 17.1 15.8 15.2 14.0
2 y = a + a x + a x , 则法方程组为 解：设拟合函数为 0 1 2
3 2.2 a0 10.479 6 3 2.2 a = 6.433 , 1.8 1 2.2 1.8 1.5664 a2 5.08612
得法方程组：
1 0 2 0 1 0.2 0.22 1 0.4 0.42 1 0.6 0.62 1 0.8 0.82 1 1 1 1 1 2 1 1 1 1 0 0.2 0.4 0.6 0.8 1 02 0.22 c 2 0.4 b 2 0.6 a 2 0.8 2 1
证明：我们以n=2为例，部分证明以上定理。 n=2时，Ax-b实际上是A的两个列向量 以 x1 , x2 为系数的线性组合得到的向量与b向 量之间的差。根据欧氏空间的基本性质， 要使这个差最小，则Ax*-b应当与A的两个 列向量的任意线性组合垂直，即
( Ax * −b) • Ax = xT AT ( Ax * −b) = 0
5.0 5.2 6.0 6.3 6.5 7.1 8.0 8.0 8.9 9.0 9.5 10.0
将拉伸倍数作为x，强度作为y，在座标纸上 标出各点。
9 8 7 6 5 4 3 2 1 0 0 2 4 6 8 10 12
从上图中可以看出强度与拉伸倍数大致成线性关 系，可用一条直线近似表示两者之间的关系。 解：设 y= a + bx, 令
年份N 1880 1890 1900 1910 1920 1930 1870年后地球 气温增加值 t 0C 0.01 0.02 0.03 0.04 0.06 0.08 年份N 1870年后地球 气温增加值 t 0C 1940 0.10 1950 0.13 1960 0.18 1970 0.24 1980 0.32
相应的 t 与 n 的指数型拟合曲线关系为
t = 1.013169482 e0.322833819×n .
这就是所求地球温室效应的指数函数的数学模型。 以此进行预报，即已知 t 值求
n = ln(t /1.013169482) / 0.322833819 = N 1870 + 10n.
地球气温比1870年上升 7 0C ，即以t =700代入上式 N(7) = 2073(年).
δ i = yi − y i = yi − a − bxi ,
使误差的平方和达到最小，即求使
ϕ (a,= b)
达到最小值的a和b.
2 i = i 1= i 1
= ∑ ( y − a − bx ) ∑δ
i i
24
24
2
利用求多元函数极小值的方法，整理得
113.1 24a + 127.5b = ⇒ = a 0.15, = b 0.859, 731.60 127.5a + 829.61b =
t = α eβ n
为决定参数α，β将上式改写成
ln = t ln α + β n
y ln t= , x n= , a ln α= , b β, 令 =
则
y= a + bx.
已知数据相应地变为如下表所示
n 1 ln1 2 ln2 3 ln3 4 ln4 5 ln6 6 ln8 7 ln10 8 ln13 9 ln19 10 ln24 11 ln32
2）残差绝对值之和 ∑ δ i 达到最小
i =0
m
2 δ 3）残差平方和 ∑ i 达到最小 i =0
m
最小二乘
2 ω x δ ( ) 更一般地，带权的平方和 ∑ 最小. i i i =0 m
=
= i 0= j 0
2 − y a ϕ x [ ( )] ∑ i ∑ j j i
m
n
由多元函数极值的性质，极小值点必满足
= i 0= j 0
∑ [2(∑ a ϕ
j
m
n
j
( xi ) − yi )ϕ k ( xi )] = 0，
令 (ϕ j , ϕ k ) = ∑ ϕ j ( xi )ϕ k ( xi ),
i =0
m
(ϕk , f ) = ∑ yiϕk ( xi ),
i =0
m
则
法方程
由 {ϕ 0 , ϕ1 , ϕ n } 的线性无关性，