数值分析3-4(最小二乘法)

解得 从而得到
a = 80.6621, b = 161.6822
t (1) y= = F (t ) 80.6621t + 161.6822
y = F(t) 是指数形式
y = ae
b/ t
(b < 0)
为了确定a 为了确定 与b，对上式两边取对数得 ，
令
1 ˆ y = ln y, A = lna, x = t
i i
(2)使残差的绝对值之和为最小 使残差的绝对值之和为最小
∑e
i
i
= min
最小二乘法
源自文库
(3)使残差的平方和为最小 使残差的平方和为最小
∑e
i
2 i
= min
2. 多项式拟合的一般定义 已知： 一组数据（ 已知： 一组数据（xi，yi）(i=0,1,…,m)， ， 求： 在函数类 ϕ = span{ , x,..., xn} 中找一 1 ∗ 使误差平方和最小， 个函数 y = S (x) ，使误差平方和最小， 即
但遗憾的是， 但遗憾的是 ， 在实际中噪声的形式往往是 未知的。 在上个世纪60年代 年代， 未知的 。 在上个世纪 年代 ， Tukey说明了在 说明了在 现实情况中， 现实情况中，噪声的形式与高斯或拉普拉斯规 律都相去甚远。 律都相去甚远。
回到起点！ 回到起点！
作业： 作业： 习题 16，17，18 16，17，
; (1) y是t的增函数 (2)当t →0 + 时，y = 0; (3)t →∞时，y趋于一个定值
根据这些条件，可设想两种形式的函数关系： 根据这些条件，可设想两种形式的函数关系： y = F(t) 是双曲线型
1 b t = a + ,即y = y t (at + b)
y = F(t) 是指数形式
S1( x) = a0 + a1 x
得法方程为
8a0 + 22a1 = 47 22a0 + 74a1 = 145.5
解得
a0 = 2.77, a1 = 1.13
于是所求拟合曲线为
∗ S1 ( x) = 2.77 + 1.13x
在某化学反应里， 例2. 在某化学反应里，根据实验所得生成物的 浓度与时间关系如下表， 求浓度y与时间 与时间t的拟 浓度与时间关系如下表 ， 求浓度 与时间 的拟 合曲线y=F(t). 合曲线
高斯提出了最小二乘法，而拉普拉斯提出了
最小模方法。从那时起就有了下面的问题： 从那时起就有了下面的问题：
那种方法更好呢？ 世纪和20世纪初 那种方法更好呢？在19世纪和 世纪初，人 世纪和 世纪初， 们更趋向于最小二乘法。 们更趋向于最小二乘法。 在1953年，L.Le Cam定义了 定义了ML方法一致收 年 定义了 方法一致收 敛的一些充分条件后，人们发现： 敛的一些充分条件后，人们发现：如果离散 数据点的噪声是服从高斯（正态）规律的， 数据点的噪声是服从高斯（正态）规律的， 则最小二乘法给出最好的结果； 则最小二乘法给出最好的结果；若噪声是服 从拉普拉斯规律的，则最小模法给出最好的 从拉普拉斯规律的， 结果。 结果。
解得 从而得到
A = −4.48072, b = −1.0567
a = e = 11.3253×10
A
−3 −1.0567t
−3
y = 11.3253×10 e
= F (t )
(2)
请回答: 请回答: 怎样比较这两个数学模型的好坏呢？ 怎样比较这两个数学模型的好坏呢？ 只要分别计算这两个数学模型的误差， 答 ： 只要分别计算这两个数学模型的误差 ， 从中挑选误差较小的模型即可。 从中挑选误差较小的模型即可。
δ = ∑δi2 = ∑[S∗ ( xi ) − yi ]2
2 2 i=0 i=0
m
m
= min ∑[S( xi ) − yi ]2
S( x)∈ ϕ
m
这里
i=0
S( x) = a0 + a1x +... + an x
n
(n < m)
3. 一般定义 已知： 一组数据（ 已知： 一组数据（xi，yi）(i=0,1,…,m)， ， 求： 在函数类 ϕ = span{ϕ0 ,ϕ1 ,...,ϕn }中找一 ∗ 使误差平方和最小， 个函数 y = S (x) ，使误差平方和最小， 即
b ln y = lna + t
ˆ 于是由 (ti , yi ) 计算出 ( xi , yi ) ，拟合数 据 ( xi , yi ) 的曲线仍设为 ˆ
S1( x) = A+ bx
得法方程
16A+ 3.38073b = −75.26394 3.38073A+ 1.58435b = −16.82229
δ = ∑δi2 = ∑[S∗ ( xi ) − yi ]2
2 2 i=0 i=0
m
m
= min ∑[S( xi ) − yi ]2
S( x)∈ ϕ
m
这里
i=0
S( x) = a0ϕ0 ( x) + a1ϕ1( x) + ... + anϕn ( x)
(n < m)
4. 广义定义 通常把最小二乘法 δ 都考虑为加权平方和
例3. 用最小二乘法解超定方程组
2x + 4 y = 11 3x − 5 y = 3 x + 2 y = 6 2x + y = 7
欲求（ ） 解 欲求（x,y）使得其尽可能使四个等式成 立，即使
Q( x, y) = (2x + 4 y − 11) + (3x − 5 y − 3)
2 2
即
δ = ∑ω( xi )[S∗ ( xi ) − yi ]2
2 2 i=0
m
ω( x) ≥ 0
其中
S( x) = a0ϕ0 ( x) + a1ϕ1( x) + ... + anϕn ( x) (n < m)
注：权函数在实际问题中有重要作用！ 权函数在实际问题中有重要作用！
二、求解方法
求S*(x)
展开
∑a j ∑ω( xi )ϕ j ( xi )ϕk ( xi ) = ∑ω( xi ) f ( xi )ϕk ( xi )
j=0 i =0 i =0
n
m
m
法方程
解方程组
∗ a 有唯一解 k = ak (k = 0,1,..., n)
则S
∗
∗ ∗ ∗ ( x) = a0 0 ( x) + a1 1( x) + ... + an n ( x)
b<0
b/ t
y = ae
y = F(t) 是双曲线型
1 b t = a + ,即y = y t (at + b)
为了确定a、 ， 为了确定 、b，令
1 1 y= , x= y t
于是可用 x 的线性函数 S1( x) = a + bx 拟合 数据 ( xi , yi )
(i = 1,...,16) 。 xi , yi ) 可由原始 (
求如下多元函数的最小值
I (a0 , a1,..., an ) = ∑ω(xi )[∑ajϕj (xi ) − f (xi )]2
i=0 j =0
m
n
由多元函数 求极值的必 要条件
∂I = 0, (k = 0,1,⋯, n) ∂ak
即
m n ∂I = 2∑ω(xi )[∑ajϕ j (xi ) − f (xi )]ϕk (xi ) ∂ak i=0 j =0
ϕ
ϕ
ϕ
三、求解步骤
确定拟合曲线的形式
最困难！ 最困难！
确定变量对应的数据
确定法方程
求解法方程
四、举例
已知一组实验数据如下，求它的拟合曲线. 例1. 已知一组实验数据如下，求它的拟合曲线
xi fi ωi 1 4 2 2 4.5 1 3 6 3 4 8 1 5 8.5 1
解
根据所给数据， 在坐标纸上标出， 根据所给数据 ， 在坐标纸上标出 ， 从图 中看到各点在一条直线附近， 中看到各点在一条直线附近 ， 故可选择 线性函数作拟合曲线，即令 线性函数作拟合曲线，
(数据有删减) 数据有删减)
所以用最小二乘法解得的超定线性方程组 的解为 x = 3.0403
y = 1.2408
第三章 补充
逼近问题的发展
逼近问题的发展
对基于经验数据估计函数依赖关系的方法的 研究（从实例学习的研究） 研究（从实例学习的研究）已经有很长的历 史了。 史了。这些研究是由两个伟大的数学家开始 的：他们是高斯（Gauss,1777-1855）和拉普 他们是高斯 高斯（ ） 拉斯（ 拉斯 （ Laplace,1749-1827）， 他们提出了从 ） 天文学和物理学中的观测结果估计依赖关系 的两种不同方法。 的两种不同方法。
t Y t y 1
4.00
2
6.40
3
8.00
4
8.80
5
9.22
6
9.50
7
9.70
8
9.86
9
10
11
12
13
14
15
16
10.00 10.20 10.32 10.42 10.50 10.55 10.58 10.60
根据所给数据，在坐标纸上标出， 解 根据所给数据，在坐标纸上标出，得下图 y
t 从图中可以看出开始时浓度增加较快， 从图中可以看出开始时浓度增加较快 ， 后来 逐渐减弱， 逐渐减弱 ， 到一定时间就基本稳定在一个数 值上，即当t→∞时，y趋于某个常数，故有一 趋于某个常数， 值上，即当 时 趋于某个常数 水平渐近线。 反应未开始， 水平渐近线。另外 t = 0 时，反应未开始，浓 度为0。概括起来为 度为 。
δi = F( xi ) − yi
最小。 按某种标准最小。
(i = 0,1,..., m)
度量标准不同，将导致不同的拟合结果， 度量标准不同，将导致不同的拟合结果，常用 的准则有如下三种： 的准则有如下三种： (1)使残差的最大绝对值为最小 使残差的最大绝对值为最小
maxei = max yi − F(xi ) = min
第3章 函数逼近与曲线拟合 §4 曲线拟合的最小二乘法
一、最小二乘法的定义 二、求解方法 三、求解步骤 四、举例
一、最小二乘法的定义
1. “曲线拟合”问题 曲线拟合” 曲线拟合 已知： 一组实验数据（ 已知 ： 一组实验数据 （ xi ， yi ） (i=0,1,…,m)， ， 且观测数据有误差 求：自变量x与因变量y之间的函数关系 y=F(x) ，不要求y=F(x)经过所有点，而只要 经过所有点， 不要求 经过所有点 求在给定点上误差
结论： 结论：
选择拟合曲线的数学模型， 选择拟合曲线的数学模型，并不一定开始 就能选好，往往需要通过分析若干模型后， 就能选好，往往需要通过分析若干模型后， 经过实际计算才能选到较好的模型， 经过实际计算才能选到较好的模型，如本 例的指数模型就比双曲线模型好得多。 例的指数模型就比双曲线模型好得多。
计算出来。 数据 (ti , yi ) 计算出来。
这里ϕ0 ( x) = 1,ϕ1( x) = x
可求得 (ϕk ,ϕ j ), ( y,ϕ j ), j, k = 0,1 代入法方程得
16a + 3.38073b = 1.8372×103 3 3.38073a + 1.58435b = 0.52886×10
本例经过计算可得
max | δi(1) |= 0.568×10−3 , max | δi(2) |= 0.277×10−3
i i
而均方误差为
∑(δ
i =1
m
(1) 2 i )
= 1.19×10 ,
−3
∑(δ
i=1
m
(2) 2 i )
= 0.34×10
−3
由此可知第二个模型较好。 由此可知第二个模型较好。
2 2
+ ( x + 2 y − 6)2 + (2x + y − 7)2
达到最小
则（x,y）应满足 ）
∂Q( x, y) =0 ∂x ∂Q( x, y) =0 ∂y
即 6x − y = 17
− 3x + 46 y = 48
解得
x = 3.0403 y = 1.2408