数值分析3-4(最小二乘法)

求如下多元函数的最小值
I (a0 , a1,..., an ) = ∑ω(xi )[∑ajϕj (xi ) − f (xi )]2
i=0 j =0
m
n
由多元函数 求极值的必 要条件
∂I = 0, (k = 0,1,⋯, n) ∂ak
即
m n ∂I = 2∑ω(xi )[∑ajϕ j (xi ) − f (xi )]ϕk (xi ) ∂ak i=0 j =0
S1( x) = a0 + a1 x
得法方程为
8a0 + 22a1 = 47 22a0 + 74a1 = 145.5
解得
a0 = 2.77, a1 = 1.13
于是所求拟合曲线为
∗ S1 ( x) = 2.77 + 1.13x
在某化学反应里， 例2. 在某化学反应里，根据实验所得生成物的 浓度与时间关系如下表， 求浓度y与时间 与时间t的拟 浓度与时间关系如下表 ， 求浓度 与时间 的拟 合曲线y=F(t). 合曲线
; (1) y是t的增函数 (2)当t →0 + 时，y = 0; (3)t →∞时，y趋于一个定值
根据这些条件，可设想两种形式的函数关系： 根据这些条件，可设想两种形式的函数关系： y = F(t) 是双曲线型
1 b t = a + ,即y = y t (at + b)
y = F(t) 是指数形式
结论： 结论：
选择拟合曲线的数学模型， 选择拟合曲线的数学模型，并不一定开始 就能选好，往往需要通过分析若干模型后， 就能选好，往往需要通过分析若干模型后， 经过实际计算才能选到较好的模型， 经过实际计算才能选到较好的模型，如本 例的指数模型就比双曲线模型好得多。 例的指数模型就比双曲线模型好得多。
δ = ∑δi2 = ∑[S∗ ( xi ) − yi ]2
2 2 i=0 i=0
m
m
= min ∑[S( xi ) − yi ]2
S( x)∈ ϕ
m
这里
i=0
S( x) = a0 + a1x +... + an x
n
(n < m)
3. 一般定义 已知： 一组数据（ 已知： 一组数据（xi，yi）(i=0,1,…,m)， ， 求： 在函数类 ϕ = span{ϕ0 ,ϕ1 ,...,ϕn }中找一 ∗ 使误差平方和最小， 个函数 y = S (x) ，使误差平方和最小， 即
但遗憾的是， 但遗憾的是 ， 在实际中噪声的形式往往是 未知的。 在上个世纪60年代 年代， 未知的 。 在上个世纪 年代 ， Tukey说明了在 说明了在 现实情况中， 现实情况中，噪声的形式与高斯或拉普拉斯规 律都相去甚远。 律都相去甚远。
回到起点！ 回到起点！
作业： 作业： 习题 16，17，18 16，17，
2 2
即
δ = ∑ω( xi )[S∗ ( xi ) − yi ]2
2 2 i=0
m
ω( x) ≥ 0
其中
S( x) = a0ϕ0 ( x) + a1ϕ1( x) + ... + anϕn ( x) (n < m)
注：权函数在实际问题中有重要作用！ 权函数在实际问题中有重要作用！
二、求解方法
求S*(x)
展开
∑a j ∑ω( xi )ϕ j ( xi )ϕk ( xi ) = ∑ω( xi ) f ( xi )ϕk ( xi )
j=0 i =0 i =0
n
m
m
法方程
解方程组
∗ a 有唯一解 k = ak (k = 0,1,..., n)
则S
∗
∗ ∗ ∗ ( x) = a0 0 ( x) + a1 1( x) + ... + an n ( x)
2 2
+ ( x + 2 y − 6)2 + (2x + y − 7)2
达到最小
则（x,y）应满足 ）
∂Q( x, y) =0 ∂x ∂Q( x, y) =0 ∂y
即 6x − y = 17
− 3x + 46 y = 48
解得
x = 3.0403 y = 1.2408
高斯提出了最小二乘法，而拉普拉斯提出了
最小模方法。从那时起就有了下面的问题： 从那时起就有了下面的问题：
那种方法更好呢？ 世纪和20世纪初 那种方法更好呢？在19世纪和 世纪初，人 世纪和 世纪初， 们更趋向于最小二乘法。 们更趋向于最小二乘法。 在1953年，L.Le Cam定义了 定义了ML方法一致收 年 定义了 方法一致收 敛的一些充分条件后，人们发现： 敛的一些充分条件后，人们发现：如果离散 数据点的噪声是服从高斯（正态）规律的， 数据点的噪声是服从高斯（正态）规律的， 则最小二乘法给出最好的结果； 则最小二乘法给出最好的结果；若噪声是服 从拉普拉斯规律的，则最小模法给出最好的 从拉普拉斯规律的， 结果。 结果。
例3. 用最小二乘法解超定方程组
2x + 4 y = 11 3x − 5 y = 3 x + 2 y = 6 2x + y = 7
欲求（ ） 解 欲求（x,y）使得其尽可能使四个等式成 立，即使
Q( x, y) = (2x + 4 y − 11) + (3x − 5 y − 3)
b<0
b/ t
y = ae
y = F(t) 是双曲线型
1 b t = a + ,即y = y t (at + b)
为了确定a、 ， 为了确定 、b，令
1 1 y= , x= y t
于是可用 x 的线性函数 S1( x) = a + bx 拟合 数据 ( xi , yi )
(i = 1,...,16) 。 xi , yi ) 可由原始 (
(数据有删减) 数据有删减)
δ = ∑δi2 = ∑[S∗ ( xi ) − yi ]2
2 2 i=0 i=0
m
m
= min ∑[S( xi ) − yi ]2
S( x)∈ ϕ
m
这里
i=0
S( x) = a0ϕ0 ( x) + a1ϕ1( x) + ... + anϕn ( x)
(n < m)
4. 广义定义 通常把最小二乘法 δ 都考虑为加权平方和
i i
(2)使残差的绝对值之和为最小 使残差的绝对值之和为最小
∑e
i
i
= min
最小二乘法
(3)使残差的平方和为最小 使残差的平方和为最小
∑e
i
2 i
= min
2. 多项式拟合的一般定义 已知： 一组数据（ 已知： 一组数据（xi，yi）(i=0,1,…,m)， ， 求： 在函数类 ϕ = span{ , x,..., xn} 中找一 1 ∗ 使误差平方和最小， 个函数 y = S (x) ，使误差平方和最小， 即
第3章 函数逼近与曲线拟合 §4 曲线拟合的最小二乘法
一、最小二乘法的定义 二、求解方法 三、求解步骤 四、举例
一、最小二乘法的定义
1. “曲线拟合”问题 曲线拟合” 曲线拟合 已知： 一组实验数据（ 已知 ： 一组实验数据 （ xi ， yi ） (i=0,1,…,m)， ， 且观测数据有误差 求：自变量x与因变量y之间的函数关系 y=F(x) ，不要求y=F(x)经过所有点，而只要 经过所有点， 不要求 经过所有点 求在给定点上误差
计算出来。 数据 (ti , yi ) 计算出来。
这里ϕ0 ( x) = 1,ϕ1( x) = x
可求得 (ϕk ,ϕ j ), ( y,ϕ j ), j, k = 0,1 代入法方程得
16a + 3.38073b = 1.8372×103 3 3.38073a + 1.58435b = 0.52886×10
δi = F( xi ) − yi
最小。 按某种标准最小。
(i = 0,1,..., m)
度量标准不同，将导致不同的拟合结果， 度量标准不同，将导致不同的拟合结果，常用 的准则有如下三种： 的准则有如下三种： (1)使残差的最大绝对值为最小 使残差的最大绝对值为最小
maxei = max yi − F(xi ) = min
t Y t y 1
4.00
2
6.40
3
8.00
4
8.80
5
9.22
6
9.50
7
9.70
8
9.86
9
10
11
12
13
14
15
16
10.00 10.20 10.32 10.42 10.50 10.55 10.58 10.60
根据所给数据，在坐标纸上标出， 解 根据所给数据，在坐标纸上标出，得下图 y
t 从图中可以看出开始时浓度增加较快， 从图中可以看出开始时浓度增加较快 ， 后来 逐渐减弱， 逐渐减弱 ， 到一定时间就基本稳定在一个数 值上，即当t→∞时，y趋于某个常数，故有一 趋于某个常数， 值上，即当 时 趋于某个常数 水平渐近线。 反应未开始， 水平渐近线。另外 t = 0 时，反应未开始，浓 度为0。概括起来为 度为 。
b ln y = lna + t
ˆ 于是由 (ti , yi ) 计算出 ( xi , yi ) ，拟合数 据 ( xi , yi ) 的曲线仍设为 ˆ
S1( x) = A+ bx
得法方程
16A+ 3.38073b = −75.26394 3.38073A+ 1.58435b = −16.82229
解得 从而得到