第4章 用最优化方法解决参数估计问题

= =
a0 a0
+ +
a1 x1 a1 x2
+
a2
x
2 1
+
a2
x
2 2
⎫ ⎪ ⎬
P(x3 )
=
a0
+
a1 x3
+
a
2
x
2 3
⎪ ⎭
插值法
对多项式求导数，并令其为零，得
P' (x) = a1 + 2a2 x = 0
x min
=
− a1 2a2
上式就是计算近似极小点的公式。为了确定这个极
小点只需算出a1和a2。
此时，若在 xk−1与 xk 之间的中点进行第k+1点的计 算，即取 x k +1 = ( x k −1 + x k ) / 2
这样共得四个等间距的点 xk−2 , xk−1, xk , xk+1 ,它们之 间的间距为 d 当 Q(x1) > Q(x2 ) 时 d = 2 k −3 h ;当 时 Q(x1) < Q(x2 ) ，d = 2k−4 h。比较这四个点的函数 值，取函数值最小的xb,则 xa = xb − d , xc = xb + d ， 这样就可以得三点x a , x b , x c ，以便于构成二次插
x1 x2
= =
a0 b0
+ −
λ (b0 λ (b0
− −
a0 a0
)⎫ )⎭⎬
分割法
且希望经过分割后其保留点仍处于留下区间的相应位置
上，即 x1在 [a 0 , b0 ]中的位置与x2在[a1,b1 ]中相仿,且比值相等
(6.2.2)
λ = x1 − a 0 = x2 − a 0
L
x1 − a 0
直接寻优法的思路
k (0) ⎯p⎯(0) → k (1) ⎯p⎯(1) → " ⎯p⎯(n−1⎯) → k (n) ⇒ k * S (k (0) ) > S (k (1) ) > " > S (k (n) )⇒S (k*)
首 先 估 计 初 值 k(0) ， 并 计 算 对 应 的 目 标 函 数 值S (k (0) )；再选择方向 p(0；) 然后在 p(0方) 向上进行 一 维 搜 索 ， 得 到 k (1) ， 计 算 对 应 的 目 标 函 数 值S (k (1) )；最后检验结果，如果达到收敛要求，则
x3 P(x3)
插值法
如果设三个点等距离，即
x3 − x2 = x2 − x1 = h
则
xmin
=
x2
+
h(Q1 − Q2 ) 2(Q1 − 2Q2 − Q3)
设 x1为坐标原点，则
x min
=h+
h (Q1 − Q 2 )
2(Q1 − 2Q 2 − Q 3 )
插值法
用外推法求寻优区间 外推法是一种寻优极点范围的方法。用二次插值法 寻优，有时其最优点存在的范围事先没有给出，因 此作为寻优的第一步，首先就是确定寻优区间。
分割法
| 黄金分割法 假定目标函数Q(x)，已知它在区间[a0 , b0 ]有一极小值
存在。为了找到这个极小点 x ，可以在距a 0 , b 0各λ(b0处− a0 )
处 找 两 点 x1 , x 2， 然 后 比 较 它 们 的 目 标 函 数 值 ， 如 果 Q(x1) > Q(x2 ) ，则令 a1 = a 0 , b1 = x1 ，形成新区间区 间λ(b0 − a0 ) ，然后对这个新区间在距 [a1,b1]各λ(b1 − a2 )处
找两点。由于每次分割区间缩小为原来的 λ 倍(λ < 1)，
若原来区间[ a 0 , b0 ] 为 b0 − a0 = 1 ，而经过n次分割后区间 为[an ,bn ] 。
| 那么 bn − an = λn
分割法
λ
即a
0选x1多= 大x 2 b适0 ，合如呢图？所如示果，要则求也x2可应以该写是x成1 的下对面称关点系，式：
N
Q2 < E2 ? Y
Q3 = Q2
Q3 = E2
N
Q4 − Q2 Q5
< E1 ?
Y
打印 x4 , Q4
结束
h = mh0
x1 = x2 , Q1 = Q2 x1 = x4 , Q1 = Q4
Y
Q4 > Q2 ?
N
3. 多变量寻优方法
| 单变量寻优方法，由于只有一个变量，因此只要 在一条线上搜索最优参数就可以了。在变量超过 一个以后，就要在多维空间搜索一组最优参数， 因此确定寻优方向及寻优步长的问题就比较突出 了。根据寻优方向及寻优步长的不同，就有不同 的寻优方法。本节将介绍两种方法：最速下降法 和单纯形法。
分割法
分割法
例：求目标函数Q(x) = x2 −10x + 36 的最小值，区间缩短 的精度 ε = 0.00001。
使用符号：A：初始区间的起点，A = 10 ； B：初始区间的终点，B = −10； E：允许的精度， E = 0.00001
插值法
二次插值法 二次插值法是多项式近似法的一种，即用二次的插值 多项式拟合目标函数，并用这个多项式的极小点作为 目标函数极值的近似。
插值法
二次插值法
假设目标函数 Q(x)在三个点 x1, x2, x3(x1 < x2 < x3) 的函数 值分别为Q1,Q2,Q3 。可以利用这三个点及相应的函数值 作为二次插值公式，令
P( x) = a0 + a1x + a2 x 2
为所求的插值多项式，它应满足条件
P P
( (
x1 ) x2 )
插值法
若 Q(x1) < Q,(x2 ) 则求在 x3 = x1 − h , x4 = x3 − 2h ,…
x k = x k −1 − 2 k −3 h , 等点处的目标函数Q(xk )的值，直至数 值增加为止
插值法
对凸函数来说，最小点必落在 xk−2 − xk 之间，
即xk−2 < x < xk , 而且有 xk − xk−1 = 2( xk−1 − xk−2 )
因为x k的微小变化，必然引起目标函数 Q(x) 也有一
∑ 个变化：dQ=Q(xk
+dx)
−Q(xk
)
=
n i=1
∂Q(xk ∂xi
)
dxi
=∇QT
(xk
)dx
所谓 Q(x) 下降最快，及最大变化的问题，经过上述
变换，就转化为以下具有约束的极值问题。
在下列约束条件下：
n
∑ N = (ds)2 − dxidxi = (ds)2 − (dx)T dx = 0 i =1
h ⇐ h +1 n ⇐ n +1
x1 = x2 , Q1 = Q2 x3 = x4 , Q3 = Q4
c1 = (Q3 − Q1 ) /( x3 − x1 )
c2 = [(Q2 − Q1) /( x2 − x1) − c1 ] /( x2 − x3 )
Y c2 > 0 ? N
x4 = 0.5( x3 + x2 − c1 / c2 ) Q4 = Q( x4 )
停止迭代，否则继续迭代，直到符合收敛要求。
2. 单变量寻优方法
| 单变量寻优方法是多变量寻优技术的基础，多 变量参数寻优的算法中常常要用到它，因此单 变量的寻优方法是解决多变量优化问题的基本 方法。本节主要介绍常用的两种单变量寻优方 法：分割法和插值法。
分割法
| 黄金分割法 分割法是单变量函数无约束极值较为有效的一种 直接搜索法。 实质上是在搜索过程中不断缩小最优点存在的区 域，即通过搜索区间的逐步随小来确定最优点。 对多变量函数来说，分割法不十分有效，因为这 时消去的不是线段，而是平面、立体或多维空间 的一部分。 黄金分割法是分割法中的一种有效方法。
第四章 用最优化方法解决 参数估计问题
华东理工大学 罗娜 naluo@
参考书目： • 曹贵平,朱中南, 戴迎春. 化工实验设计与数据处理. 华东理工 大学出版社, 2009.
主要内容
| 参数优化方法 | 单变量寻优方法
分割法 插值法
| 多变量寻优方法
最速下降法 单纯形法
| 参数估计的几个具体问题
量 x。设x 为n 维向量，对 x存在二阶偏导数。
现假设已经迭代到第k 步，得到此时刻的x k，考虑 xk
有一个微小的变化，即 dx = x k +1 − x k
为 x k 附近的点 x k +1 ，其两点的距离为：
∑ ds = ⎜⎛ n (dx)2 ⎟⎞1/2 = (dx)T dx
⎝ i=1
⎠
最速下降法
故: x2 − a0 = λ ( x1 − a0 ) = λ2 L
b0 − λL − a 0 = λ2 L
L − λL = λ2 L λ2 + λ − 1 = 0
因此可以得到： λ = −1± 5
2
取正值 λ =0.6180339
分割法
| 这样，若计算分割后的函数值，则由计算两个点 的函数值变为计算一个点的函数值，在一定分割 次数内，减少了计算函数的次数。这种分割方法 称为黄金分割法。
通过适当选择dx ，使下式极大化
dQ = ∇QT (xk )dx
最速下降法
具有约束的极值问题可以采样拉格朗日乘子，化为
无约束极值问题。设 λ 为拉格朗日乘子，则
dQ~ = ∇QT ( xk )dx + λ[(ds)2 − dxT dx]
对dx 求偏微分，并令其等于零，有
∇Q ( x k ) − 2λdx = 0
最速下降法
确定上式的正负号，得到
dx
=
±∇Q( xk
)[∇Q T
(xk
)∇Q(
xk
)]−
1 2
ds
再将上式代入式得到
dQ
=
±∇Q T
(xk
)∇Q(
xk
)[∇Q T
(
xk
)∇Q ( x k
插值法
设从某点x1开始，原始步长为 h ，则 x2 = x1 + h ,
求目标函数Q(x1) 和Q(x2) 并进行比较。
若 Q(x1) > Q(x2 ) ,则将步长加倍，求在 x3 = x2 + 2h ,
x4 = x3 + 4h ,…, xk = xk −1 + 2k −2 h 等点处目标函数
的Q(xk ) 的值,直至函数值增加为止，如下图所示。
x1 = x2 , Q1 = Q2 x2 = x3 , Q2 = Q3
x3 = x2 + h, Q3 = Q( x3 )
h⇐h+h n ⇐ n +1
Y Q2 > Q3 ?
N
n > 0?
N
Y
x4 = 0.5( x2 + x3 ) Q4 = Q( x4 )
x3 = x4 Q3 = Q4
Y
Q4 > Q2 ? N
P P
( (
x1 ) x2 )
= =
a0 a0
+ +
a1 x1 a1 x2
+
a2
x
2 1
+
a2
x
2 2
⎫ ⎪ ⎬
P(x3 )
=
a0
+
a1 x3
+
a
2
x
2 3
பைடு நூலகம்
⎪ ⎭
1
1
1
x min
= − 0 .5 1
1
1
P ( x1 )
x
2 1
P (x2 )
x
2 2
P ( x3 )
x
2 3
x1 P ( x1 )
x2 P(x2)
解出 dx 为 d x = 1 ∇ Q ( x k )
2λ
计算出λ
因子为
λ=
±1
∇QT ( xk )∇Q( xk )
2ds
最速下降法
令：
hk
=
ds[∇Q
T
(
x
k
)∇Q
(
x
k
)]−
1 2
则 λ=± 1
2hk
即 dx = ±hk ∇Q( xk )
我们可以得到第 k + 1 步时的 x为
x k+1 = x k ± hk ∇Q( x k )
值函数，并且可以判定 x*一定在 xa和 xc 之间。
起始
(a)
Q( x), x0 , h0 , E1, E2 , m
(b)
x1 = x0 , Q1 = Q( x1 )
n = 0 h = h0 x2 = x1 + h, Q2 = Q( x2 )
Q1 > Q2 ?
Y
N
h = −h, x3 = x1, Q3 = Q1
1. 参数优化方法
参数优化问题求解方法，按其求解方式可分为两 类：间接寻优和直接寻优。 (1) 间接寻优 间接寻优就是把一个优化问题用数学方程描述出 来，然后按照优化的充分必要条件用数学分析的方 法求出解析解，故又称其为解析法。
1. 参数优化方法
(2) 直接寻优 直接寻优法就是直接在变量空间搜索一组最佳变 量。这是一种数值方法，具体办法是，利用目标 函数在一局部区域初始状态的性质和已知数值， 来确定下一步计算的点，这样一步步搜索逼近， 最后接近最优点。
向，首先从给定的起始点 x0 出发，沿某个有利的 方向 P0 进行一维搜索，求得Q(x)在方向 P0上的极小 点x1，然后再从 x1出发，沿某个新的有利方向P1进
行搜索，求得 Q(x)在P1 方向上的近似极小点 x2 。
如此继续，直至满足给定的精度为止。
最速下降法
| 最速下降法的计算方法
设目标函数 Q(x，) 求使目标函数 Q(x)为最小值的变
最速下降法
| 基本思想 以盲人下山为例。当盲人下山时，眼睛看不见山 谷的方位，如何能沿最短路线迅速下降呢？一般 盲人只好靠手前后探索试探着前进的方向，哪儿 最陡？一定下降的最快，这种寻求最速下降的方 向作为搜索的方向，一步步逼近最低点就是最速 下降的基本思想。
最速下降法
| 要求多变量函数Q(x)的极小点 x，* 其中 x为 n 维方