3-1最优化搜索算法的结构

3.1 常用的搜索算法结构
四、下降算法模型
考虑（fs）
min f(x)
s.t. x∈S
常用一种线性搜索的方式来求解：迭代中从一
点出发沿下降可行方向找一个新的、性质有 改善的点。
△下降方向 ：
_
设 x∈S，d ∈Rn,d≠0,若存在 ，0
使
_
_
_ f (x d ) f (x), (0, )
设ф (λ)在 [α ,β]上可微，且当导数为零时是解。取λ=(α+β) ／
2，那么
ф′ (λ)=0 时， λ为最小点， λ= λ* ； ф′ (λ)>0 时， λ在上升段， λ* < λ，去掉[λ,β] ； ф′ (λ)<0 时， λ在下降段， λ* > λ，去掉[α ,λ] ； (自己画算法框图)
1.0137
4
-0.001095 -0.001095
λ4≈ λ* =0 取λ1=2，计算结果如下：
3.2 一维搜索
……①
（使“坏”的情况去掉，区间长度不小于“好”的情 况）
2°保持缩减比 t=(保留的区间长度／原区间长度) 不变。
（使每次保留下来的节点， λ或 μ，在下一次的比较中成为 一个相应比例位置的节点 ）。
推导缩减比 t : 如图设第一次保留[α, μ] (去掉[μ, β]),那么第二
次保留的长度为[α, λ],则
α
λμ
β
t (2)
3.2 一维搜索
一、缩小区间的精确一维搜索
2、黄金分割法（0.618 法）（续）
整理② ： μ =α +t(β -α )
λ = α +t(μ -α )
结合①式：t2+t-1=0 故 t≈0.618
t 1 5 (舍去负值) 2
0
解： ф′ (λ) =arctan λ , ф″(λ)=1／(1+ λ2)
迭代公式： λk +1= λk - (1+ λ2) arctan λk 取λ1= 1，计算结果：
k
λk
ф′ (λk)
1
1
0.7854
1／ф″(λk ) 2
2
-0.5708
-0.5187
1.3258
3
0.1169
-0.1164
q′k(λ)= ф′(λk) +ф″(λk)(λ- λk )=0
得 λk +1=λk –ф’(λk) /ф’’(λk) 取λk +1为新的迭代点。 以上过程即Newton法。
特点：二阶、局部收敛。
（算法框图见下页）
3.2 一维搜索
Newton法算法框图：
初始λ1,ε1, ε2 >0 k=1
N
停，失败
则称φ(λ)在[α, β] 上单峰。
α λ* λ1λ2 β 强单峰
α λ*
β
单峰
3.2 一维搜索
一、缩小区间的精确一维搜索（续）
定理：设Ф：R→R 在[α，β ]上单峰，α≤λ＜μ≤ β 。那么
1°若Ф(λ)≥ Ф(μ)，则Ф(ρ) ≥Ф(μ)， ρ ∈[α，λ]；如左下图
2°若Ф(λ)＜ Ф(μ)，则Ф(ρ)≥Ф(λ)， ρ ∈[μ ， β]；如右下图
d(1),d(2), …,d(m) 线性无关。
proof: 设d= 1 d(1)+ 2d(2)+…+ md(m) =0， j=1,2, …,m， d(j)TAd= jd(j)TAd(j)=0
∵ d(j)TAd(j) >0，故j =0，即线性无关。
超线性收敛和二次终结性常用来讨论算法的优点。
2°若ф(λ0 )>ф(λ1), 令δ=2 δ, λ2=λ1 +δ ，
若ф(λ2 )< ф(λ1),则令λ0=λ1，λ1=λ2 ,重复 2° 若ф(λ2 )>ф(λ1),则停，α= λ0 ，β= λ2 (图2)
λ2
λ0 λ1
向左找λ2
图1
λ0 λ1
λ2
向右找λ2
图2
3.2 一维搜索
4、进退法求初始不确定区间（续）
Global optimal solution Local optimal solution
3.1 常用的搜索算法结构
由于非线性规划问题的复杂性，实用中建立下 列收敛性概念 ：
2. 实用收敛性：定义解集
S* = { x | x 具有某种性质 }
例：S*={x|x---g.opt} S*={x|x---l.opt}
定义：设φ： [α, β] →R， λ* ∈[α, β] 是φ在
[α, β] 上的最小点 λ2 ≤β满足：
，若对任意λ1
,λ2,
α≤
λ1
<
1º若λ2 ≤ λ* ，则φ(λ1) > φ(λ2);
2º若λ1 ≥λ* ，则φ(λ1) <φ(λ2).
则称φ(λ)在[α, β] 上强单峰。
若述只1º,有2º当式φ才(λ1成) ≠立φ(，λ*则)，称φφ((λλ2))在≠φ[α(λ, *β)]时上，单上峰。
局部收敛：当x(1) 充分接近解x*时，算法 才收敛。
3.1 常用的搜索算法结构
二、收敛速度
设算法产生点列{x(k)},收敛到解x*,且x(k)≠x*，
k，
1.线性收敛：
|| x(k 1) x* || || x(k ) x* ||
1
当k充分大时成立。
2.超线性收敛： lim || x(k1) x* || 0 k || x(k) x* ||
，称d 为
在 x点的下降方向。
3.1 常用的搜索算法结构
四、下降算法模型（续） _
△可行方向：设 x∈S，d∈Rn,d≠0,若存
在 _ ，0 使 x_ d S, (0, ) ，称d 为 x点的可行方向。
同时满足上述两个性质的方向称 下降可行方向。
3.1 常用的搜索算法结构
x(k) || x* ||
1
证明只需注意
| ||x(k+1) –x* || -|| x(k) –x* || |≤ ||x(k+1) –x(k) || ≤ ||x(k+1)
–x* || +|| x(k) –x* || ，除以|| x(k) –x* || 并令k→∞， 利用超线性收敛定义可得结果。
3.1 常用的搜索算法结构
三、二次终结性
▲一个算法用于解正定二次函数的无约束极 小时，有限步迭代可达最优解，则称该算 法具有二次终结性。
▲二次终结性=共轭方向+精确一维搜索。
▲共轭方向
·定义：
∈Rn , d
(1)
≠设0，Adn×(2)n≠对0，称满正足定d，(1)dTA(1d),(d2)=(20) ,
3.2 一维搜索
一、缩小区间的精确一维搜索（续）
若对任意λ1 ,λ2, α≤ λ1 < λ2 ≤β满足：
1º若λ2 ≤ λ* ，则φ(λ1) > φ(λ2); 2º若λ1 ≥λ* ，则φ(λ1) <φ(λ2). 则称φ(λ)在[α, β] 上强单峰。
若只有当φ(λ1) ≠φ(λ* )， φ(λ2) ≠φ(λ* )时，上述1º, 2º式才成立，
(1/2) ф’’(λk )(λ- λk )2 + o (λ- λk )2 取二次式（略去高阶项）：
qk(λ) = ф(λk) +ф’(λk)(λ-λk) + (1/2)ф’’(λk)(λ-λk)2
3.2 一维搜索
二、牛顿法（Newton）和插值法 1、Newton法：（续）
用qk(λ)作为ф(λ)的近似，当ф″(λk) > 0时，其驻 点为极小点：
3.二阶收敛： ﹥0，是 使当k充分大时有
|| x (k1) x* ||
|| x (k ) x* ||2
3.1 常用的搜索算法结构
二、收敛速度（续）
定理：设算法点列{x(k)}超线性收敛于x*,且
x(k)≠x*， k，那么
lim
k
|| x(k 1) || x(k )
称
d(1),d(2) 关于矩阵A共轭。
·共轭向量组：d(1),d(2), …,d(m) ∈Rn 均非零， 满足d(i)TAd(j)=0,(i≠j) .
3.1 常用的搜索算法结构
三、二次终结性（续）
·当A=I(单位矩阵)时， d(1)TAd(2)= d(1)Td(2)=0，即正
交关系。
正定
·当d(1),d(2), …,d(m) 关于正定矩阵A两两共轭时，
模型算法 初始x(1) ∈S, k =1
k=k+1
对x(k)点选择下降 可行方向d(k)
线性搜索求 ，k
新点
x(k 1) x(k ) (k )d (k )
使x(k+1)∈S
no
yes
是否满足停机条件？
停
3.2 一维搜索
一元函数求极小及线性搜索均为一维搜索。常用于求：
min f(x(k)+ d(k))=φ(λ)
矛盾（条件）；
于是结论成立。
2 °的证明类似（略）。
注：上述定理为缩短区间的算法提供了理论根据。
3.2 一维搜索
一、缩小区间的精确一维搜索（续）
2、黄金分割法（0.618 法）
通过上述定理，选二点λ<μ ,比较ф (λ) 与ф (μ ),可去掉[α ,λ]或
wk.baidu.com者[μ ,β].考虑条件：
1°对称： λ- α= β- μ
注意 上式有 t2=1-t , 故有
μ =α +t(β -α )
λ = α + （1-t）(β -α ) （算法框图见下页）
3.2 一维搜索
一、缩小区间的精确一维搜索 之 黄金分割法（0.618 法）（算法）
初始[α,β], ε>0
t ( 5 1) / 2
λ = α + （1-t）(β -α )
S*={x| f(x)=0}
S*={x|f(x)≤β }
(β为给定的实数，称为阈值)
3.1 常用的搜索算法结构
一、收敛性概念： 考虑（fs）2.实用收敛性（续）
▲的收点敛列性。：下设列解情集况S*之≠ 一，成{立x(k时)}为，算称法算产法生收
敛：
1°x(k) ∈S*;
2°x(k) S*， k，{X(k)}任意极限点∈S* 。 ▲全局收敛：对任意初始点x(1),算法均收敛。
第三章
最优化搜索算法的结构 与
一维搜索
3.1 常用的搜索算法结构 一、收敛性概念： 考虑（fs）
设迭代算法产生点列{x(k)} S. 1. 理想的收敛性：设x*∈S是g.opt.当
x*∈ {x(k)} 或 x(k) ≠ x*， k，满足
lim x(k ) x*
k
时，称算法收敛到最优解 x*。
︱ ф′ (λk ) ︱<ε1?
y
N
ф″(λk ) >0?
Y
λk +1= λk - ф′ (λk ) ／ ф″(λk )
停；解λk
k=k+1 Y
| λk +1-λk |< ε2
N
3.2 一维搜索
二、牛顿法（Newton）和插值法
1、Newton法：（续）
Ex. 求 min ф(λ)= arctan t d t
μ =α +t(β -α )
α λμ β
μβ
Β= μ, μ= λ
λ = α + （1-t）(β -α ) No
yes β -α <ε?
No
Ф（λ）-Ф（μ）>0?
yes
STOP; λ* =(α+β)/2
α= λ, λ = μ μ =α +t(β -α )
α λμ β αλ
3.2 一维搜索
3、中点法：
α λ μβ
αλ μ
β
3.2 一维搜索
一、缩小区间的精确一维搜索（续）
Proof. 1°反证：设
λ* ∈[α,β]为最小点，γ∈[α,λ]及γ﹤λ﹤λ*，使ф (γ)<ф (μ )<ф (λ)，
若λ* ∈[λ ,β]，由定义ф (γ)>ф (λ)，矛盾（假设）； 若λ* ∈[α ,λ），由定义及μ >λ ≥λ*， ф(μ )>ф (λ),
s.t. λ∈S
S有3种情况（-∞，+∞）或（0， +∞ ）或[a,b] 一、缩小区间的精确一维搜索：考虑问题(P)
min φ(λ) s.t. λ ∈[α, β] φ (λ):R→R 1、不确定区间及单峰函数
△不确定区间： [α, β]含φ(λ)的最小点，但不知其位 置
3.2 一维搜索
一、缩小区间的精确一维搜索（续）
tg α>0
ф′ (λ)
α
α
λ
β
tg α<0
ф′ (λ)
α
α
λ
β
3.2 一维搜索
4、进退法求初始不确定区间
找三点使两端点的函数值大于中间点的函数值。
思路：任取λ0，步长δ >0，取λ1=λ0 + δ ， 1°若ф(λ0 )< ф(λ1), 令δ=2 δ（步长加倍），λ2=λ0 - δ ，
若ф(λ2 )< ф(λ0),则令λ1=λ0 ，λ0=λ2 ,重复 1° 若ф(λ2 )>ф(λ0),则停，α= λ2，β= λ1 (图1)
（自己画算法框图） 注意：1°δ 选择要适当。（太大含多个单峰区
间，太小迭代次数增加）； 2°ф（λ ）单调时无结果，（加迭代次
数限制）； 3°可与中点法结合寻找单调区间（思
考）。
3.2 一维搜索
二、牛顿法（Newton）和插值法 1、Newton法：
对ф 在λ k 点展开： ф(λ )= ф(λk )+ ф’(λk )(λ- λk ) +