最优化方法 第三章(可行方向法)

gi ( x k )T d * * 0 ,
又 f ( x k )T d * * 0,
d * 是可行下降方向。
改进方法具有全局收敛性。
一、Zoutendijk法
Frank Wolfe 方法 min f ( x )
给定线性规划问题
Ax b s .t . x0
f ( x k )T d k 0 gi ( x k )T d k 0 , i I ( x k )
1 di 1, i 1, 2,
,n
������ = 0 , 则 ������ ������ 处不存在可行下降方向 , ������ ������ 已是 ������−������ 点. 有例子表明上述方法不一定收敛到 ������−������ 点，即总有������ < 0 .
如果可行点为内点， 可取������ = −������������(������ )计算。
一、Zoutendijk法 非线性约束模型的可行方向确定方法
min s.t.
z f ( x )T d z 0 gi ( x) d z 0, i I
T
一、Zoutendijk法 线性约束模型的可行方向
min f ( x ) Ax b s .t . Cx e
紧约束
A1 b1 定理 设 x D ，在点 x 处有 A1 x b1 , A2 x b2 , 其中A , b ， A2 b2 则非零向量 d 是 x 处的可行方向的充分必要条件是
定理 设 f ( x )可微， x k D, 如果y k 是上述线性规划的最优解,则有
(1) 当f ( x k )T ( y k x k ) 0时 , 则x k 是(1)的K -T点；
(2)当f ( x k )T ( y k x k ) 0时 , 则向量d k y k x k 是f ( x )在点 x k 处关于 D的可行下降方向。
其中 A 是 m n 矩阵，秩为 m ，是 b m 维列向量， f ( x ) 是可微函数， x R n . 令D { x | Ax b , x 0}, 称 D 为可行域。
算法思想： 在每次迭代中,将目标函数 f ( x ) 线性化，通过 求解线性规划方法求得可行下降方向,并沿该方向在可行 域内进行一维搜索。
A2 x
(k )
A2 d
(k )
b2移项，得
max
bi min{ | d i 0} 当存在d i 0 di 当d 0
一、Zoutendijk法
线性约束下降步长确定方法
min f ( x ( k ) d ( k ) ) s.t. (k ) (k ) A x A d b2 2 2 0
当f ( x k )T ( y k x k ) 0时 , 求解下列一维搜索问题 ：
min f ( x k ( y k x k )) s.t . 0 1
k 1 设极小点为k , 则可取x k 1 x k k ( y k x k ). 因为D为凸集,则 x D .
,m
点紧约束的指标集，设目标函数和������������ ������ ������ ∈ ������ 在������ 点可 微， ������������ ������ ������ ∉ ������ 在������ 点连续，如果
������������(������)������ ������ < 0, ������������������ (������ )������ ������ < 0, ������ ∈ ������ 则d是一改进(下降)可行方向。
k 3. 沿d 寻找新的迭代点 x
xk k 2. 在 x k 处用某种方法确定一可行下降方向 d
k 1
x k k d k，使得 x k 1是可行点且
转2，直到满足终止条件。
f ( x k 1 ) f ( x k ) ，令 k k 1,
一、可行方向法简介 可行方向法的分类 可行方向法的核心是选择可行下降搜索方向和确定搜索步长。 搜索方向 d k 的选择方式不同就形成不同的可行方向法：
k k A ( x d ) b1 1 k k ， 则约束条件 A x + d b 可改写为 k k A2 ( x d ) b2
d 是可行方向 A1d 0 , Cd 0
因为d k 是可行下降方向， 所以A1d k 0 , 又 A1 x k b1 , 0，
min f ( x ( k ) d ( k ) ) s.t. 0 max
其中
bi min{ | d i 0} 当存在d i 0 di 当d 0
max
由于舍入误差的影响， ������������(������)������ ������=0不可能准确成立。
C ( x k d k ) Cx k Cd k Cx k e 总是成立。
一、Zoutendijk法
设在点 x k 处有 A1 x k b1 , A2 x k b2 , 其中 A1 b1 A , b ， A2 b2
min f ( x ) ( x1 6)2 ( x2 2)2 1 2 3 x 2 1 s .t . 1 0 x 2 1 0 4 12 0 0
一、Zoutendijk法 线性约束可行下降方向确定方法
1 d j 1, j 1, ..., n
1 d j 1, j 1, ..., n
性质： 若* 0, 则x k 是 K -T 点;
若 * 0, 则 d * 是x k 处的可行下降方向。
证明： 如果 * <0，当i I ( x k ) 时,gi ( x k ) 0，
A1d 0 , Cd 0. 证明： 必要性。 设非零向量 d 是 x 处的可行方向, 则存在 0，使得对任意
的 ( 0, )， x d 仍是可行解。即A ( x d ) b, C ( x d ) e
b1 A1d b1 充分性同理可证。 A1 A( x d ) ( x d ) A2 A2 x A2 d b2 因为 0，所以 A1d 0. 而C ( x d ) e Cd e, 故 Cd 0.
������ 定义 下降方向 对 min ������ ������ ，设 ������ ∈ ������ 是任给一点， ������ ������∈������
������ ≠ 0，若存在������ > 0，使得对任意的������ ∈ (0, ������),有 ������(������ + ������������) < ������(������) 则称������为������ ������ 在点������处的下降方向。
一、Zoutendijk法
改进方法：在找可行下降方向时考虑所有约束，即 min min s .t . f ( x k )T d k T s .t . f ( x ) d k T k g ( x ) d , i I ( x ) i gi ( x k ) gi ( x k )T d , i 1, ..., m
一
可行方向法简介
二 三
可 行 方 向 法
Zoutendijk法
梯度投影法
既约梯度法
四
一、可行方向法简介
可行方向法是求解约束优化问题的方法之一。通过在可
行域内直接搜索最优解求解约束优化问题，它可看作 无约束优化下降算法的自然推广。
基本思想：从可行点出发，沿着下降的可行方向进行搜
索，求出使目标函数值下降的新的可行点，直到满足终 止条件，得到最优解x*. 基本的迭代步骤 0 1. 从可行点 x 开始迭代，设已得到可行点
利用下列辅助线性规划问题求k :
min f ( x k d k ) A( x k d k ) b s .t . C ( x k d k ) e d 是可行方向 0 A1d 0 , Cd 0

可去除
即约束条件 因为d k 是可行下降方向，故Cd k 0，
一、Zoutendijk法
min f ( x ) 非线性约束模型的可行方向 s .t . gi ( x ) 0 , i 1,
定理 设 ������ ∈ ������ ，在点 ������ 处有 ������������ ������ ≤ 0，������ = 1, … ������, ������是 ������
故不等式约束 A1 ( x k d k ) b1 自然成立。
所以步长求解问题简化为
min f ( x k d k ) A2 x k A2d k b2 s .t . 0
一、Zoutendijk法
(k ) (k ) min f ( x d ) (k ) (k ) A2 d b2 A2 x s . t . (k ) (k ) 令b b2 A2 x , d A2 d ， (k ) (k ) A x A d b2 2 2 d b 则(4)的约束可写成 0 0
k d 通过求解一个线性规划来确定 ，如Zoutendijk
(约坦狄克 )可行方向法、Frank-Wolfe方法等；
利用投影矩阵直接构造 d k，如梯度投影法；
利用既约矩阵直接构造 d ，如既约梯度法。 最早的可行方向法是由Zoutendijk 于1960年提出的。
k
一、Zoutendijk法 可行方向与改进方向
k k T k 设已知可行点x k , 则有 f ( x ) f ( x ) f ( x ) ( x x ) f ( x k )T x [ f ( x k ) f ( x k )T x k ]
求解线性规划
min s .t .
f ( x k )T x x D
一、Zoutendijk法
F0 d f ( x ) d 0
T


称为点������处的下降方向集。如何选择 定义(可行方向)非零向量称为在点������ ∈ S的一个可行方向， 如果存在一个数������ > 0，使得对任意的������ ∈ (0, ������),有 ������ + ������������ ∈ S
f ( x)T d 0 d 是点 x 处的可行下降方向。 A d 0 1 Cd 0 min f ( x)T d
求解下列线性规划问题
s.t.
A1d 0 Cd 0 | d | 1, j j
（ 1）d 0是可行解，因此最优目标函数值不大于 0。
（2）如果线性规划的最优值小于 0，则得到可行下降方向。
（3）如果线性规划的最优值等于 0，则 x 是 K -T点。
一、Zoutendijk法
线性约束下降步长确定方法 已知迭代点 x k 和可行下降方向d k , 可令x k 1 x k k d k 。
其中k 应满足： （i）x k k d k 仍为可行解； （ii）使目标函数值下降。