可行方向法11

max 1
进行一维搜索, 解
min f ( x 2 d 2 ) 2 2 2 2
0 1
得步长 2
1 2 3 2 2 2 所以 x x d 3 2
1 2
继续迭代,因为
0 d 0
定理 设 x D，在点 x 处有 A x b , A x b , 其中 1 1 2 2 A b 1 ,b 1 A A2 b2 则 x 是 K T点的充要条件是（）的最优目标函数值为0 。 2
（3）搜索步长的确定
已知迭代点 x k 和该点的可行下降方向d k , 则 可令x k 1 x k t k d k 。
2 x1 x2 1 0 x x 2 0 2 s .t . 1 0 x1 x2 0
(1) (2) (3) (4)
0 初始点 x 1 0
解
第一次迭代
2 x1 2 2 f ( x ) , f ( x 1 ) 4 2 x2 4
性质：若* 0 , 则 x k 处不存在可行下降方向 x k , 已是 K T 点（若g i ( x k ) ( i I ( x k )) 线性无关） ;
若 * 0 , 则得到 x k 处的一个可行下降方向 * 。 d
有例子表明上述方法不 一定收敛到K T 点，即总有
* 0。
则约束条件A ( x k td k ) b 可以改写为
A1 ( x k td k ) b1 k k A2 ( x td ) b2
因为 A1 x k b1 , A1d k 0 , t 0，所以不等式约束 A1 ( x k td k ) b1自然成立。
可行方向法
----陶乐、李利伟、黄昊颖
可行方向法 (Feasible Direction Methods)
• 可行方向法：在可行域内寻找使目标函数下 降的点列.是其中的一类求解(线性)约束最优 化问题的方法，此类方法可看做无约束下降 算法的自然推广． • 可行方向法的基本思想是从可行点出发，沿 可行下降方向进行搜索，求出使目标函数值 下降的新的可行点． • 算法包括选择搜索方向和确定搜索步长两个 主要方面．搜索方向的选择方式不同就形成 不同的可行方向法．
1
1 2 max min , 1 1 2
进行一维搜索, 解
min
0 1
f ( x 1 d 1 ) 2 2 6 6
2 1 1 1
得步长 1 1
1 所以 x x d 1
同样,进行第二次迭代:
1 由图解法得 d 2 1
解 min 2d 2 2d1 d 2 0 d d 0 2 s .t . 1 1 d 1 1 1 d 2 1
2
1 0 1 1 1 2 d A2 d , b b2 A2 x 0 1 1 1 1
计算 f ( x k )。
( 3) 求解线性规划问题min
f ( x k )T d A1 d 0 Cd 0 | d | 1, j j
s .t .
求得最优解d k 。
(4) 如果f ( x k )T d k 0 , 则算法结束，k 是 K T 点；否则转（）。 x 5
证明： 必要性。
设非零向量 d 是 x 处的可行方向。则存在 0，使得对任意 的 t ( 0 , )， td 仍是可行解。即有 x
A ( x td ) b C ( x td ) e
A1 A ( x td ) ( x td ) A2 b1 tA1d b1 b A2 x tA2 d 2
所以问题简化为
min s .t . f ( x k td k ) A2 x k tA2 d k b2 t0
令 b b2 A2 x k , d A2 d k ， b 0。所以约束条件可改写 则 为
t d b t0
则可得t 的上界为 bi min{ | d i 0} 当存在d i 0 t max di 当d 0
其中 t k 应满足： （i）x k t k d k 仍为可行解；ii）使目标函数值下降。 （
利用下列辅助线性规划 问题求t k :
min s .t . f ( x k td k ) A( x k td k ) b C ( x k td k ) e t0
3
所以
1 2 3 x 3 2
K T
4. 非线性约束
min f ( x ) s.t . g i ( x ) 0 , i 1 ,, m
在迭代点 x k ，选择一个可行下降方向 d k g i ( x k ) T d k 0 , i I( xk )
在x1处, (3)( 4) 为紧约束, (1)(2)是松的, 故
1 0 A1 , 0 1
2 1 A2 1 1
0 1 b1 , b2 0 2
min 2d1 4d 2
解线性规划 : min f ( x 1 )T d A1d 0 s .t . d j 1, j 1, 2
令 D { x | Ax b , Cx e } , 称 D 为可行域。
算法思想： 在每次迭代中沿迭代点 处的可行下降方向进行 搜索。
如何确定可行下降方向 ？
2. 算法分析
（ ）利用迭代点的积极约 1 束确定可行方向。
定理 设 x D ，在点 x 处有 A1 x b1 , A2 x b2 , 其中 A1 b1 A ,b A2 b2 则非零向量 d 是 x 处的可行方向的充分必要条件是 A1 d 0 , Cd 0。
因为 t 0，所以 A1d 0。 C ( x td ) e tCd e
所以 Cd 0。
充分性：反证法 假设非零向量 d 不是 x 处的可行方向。则存在 0，使得对任意 的 t ( 0 , )， td 不是可行解。即有 x
A ( x td ) b
一. Zoutendijk可行方向法
1. 问题
给定非线性规划问题
min s .t .
f ( x) Ax b (1) Cx e
其中f ( x ) 是可微函数 A 是 m n 矩阵，秩为 , C 是 l n 矩阵， , m 秩为 l , x R n , b 和 e 分别是m 维和 l 维列向量。
所以假设不成立 存在 0，使得对任意的t ( 0 , )， td 是可行解。 x 非零向量 d 是 x 处的可行方向。
（2）可行下降方向的确定
f ( x ) T d 0 d 是点x 处的可行下降方向。 A1d 0 Cd 0
如何求出满足上述条件 的可行下降方向？
求解下列线性规划问题
min f ( x )T d s .t . A1 d 0 Cd 0 | d | 1, j j
( 2)
结果： （1）d 0是可行解，因此最优目标函数值不大于0。
（2）如果线性规划的最优 值小于0，则得到可行下降方向 。
（3）如果线性规划的最优 值等于0，则 x 是 K T点。
d k 可以通过解下述线性规划获得：
min s.t . f ( x k )T d g i ( x k )T d , 1 d j 1, i I(xk ) j 1 , 2 ,, n
d1 其中 d d n
0 , d (0 ,, 0)T 是上述线性规划的一个 可行解。
因为 Cd 0
A1 A ( x td ) ( x td ) A2
C ( x td ) e
b1 tA1d b1 b2 tA2 d b2
Ad 0
C ( x td ) e tCd e
( 3)
化简线性规划问题（ ） 3
因为d k 是可行下降方向，所以Cd k 0，即约束条件 C ( x k td k ) Cx k tCd k Cx k e
总是成立。
设在点 x k 处有 A1 x k b1 , A2 x k b2 , 其中 A1 b1 A ,b A2 b2
(5)利 用 （ ） 式 计 算t * ，求解一维搜索问题 max
min s.t.
f ( xk td k ) 0 t tmax
解得极小值点t k ，令 x k 1 x k t k d k 。令 k : k 1，返会（2）。
例
用Zoutendijk方法解： min
2 2 x1 x2 2 x1 4 x2 6
0 f ( x 2 ) 2
在x 2处, (1)( 2) 为紧约束, (3)( 4)是松的,
2 1 A1 , 1 1 1 0 1 0 A2 , b1 , b2 0 1 2 0
即
d1 0 d 0 2 s .t . 1 d 1 1 1 d 2 1
1 由图解法得 d 1
1
求步长
1 1 1 d A2 d , b b2 A2 x 2 2
改进方法：在找可行下降方向时考虑所有约束，即 min
s.t . f ( x k )T d g i ( x k ) g i ( x k )T d , 1 d j 1, j 1 , 2 , , n i 1 , 2 ,, m