可行方向法简介

用约束， ，它们对应的系数矩阵分别记为 A1 , A2 ，通过运算 （3）可简化为
min f ( x k + λd k ) s.t. A2 x k + λA2 d k ≥ b2 (4)
λ≥0
由 （ 4 ） 的 约 束 可 求 出
λ
的 上 限
λmax
，
ˆ = b − A x k ,d = A d k ˆ 令b 2 ，于是 2 2
考虑问题
min f ( x) s.t. Ax = b x≥0
为 S = {x | Ax = b, x ≥ 0} 。 1. 近似线性化和可行下降方向
（5）
其中 A为 m × n 行满秩，b ∈ R m ， f 为连续函数，并记可行域
设迭代点 x k ∈ S ， 利用 Taylor 公式得到 f 在点 x k 处的线性 近似
处的可行方向的充要条件是 A1d ≥ 0, Ed = 0 。
因此，在 Zoutendijk 可行方向法中，确定搜 ∇f ( x)T d s.t. A1d ≥ 0 Ed = 0 -1 ≤ d j ≤ 1 , j = 1,
必定小于或等于零。
,n
（2）
在（2）中，显然 d = 0 是可行解，故目标函数的最优值
k
满足停机条件。 常用方法： Zoutendijk 可行方向法； 既约梯度法； Rosen 梯度投影法；Frank-Wolfe 方法
一. Zoutendijk 可行方向法（1960） 考虑线性约束问题
min f ( x) s.t. Ax ≥ b Ex = e
（1） 利用起作用约束构造可行下降方向
（1）
（6）
去掉目标函数中的常数项， （5）等价于 （7）
y k ，则由线性规划的基本知识 假设此问题存在有限最优解
可知，这个最优解可在某个极点上达到。可以证明：
k 定理 2 设 f 是可微函数， x ∈ S ，如果 y 是问题（7）
k
的最优解，则
∇f ( x k )T ( y k − x k ) = 0 时， x k 是问题（5）的 K-T 点； （1）当
∇f ( x k )T ( y k − x k ) ≠ 0 时，向量 d k = y k − x k 是 f 在点 （2）
x k 处的可行下降方向。
算法步骤:
x 0 ∈ S ，允许误差 ε > 0 ， k = 0 ； 1. 选取初始点
2. 求解近似线性规划
min ∇f ( x k )T x s.t. x ∈ S
第三节 可行方向法 基本思想：从可行点出发，沿可行下降方向进行搜索， 求出使目标函数值下降的新的可行点。算法的主要步骤 是选择搜索方向和确定搜索步长。基本的迭代格式：
x 0 开始迭代，设已得到可行点 x k ； （1） 从可行点 x k 处用某种方法确定一可行下降方向 d k ； （2） 在
x k +1 = x k + λk d k ，使得 （3） 在 d 方向上寻找新的迭代点 k +1 f ( x k +1 ) < f ( x k ) ，令 k = k + 1, 转（2）直到 x 是可行点且
算法的收敛性： 在一定的条件下，Frank-Wolfe 法或在有限步迭代后 得到 K-T 点，或产生一个无穷点列，它的任一极限点都是 K-T 点．
f (x) 为可微函数， A ∈ R m×n , E ∈ R l×n , x ∈ R n , b ∈ R m , e ∈ R l 。 其中
定理 1 设 x 是问题（1）的可行解，在点 x 处有
⎛ A1 ⎞ ⎛ b1 ⎞ A1 x = b1 , A2 x > b2 ，其中 A = ⎜ A ⎟, b = ⎜ b ⎟ ，则非零向量 d 为 x ⎜ ⎟ ⎜ ⎟ ⎝ 2⎠ ⎝ 2⎠
标函数值尽可能减少，可考虑求解下列一维搜索问题确定
min f ( x k + λd k ) s.t. A( x + λd ) ≥ b
k k
E ( x k + λd k ) = e λ≥0
k
（3）
Ed k = 0, Ex k = e ，因此（3）中 由于 d 是可行方向，必有
的第二个约束是多余的。
x k 处，把不等式约束分为起作用约束和不起作 此外，在点
λmax
ˆ ⎧ bi ˆ ˆ/ ⎪min{ ˆ | d i < 0}, d ≥ 0 =⎨ di ⎪ ˆ ∞, d ≥0 ⎩
于是（3）最终可化简为
min f ( x k + λd k ) s.t.0 ≤ λ ≤ λmax
确定初始可行点的基本思想类似于在线性规划中求初始可 行解的方法。 算法的基本步骤（P236） 对非线性约束情形，可作类似的考虑，关键问题仍是确定 可行下降方向及一维搜索步长。 二. Frank-Wolfe 方法（1954） 基本思想：将目标函数作线性近似，通过求解线性规划 求得可行下降方向，并沿该方向在可行域内作一维搜索。
f ( x ) ≈ f ( x k ) + ∇f ( x k )T ( x − x k )
用上式右边的线性函数近似代替问题（5）中的目标函数，
得到与问题（5）近似的一个线性规划问题
min f ( x k ) + ∇f ( x k )T ( x − x k ) s.t. x ∈ S min ∇f ( x k )T x s.t. x ∈ S
yk ； 的最优解
|| ∇f ( x k )T d k ||≤ ε ， 3. 构造可行下降方向 d = y − x ，若
k k k
xk ； d k 为可行下降方向， 4； 停止计算， 输出 否则， 转
4. 进行一维搜索，求
min f ( x k + λd k )
0≤ λ ≤1
λk 。令 x k +1 = x k + λk d k ， k = k + 1 ，转 2。 的最优解
∇f ( x)T d < 0 ，则 d 为可行下降方向； 若 ∇f ( x)T d = 0 ， 若 可以证明 x 是问题 （1） K—T 点。P236） 的 （
（2）确定一维搜索步长
x k 出发，沿可行下降方向 d k 作一维搜索得 设从可行点
后继迭代点 步长
x k +1 = x k + λk d k ， x k +1 的可行性和使目 为保证