12可行方向法

T
则 d 是可行下降方向
.
可行方向法思路：
从当前迭代点 x 出发，沿着可行下降方 ˆ x , 使得 向 d 搜索，
得到一个新的可行点
ˆ f (x) f (x)
问题：可行下降方向d不唯一，怎么选择？ －－－－选择目标函数值下降最快的方向
min f ( x ) d
T
s .t .
a d 0, i E ;
T i
无有限最优解!
a i d 0 , i I ( x ).
T
增加规范约束，使规划有最优解！
T min f ( x ) d T s .t . a i d 0 , i E ; (1 ) T a i d 0 , i I ( x ); 1 d 1, i 1 , 2 , , n i
其中 max
Zoutendijk可行方向法
(1 ) (2) 取x
(1)
D { x | a i x b i 0 , i E ; a i x b i 0 , i I }, k 1
T T (k )
计算 I ( x
) {i | a i x
T
(k )
bi 0, i I }
n
i E;
i I },
若 d 0 , d R , 0 , 使当 ( 0 , ]时，有 x d D , 则称 d 为 x 处的一个可行方向
定理 1
.
线性化可行方向
件是
设 x D , 则 d 为 x 处的可行方向的充要条 a i d 0, i E ;
(k )
(k )
(k )
(N
(k )T
N
(k )
)
1
N
(k )T
,
(k )
P
(k)
f (x
(k )
)
(k )
0, 则做以下工作：
(k )
若E I(x
) , 则停止
(k )
否则，计算
(k )
(N
(k )
(k )T
N
(k )
)
1
N
(k )T
f (x
(k )
),
( i )若 i
n
是 I P 是投影矩阵；
Q I P ，记 { Qx | x R }，
n
则 L 和 L 是正交的线性空间，且 唯一的表示成
任一点 x R , 可
n
p q , 其中 p P , q Q .
2.投影梯度法
定理 2 设 x D , f ( x )具有连续的一阶偏导数 ，若 P 是投影矩阵，且 P f ( x ) 0 , 则 d P f ( x ) 是 x 处可行的下降方向。 此外，若 N ( a i1 , a i 2 , , a i r ) 为列满秩矩阵，其中 P I N (N
T
可行方向法：迭代点都在可行域内，即从可行点 出发，沿可行方向前进寻找目标的最优解 本章介绍的方法可以推广到非线性约束问题！
一、可行方向法(Zoutendijk,1960)
定义 1 设 x 是约束问题的可行点，
T
可行域为 a i x b i 0;
T
D { x | a i x b i 0;
T min f ( x ) d T s .t . a i d 0 , i E ; (3) T a i d 0 , i I ( x ); T f ( x ) d 1
T min f ( x ) d T s .t . a i d 0 , i E ; (2) T a i d 0 , i I ( x ); T d d 1
(1)(3)线性规划 (2)特殊非线性
定理 2
设 x D , 则 x 是约束问题
K T 点的充要条件是 0. Nhomakorabea问题 ( 1 ) 或问题 ( 2 ) 或问题 ( 3 )的最优目标函数值为
停机准则
如何进行一维(线)搜索？ 在可行方向法中，一维搜索除使目标函数值下降外，还要 保证其点在可行域内。
设x
0, i I ( x
(k )
), 则停止 | i I(x N
(k ) (k )
( ii ) 计算 q ＝ min{ i P
(k )
(k )
)}, 置 N
(k )T
(k )
＝( N P
(k )
中去掉 q 对应的列 a q )
(k ) (k )
I N
(k )
(N
(k )T
(3)
求解
(k ) T min f ( x ) d T s .t . a i d 0 , i E ; (k ) 得d . T (k ) a i d 0 , i I ( x ); 1 d 1, i 1,2 , , n i
(k )
(4)
定义 1 若 n n 阶矩阵 P 满足 P
T
P,P
2
P , 则称 P 为投影矩阵
。
定理 1
设 P 是 n n 阶矩阵，则下述论断成 P 0；
立：
（ 1）若 P 是投影矩阵，则
( 2 ) P 是投影矩阵的充要条件 （ 3）设 P 是投影矩阵。 L { Px | x R } 和 L
T
i j E I ( x ), 令
N)
1
N
T
, 则 d P f ( x )是 x 处可行的下降方向。
若 Pf ( x )
定理 2
0,
怎么办？
，若 P I N ( N
T
设 x D , f ( x ) 具有连续的一阶偏导数
N)
1
N
T
其中 N ( a i1 , a i 2 , , a i r ) 为列满秩矩阵， 记 (N
(k )
(k )
)
中d
步长
(k )
满足 a i d
T
(k )
0的那些约束
T (k ) T i (k )
min{
bi a i x a d
| ai d
T
(k )
)}
约束问题的一维搜索
min ( ) f ( x s .t .
(k )
d
(k )
)
0 max ,
T
a 3 x b3 x1 0,
T
a 4 x b4 x 2 0,
T
取初始点 x
(1 )
( 0 ,0 ) .
T
二、投影梯度法 无约束问题最速下降法：任取一点，若其梯度不为0，则沿 负梯度方向前进，总可以找到一个新的使函数值下降的点。 对约束问题，若再沿负梯度方向前进，可能是不可行的； 解决方法：把负梯度方向投影到可行方向上去！ 1.投影矩阵
(k )
D,d
(k )
是x
(k )
处的可行下降方向，令
x x
(k )
d
(k )
考虑约束条件
T T
d
(k )
是问题 ( 1 )或 ( 2 )或 ( 3 )的解
bi a i d
T (k )
a i x bi a i x a i x bi a i x
T T
(k )
0, 0,
若 | f (x
) d
T
(k )
| , 停止 .
(k )
否则求解一维搜索
min ( ) f ( x s .t .
(k )
d
)
0 max ,
T (k ) (k ) , if { i | a i d 0 , i I \ I ( x )} T (k ) bi a i x T (k ) (k ) min{ | ai d 0 , i I \ I ( x )}, otherwise T (k ) ai d (k ) * (k ) x d , k k 1, 转 ( 2 )
其中 max
(6)
k k 1, 转 ( 2 )
例
用投影梯度法求解线性
2 2
约束问题
min f ( x ) x 1 x 2 2 x 2 5 s .t . a 1 x b1 x 1 2 x 2 0 ,
T
a 3 x b3 x1 0 ,
T
a 4 x b4 x 2 0 ,
(k )
) 0 , 且乘子 q 矩阵 .
(k )
0,
q 个约束，重新计算投影
)
1
N
,d
(k )
(k)
f (x
).
(5)
若 || d
(k )
|| , 停止 .
(k )
否则求解一维搜索 )
min ( ) f ( x s .t .
d
(k )
0 max ,
T (k ) (k ) , if { i | a i d 0 , i I \ I ( x )} T (k ) bi a i x T (k ) (k ) min{ | ai d 0 , i I \ I ( x )}, otherwise T (k ) ai d
T
取初始点 x
(1 )
( 2 ,0 ) .
T
3.投影矩阵 P
k
和（ N
(k )T
N
(k )
）
－1