最优化：可行方向法ppt课件

唯楚有材 於斯为盛
最优化
主讲：刘陶文
学好最优化，走遍天下都不怕
课件制作：刘陶文
1
第十三章 约束问题算法(II) —— 可行方向法
一、Zoutendijk可行方向法 二、投影梯度法 三、既约梯度法
2
思想 构造可行点序列{xk }使得目标函数序
列{ f (xk )}单调下降, 且xk KKT点
其过程如下： 给定可行点 xk , (1) 计算下降可行方向dk ;
(2) 通过线性搜索 (受可行性限制) 计算步长k , 产生新的可行点：xk1 xk k dk
考虑到(1)和(2), 我们先介绍线性约束问题的可行 方向法, 然后将其适当推广到非线性约束问题. 3
第一节 Zoutendijk 算法
一. 线性约束情形
考虑线性约束问题
min s.t.
记可行域
f (x)
定理13.1.1 设x D, d是线性规划问题(13.2)的解, 则 (1) 若f (x)T d 0,即d 0, 则x是问题(13.1)的KKT点; (2) 若f (x)T d 0,即f (x)T d 0, 则d是函数f在可行
点x处的一个下降可行方向.
由定理13.1.1知,当(13.2)的解d 0时, x不是KKT点, 我们 需计算新的可行点 :
(13.2)
a
T j
d
0,
jE
|| d || 1 确保目标函数有界
约束 || d || 1也可写成如|| d || 1等其它有界形式 5
设(13.2)的最优解为d , 则f (x)T d 0.
min f (x)T d
s.t. aiT d 0, i I (x)
a
T j
d
0,
jE
情形1：f (x)T d 0, 则d 0,
由于(13.1)的约束是线性的, x D, 在x处的可行方向集
S( x)
{d
Rn
|
aiT d
0, i
I
(
x
);
a
T j
d
0,
j
E}
而在x处的目标函数的下降方向满足：
f (x)T d 0 因此, 在x处, 我们通过求解下列线性规划问题来计算下
降可行方向 :
min f (x)T d
s.t. aiT d 0, i I (x)
min
0t tmax
f (xk
tdk )
得步长tk . 令xk1 xk tk dk . 令k : k 1, 转步1.
11
例13.1 用Zoutendijk 算法求解下列约束问题： min f ( x) x x x x s.t. g(x) x x g( x) x x g( x) x g(x) x
x x td D 其中t由线性搜索产生的步长
7
2.线性搜索—计算步长
为确保
x x td D 关于t的计算, 我们考虑三种情形 :
情形1：i I (x)及 j E,
由于 aiT d 0, i I (x)
a
T j
d
0, j E
对任意的t 0, 我们有
aiT ( x td) aiT x taiT d bi , i I ( x)
则当t [0, tmax ]时, 总有 x x td D
若情形3 不存在,自然令
tmax 然后我们通过求解
(.)
min f (x td)
0t tmax
来计算步长 t. 在上面分析的基础上,我们得到如下的可行方向法 : 10
算法13.1 (Zoutendij k算法)
步0：选取初始点x0 D, 精度 0.令k : 0;
a
T j
(x
td)
a
T j
x
taTj d
bj 0, j E
8
情形2：i I \ I (x), 但aiT d 0
显然, 对任意的t 0, 我们有
aiT (x td) aiT x taiT d bi , i I \ I (x)
情形3：i I \ I (x), 但aiT d 0.
若要使
取初始点x() (, )T
解：f
(
x
)
x x
,
a
,
a
,
0
a , a
12
第一次迭代：
f
(
x(
)
)
,
I ( x() ) { , }
解子问题：
min
s.t.
d d d d
d d
得解d ()
1
aT d (0) , b aT x(0) ; aT d (0) , b aT x() 2
s.t.
2d 2d d d d d d
gi ( x) aiT x bi 0, i I
hj (x)
a
T j
x
bj
0,
jE
(.)
D {x | gi (x) 0, i I ; h j (x) 0, j E } x D, 在x处的有效集为
A(x) I (x) E {i | gi (x) 0, i I} E
4
1、下降可行方向
则 从而
aiT ( x td ) aiT x taiT d bi ,
t
bi
aiT aiT d
x
,
t
min
bi
aiT aiT d
x
Байду номын сангаас
i
I
\
I ( x), aiT d
9
综上所述,步长t 的计算完全由情形3决定, 为此, 我们令
tmax
min
bi
aiT aiT d
x
i
I
\
I (x),
aiT d
tmax
min
1 1
,
2 2
1
计算步长t : 求解问题
min
t
f ( x() td (0) ) t t
解得 t , 所以 x() x() td () (, )T
13
第二次迭代：f ( x(1) ) (, )T , I ( x(1) ) {1, 2}
解子问题：
min
步2：求解下列关于 d 的线性规划问题
min f ( xk )T d
s.t. aiT d 0, i I ( xk )
a
T j
d
0,
jE
|| d || 1
得解d k
步3：若 | f (xk )T dk | , 则得解xk , STOP. 否则转下一步.
步4：由(13.3)计算tmax , 其中x xk , d dk . 求解
|| d || 1
显然, d是f在x处的一个下降可行方向;
(13.2)
情形2：f (x)T d 0, 则d 0, 这说明在x处不存在下降 可行方向, 即线性系统：
f (x)T d 0
aiT d 0, i I (x) 无非零解
a
T j
d
0,
jE
x是问题(13.1) 的KKT点
6
由上面的分析, 我们有下列结论：