2.2 最优性条件与对偶定理

, X
X ,
强对偶定理
在一定条件下，即存在X *、λ*、μ*满足鞍点条件
max L( X *, λ, μ) L( X *, λ*, μ*) min L( X , λ*, μ*)
λ,μ
X
时有 :
min max L( X , λ, μ) max min L( X , λ, μ)
X λ,μ
f (X) k
对一般的约束优化问题
min f (X ) s.t. gi (X ) 0,i 1,, p,
hj ( X ) 0 j 1,, q
最优性(KKT)条件
wk.baidu.com
p
q
f ( X *) i*gi ( X *) ui*hi ( X *) 0
i 1
i 1
λ、μ X
p
q
L(X , λ, μ) f (X ) i gi (X ) jhj (X )
Lagrange对偶问题的求解
i 1
j 1
先把λ和μ看成常数，求解min L(X, λ,μ),消去X；再求解max L(X*, λ,μ)
X
λ,μ
对 min L(X, λ,μ)为凸问题且函数为连续可微情况，有 X
Lagrange对偶问题
p
q
max min
iR ,i1,, p X Rn u jR, j1,,q
( f ( X ) i gi ( X )
i 1
jhj ( X ))
j 1
弱对偶定理
原始问题的最优值以对偶问题的最优值为下界
max min L(X , λ, μ) min max L(X , λ, μ) 对偶间隙
gi ( X *) 0, i 1,, p
i* 0; i 1,, p i*gi ( X *) 0, i 1,, p
hj ( X *) 0, j 1,, q
令如下拉格朗日函数，则得前文拉格朗日函数形式的KKT条件
p
q
L(X , λ, μ) f (X ) i gi (X ) jhj (X ) λ, μ称为Lagrange乘子
min f (X ) s.t. h1(X ) 0, h2 (X ) 0
f (X) k k大时等高曲面与两约束曲面交线相交 k小时等高曲面与两约束曲面交线相离 在解x*点与两约束曲面的交线相切
最优性条件
f ( X *) 1*h1( X *) 2*h2 ( X *) 0 h1( X *) 0; h2 ( X *) 0;
一般等式约束优化问题
min f (X ) s.t. hi (X ) 0 i 1,, q
最优性条件
q
f ( X *) i*hi ( X *) 0 i 1 hi (X *) 0 i 1,, q
两变量一不等式约束的简单优化问题
min f (X ) s.t. g(X ) 0
i 1
j 1
λ, μ称为Lagrange乘子
优化问题的Lagrange函数表达（去约束化）
p
q
min max ( f
X Rn
i R u jR,
,i1,, p j 1,,q
(X)
i 1
i gi ( X )
jhj ( X ))
j 1
称之为原始问题
对偶定理
p
q
L(X , λ, μ) f (X ) i gi (X ) jhj (X )
i 1
j 1
λ, μ称为Lagrange乘子
Karush-Kuhn-Tucker定理
若最优化问题的f ( X )、各gi ( X )和hj ( X )在点X *处可微，所有gi ( X *)、 hj ( X *)向量线性无关，则X *为规划问题最优解的必要条件是：
min X
L(X,
λ
,
μ)


X
L(X,
λ,
μ)＝0，
此时Lagrange对偶问题可写成简化形式，即Wolf对偶：
max L(X, λ,μ)
X,λ ,μ
s.t. XL(X, λ,μ)＝0
L(X , λ, μ)为可微凸函数的一种情 况是：f (X )、g(X )为可微凸函数， h(X )为线性函数。
求得Langrange对偶问题的可行解λ*和μ*，代入求得原始问题的可行解X*。 比较原始问题和对偶问题的目标函数值是否相等，即
min max L(X, λ,μ) max min L(X, λ,μ)
X ,
, X
是否成立。成立说明为凸问题的最优解，否则不是。
拉格朗日函数描述的KKT条件
广义Lagrange函数
L( X *, λ*, μ*) 0 X
gi ( X *) 0 i 1,, p hj ( X *) 0, j 1,, q λi* 0 i 1,, p λi*gi ( X *) 0 i 1,, p(互为松紧条件）
对凸规划问题，KKT条件也是最优解的充分条件
i 1
j 1
例题：分别求解如下优化问题的Lagrange原始问题和 对偶问题的最小值
min f (x) x2 s.t. 1 x 0;
对偶定理及最优性条件
基于Lagrange函数的去约束化方法
Lagrange函数
min f (X ) s.t. gi (X ) 0,i 1,, p,
hj ( X ) 0 j 1,, q
p
q
L(X , λ, μ) f (X ) i gi (X ) jhj (X )
KKT条件的直观导出
两变量一等式约束的简单问题
min f (X ) s.t. h(X ) 0
f (X) k k大时等高线与约束曲线相交 k小时等高线与约束曲线相离 解x*所在等高线与约束曲线相切
最优性条件
f (X *) *h(X *) 0
h(X *) 0
三变量两等式约束的优化问题
最优性条件
f (X *) *g(X *) 0
g(X *) 0;
* 0
f ( X *) *g( X *) 0;
g( X *) 0;
* 0;
合成如下：
f ( X *) *g( X *) 0
g( X *) 0;
* 0; *g( X *) 0