最优化方法(约束优化问题的最优性条件)

Fritz-John一阶必要条件 一阶必要条件
举例验证
KT条件 条件
• KKT最优化条件是Karush[1939]以及Kuhn和Tucker[1951]先 后独立发表出來的。这组最优化条件在Kuhn和Tucker 发表之 后才逐渐受到重视，因此许多书只记载成「Kuhn-Tucker 最 优化条件 (Kuhn-Tucker conditions)」。
则 x 是严格局部最优解
*
(
)
凸规划问题的特殊性
• 见书P143 定理 4.1.10(自学) • 作业 P202 ex 4.4 4.6
c1 ( x) = 0
x1 d 1 d2
x0 d2
d1
是可行方向？ 如何判断一个向量是否 是可行方向？ 定理1 给定点 x ∈ Q , 记点 x 的有效约束指标集为 I ( x)。给定
向量 d ，如果对任意的 i ∈ I ( x) 有 ∇ci ( x)T d > 0 , 则 d 是点 x 的 可行方向。
令 ∇f ( x ) − λ 1 ∇c1 ( x ) − λ 2 ∇c 2 ( x ) = 0
* * *
求得
λ 1 = −1 ， λ 2 = 1 即
∇f ( x * ) = − λ1 ∇c1 ( x * ) + λ 2 ∇c 2 ( x * ) * 对于不等式约束 c 2 ( x ) 对应的 Lagrange 乘子 λ 2 > 0 且 λ 2 c 2 ( x ) = 0 * T 故 x = (1,1,1) 为 KT 点。
3. K − T点的计算 例 求约束极值问题
min s.t.
2 f ( x) = 0.5( x12 + x2 − 6 x1 − 6 x2 + 8)
x1 + x2 ≤ 4 x1 ≥ 0 x ≥0 2
的 K − T 点。 解：
∇f ( x) = [ x1 − 3 , x2 − 3 ]T 。
最优化方法补充内容10
约束优化问题的最优性条件
先看等式约束问题
回顾以前学的知识
什么定理？
推广到一般的情况
几何解释
二阶充分条件
不等式约束问题
不等式约束问题和等式约束问题之 间是否存在什么关系？ 间是否存在什么关系？
有效约束和非有效约束
再换句话说， 再换句话说，不等式约束问题的在最优解处的某 个小邻域内， 个小邻域内，看以看成等式约束问题
x1 + λ1 = 3 ⇒ x1 + λ 3 = 0 ⇒ λ 3 = − x1 < 0 ∴ λ1 − λ 3 = 3 x1 + λ1 − λ 2 = 3 矛盾。 这与 λ3 ≥ 0 矛盾。 x +λ −λ = 3 1 3 2 (4) 若 x1 ≠ 0 , x2 ≠ 0 : λ1 (4 − x1 − x 2 ) = 0 λ2 x1 = 0 ∴ λ2 = λ3 = 0 λ3 x2 = 0 x1 + λ1 = 3 x1 + x2 ≤ 4 ⇒ x1 = x2 ∴ λ , λ , λ , x , x ≥ 0 x 2 + λ1 = 3 1 2 3 1 2 若 x1 + x 2 < 4 ⇒ λ1 = 0 ⇒ x1 = x2 = 3
2 2 2
c 3 ( x ) = x1 ≥ 0 , c 4 ( x ) = x 2 ≥ 0 , c 5 ( x ) = x 3 ≥ 0
是否为 试验证 x = (1,1,1) 是否为 KT 点。
*
T
解： 将原问题转化为标准形式： 将原问题转化为标准形式：
2 2 2
2 2 2 min f ( x ) = −1.5 x 1 − 0.5 x 2 − x 3
锥和 Farkas引理 引理
Gordan引理 引理
解释
定理 3 设 x* ∈ Q ，( x*)是其有效约束指标集。 f ( x ) 和 ci ( x ) I (i ∈ I ( x*) ) 在点 x * 处可微， ci ( x ) (i ∉ I ( x*) ) 在点 x * 处连 续。如果 x * 是约束极值问题（ 1）的局部极小点，则在 点 x * 处没有可行下降方向。
∇ci ( x)T d > 0 T ∇f ( x ) d < 0 i ∈ I ( x)
i ∈ I ( x)
则向量 d 是点 x 处的可行下降方向。
∇ci ( x)T d ≤ 0 T ∇f ( x ) d ≥ 0 i ∈ I ( x)
极值点的必要条件： 极值点的必要条件：
无解
有解来自百度文库
定理 3 设 x* ∈ Q ，( x*)是其有效约束指标集。 f ( x ) 和 ci ( x ) I (i ∈ I ( x*) ) 在点 x * 处可微， ci ( x ) (i ∉ I ( x*) ) 在点 x * 处连 续。如果 x * 是约束极值问题（ 1）的局部极小点，则在 点 x * 处没有可行下降方向。
凸锥中
最优解不一定是 KT点
二阶充分条件
凸规划问题的充分条件 KT条件就是最优条件 条件就是最优条件
验证KT点 验证 点
2 2 max f ( x ) = 1.5 x 12 + 0.5 x 2 + x 3
s.t. c 1 ( x ) = x 1 + x 2 + x 3 − 3 = 0 , c 2 ( x ) = x 1 − x 2 ≤ 0
* T
并且有效约束集合为 并且有效约束集合为 I = {1,2}
*
∇f ( x ) = ( −3,−1,−2) T ， ∇c1 ( x ) = ( 2,2,2) T ， ∇c 2 ( x ) = ( −1,1,0) T T T 线性无关。 且 ∇c 1 ( x ) = ( 2,2,2) 与 ∇c 2 ( x ) = ( −1,1,0) 线性无关。
(1) 若 x1 = x 2 = 0 : 由 λ1 (4 − x1 − x2 ) = 0 可得 λ1 = 0。
∴ λ1 − λ2 = 3 ⇒ λ2 = −3
矛盾。 这与 λ 2 ≥ 0 矛盾。 ( 2) 若 x1 = 0 , x2 ≠ 0 : ∴ λ3 = 0
x2 + λ1 = 3 ⇒ x2 + λ2 = 0 ⇒ λ2 = − x2 < 0 ∴ λ1 − λ2 = 3
矛盾。 这与 λ 2 ≥ 0 矛盾。 ( 3) 若 x1 ≠ 0 , x2 = 0 :
∴ λ2 = 0
x1 + λ1 − λ 2 = 3 x +λ −λ = 3 1 3 2 λ1 (4 − x1 − x 2 ) = 0 λ2 x1 = 0 λ3 x2 = 0 x1 + x2 ≤ 4 λ , λ , λ , x , x ≥ 0 1 2 3 1 2
∵ g1 ( x ) = 4 − x1 − x 2 ∴∇g1 ( x ) = [ − 1 , − 1 ]T
g2 ( x ) = x1 , ∇g2 ( x ) = [ 1 , 0 ]T 。
g3 ( x ) = x2 , ∇g3 ( x ) = [ 0 , 1 ]T 。
由 K − T 条件得 x1 − 3 − 1 1 0 x − 3 − λ1 − 1 − λ2 0 − λ3 1 = 0 2 由 K − T 条件及约束条件得 x1 + λ1 − λ 2 = 3 x +λ −λ = 3 1 3 2 λ1 (4 − x1 − x 2 ) = 0 λ2 x1 = 0 λ3 x2 = 0 x1 + x2 ≤ 4 λ , λ , λ , x , x ≥ 0 1 2 3 1 2 以下分情况讨论： 以下分情况讨论：
s.t. c1 ( x ) = x 1 + x 2 + x 3 − 3 = 0 , c 2 ( x ) = − x 1 + x 2 ≥ 0
c 3 ( x ) = x1 ≥ 0 , c 4 ( x ) = x 2 ≥ 0 , c 5 ( x ) = x 3 ≥ 0
带入约束条件可知满足约束条件 将 x = (1,1,1) 带入约束条件可知满足约束条件
x* (ii) 为 KT 点，且严格互补松弛条件成立； 且严格互补松弛条件成立； λ* n T * * (ii) 对于子空间 M = {d ∈ R | d ∇c i ( x ) = 0, i ∈ I } 中的任意 d ≠ 0 有 对于子空间
d T (∇ 2 L x * , λ* )d > 0 x
回想最优解的定义， 回想最优解的定义，可行的概念对 于不等式约束是怎么样的概念？ 于不等式约束是怎么样的概念？
min f ( x) s.t. c( x) ≥ 0
可行域为 Q = { x | c( x) ≥ 0 }。
可行方向： x 0 ∈ Q ， 为一个向量。如果存在 实数 λ > 0， 设 d 为一个向量。 可行方向： 使得对任意的 λ ∈ [ 0 , λ ] 有 x 0 + λ d ∈ Q , 则称 d 为 x 0 处的 一个可行方向。 一个可行方向。
⇒ x1 + x 2 = 6 > 4 ⇒ 矛盾。 矛盾。 ∴ x1 + x 2 = 4 ⇒ x1 = x2 = 2 ⇒ λ1 = 1
∴ [ 2 , 2 ]T 为K − T 点。
二阶充分条件
对于一般约束优化问题
min f ( x ) s.t. c i ( x ) = 0 i ∈ E ci ( x ) ≥ 0 i ∈ I f ( x ) ， c i ( x ) 二阶连续可微
令 证明： x ' = x + t d , t > 0。 则对任意的 i ∈ I ( x ) , 有
ci ( x' ) = ci ( x) + t ∇ci ( x)T d + o( || td ||2 )
= t ∇ci ( x)T d + o( || td ||2 )
>0
为可行方向。 ∴ x'∈ Q , 即 d 为可行方向。 ∈
验证KT点的步骤 小结
• • • • • • 1 化为标准形式 2 验证约束成立 并且求得有效约束 3 约束规范 ∇f ( x * ) − λ1 ∇c1 ( x * ) − λ 2 ∇c 2 ( x * ) = 0 4 一阶条件方程 例如 5 验证不等式约束互补条件、乘子的非负性 验证不等式约束互补条件、 6结论 结论
可行下降方向： 可行下降方向：设点 x ∈ Q ， 给定向量 d ，如果 d 既是点 x 处 的下降方向， 的可行方向， 的可行方向，又是该点 的下降方向，则称 d 为点 x 处的可 行下降方向。 行下降方向。
定理 2 给定点 x ∈ Q , 记点 x 的积极约束指标集为 I ( x)。给定 向量 d ，如果 d 满足 ∇ci ( x)T d > 0 ∇f ( x ) T d < 0