优化方法lecture5-notes

二阶充分性条件 定理 (二阶充分性条件) 设 x∗ ∈ Φ, 存在 λ∗ 使 KKT 条件成立, 并且
∗ ∗ w T ∇2 xx L(x , λ )w > 0,
∀w ∈ C (x∗ , λ∗ ), w ̸= 0
则 x∗ 是 (NLP) 的一个严格局部最优解
5
Proof.
5.18
example • 考虑优化问题 min −0.1(x1 − 4)2 + x2 2
5.13
∇gi (x∗ )T w = 0, i ∈ E
example • 令 g1 (x) = 2 − (x1 − 1)2 − (x2 − 1)2 ≥ 0 g2 (x) = 2 − (x1 − 1)2 − (x2 + 1)2 ≥ 0 g3 (x) = x1 ≥ 0
• 考虑 x∗ = (0, 0)T , 则 A(x∗ ) = {1, 2, 3}, LICQ 不成立 • 取 w = (1, 0)T , MFCQ 成立
i∈E∪I 5.3
optimality conditions of unconstrained optimization 回顾: 对于无约束优化问题 minx∈Rn f (x) • 一阶必要性条件: x∗ 局部最优解, 则 ∇f (x∗ ) = 0 • 二阶必要性条件: x∗ 局部最优解, 则 ∇2 f (x∗ ) ⪰ 0 • 二阶充分性条件: 若 ∇f (x∗ ) = 0, ∇2 f (x∗ ) ≻ 0, 则 x∗ 局部最优解 (NLP) 的最优性条件?
5.16
二阶必要性条件 定理 (二阶必要性条件) 设 x∗ 是 (NLP) 的局部最优解,LICQ 在 x∗ 处成立, 令 λ∗ 为满足 KKT 条件的 Lagrange 乘 子, 则 ∗ ∗ w T ∇2 ∀w ∈ C (x∗ , λ∗ ) xx L(x , λ )w ≥ 0, Proof.
5.17
2 2 2 • 若约束改为 (x2 1 + x2 − 2) = 0, 则 F (x) = R 5.6
linear independent constraint qualification (LICQ) 定义 (线性无关约束规范) 若 {∇gi (x), i ∈ A(x)} 线性无关, 称线性无关约束规范 (LICQ) 在 x ∈ Φ 处成立 切锥和线性化可行方向锥的关系 引理 1 对 x∗ ∈ Φ , 有 1. TΦ (x∗ ) ⊆ F (x∗ ) 2. 若 LICQ 在 x∗ 处成立, 则 F (x∗ ) = TΦ (x∗ ) Proof.
5.15
example • 考虑优化问题 min x1 s.t. x2 ≥ 0, 1 − (x1 − 1)2 − x2 2 ≥0
• 最优解 x∗ = (0, 0)T , 对应的乘子 λ∗ = (0, 0.5)T • F (x∗ ) = {d|d ≥ 0} • C (x∗ , λ∗ ) = {(0, ω2 )T |ω2 ≥ 0}
其中 G ≻ 0, A ∈ Rm×n 行满秩 • KKT 点 [ ] [ ]−1 [ ] x∗ −c G − AT = λ∗ −b −A 0
• TΦ (x∗ ) = F (x∗ ) = C (x∗ , λ∗ ) = {0} • 二阶充分性条件成立, x∗ 为严格的全局最优解
5.20
6
5.2
1
非线性规划
nonlinear programming (NLP) 考虑如下的非线性规划问题:
x∈ Rn
min
f (x) gi (x) = 0, i ∈ E gi (x) ≥ 0, i ∈ I
s.t. • • • • • •
f, gi : Rn → R E , I 指标集 gi (x) = 0, i ∈ E 等式约束 gi (x) ≥ 0, i ∈ I 不等式约束 Φ = {x|gi (x) = 0, i ∈ E , gi (x) ≥ 0, i ∈ I} Lagrange 函数 ∑ L(x, λ) = f (x) + λi gi (x)
x1 −
+ x2 −
ቤተ መጻሕፍቲ ባይዱ
s.t.
• 最优解 x∗ = (1, 0)T • KKT 条件在 x∗ 处成立
5.12
Mangasarian-Fromovitz constraint qualification (MFCQ) • 称 MFCQ 在 x∗ 处成立, 若 ∃w ∈ Rn 使 ∇gi (x∗ )T w > 0, i ∈ A(x∗ ) ∩ I , 并且 {∇gi (x∗ ), i ∈ E} 线性无关 • LICQ=⇒MFCQ, 但是 MFCQ̸=⇒LICQ • 在定理 (一阶必要性条件) 中,LICQ 可由 MFCQ 代替
2 s.t. x2 1 + x2 − 1 ≥ 0
• x∗ = (1, 0)T 和 λ∗ = 0.3 满足 KKT 条件 • C (x∗ , λ∗ ) = {(0, ω2 )T |ω2 ∈ R} • 二阶充分性条件成立
5.19
凸二次规划 • 考虑二次规划
T T min 1 2 x Gx + c x s.t. Ax = b
5.14
4
3
二阶最优性条件
critical cone 定义 (临界锥) C (x∗ , λ∗ ) = {w ∈ F (x∗ )|∇gi (x∗ )T w = 0, ∀i ∈ A(x∗ ) ∩ I , λ∗ i > 0} 由 F (x∗ ) 的定义可得 ∇gi (x∗ )T w = 0, i ∈ E ∇gi (x∗ )T w = 0, i ∈ A(x∗ ) ∩ I , λ∗ w ∈ C ( x∗ , λ ∗ ) ⇔ i >0 ∇gi (x∗ )T w ≥ 0, i ∈ A(x∗ ) ∩ I , λ∗ i =0
5.4
1
2
定义
一阶最优性条件
定义 (切锥) d ∈ Rn 称为 Φ 在 x 处的切方向, 若存在 {z k }, z k ∈ Φ, z k → x 和 {tk }, tk > 0, tk → 0 使 d = lim zk − x k→∞ tk
Φ 在 x 处所有切方向的集合称为切锥 (tangent cone), 记为 TΦ (x) 定义 (线性化可行方向锥) x ∈ Φ 处的线性化可行方向集合为 F = {d|dT ∇gi (x) = 0, i ∈ E , dT ∇gi (x) ≥ 0, i ∈ A(x) ∩ I} 其中 A(x) = {i|gi (x) = 0, i ∈ E ∪ I} 是 x 处的积极约束指标集 example • 考虑优化问题 min x1 + x2 s.t.
2 x2 1 + x2 − 2 = 0 5.5
• 全局极小点 (−1, −1)T √ • 考虑 x = (− 2, 0)T , 趋近于 x 的一个可行点序列 [ √ ] − 2 − 1/k 2 k z = −1/k 选取 tk = ∥z k − x∥, 可得 d = (0, −1)T 是切方向. 另一个切方向是 d = (0, 1)T . 则 TΦ (x) = {(0, d2 )T |d2 ∈ R} • F (x) = {(0, d2 )T |d2 ∈ R}
5.10
Karush-Kuhn-Tucker (KKT) conditions 定理 (一阶必要性条件) 若 x∗ 为 (NLP) 的局部最优解,f, gi 连续可微且 LICQ 在 x∗ 处成立, 则存在 Lagrange 乘子 λ∗ 使得 ∇x L(x∗ , λ∗ ) = 0 gi (x ) = 0, gi (x ) ≥ 0, λ∗ i ≥ 0, λi gi (x∗ ) = 0, 3
5.7
5.8
2
Farkas’s lemma 引理 2 对于 B ∈ Rn×m , C ∈ Rn×p , 系统 g = By + Cw, 无解当且仅当如下系统有解 g T d < 0, B T d ≥ 0, CT d = 0 y≥0
Proof.
5.9
切方向 引理 3 若 x∗ 是 (NLP) 的局部最优解, 则 ∇f (x∗ )T d ≥ 0, Proof. ∀d ∈ TΦ (x∗ )
∗ ∗
(a) (b) (c) (d) (e)
i∈E i∈I i∈I
i∈I
Proof.
5.11
example • 考虑优化问题 ( 3 )2 2 ( 1 )4 2 1 − x1 − x2 1 − x1 + x2 1 + x1 − x2 ≥ 0 1 + x1 + x2
min
Lecture 5
最优性条件
Print version of the lecture in 优化方法 (Optimization Methods) presented on 2016, 秋 by 肖现涛 from 数学科学学院 at 大连理工大学
5.1
Contents
1 非线性规划 2 一阶最优性条件 3 二阶最优性条件 1 2 5