13约束最优化条件KTT
约束最优化问题的最优性条件
ci ( x ) ≥ 0
i ∈ I = {l + 1, , m}
一阶必要条件
定理6: (Kuhn-Tucker一阶必要条件)
*
I * = i ci x * = 0, i ∈ I ; 设 x 为问题(3)的局部最优解, f ( x ), ci ( x ) (1 ≤ i ≤ m ) 在 x * 点可微, 对于i ∈ E ∪ I *
*
λ f (x ) ∑ λ ci (x ) = 0
m * 0 *
λ c (x ) = 0 i = 1,2, , m
* i i *
i =1
* i
*
λ ≥ 0 i = 0,1,2, , m
* i
例2: 验证是否满足Fritz-John条件:
min f ( x1 , x2 ) = x1 s.t
*
3 c1 ( x1 , x2 ) = x1 x2 ≥ 0
* 则存在一组不全为零的实数 λ1 , λ* , λ* 使得: 2 l
f x * ∑ λ*ci x * = 0 i
i =1
( )
l
( )
二阶充分条件
定理2: 对等式约束问题,若: (1) f ( x ) 与 ci ( x )(1 ≤ i ≤ l ) 是二阶连续可微函数; (3) s ∈ R n且 s ≠ 0 , 且 s T ci (x * ) = 0 , i = 1,2, l 均有 s T 2 L (x * , λ* )s > 0 xx 则 x* 是等式约束问题的严格局部极小点. (2) x * ∈ R n 与 λ* ∈ R l 使: L(x* , λ* ) = 0 ;
{ ( ) }
的ci (x * ) 线性无关, 则存在非零向量 * λ* = (λ1 , , λ* ) 使得: m
最优化方法4-1第四章 约束最优化方法-KKT条件
(II) f(x)和 c i (x)（i∈I*）在 x*点可微；
（III）c i (x)（i∈I\ I*）在 x*点连续
则 S={p∈Rn | ▽f(x*)Tp<0}
与 G={ p∈Rn |▽c i(x* )Tp>0, i∈I*} 的交是空集，
（iii）▽ci(x*)(i=1,2,…,l)线性无关；
则存在一组不全为零的实数 1*… l*使得
l
▽f(x*)- i *▽c i(x*)=0 1
定义 n+l 元函数：
l
L(x, )=f(x)- Tc(x)=f(x)- ici(x) i1 为 lagrange 函数，
1
1 2
x1 x2 1 0
的 KT 点为 x* (0, 3)T,相应乘子为* (1 ,0)T。
6
例 2：验证(2,1)T 为下面约束优化问题的 K-T 点.
min
f ( x1 , x2 ) ( x1 3)2 ( x2 2)2
恰好给出等式约束问题的一阶必要条件
及 c i(x*)=0，i=1, …,l
点（X*, *）称为 lagrange 函数 L（x, ）的驻点。
几何意义是明显的：考虑一个约束的情况：
-▽f(x*)
-▽f(x ) x
▽c(x )
c(x)
▽c(x*)
这里 x* 是局部最优解，
▽f(x*)与▽c(x*) 共线，
称 为 lagrange 乘子向量。
lagrange 函数的梯度为
▽L(x, )=(▽xL,▽ L)T
约束问题的最优化方法
m
⑤ .Φ ( x, r ) = f ( x) − r ∑ ln[− g u ( x)]
(k )
其中：惩罚（加权）因子 降低系数 c：
r ( 0 ) > r (1) > ....r ( k )
0< c <1
r ( k −1) ⋅ c = r ( k )
xk * → x *
当lim r ( k ) → 0
x ∈ D ⊂ Rn s.t. g u ( x ) ≥ 0, u = 1,2,..., p hv ( x ) = 0, v = 1,2,..., q min F ( x )
一. 约束优化问题解法分类： 约束优化方法按求解原理的不同可以分为直接法和间接法两类。
直接解法：随机方向搜索法、复合形法、可行方向法
其中：g u ( x) ≥ 0, u = 1,2,...m
③ .Φ ( x, r ) = f ( x) − ∑ ru ( k )
(k ) u =1
m
1 g u ( x)
④ .Φ ( x, r ) = f ( x) + r
(k )
(k )
(k )
1 ∑ 2 u =1 [ g u ( x )]
m u =1
k →∞
则Φ ( x, r ( k ) ) → f ( x) ,
) x12 + x22 例： 用内点法求 min f ( x=
s.t. g ( x ) = 1 − x1 ≤ 0
的约束最优解。
2 解: 首先构造内点惩罚函数:φ ( x , r ) = x12 + x2 − r k ln( x1 − 1)
(k ) u =1 m
lim r2 H [hv ( x ( k ) )] = 0
13约束最优化条件KTT
g3(x) 0 ●
D
●
g1(x) 0
g2(x) 0
●
如图：观察不同点处 的有效约束
D内的点没有有效约束 仅边界上的点存在有 效约束
总结：x处的有效约束是指该约束对该点处的可行方 向起限制作用, 反之无效约束即对该点处的可行方向 没有任何影响.不同的可行点一般有不同的有效约束.
所有存在有效约束的点构成可行域的边界.
？？？ 约束品性对研究约束问题的最优性条件非常重要
约束品性（约束规格）
SFD(x*,D) LFD(x*,D)
最优解 x*
KKT点 x*
基本概念
定义9.1.1 设x D, d Rn.若存在数 0, 使得
x d D, (0, ],
则称d是D在x处的一个可行方向. 记x处所有可行方向的集合为FD( x, D)
xk x* kdk x* 其中k 0, dk d. 所以,当k充分大时, xk N (x*).
故 f (x*) f (xk ) f (x* kdk ) f (x*) kf (x*)T dk o(|| kdk ||)
在上式两端除以k , 然后令k 0, 取极限即可得
f (x* )T d 0
例9.1.1
考察如下约束问题：
x2
min f ( x) x12 x22
x2 3
x1 2x2 8
s.t. x1 2x2 8 0 x1 4 0 x2 3
x1 0 可行域
O
●
x(0) (0, 0)
x2 0
● x(1) (4, 2) x1 4 x1
标 g1(x) 8 - x1 - 2x2 0
定义9.1.4 设x D, 若向量组
{ gi (x),h j (x),i I (x), j E } 线性无关, 则称在x处线性无关约束品性成立, 简称为在 x处LICQ (Libear independence ConstraintQualification) 成立.
最优化方法(约束优化问题的最优性条件)
s.t. c1 ( x ) = x 1 + x 2 + x 3 − 3 = 0 , c 2 ( x ) = − x 1 + x 2 ≥ 0
c 3 ( x ) = x1 ≥ 0 , c 4 ( x ) = x 2 ≥ 0 , c 5 ( x ) = x 3 ≥ 0
带入约束条件可知满足约束条件 将 x = (1,1,1) 带入约束条件可知满足约束条件
验证KT点的步骤 小结
• • • • • • 1 化为标准形式 2 验证约束成立 并且求得有效约束 3 约束规范 ∇f ( x * ) − λ1 ∇c1 ( x * ) − λ 2 ∇c 2 ( x * ) = 0 4 一阶条件方程 例如 5 验证不等式约束互补条件、乘子的非负性 验证不等式约束互补条件、 6结论 结论
* T
并且有效约束集合为 并且有效约束集合为 I = {1,2}
*
∇f ( x ) = ( −3,−1,−2) T ， ∇c1 ( x ) = ( 2,2,2) T ， ∇c 2 ( x ) = ( −1,1,0) T T T 线性无关。 且 ∇c 1 ( x ) = ( 2,2,2) 与 ∇c 2 ( x ) = ( −1,1,0) 线性无关。
向量 d ，如果对任意的 i ∈ I ( x) 有 ∇ci ( x)T d > 0 , 则 d 是点 x 的 可行方向。
令 证明： x ' = x + t d , t > 0。 则对任意的 i ∈ I ( x ) , 有
ci ( x' ) = ci ( x) + t ∇ci ( x)T d + o( || td ||2 )
= t ∇ci ( x)T d + o( || td ||2 )
最优化问题中的KKT条件及其应用
最优化问题中的KKT条件及其应用在数学中，最优化问题是一种经常遇到的问题。
一个最优化问题就是想要在一定的限制条件下，找到一个最优的解决方案，使得目标函数达到最小或最大值。
KKT条件是描述约束最优化问题的一组必要和充分条件，本文将会介绍其特点和应用。
一、约束最优化问题简介在实际问题中，我们常常需要求解某种函数的最大值或最小值，而该函数的最大值或最小值受到某些限制条件的限制，这类问题常常称为约束最优化问题。
举例：假设现在手上有100万元人民币，而我们希望该100万元的贷款可以获得尽可能高的投资回报。
对于该问题，我们需要确定以下内容：1. 投资的方案：假设有若干种投资方案可以选择，即在年底结束后能获得相应的回报；2. 投资的约束条件：尽管有若干种投资方案可以选择，但我们不能选择那些不符合以下条件的投资方案：2.1 投资的总额不能超过100万元；2.2 投资方案的回报超过入市利率，否则选择入市即可。
现在，我们需要确定如何选择能够为我们获得更多利润的投资方案。
二、KKT条件简介KKT条件的全称是 Karush-Kuhn-Tucker 条件，它是非线性规划最常用的求解方法之一，是求解约束最优化问题的必要和充分条件。
此处不再赘述它的推导方法，简单介绍一下其形式。
对于非线性约束优化问题：$$\begin{array}{l}{\min f(\mathrm{x})} \\ {\text {s.t. }g_{i}(\mathrm{x}) \leq 0, i=1,2, \ldots, m} \\ {h_{i}(\mathrm{x})=0, i=1,2, \ldots, n}\end{array}$$其中，m和n分别是不等式约束和等式约束的个数。
则KKT条件的形式为:$$\begin{aligned} \nabla f(x)+\sum_{i=1}^{m} \lambda_{i} \nabla g_{i}(x)+\sum_{i=1}^{n} v_{i} \nabla h_{i}(x)=0 \\ \lambda_{i}g_{i}(x)=0 \quad \lambda_{i} \geq 0 \quad i=1,2, \ldots, m \\h_{i}(x)=0 \quad i=1,2, \ldots, n \end{aligned}$$其中，$\lambda_{i}$和$v_{i}$分别代表不等式约束和等式约束的拉格朗日乘子。
约束条件优化
约束条件优化引言：在现实生活和工作中，我们经常面临各种问题，而解决问题的过程往往需要考虑到各种约束条件。
约束条件是指限制问题解决方案的条件，它们可以是资源的限制、技术的限制、时间的限制等等。
在面对复杂问题时，如何合理地优化约束条件，提升问题解决效率成为一项关键任务。
一、理解约束条件的重要性约束条件是问题解决的基础，它们可以帮助我们确定问题的边界和范围，避免无效的尝试和迷失方向。
在优化约束条件之前，我们需要全面了解问题的背景和要求，明确问题的关键点，以便更好地制定合理的解决方案。
二、合理规划资源约束条件资源约束条件是指在问题解决过程中受到资源限制的约束条件，如人力、财力、物资等。
在优化资源约束条件时，我们需要充分考虑资源的利用效率，合理分配资源，避免资源的浪费和不必要的消耗。
例如，在一个项目中，合理规划人力资源的分配，根据不同任务的重要性和紧急程度进行优先级排序，可以提高项目的执行效率和质量。
三、充分利用技术约束条件技术约束条件是指在问题解决过程中受到技术限制的约束条件，如软件、硬件等。
在优化技术约束条件时，我们需要充分了解和掌握现有技术的优势和局限性，灵活运用各种技术手段，以实现问题的最优解决方案。
例如，在软件开发过程中，我们可以利用现有的开发框架和工具，提高开发效率和质量。
四、合理安排时间约束条件时间约束条件是指在问题解决过程中受到时间限制的约束条件，如截止日期、交付时间等。
在优化时间约束条件时，我们需要充分规划和管理时间，确保任务按时完成。
合理的时间安排可以提高工作效率，减少工作压力，保证项目的顺利进行。
例如，在一个紧急项目中，我们可以通过合理的时间分配和协调，确保关键任务的及时完成，从而提高整体项目的成功率。
五、灵活应对约束条件的变化在解决问题的过程中，约束条件可能会随时发生变化，我们需要灵活应对，及时调整解决方案。
灵活的应对能力可以帮助我们在变化的环境中保持问题解决的稳定性和高效性。
例如，在项目执行过程中，如果发现某个约束条件发生变化，我们可以及时重新评估和调整解决方案，以适应新的情况。
约束最优化最优性条件
0
x2
R { x | g i ( x ) 0}
gi (x) 0
x
0
x1
x gi (x) 0
0
形成的边界, 影响下一步选向.
如何判断一个向量是否
是可行方向？
定理 1 给定点 x Q , 记点 x 的积极约束指标集为 向量 d ，如果对任意的 可行方向。
T
min s .t .
可行域为
f (x) g( x) 0
(1 )
Q { x | g ( x ) 0 }。
1 .可 行 方 向
可行方向： 设 x Q ， 为一个向量。如果存在 d
0
实数 0 ，
0
使得对任意的 一个可行方向。
[ 0 , ] 有 x d Q , 则称 d 为 x 处的
T
I ( x ) 。给定
i I(x)
则向量 d 是点 x 处的可行下降方向。
极值点的必要条件：
定理 3 设 x * Q ， ( x *) 是其积极约束指标集。 I ( i I ( x *) ) 在点 x * 处可微， 续。如果 x * 是约束极值问题（
f ( x)和 gi( x)
g i ( x ) ( i I ( x *) ) 在点 x * 处连 1）的局部极小点，则在
i
( x ) 和 i
有且仅有一个成立，即取 0 值，则称为严格互补松弛条 件.
3 . K T 点的计算
例1 求约束极值问题
min f ( x ) x1 x 2 6 x1 6 x 2 8
2 2
s .t .
x1 x 2 4 x1 0 x 0 2
最优化方法 第三章(约束最优性条件)
一、最优性条件
目标函数的梯度
正交于一阶可行变分子空间，即
V ( x ) x h j ( x)x 0, j 1, , l
l
f ( x ) v j h j ( x ) 0
j 1
一阶可行变分子空间是指由变分
构成的子空间，这些
变分使得约束函数展开到一阶时，在向量 x x x 处仍
定理 (等式约束一阶必要条件) 考虑等式约束优化问题, x 为
可行点，f (x) 在 x 处可微, hj (j=1,…,l)在 x 处连续可微，向量
集 h j ( x ) j 1, , l 线性无关。若 x 是等式约束问题的局部最
优解，则存在数 v j ( j 1, , l ) ，使得
gi (x) (i I ( x )) 在 x 处连续, hj (j=1,…,l)在 x 处连续可微
向量集 gi ( x ), h j ( x ) i I ( x ), j 1,
, l 线性无关。
若 x 是局部最优解，则存在数wi (i I ( x )) 和 v j ( j 1,
最优性条件
一
约
束
优
化
五
二
可行方向法
三
罚函数法
四
乘子法
二次逼近法
一、最优性条件
约束优化问题的分类
min f x
xR n
s.t.
gi x 0, i I 1,
, me ,
hi x 0, i E me 1,
等式约束问题
不等式约束问题
为满足约束的严格局部最小值点。
一、最优性条件
例: 求约束极值问题 min
kkt条件
kkt条件
一、前言
KKT最优化条件是Karush(1939)以及Kuhn和Tucker(1951)先后独立发表出来的，但在Kuhn和Tucker发表之后才逐渐受到重视，因此多数情况下记载成库恩-塔克条件(Kuhn-Tucker conditions)。
KKT(Karush-Kuhn-Tucker)条件，是非线性规划领域里最重要的理论成果之一，是确定某点为极值点的必要条件。
对于凸规划，KKT点就是优化极值点(充分必要条件)。
二、KKT条件
KKT(Karush-Kuhn-Tucker)条件用来求解不等式约束下最优问题，而其简化形式(拉格朗日乘数法)可用来求解等式约束下最优化问题。
其中
①：拉格朗日取得可行解的必要条件；
②：初始的约束条件；
③：初始的约束条件；
④：不等式约束优化下应满足的情况；
⑤：不等式约束优化下需满足，称作松弛互补条件。
关于约束最优化问题K-T条件的一点注记
关于约束最优化问题K-T条件的一点注记展丙军【摘要】目标函数、约束函数的条件的不同,可以得到不同形式的K-T条件,证明方法也就不尽相同。
采用新方法充分地论证两种情况下约束最优化问题的最优性条件（即K-T条件）,该方法运用拉格朗日乘数法等理论,巧妙地解决了约束最优化问题的局部最优解必满足K-T条件。
这种方法简洁,避免了繁琐的推导以及对＂高难度＂知识的依赖,同时也更便于理解。
【期刊名称】《大庆师范学院学报》【年(卷),期】2012(032)006【总页数】3页(P45-47)【关键词】约束最优化问题;K-T条件;拉格朗日乘数法;梯度【作者】展丙军【作者单位】大庆师范学院数学科学学院,黑龙江大庆163712【正文语种】中文【中图分类】O221.21 问题的提出约束最优化问题的局部最优解是满足K-T条件。
要想很好地回答这个问题并非易事，在绝大多数的教材、资料的论述中，都要做很多前期工作，给出若干个引理或定理，然后才能推证结论，整个过程篇幅过大，不仅繁琐，而且对“高难度”知识过分地依赖。
因此，有些教材、资料只给出结论，而略去了证明，这些都给读者带来很大的不便。
目标函数、约束函数的条件的不同，可以得到不同形式的K-T条件，证明方法也就不尽相同，找到论证约束最优化问题的最优性条件(即K-T条件)的新方法有着重要的意义。
在运筹学的教学中，发现K-T条件与用拉格朗日乘数法所确定的极值条件很相似，受此启发得到解决上述问题的便于理解、掌握的新方法。
2 约束最优化条件(K-T条件)的证明给定约束最优化问题：其中，x=(x1，…，xn)T∈Rn，f：Rn→R1gi：Rn，→R1，i=1，…，P，hj：Rn→R1，j=1，…，q将该问题的可行域记为：令I={1，2，…，p}，J={1，2，…，q}，设x*∈X，I(x*)={i|gi(x*)=0，i∈I}，显然hj(x*)=0，j∈J。
下面给出上述问题的最优解的必要条件，即约束最优化条件：K-T条件。
约束优化最优性条件
(2) 如果 I ( x*)中有两个指标，不妨设( x )和 c2 ( x )为积极约束。 c1 并设c1 ( x*)和c2 ( x*)线性无关。
c2 ( x*) c1 ( x ) 0
c1 ( x*)
c2 ( x ) 0
x*
f ( x*)
存在1 ，2 0 , 使得 f ( x*) 1c1 ( x*) 2c2 ( x*)。
l l' i 1 i 1
假定不存在实数i (i 1,...,l )和非负实数 i (i 1,...,l ' ) 使得(2)成立.定义集合
S {a | a i ai i bi , i R, i 0}.
i 1 i 1
n
l
l'
S是R 中 的 一 个 闭 凸 锥 于a0 S , 根 据 凸 集 .由 分 离 定 理 ， 必d R 使 得d a0 d a ,
f ( x*) 1c1 ( x*) 2c2 ( x*) 0。
(3) 一般情况： {ci ( x*)| i I ( x*)}线性无关。 设 则存在非负实数i ( i I ( x*)), 使得
f ( x*)
iI ( x*)
c ( x*) 0
i i
有效约束），
ci ( x) (i A( x)) 是在 x 点的非积极约束（或
非有效约束）。
假定已知问题在解处的积极约束
A( x ),
*
我们只需求解如下的等式约束优化问题
min
x R n
f ( x ), c i ( x ) 0, i A( x * )
s.t.
2 2 2 例 设 c1 ( x ) 2 x1 x 2 x 2 0 , c2 ( x ) x1 x 2 1 0 ,
第五讲 约束优化问题的最优性条件
最优值点没有可行下降方向, 即下降方向必不可行, 可行方向必不下降.
凸集分离定理
u
e (1,1,1,...1)t
u
u
2.2 代数必要条件
KKT必要条件
三、最优性充分条件
凸规划
伪凸--拟凸--线性-----凸 ---凸 ---线性
四、约束规范
二阶最优性条件
2
约束优化问题KKT二阶必要条件
体现约束
2
无约束优化问题二阶必要条件
可行方向
无约束优化问题二阶充分条件
第五讲 约束优化问题的最优性条件
华国伟
北京交通大学经管学院物流管理系
提纲
一、约束优化问题 二、最优性必要条件 2.1 几何必要条件
2.2 代数必要条件
三、最优性充分条件 四、约束规范
一、约束优化问题
二、最优性必要条件 • 2.1 几何必要条件
可行方向 D G0 H 0 d : gi ( x ) d 0, i I , hi ( x ) d 0, i
约束条件优化
约束条件优化引言：在现实生活中，我们常常面临各种各样的问题，需要通过优化方法来求解最优解。
而在优化问题中，约束条件起着至关重要的作用。
本文将重点介绍约束条件优化的概念、方法和应用。
一、约束条件的定义与分类约束条件是指在优化问题中对变量的取值范围或关系进行限制的条件。
根据约束条件的性质，可以将其分为等式约束和不等式约束。
等式约束要求优化变量满足某些方程式，而不等式约束则要求优化变量满足某些不等式关系。
二、约束条件优化的方法1. 拉格朗日乘子法拉格朗日乘子法是一种常用的约束条件优化方法。
它通过引入拉格朗日乘子，将原始问题转化为一个无约束的问题。
通过求解该无约束问题的极值点，再结合约束条件的限制，可以得到原始问题的最优解。
2. 逐步逼近法逐步逼近法是一种迭代求解的方法，通过逐步调整优化变量的取值，使得满足约束条件的同时不断优化目标函数的值。
这种方法常用于求解复杂的非线性优化问题，具有较高的收敛速度和求解精度。
3. 内点法内点法是一种基于内点的求解优化问题的方法。
它通过在可行域内部寻找最优解，避免了在可行域边界上搜索的问题。
内点法在求解大规模优化问题时具有较高的效率和精度，广泛应用于线性规划和凸优化领域。
三、约束条件优化的应用1. 工程优化在工程领域中，约束条件优化常用于设计优化、工艺优化和资源优化等问题。
例如，在产品设计中，需要考虑材料成本、制造工艺和性能要求等多个约束条件，通过约束条件优化可以得到最优的设计方案。
2. 经济决策在经济决策中，约束条件优化可以用于求解最优投资组合、最优生产计划和最优供应链等问题。
通过考虑市场需求、资源限制和成本约束等因素，可以实现经济决策的最优化。
3. 能源管理在能源管理领域，约束条件优化可以用于优化能源系统的运行和调度。
例如，在电力系统中，需要考虑供需平衡、电网稳定和能源效率等约束条件，通过约束条件优化可以实现电力系统的经济运行和可持续发展。
结论：约束条件优化是一种常用的求解最优解的方法，通过合理地定义和处理约束条件，可以得到满足约束条件的最优解。
约束最优化
p
b
ai
a1
证明略.
b
av
引理3(Gardon) 设 a 1, a 2 ,, a v 是 n 维向量。
则不存在向量 p 使得
a iT p 0, i 1, 2, , v
成立的充要条件是： 不全为零的非负数 1, 2 , 使
v i i 1
a1
, v
这样的问题是《微积分》中条件极值问题的推广。 其拉格朗日（Lagrange）函数
L( x, ) f ( x) h( x) f ( x)
T
l j j 1
h j ( x)
其中 h( x) ( h1 ( x), h2 ( x),
, h l ( x) ) T .
定理1 ( Lagrange) 设
叫起作用约束集或积极约束集。
例2 设约束
s 1 ( x) 1 x 12 x 2 2 0
s 2 ( x) x 1 x 2 0
s 3 ( x) x1 0,
s 4 ( x) x 2 0
而 xA
2 2 T (1, 0) , x B ( 2 , 2 ) , 则 I ( x A ) 1, 4 , I ( x B ) 1, 2
叫集合 D 在 x 处的可行（容许）方向集。
可行（容许）方向集是锥。
I ( x) i | g i ( x) 0
i 1, 2,, m
引理1 设问题 （Ⅱ） 的 （不等式） 约束函数在点 x 处：
①
②
i 1, 2,, m ，当 i I ( x)
时，
时，
gi ( x) 在点 x
T
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
KKT系统(9.7)除能用于最优解的判别, 而且能用来计算KKT点—可能的最优解.
约束问题的KKT点 类似于无约束问题的驻点.
思考
若函数可导, 无约束问题的极值点一定是驻点, 请问约束问题的局部最优解一定是KKT点吗？？
不一定啦
例 9.2. 已知约束问题 min f ( x ) x2 g1 ( x ) s.t. g ( x ) x ( x ) g ( x ) x 请问x (0, 2) 是KKT点吗, 是最优解吗？ 解：
若x *不是问题(9.1)的最优解, 则必定存在序列{xk } D, 使得 f ( x * ) f ( xk ) 且 xk x * ( xk x * ) xk x* * * 令 dk , || x x || . 则 x x k d k 且 k 0. k k k * || xk x ||
T
当 g i ( x ) 0时, 则对d 0无要求
基于上面的分析, 我们引入如下的定义：
定义 对 x D, 记索引集合 I ( x ) {i I | g i ( x ) 0}, A( x ) E I ( x ) 称集合A( x )为可行点x处的有效集或积极集. 若i I ( x ) 或 j E , 称相应的约束为x处的有效约束, 即有 gi ( x) 0 或 h （ i x) 0 其它约束称为x处的非有效约束或无效约束.
一阶必要条件
定理9.2.1 设x* D是问题(9.1)的一个局部最优解,如果 SFD(x* ,D) LFD(x* ,D) 则存在Lagrange乘子向量: * R m1 , * R m -m1 使得 x L(x* , * , * ) 0 * h ( x j ) 0,j E g (x* ) 0, * 0, * g (x* ) 0,i I i i i i 这里, (9.7) (9.6)
第十三讲 约束优化问题的最优性条 件
• 凸规划问题的最优性条件
• 一般约束优化问题的最优性条件 • 约束品性
凸规划—求凸函数在凸集上的最小值问题
定理1：凸规划问题的局部最优解必定是其整体最优解
定理2：已知凸规划 min f (x),x D R n , 其中f , D是凸的且 f 连续可微. 则x* D是凸规划问题的最优解的充分必要条件是 f (x* )T (x-x* ) 0, x D
k
k
和
lim k 0
k
则称 d是D在x处的一个序列可行方向 . D在x处的所有序 列可行方向的集合记作 SFD( x, D ).
令 xk x k d k , 由定义9.1.2知, {xk } D.
为理解序列可行方向, 我们来看看它的几何解释：
xk
D
D
●
dk
●
x
*
我们注意到：由于序列可行方向集SFD( x * , D ) 没有便 于计算的公式, 上面两个定理给出的最优解的判别条件 仅具有理论意义, 并没有实际的应用价值.
我们的目的是将几何最优性条件转化为便于计算的代 数最优性条件. 这要求GD( x )和FD( x, D )的代数条件
x D, 对于GD( x ), 我们有 GD ( x ) {d R n | f ( x )T d 0} 但可行方向集FD( x, D )的计算是困难的
在上式两端除以 k , 然后令 k 0, 取极限即可得 f ( x * ) T d 0 这与定理假设矛盾. 因此x * 是问题(9.1)的一个严格局部 最优解. 证毕
定理表明 : 若可行点x 处的所有序列可行方向都是目 标函数 f 在该点处的上升方向, 则x *必定是严格局部 最优解.
考虑一般约束问题：
min s.t. f ( x) g i ( x ) 0, i I {1, 2, , m1} h j ( x ) 0, j E {m1 1, , m} (9.1)
可行域：D {x : g i ( x ) 0, i I ; h j ( x ) 0, j E}
利用有效集, 我们给出下面线性化可行方向的定义：
定义9.1.3 设x D, 集合
T d gi (x) 0,i I (x) n LFD(x,D) d R T d h ( x ) 0, j E j 中的向量d 称为D在x处的线性化可行方向.
互补松弛条件
iI jE
* x L(x* , * , * ) f (x* ) i* g i (x* ) * h ( x ) j j
(9.7)称为问题(9.1)的一阶必要条件— K - K - T条件 满足(9.7)的点x *称为问题(9.1 ）的一个KKT点.
不是可行方向 不是可行方向 包含可行方向 是可行方向 是可行方向
在前面, 我们已经看到：x D, 在x处的可行方向d的 要求与约束有关, 具体如下：
对等式 h j ( x ) 0, j E : 要求 h j ( x ) T d 0
对不等式 : g i ( x ) 0, j I , 分两种情形： 当 g i ( x ) 0时, 要求 g i ( x ) d 0
若记x处函数f 的所有下降方向 集合为GD( x ) * 容易看出, 如果x 是(9.1)的最优 解, 则在该点不存在既下降又 可行的方向, 即
GD ( x * ) FD( x * , D )
●
d
D
x x d
可行
●
●
不可行
该条件称为几何最优性条件
定义 9.1.2 设x D, d R n . 若存在向量序列 {d k }和正数序 列{ k }, 使得 x k d k D, 且 lim d k d
事实上： 对于d R , 类似于GD( x)的计算
n
等式 h j ( x) 0 : h j ( x)T d 0
h j ( x) d 0
T
h j ( x)T d 0 不等式 gi (x) 0:gi (x)T d 0
不等式 gi ( x) 0 : 0 d R n
d
xk
dk
●
●
d
x
(a ) 点x在D内部
(b) 点x在D的边界上
序列可行方向实际 上就是可行方向
显然,
序列可行方向包含可行 方向和边界的切线方向
FD( x, D) SFD( x, D) (只需取d k d )
可行方向必是序列可行方向, 但反之不然.
定理 9.1.1 设x * D是问题 (9.1)的一个局部最优解 , 则 f ( x * )T d 0, d SFD( x * , D) 必要条件
是
约束优化问题的局部最优解不一定是KKT点！
约束品性对研究约束问题的最优性条件非常重要
约束品性（约束规格）
SFD(x* ,D) LFD(x* ,D)
？？？
最优解 x
*
KKT点 x *
基本概念
定义9.1.1 设x D, d R n .若存在数 0, 使得 x d D, (0, ], 则称d是D在x处的一个可行方向. 记x处所有可行方向的集合为FD( x, D)
这里我们假设函数f , gi , h j 连续可微
显然可行域D为闭集.
一般约束问题的最优性条件
1、一阶必要条件
定义函数 L : Rn m R : L( x, , ) f ( x ) T g I ( x ) T hE ( x )
iI jE
f ( x ) i gi ( x ) j h j ( x )
x1 4
x1
x
( 0)
标 准 形 式
g1 ( x ) 8 - x1 - 2 x2 0 g 2 ( x ) x1 0 g 3 ( x ) 4 - x1 0
A( x ( 0) ) {2, 4}
A( x ) {1, 3}
(1)
g 4 ( x ) x2 0 g 5 ( x ) 3 - x2 0
f ( x * ) T d 0
类似于无约束问题的极值条件, 进一步我们有关于SFD的 最优解的充分条件：
定理 9.1.2 设x * D且满足 f ( x * ) T d 0, 0 d SFD( x * , D ) 则x *问题 (9.1)的一个严格局部最优解 .
证明：构造性的反证法
由于序列{d k }有界, 必存在收敛的子列. 不妨设d k d .
由SFD( x * , D)的定义可知, 所构造的向量d SFD( x * , D).
然而, 由
f ( x * ) f ( xk ) f ( x * k d k ) f ( x * ) k f ( x * )T d k o(|| k d k ||)
线性化可行方向只与有效集有关, 且具有线性表达式, 便于计算. 而且下面的命题成立：
g3 ( x) 0
D
● ● ●
如图：观察不同点处
g 2 ( x) 0
的有效约束
D内的点没有有效约束 仅边界上的点存在有 效约束
g1 ( x) 0
总结：x处的有效约束是指该约束对该点处的可行方 向起限制作用, 反之无效约束即对该点处的可行方向 没有任何影响.不同的可行点一般有不同的有效约束.
所有存在有效约束的点构成可行域的边界.
例9.1.1 考察如下约束问题： x
2
min s.t.
f ( x) x x
2 1
2 2
x2 3
x1 2 x2 8 0 x1 4 0 x2 3
x1 2 x2 8