约束非线性规划讲解

g1 ( x ) x1 x2 4,
g1 ( x) [ 1 , 1 ]T
g2 ( x) x1 ,
g2 ( x) [ 1 , 0 ]T 。
g3 ( x) x2 ,
g3 ( x) [ 0 , 1 ]T 。
18
由K T条件得
x1 3 1 1 0 x 3 1 1 2 0 3 1 0 2
分析：
(1) 如果 I ( x*)中只有一个指标，不妨 设 g1 ( x)为积极约束。
则不存在向量d 使得 g1 ( x*)T d 0 T f ( x *) d0 成立。
12
则不存在向量d 使得 g1 ( x*)T d 0 成立。 T f ( x*) d 0
令 Q { x | h( x ) 0 , g ( x ) 0 } , 称 Q 为此约束极值问题的
可行域。
2
min f ( x ) hi ( x ) 0 i 1 , 2 , , m s.t. g j ( x ) 0 j 1 , 2 ,, l
hi ( x ) 0 hi ( x ) 0 hi ( x ) 0
gi ( x ) ( i I ( x*) ) 在 点 x * 处 连 续, { gi ( x*)| i I ( x*) } 线性无关。若 x *是约束极值问题 (1)的 局 部 极 小 点 ， 则存在一组实数 i 使 其 满 足
l f ( x*) i gi ( x*) 0 i 1 () i gi ( x*) 0 , i 0, i 1 , 2 , , l
8
2 g3 ( x ) 0。 2
I ( x ) { 1 , 2 }。
x2 g2 ( x ) 0
g3 ( x ) 0
O
g1 ( x ) 0
x
x1
②如何判断一个方向是可行方向?
9
定理1:
给 定 点x Q , 记 点 x 的 积 极 约 束 指 标 集 为 I ( x )。 给 定 向 量 d ， 如果对任意的 i I ( x ) 有 gi ( x )T d 0 , 则 d 是 点 x 的 可 行 方 向 。
min f ( x ) s.t. g( x ) 0
(1)
g1 ( x ) 0
x0 d2 d1
可行域为 Q { x | g( x ) 0 }。
①可行方向与积极约束: 可行方向:
x1 d 1 d2
g2 ( x ) 0
设 x 0 Q， d 为 一 个 向 量 。 如 果 存实 在 数 0， 使得对任意的 [ 0 , ] 有 x 0 d Q , 则 称d 为 x 0 处 的 一个可行方向。
这 里x *最 优 ， f ( x * )与 h( x * )共 线 ， 而x' 非 最 优
h( x* )
f ( x' )与h( x' )不 共 线 ，
h( x' )
最优性条件即：
f ( x*) * j h j ( x*)
j 1
6
l
(2)不等式约束极值问题的最优性条件
可行下降方向:
设点 x Q ， 给定向量d ，如果d 既是点 x 处的可行方向， 又是该点的下降方向， 则称 d 为点 x 处的可行下降方向。
10
I ( x )。 给 定 定理2: 给 定 点x Q , 记 点 x 的 积 极 约 束 指 标 集 为 向 量d ， 如 果d 满 足 g i ( x )T d 0 T f ( x ) d 0 i I ( x)
7
g i ( x ) 0， 如 果 积极约束: 设 点 x Q , 对 于 不 等 式 约 束 gi ( x ) 0 , 则 称 gi ( x ) 0 是 点 x 处 的 积 极 约 束 。
或 起作用约束（紧约束\积极约束\有效约束）。
记 I ( x ) { i | gi ( x ) 0 , 1 i l } , 称 I ( x )为点 x 处的积极 约束指标集。
() 式称为 K T条件（库恩 塔克条件），满足 () 式的点 称为K T点。
16
(4) 对于有等式约束的极值 问题
min f ( x ) h( x ) 0 s.t. g( x ) 0
K T条件可写为
m l f ( x*) u j h j ( x*) i g i ( x*) 0 j 1 i 1 i gi ( x*) 0 , i 0, i 1 , 2 , , l
以下分情况讨论：
19
(1) 若 x1 x 2 0 :
由1 ( x1 x2 4) 0 可得1 0。
1 2 3 2 3
这与 2 0 矛盾。 ( 2) 若 x1 0 , x 2 0 : 3 0
x1 1 2 3 x 3 1 3 2 1 ( x1 x 2 4) 0 2 x1 0 3 x2 0 x1 x 2 4 0 1 , 2 , 3 , x1 , x 2 0
证明: 令 x' x t d , t 0。 则对任意的i I ( x ) , 有
gi ( x' ) gi ( x ) t gi ( x )T d o( || td ||2 ) t gi ( x )T d o( || td ||2 ) 0
x' Q , 即 d 为可行方向。
约束极值问题也可记为
min f ( x ) s.t. g( x ) 0
3
2 约束极值及最优性条件——Kuhn-Tucker 条件
（1）等式约束性问题的最优性条件 考虑 min f(x) s.t. h(x)=0 回顾高等数学中所学的条件极值： 问题 即： 求 z = f(x,y)极值，在ф(x,y)=0的条件下。 min f(x,y)
记 h( x ) ( h1 ( x ) , h2 ( x ) ,, hm ( x ) )T , g( x ) ( g1 ( x ) , g2 ( x ) ,, gl ( x ) )T ,
则约束极值问题可记为 min f ( x )
h( x ) 0 s .t . g( x ) 0
由K T条件及约束条件得
x1 1 2 3 x 3 1 3 2 1 ( x1 x 2 4) 0 2 x1 0 3 x2 0 x1 x 2 4 0 1 , 2 , 3 , x1 , x 2 0
( 3)
15
i gi ( x*) 0 , i 1 , 2 , , l i 0, i 1 , 2 , , l
i 0 , gi ( x*) 0 ; i 0 , gi ( x*) 0 ;
定理4(K-T条件): 设 x* Q，f ( x ) 和 gi ( x ) ( i I ( x*) ) 在x * 处 可 微 ，
g2 ( x*) g1 ( x ) 0
g1 ( x*)
g2 ( x ) 0
x*
f ( x*)
则 存在1 ， 2 0 , 使得 f ( x*) 1g1 ( x*) 2g2 ( x*)。
14

f ( x*) 1g1 ( x*) 2g2 ( x*) 0。
11
3. K T 条件（库恩 塔克条件）
设I ( x*) 是 其 积 极 约 束 指 标 , 集 点 x *是约束极值问题 (1) 的局部极小点 ,则在点 x*处不存在下降方向 d。
则由定理 2可 知 ， 不 存 在 向 量 d， 使 下 式 成 立 g i ( x*)T d 0 T f ( x *) d0 i I ( x*) 。
若x*是其的最优解 , 则存在υ*∈ Rl 使
f ( x * )
* h ( x )0 * j j j 1
5
l
f ( x )
*
* * h ( x j j )0 j 1
l
几何意义：考虑一个约束的情况：
f ( x* )
f ( x' )
x'
h( x )
g1 ( x*) g1 ( x ) 0
x*
f ( x*)
则有
f ( x*) g1 ( x*) , 0。
即
f ( x*) g1 ( x*) 0。
13
( 2) 如果 I ( x*)中有两个指标，不妨设g1 ( x )和 g2 ( x )为积极约束。 并设g1 ( x*)和g2 ( x*)线性无关。
(3) 一般情况：设{gi ( x*) | i I ( x*) } 线性无关。 则存在非负实数i ( i I ( x*) ), 使得
f ( x*)
iI ( x*)
g ( x*) 0
i i
( 2)
( 2) 式可改写为
l f ( x*) i gi ( x*) 0 i 1 i gi ( x*) 0 , i 0, i 1 , 2 , , l
则 向 量d 是 点 x 处 的 可 行 下 降 方 向 。
证略
③极值点的必要条件: 定理3:
设 x* Q， I ( x*)是其积极约束指标集。
f ( x) 和 gi ( x) (i I ( x*)) 在点x * 处可微，
gi ( x ) (i I ( x*) ) 在点x * 处连续。
如 果 x * 是约 束极 值问 题 (1)的局 部极 小点 ，则在 点 x * 处没 有可 行下 降方向 。
()
17
K T点的计算
2 2 m in f ( x ) x x 6 x1 6 x2 8 1 2 例: 求约束极值问题 x1 x2 4 s.t . x1 0 x 0 2
的 K T 点。
解： f ( x ) 2[ x1 3 , x2 3 ]T 。
第八讲 约束非线性规划
约束极值及最优性条件
等式约束 不等式约束 一般约束问题
约束极值问题的算法
外点法 内点法 乘子法
1
一 、约束极值问题的最优性条件i ( x ) 0 i 1 , 2 ,, m s .t . g j ( x ) 0 j 1 , 2 , , l
2 例: 设 g1 ( x ) 2 x12 x2 0 , g2 ( x ) x12 x2 1 0,
g3 ( x ) x1 0。 令x(
2 2 T , ) ， 求 点x 的 积 极 约 束 指 标 集 。 2 2
2 2 2 0, 解： g1 ( x ) 2 ( ) 2 2 2 2 2 2 g2 ( x ) ( ) ( ) 1 0 , 2 2
s.t.
ф(x,y)=0
引入Lagrange乘子：λ Lagrange函数 L(x,y;λ)= f(x,y)+ λ ф(x,y)
4
若( x * , y * )是 条 件 极 值 ， 则 存 在 *， 使 得 f ( x * , y * ) * ( x * , y * ) 0 x x * * * * * f y(x , y ) y(x , y ) 0 ( x * , y * ) 0 推 广 到 多 元 情 况 ， 可到 得对 于 等 式 约 束 的 情： 况 m i n f ( x ) 分 量 形 式 ： s.t. h j ( x ) 0, j 1,2, , l