运筹学第15讲 约束最优化方法 (1)

一、解线性约束问题的可行方向法
⎧ min f ( x) ⎪ ⎪s.t. Ax ≥ b 问题：（P） ⎨ m m 秩 = ∈ ∈ , , , A E A m b R e R ⎪ Ex = e m×n l ×n ⎪ x≥0 ⎩ 可行集：S = {x | Ax ≥ b, Ex = e, x ≥ 0}.
第六章
g2(x)=0 x* g1(x)=0
第六章
g1(x*)=0, g1为起作用约束
第六章
6.1 Kuhn-Tucker 条件
二、不等式约束问题的Khun-Tucker条件： （续） 若x*在R的内部，则▽f(x*)=0,可求出x*. 若x*在R的边界上， 情况1：在x*处有一个起作用约束。不妨设x*位于第一个 约束形成的可行域边界上，即设g1(x*)=0
< 寻找下降可行方向： 定理 1：设 其中 x 是可行解，在
1 2
6.2 可行方向法
一、解线性约束问题的可行方向法 （续）
d x 处有 A 1 x = b 1,A
2
x > b2,
⎛ A A = ⎜ ⎜A ⎝
⎞ ⎛ b1 ⎟ ⎜ ， b = ⎟ ⎜b ⎠ ⎝ 2
⎞ ⎟ ⎟ 。则非零向量 ⎠
d 为 x 处的下降可行
◊ 若 ( fgh )为凸规划 , 则 x ∗ − l .opt . ⇔ x ∗ 是 K − T 点。
第六章
6.2 可行方向法
基本思想：从可行点出发，沿下降可行方向作搜索，求出目标函数下降的 新的可行点。 主要步骤：选择搜索方向和确定沿此方向移动的步长。 搜索方向的选择方式不同形成不同的可行方向法。 Zoutendijk可行方向法：核心是通过求解线性规划问题确定目标函数在一 点的搜索方向。
第 六 章
约束最优化方法
第六章 约束最优化方法
问题 min f(x) s.t. g(x) ≥ 0 h(x)=0 约束集 S={x|g(x) ≥ 0 , h(x)=0}
问题： （1）最优解不一定在S的顶点 （2）约束问题迭代法运用困难，需在下降可行方向找 新的可行点。 介绍两类最优化方法： （1）把约束极值问题转化为无约束极值问题来求解的 方法。如内点法、外点法。 （2）对约束极值问题不预先作转化，直接进行处理的 方法。如可行方向法。
第六章 约束最优化方法
6.1 Kuhn-Tucker 条件
一、等式约束性问题的最优性条件： 考虑 min f(x) s.t. h(x)=0 回顾高等数学中所学的条件极值： 问题 求z=f(x,y) 在ф(x,y)=0 条件下的极 值。 即 min f(x,y) S.t. ф(x,y)=0 引入Lagrange乘子：λ
)
6.1 Kuhn-Tucker 条件 二、不等式约束问题的Khun-Tucker条件： （续）
⎧ min f ( x1 , x 2 ) = ( x1 − 3 ) 2 + ( x 2 − 2 ) 2 ⎪ ⎪ s .t . 2 2 = − − ( , ) g x x x x 1 1 2 1 2 + 5 ≥ 0 ...( 1 ) ⎪ ⎨ g 2 ( x 1 , x 2 ) = − x 1 − 2 x 2 + 4 ≥ 0 ...( 2 ) ⎪ g 3 ( x 1 , x 2 ) = x 1 ≥ 0 ...( 3 ) ⎪ ⎪ g 4 ( x 1 , x 2 ) = x 2 ≥ 0 ...( 4 ) ⎩
▽h(x*) ▽h(x )
x
h(x)=0 这里 x* ---l.opt. -▽f(x*)与 ▽h(x*) 共线方向相反，
-▽f(x*)
-▽f(x )
而x非l.opt. ▽f(x)与▽h(x )不共线。
第六章
6.1 Kuhn-Tucker 条件
二、不等式约束问题的Khun-Tucker条件： （续） 在x* ： ▽f(x*)-u* ▽g1(x*)=0 u*>0 情况2：若x*处有两个起作用约束。不妨设g1(x*)= g2(x*)=0， 则▽f(x*)必处于▽g1(x*) 和▽g2(x*)的夹角之内，否则点x*处有 下降可行方向，矛盾。 又若▽g1(x*) ，▽g2(x*)线性无关 则存在u1 *≥0, u2 *≥0使▽f(x*)-u1* ▽g1(x*) –u2* ▽g2(x*) =0
第六章
6.1 Kuhn-Tucker 条件
一、等式约束性问题的最优性条件： (续) 若(x*,y*)是条件极值，则存在λ* ，使 fx(x*,y*)+ λ* фx (x*,y*) =0 fy(x*,y*)+ λ* фy(x*,y*) =0 Ф (x*,y*)=0 推广到多元情况，可得到对于(fh)的情况： min f(x) 分量形式： s.t. hj(x)=0 j=1,2, …,l 若x*是(fh)的l.opt. ,则存在υ*∈ Rl使
∗
∑v
j =1
l
∗ j
∇h j (x∗) = 0
如果还有 g i ( x )( i ∉ I ) 在 x ∗ 亦可微，那么
l m ⎧ ∗ ∗ ∗ ∗ ∗ ∇ f x − u ∇ g x − v ∇ h x ( ) ( ) ( )=0 ∑ ∑ j j i i ⎪ ⎪ j =1 i =1 ⎨ ∗ u i ≥ 0 ⎪ i = 1, 2 , L , m ∗ ∗ ⎪ ui gi (x ) = 0 ⎩
∇ f (x
*
) +
∑
l
υ
j=1
* j
wenku.baidu.com
∇ h
j
(x
*
) = 0
矩阵形式：
∇ f ( x
*
) +
∂ h ( x ∂ x
*
)
υ
*
=
0
6.1 Kuhn-Tucker 条件 二、不等式约束问题的Khun-Tucker条件： 考虑问题 min f(x) (fg) s.t. gi(x) ≥ 0 i=1,2, …,m 设 x*∈S={x|gi(x) ≥ 0 i=1,2, …,m} 令 I={i| gi(x*) =0 i=1,2, …,m} 称I为 x*点处的起作用集（紧约束集）。 如果x*是l.opt. ,对每一个约束函数来说，只有当它是起作用约 束时，才产生影响，如：
g3=0 x2 2 1 1
▽g2(x*)
第六章
例
-▽f(x*) (3,2)T
x* 2 3 g1=0
▽g1(x*)
4
g4=0 x1 g2=0
6.1 Kuhn-Tucker 条件 二、不等式约束问题的Khun-Tucker条件： （续）
在 x *点 ⎧ g 1 ( x1 , x 2 ) = 0 ⎨ ⎩ g 2 ( x1 , x 2 ) = 0
充要条件是
⎧ min ∇ f ( x ) T d ⎪ A 1d ≥ 0 ⎪ ⎨ Ed = 0 ⎪ ⎪ | d j |≤ 1 , j = 1 , L n ⎩ 0。
的目标函数最优值为
第六章
6.2 既约梯度法
显 然 d = 0 是 可 行 解 , 所 以 P1的 最 优 值 必 ≤ 0 。 1 o 若 目 标 函 数 的 最 优 值 < 0 , 则 d 为 ( P )的 下 降 可 行 方 向 ； 2 o 若 目 标 函 数 的 最 优 值 = 0， 则 x 为 K − T 点 。 < 确定一维搜索的步长： 设 x( k )是 可 行 解 , d ( k ) 为 下 降 可 行 方 向 , 求 λ k 使 x( k + 1 ) = x( k ) + λ k d ( k ) . ⎧ m in f ( x( k ) + λ d ( k ) ) ⎪ ⎪ s .t . A ( x( k ) + λ d ( k ) ) ≥ b λk满 足 : ⎨ ⎪ E ( x( k ) + λ d ( k ) ) = e ⎪ ⎩ λ ≥ 0 $ = b − A x( k ) , d $ = A d (k), 显 然 b $ < 0. 令b 2 2 2 利 用 定 理 1可 得 λ 的 上 限 λ m a x $i ⎧ b $ i < 0} ⎪ m in { $ | d = ⎨ di ⎪ +∞ ⎩ $< 0 d $≥ 0 d
m ⎧ ∗ ∇ f ( x ) − ∑ u i∗ ∇ g i ( x ∗ ) = 0 ⎪ i =1 ⎪ ⎪ u i* ≥ 0 i = 1, 2 , L , m ⎨ ⎪ ∗ i = 1 , 2 , L , m ( 互补松弛条件 ⎪u i g i ( x ∗ ) = 0 ⎪ ⎩ 满足 K − T 条件的点 x * 称 K − T 点。
方向的充要条件是 定理 2 ：设 x 是可行解，在
1 2
A 1 d ≥ 0 , Ed = 0 , ∇ f ( x ) T d < 0 。 x 处有 ⎞ ⎟ ⎟ 。则 ⎠ A 1 x = b 1,A
2
x > b2,
其中
⎛ A A = ⎜ ⎜A ⎝
⎞ ⎛ b1 ⎟ ⎜ ， b = ⎟ ⎜b ⎠ ⎝ 2
x 为 K - T 点的
2
⎛1 ⎞ (2) = ⎜ ⎜ 2 ⎟ ⎟ ⎝ ⎠
第六章
6.1 Kuhn-Tucker 条件
二、不等式约束问题的Khun-Tucker条件： （续）
m ⎧ ⎪ ∇ f ( x ) − ∑ u i∇ g i ( x ) = 0 i ⎪ u i ≥ 0 , i = 1,2 ,L , m → ⎨ ⎪ u ig i( x ) = 0 ⎪ ⎩
计算可得 ∇ f (x*) −
1 3
u 1* =
1 3 2 3
* u2 =
2 3
使
∇ g1(x∗) −
∇g2(x∗) = 0
用K-T条件求解：
⎛ 2 ( x1 − 3) ⎞ ∇ f (x) = ⎜ ⎟, ∇ ⎜ 2(x − 2)⎟ 2 ⎠ ⎝ ⎛ − 1⎞ ∇ g 3(x) = ⎜ ⎜ 0 ⎟ ⎟, ∇ g 4 = ⎝ ⎠ ⎛ 2 x1 g1(x) = ⎜ ⎜ 2x 2 ⎝ ⎛ 0 ⎞ ⎜ ⎜ − 1⎟ ⎟ ⎝ ⎠ ⎞ ⎟ ⎟, ∇ g ⎠
2 ( x1 − 3 ) − u 1 2 x1 − u 2 + u 3 = 0 L L ( 5 ) ⎧ ⎪ 2 ( x 2 − 2 ) − u1 2 x 2 − 2u 2 + u 4 = 0 L L (6 ) ⎪ ⎪ u1 , u 2 , u 3 , u 4 ≥ 0 ⎪ 2 − 5) = 0 L L (7 ) ⎨ u 1 ( x 12 + x 2 ⎪ u 2 ( x1 + 2 x 2 − 4 ) = 0 L L (8 ) ⎪ 10 个方程 , 6 个变量 u 3 x1 = 0 L L ( 9 ) ⎪ ⎪ u 4 x 2 = 0 L L (10 ) ⎩
∗
第六章
交点（
∗
T 2， 1）
起作用集
I = {1 , 2 }
∇ g 1 ( x ∗ ) = ( − 2 x1 ,− 2 x 2 ) T = ( − 4 ,− 2 ) T ∇ g 2 ( x ∗ ) = ( − 1, − 2 ) T
* ∇ f ( x * ) = ( 2 ( x 1* − 3 ), 2 ( x 2 − 2 )) T = ( − 2 , − 2 ) T
∗ ∗ ∗
第六章
6.1 Kuhn-Tucker 条件
三、一般约束问题的Kuhn-Tucker 条件 (续)
如果 x ∗ − l .opt .那么 ∃ u i∗ ≥ 0 , i ∈ I , v ∗j ∈ R , j = 1, 2 , L , l ∇f (x ) −
∗
∑u
i∈ I
∗ i
∇gi(x ) −
依次类推，可得：
∇ f (x*) −
∑
i
u i* ∇ g i ( x * ) = 0
为把不起作用约束也包括进去，可增加条件ui* gi(x*)=0 ,
ui* ≥0。对hi(x)=0,可用hi(x) ≥ 0 ，-hi(x) ≥ 0代替。
第六章
6.1 Kuhn-Tucker 条件
二、不等式约束问题的Khun-Tucker条件： （续） 定理（最优性必要条件）： （K-T条件） 问题(fg), 设S={x|gi(x) ≥ 0},x*∈S,I为x*点处的起作用集， 设f, gi(x) ,i ∈I在x*点可微， gi(x) ,i ∉ I在x*点连续。 向量组{▽gi(x*), i ∈I}线性无关。 如果x*----l.opt. 那么， ∃ u*i≥0, i ∈I使
第六章
6.1 Kuhn-Tucker 条件
三、一般约束问题的Kuhn-Tucker 条件
⎧ min f ( x) ⎪ ⎪ ( fgh)⎨s.t. gi ( x) ≥ 0 i = 1,2,L, m ⎪ ⎪ hj ( x) = 0 j = 1,2,L, l ⎩
定理：问题( fgh)，x∗ ∈ S = {x | gi (x) ≥ 0, hj (x) = 0}, I为起作用集 设gi ( x)(i ∈ I )在x∗可微 hj，（j = 1,2,L, l） , gi ( x)(i ∉ I )在x∗连续， 在x∗的某邻域内连续可微。 （CQ, 约束规格）。 向量组 {L，∇gi ( x )(i ∈ I ),L, ∇h1 ( x ),L, ∇hl ( x )}线性无关。