3不等式约束最优化问题的最优性条件
[最优化]不等式约束的优化问题求解
![[最优化]不等式约束的优化问题求解](https://img.taocdn.com/s3/m/9cd05016974bcf84b9d528ea81c758f5f61f29fd.png)
[最优化]不等式约束的优化问题求解不等式约束的优化问题求解与前⽂讨论的只含等式约束的优化问题求解类似，含不等式约束的优化问题同样可以⽤拉格朗⽇乘⼦法进⾏求解对于⼀般形式的优化问题：其中，引⼊下⾯两个定义：定义1：对于⼀个不等式约束，如果在处，那么称该不等式约束是处的起作⽤约束；如果在处，那么称该约束是处的不起作⽤约束。
按照惯例，总是把等式约束当作起作⽤的约束定义2：设满⾜，设为起作⽤不等式约束的下标集：如果向量 是线性⽆关的，那么称是⼀个正则点下⾯介绍某个点是局部极⼩点所满⾜的⼀阶必要条件，即KKT 条件。
KKT 条件：设，设是问题的⼀个正则点和局部极⼩点，那么必然存在和，使得以下条件成⽴：那么在求解不等式约束的最优化问题的时候，可以搜索满⾜KKT 条件的点，并将这些点作为极⼩点的候选对象。
⼆阶充分必要条件除了⼀阶的KKT 条件之外，求解这类问题还有⼆阶的充分必要条件。
⼆阶必要条件：在上述的问题中若是极⼩点且。
假设是正则点，那么存在和使得1. 2. 对于所有，都有成⽴⼆阶充分条件：假定，是⼀个可⾏点，存在向量和使得1. 2. 对于所有，都有成⽴那么是优化问题的严格局部极⼩点f(x)subject toh(x)=0g(x)≤0minimize f(x)subject to h(x)=0g(x)≤0f:Rn →R,h:Rn →Rm,m≤n,g:Rn →Rp f :→R,h :→,m ≤n,g :→R n R n R m R n R pgj(x)≤0(x)≤0g j x ∗x ∗gj(x ∗)=0()=0g j x ∗x ∗x ∗x ∗x ∗gj(x ∗)<0()<0g j x ∗x ∗x ∗hi(x)(x)h i x ∗x ∗h(x ∗)=0,g(x ∗)≤0h()=0,g()≤0x ∗x ∗J(x ∗)J()x ∗J(x ∗)≜{j:gj(x ∗)=0}J()≜{j :()=0}x ∗g j x ∗∇hi(x ∗),∇gj(x ∗),1≤i≤m,j ∈J(x ∗)∇(),∇(),1≤i ≤m,j ∈J()h i x ∗g j x ∗x ∗x ∗x ∗f,h,g ∈C1f,h,g ∈C 1x ∗x ∗h(x)=0,g(x)≤0h(x)=0,g(x)≤0λ∗∈Rm ∈λ∗R m µ∗∈Rp ∈µ∗R p Df(x ∗)+λ∗TDh(x ∗)+µ∗TDg(x ∗)=0Tµ∗Tg(x ∗)=0h(x ∗)=0g(x ∗)≤0≥0µ∗Df()+Dh()+Dg()=x ∗λ∗T x ∗µ∗T x ∗0Tg()=0µ∗T x ∗h()=0x ∗g()≤0x ∗x ∗x ∗f,h,g ∈C2f,h,g ∈C 2x ∗x ∗λ∗∈Rm ∈λ∗R m µ∗∈Rp ∈µ∗R p µ∗≥0,Df(x ∗)+λ∗TDh(x ∗)+µ∗TDg(x ∗)=0T,µ∗Tg(x ∗)=0≥0,Df()+Dh()+Dg()=,g()=0µ∗x ∗λ∗T x ∗µ∗T x ∗0T µ∗T x ∗y ∈T(x ∗)y ∈T ()x ∗yTL(x ∗,λ∗,µ∗)y≥0L(,,)y ≥0y T x ∗λ∗µ∗f,h,g ∈C2f,h,g ∈C 2x ∗∈Rn ∈x ∗R n λ∗∈Rm ∈λ∗R m µ∗∈Rp ∈µ∗R p µ∗≥0,Df(x ∗)+λ∗TDh(x ∗)+µ∗TDg(x ∗)=0T,µ∗Tg(x ∗)=0≥0,Df()+Dh()+Dg()=,g()=0µ∗x ∗λ∗T x ∗µ∗T x ∗0T µ∗T x ∗y ∈T~(x ∗,µ∗),y≠0y ∈(,),y ≠0T˜x ∗µ∗yTL(x ∗,λ∗,µ∗)y>0L(,,)y >0y T x ∗λ∗µ∗x ∗x ∗h(x)=0,g(x)≤0h(x)=0,g(x)≤0。
约束最优化问题的最优性条件
ci ( x ) ≥ 0
i ∈ I = {l + 1, , m}
一阶必要条件
定理6: (Kuhn-Tucker一阶必要条件)
*
I * = i ci x * = 0, i ∈ I ; 设 x 为问题(3)的局部最优解, f ( x ), ci ( x ) (1 ≤ i ≤ m ) 在 x * 点可微, 对于i ∈ E ∪ I *
*
λ f (x ) ∑ λ ci (x ) = 0
m * 0 *
λ c (x ) = 0 i = 1,2, , m
* i i *
i =1
* i
*
λ ≥ 0 i = 0,1,2, , m
* i
例2: 验证是否满足Fritz-John条件:
min f ( x1 , x2 ) = x1 s.t
*
3 c1 ( x1 , x2 ) = x1 x2 ≥ 0
* 则存在一组不全为零的实数 λ1 , λ* , λ* 使得: 2 l
f x * ∑ λ*ci x * = 0 i
i =1
( )
l
( )
二阶充分条件
定理2: 对等式约束问题,若: (1) f ( x ) 与 ci ( x )(1 ≤ i ≤ l ) 是二阶连续可微函数; (3) s ∈ R n且 s ≠ 0 , 且 s T ci (x * ) = 0 , i = 1,2, l 均有 s T 2 L (x * , λ* )s > 0 xx 则 x* 是等式约束问题的严格局部极小点. (2) x * ∈ R n 与 λ* ∈ R l 使: L(x* , λ* ) = 0 ;
{ ( ) }
的ci (x * ) 线性无关, 则存在非零向量 * λ* = (λ1 , , λ* ) 使得: m
第四章约束问题的最优化方法
当limr(k) 0 k
则(x, r(k) ) f (x) , xk * x *
例： 用内点法求
min
f
(x)
x2 1
x2 2
s.t. g( x) 1 x1 0 的约束最优解。
解:
首先构造内点惩罚函数: (
x,
r)
x2 1
x2 2
rk
ln(x1
1)
用解析法求函数的极小值，运用极值条件：
二. 直接解法：
基本思想：合理选择初始点，确定搜索方向，以迭代公式 x(k+1)= x(k)+α(k)S(k)在可行域中寻优，经过若干次迭代，收敛至最优点。 适用范围：只能求解不等式约束优化问题的最优解。
基本要点：选取初始点、确定搜索方向及适当步长。
搜索原则：每次产生的迭代点必须满足可行性与适用性两个条件。 可行性：迭代点必须在约束条件所限制的可行域内，即满足
1
u1 gu (x)
② .(x, r(k) )
m
f (x) r(k)
1
u1 gu (x)
③ .(x, r (k) )
f (x)
m
r (k) u u 1
1 gu (x)
其中：gu (x) 0,u 1,2,...m
其中：gu (x) 0,u 1,2,...m
gu(x)0, u=1,2,…,p
适用性：当前迭代点的目标函数值较前一点是下降的，即满足 F(xk+1)<F(xk)
收敛条件：
• 边界点的收敛条件应该符合 K-T 条件；
• 内点的收敛条件为： xk1 xk 1
和
最优化方法4-1第四章 约束最优化方法-KKT条件
(II) f(x)和 c i (x)（i∈I*）在 x*点可微；
（III）c i (x)（i∈I\ I*）在 x*点连续
则 S={p∈Rn | ▽f(x*)Tp<0}
与 G={ p∈Rn |▽c i(x* )Tp>0, i∈I*} 的交是空集，
（iii）▽ci(x*)(i=1,2,…,l)线性无关；
则存在一组不全为零的实数 1*… l*使得
l
▽f(x*)- i *▽c i(x*)=0 1
定义 n+l 元函数：
l
L(x, )=f(x)- Tc(x)=f(x)- ici(x) i1 为 lagrange 函数，
1
1 2
x1 x2 1 0
的 KT 点为 x* (0, 3)T,相应乘子为* (1 ,0)T。
6
例 2：验证(2,1)T 为下面约束优化问题的 K-T 点.
min
f ( x1 , x2 ) ( x1 3)2 ( x2 2)2
恰好给出等式约束问题的一阶必要条件
及 c i(x*)=0，i=1, …,l
点（X*, *）称为 lagrange 函数 L（x, ）的驻点。
几何意义是明显的：考虑一个约束的情况：
-▽f(x*)
-▽f(x ) x
▽c(x )
c(x)
▽c(x*)
这里 x* 是局部最优解，
▽f(x*)与▽c(x*) 共线，
称 为 lagrange 乘子向量。
lagrange 函数的梯度为
▽L(x, )=(▽xL,▽ L)T
最优化理论第四章约束问题最优性条件
定理4.2
设x* s, f ( x), g i ( x), (i I )在x*可微，g i ( x), (i I )在x *连续，
如果x*是问题 2 的局部最优解，则F0 G0 =。 （证明从略）
2.2 定理4.3 （Fritz，John条件）
* 设x* s，I i g i ( x* ) 0 ，f , g i (i I )在x*处可微，g （ i i I）在x 处连续，
第
四
章
约束问题的最优性 条件（P206）
min f(x) 约束优化： s.t. gi (x) 0, h ( x) 0, j
x Rn i 1,..., m j 1,..., l
s x gi ( x) 0, i 1,..., m; h j ( x), j 1,..., l
iI
①K-T条件
* 进一步条件，若g（ i I ）在 x 处可微，K-T条件为： i m （ f x*） - wi gi ( x* ) 0 ② i 1 ② * m n方程组 wi gi ( x ) 0, i 1,..., m ③ ③ ④ wi 0, i 1,..., m * 给定x ，验证是否符合K-T条件用① 应用 * x 未定，求解K-T点，求解② +③
2.4
定理4.5 （约束问题最优解的一阶充分条件）
问题（2）中，f 是凸函数，g （ ）是凹函数，s为可行域，x* s, i i 1,..., m I i gi ( x* ) 0 , f 和gi (i I )在点x*可微，gi (i I )在点x*连续，且在x*处 K - T 条件成立，则x*为全局最优解。 x 1， 0 为全局最优解（例子）
《最优化方法》课程复习考试
《最优化方法》复习提要 第一章 最优化问题与数学预备知识§1. 1 模型无约束最优化问题 12min (),(,,,)T n n f x x x x x R =∈．约束最优化问题（},,2,1,0)(;,,2,1,0)(,|{l j x h m i x g R x x S j i n ===≥∈=∧）min ();...f x s t x S ⎧⎨∈⎩ 即 m i n ();..()0,1,2,,,()0,1,2,,.i j f x s t g x i m h x j l ⎧⎪≥=⎨⎪==⎩其中()f x 称为目标函数，12,,,n x x x 称为决策变量，S 称为可行域，()0(1,2,,),()0(1,2,,)i j g x i m h x j l ≥===称为约束条件．§1. 2 多元函数的梯度、Hesse 矩阵及Taylor 公式定义 设:,n n f R R x R →∈．如果n ∃维向量p ，n x R ∀∆∈，有()()()T f x x f x p x o x +∆-=∆+∆．则称()f x 在点x 处可微，并称()T df x p x =∆为()f x 在点x 处的微分．如果()f x 在点x 处对于12(,,,)T n x x x x =的各分量的偏导数(),1,2,,if x i n x ∂=∂都存在，则称()f x 在点x 处一阶可导，并称向量12()()()()(,,,)Tnf x f x f x f x x x x ∂∂∂∇=∂∂∂ 为()f x 在点x 处一阶导数或梯度．定理1 设:,n n f R R x R →∈．如果()f x 在点x 处可微，则()f x 在点x 处梯度()f x ∇ 存在，并且有()()T df x f x x =∇∆．定义 设:,n n f R R x R →∈．d 是给定的n 维非零向量，de d=．如果 0()()lim()f x e f x R λλλλ→+-∈存在，则称此极限为()f x 在点x 沿方向d 的方向导数，记作()f x d∂∂． 定理2 设:,n n f R R x R →∈．如果()f x 在点x 处可微，则()f x 在点x 处沿任何非零方向d 的方向导数存在，且()()T f x f x e d ∂=∇∂，其中de d=． 定义 设()f x 是n R 上的连续函数，n x R ∈．d 是n 维非零向量．如果0δ∃>，使得(0,)λδ∀∈，有()f x d λ+<（>）()f x ．则称d 为()f x 在点x 处的下降（上升）方向．定理3 设:,n n f R R x R →∈，且()f x 在点x 处可微，如果∃非零向量n d R ∈，使得()T f x d ∇<（>）0，则d 是()f x 在点x 处的下降（上升）方向． 定义 设:,n n f R R x R →∈．如果()f x 在点x 处对于自变量12(,,,)T n x x x x =的各分量的二阶偏导数2()(,1,2,,)i j f x i j n x x ∂=∂∂都存在，则称函数()f x 在点x 处二阶可导，并称矩阵22221121222222122222212()()()()()()()()()()n n n n n f x f x f x x x x x x f x f x f x f x x x x x x f x f x f x x x x x x ⎛⎫∂∂∂ ⎪∂∂∂∂∂ ⎪ ⎪∂∂∂ ⎪∇=∂∂∂∂∂ ⎪ ⎪⎪ ⎪∂∂∂⎪∂∂∂∂∂⎝⎭为()f x 在点x 处的二阶导数矩阵或Hesse 矩阵． 定义 设:,n m n h R R x R →∈，记12()((),(),,())T m h x h x h x h x =，如果 ()(1,2,,)i h x i m =在点x 处对于自变量12(,,,)T n x x x x =的各分量的偏导数()(1,2,,;1,2,,)i jh x i m j n x ∂==∂都存在，则称向量函数()h x 在点x 处是一阶可导的，并且称矩阵111122221212()()()()()()()()()()n n m n m m m n h x h x h x xx x h x h x h x x x x h x h x h x h x xx x ⨯∂∂∂⎛⎫ ⎪∂∂∂⎪⎪∂∂∂⎪∂∂∂∇= ⎪ ⎪⎪∂∂∂ ⎪ ⎪∂∂∂⎝⎭为()h x 在点x 处的一阶导数矩阵或Jacobi 矩阵，简记为()h x ∇．例2 设,,n n a R x R b R ∈∈∈，求()T f x a x b =+在任意点x 处的梯度和Hesse 矩阵．解 设1212(,,,),(,,,)TTn n a a a a x x x x ==，则1()nk k k f x a x b ==+∑，因()(1,2,,)k kf x a k n x ∂==∂，故得()f x a ∇=．又因2()0(,1,2,,)i jf x i j n x x ∂==∂∂，则2()f x O ∇=．例3 设n n Q R ⨯∈是对称矩阵，,n b R c R ∈∈，称1()2TT f x x Qx b x c =++为二次函数，求()f x 在任意点x 处的梯度和Hesse 矩阵．解 设1212(),(,,,),(,,,)T T ij n n n n Q q x x x x b b b b ⨯===，则121111(,,,)2n nnn ij i j k k i j k f x x x q x x b x c ====++∑∑∑，从而111111111()()()nn j j j j j j n n n nj j n nj j j j n f x q x b q x x bf x Qx b f x b q x b q x x ====⎛⎫⎛⎫∂⎛⎫+ ⎪ ⎪ ⎪∂⎛⎫ ⎪ ⎪⎪ ⎪ ⎪ ⎪ ⎪∇===+=+ ⎪ ⎪ ⎪ ⎪ ⎪∂⎝⎭ ⎪ ⎪ ⎪+ ⎪ ⎪ ⎪∂⎝⎭⎝⎭⎝⎭∑∑∑∑．再对1()(1,2,,)nij j i j i f x q x b i n x =∂=+=∂∑求偏导得到2()(,1,2,,)ij i jf x q i j n x x ∂==∂∂，于是1112121222212()n n n n nn q q q q q q f x Q q q q ⎛⎫⎪ ⎪∇== ⎪⎪⎝⎭． 例 4 设()()t f x td ϕ=+，其中:n f R R →二阶可导，,,n n x R d R t R ∈∈∈，试求(),()t t ϕϕ'''．解 由多元复合函数微分法知 2()(),()()T T t f x td d t d f x td d ϕϕ'''=∇+=∇+． 定理4 设:,n n f R R x R →∈，且()f x 在点x 的某邻域内具有二阶连续偏导数，则()f x 在点x 处有Taylor 展式21()()()(),(01)2T T f x x f x f x x x f x x x θθ+∆=+∇∆+∆∇+∆∆<<．证明 设()(),[0,1]t f x t x t ϕ=+∆∈，则(0)(),(1)()f x f x x ϕϕ==+∆．按一元函数Taylor 公式()t ϕ在0t =处展开，有21()(0)(0)(),(0)2t t t t ϕϕϕϕθθ'''=++<<．从例4得知2(0)(),()()()T T f x x x f x x x ϕϕθθ'''=∇∆=∆∇+∆∆．令1t =，有21()()()(),(01)2T T f x x f x f x x x f x x x θθ+∆=+∇∆+∆∇+∆∆<<．根据定理1和定理4，我们有如下两个公式()()()()()T f x f x f x x x o x x =+∇-+-，221()()()()()()()()2T T f x f x f x x x x x f x x x o x x =+∇-+-∇-+-．§1. 3 最优化的基本术语定义 设:n f R R →为目标函数，n S R ⊆为可行域，x S ∈．（1） 若x S ∀∈，都有()()f x f x ≥，则称x 为()f x 在S 上的全局（或整体）极小点，或者说，x 是约束最优化问题min ()x Sf x ∈的全局（或整体）最优解，并称()f x为其最优值．（2） 若,x S x x ∀∈≠，都有()()f x f x >，则称x 为()f x 在S 上的严格全局（或整体）极小点．（3） 若x ∃的δ邻域(){}(0)n N x x R x x δδδ=∈-<>使得()x N x S δ∀∈，都有()()f x f x ≥，则称x 为()f x 在S 上的局部极小点，或者说，x 是约束最优化问题min ()x Sf x ∈的局部最优解．（4） 若x ∃的δ邻域()(0)N x δδ>使得(),x N x S x x δ∀∈≠，都有()()f x f x >，则称x 为()f x 在S 上的严格局部极小点．第二章 最优性条件§2.1 无约束最优化问题的最优性条件定理 1 设:n f R R →在点x 处可微，若x 是问题min ()f x 的局部极小点，则()0f x ∇=．定义 设:()n f S R R ⊆→在int x S ∈处可微，若()0f x ∇=，则称x 为()f x 的平稳点．定理2 设:n f R R →在点x 处具有二阶连续偏导数，若x 是问题min ()f x 的局部极小点，则()0f x ∇=，且2()f x ∇半正定．定理3 设:n f R R →在点x 处具有二阶连续偏导数，若()0f x ∇=，且2()f x ∇正定，则x 是问题min ()f x 的严格局部极小点． 注：定理2不是充分条件，定理3不是必要条件．例1 对于无约束最优化问题2312min ()f x x x =-，其中212(,)T x x x R =∈，显然 2212()(2,3),T f x x x x R ∇=-∀∈，令()0f x ∇=，得()f x 的平稳点(0,0)T x =，而且2222020(),()0600f x f x x ⎛⎫⎛⎫∇=∇= ⎪ ⎪-⎝⎭⎝⎭．易见2()f x ∇为半正定矩阵．但是，在x 的任意δ邻域x x δ-<，总可以取到(0,)2T x δ=，使()()f x f x <，即x 不是局部极小点．例2 对于无约束最优化问题42241122min ()2f x x x x x =++，其中212(,)T x x x R =∈， 易知3223112122()(44,44)Tf x x x x x x x ∇=++，从而得平稳点(0,0)T x =，并且 22221212221212001248(),()008412x x x x f x f x x x x x ⎛⎫+⎛⎫∇=∇=⎪ ⎪+⎝⎭⎝⎭． 显然2()f x ∇不是正定矩阵．但是，22212()()f x x x =+在x 处取最小值，即x 为严格局部极小点．例3 求解下面无约束最优化问题332122111min ()33f x x x x x =+--，其中212(,)T x x x R =∈， 解 因为21212222201(),()0222x x f x f x x x x ⎛⎫-⎛⎫∇=∇= ⎪ ⎪--⎝⎭⎝⎭，所以令()0f x ∇=，有2122210,20.x x x ⎧-=⎪⎨-=⎪⎩解此方程组得到()f x 的平稳点(1)(2)(3)(4)1111,,,0202x x x x --⎛⎫⎛⎫⎛⎫⎛⎫==== ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭⎝⎭．从而2(1)2(2)2020(),()0202f x f x ⎛⎫⎛⎫∇=∇= ⎪ ⎪-⎝⎭⎝⎭，2(3)2(4)2020(),()0202f x f x --⎛⎫⎛⎫∇=∇= ⎪ ⎪-⎝⎭⎝⎭．由于2(1)()f x ∇和2(4)()f x ∇是不定的，因此(1)x 和(4)x 不是极值点．2(3)()f x ∇是负定的，故(3)x 不是极值点，实际上它是极大点．2(2)()f x ∇是正定的，从而(2)x 是严格局部极小点．定理4 设:n f R R →是凸函数，且()f x 在点n x R ∈处可微，若()0f x ∇=，则x 为min ()f x 的全局极小点．推论5 设:n f R R →是凸函数，且()f x 在点n x R ∈处可微．则x 为min ()f x 的全局极小点的充分必要条件是()0f x ∇=． 例 4 试证正定二次函数1()2TT f x x Qx b x c =++有唯一的严格全局极小点1x Q b -=-，其中Q 为n 阶正定矩阵．证明 因为Q 为正定矩阵，且(),n f x Qx b x R ∇=+∀∈，所以得()f x 的唯一平稳点1x Q b -=-．又由于()f x 是严格凸函数，因此由定理4知，x 是()f x 的严格全局极小点．§2.2 等式约束最优化问题的最优性条件定理1 设:n f R R →在点x 处可微，:(1,2,,)n j h R R j l →=在点x 处具有一阶连续偏导数，向量组12(),(),,()l h x h x h x ∇∇∇线性无关．若x 是问题min ();..()0,1,2,,j f x s t h x j l ⎧⎨==⎩的局部极小点，则,1,2,,j v R j l ∃∈=，使得1()()0lj j j f x v h x =∇-∇=∑．称(,)()()T L x v f x v h x =-为Lagrange 函数，其中12()((),(),,())T l h x h x h x h x =．称12(,,,)T l v v v v =为Lagrange 乘子向量．易见(,)x v L L x v L ∇⎛⎫∇= ⎪∇⎝⎭，这里1(,)()(),(,)()lx j j v j L x v f x v h x L x v h x =∇=∇-∇∇=-∑．定理 2 设:n f R R →和:(1,2,,)n j h R R j l →=在点n x R ∈处具有二阶连续偏导数，若l v R ∃∈，使得(,)0x L x v ∇=，并且，,0n z R z ∀∈≠，只要()0,1,2,,T j z h x j l ∇==，便有2(,)0T xx z L x v z ∇>，则x 是问题min ();..()0,1,2,,j f x s t h x j l ⎧⎨==⎩的严格局部极小点．例1 试用最优性条件求解 221212min ();..()80.f x x x s t h x x x ⎧=+⎨=-=⎩解 Lagrange 函数为221212(,)(8)L x v x x v x x =+--，则1221122(,)2(8)x vx L x v x vx x x -⎛⎫⎪∇=- ⎪ ⎪--⎝⎭， 从而得(,)L x v 的平稳点(8,8,2)T 和(8,8,2)T --，对应有(8,8),2T x v ==和(8,8),2T x v =--=．由于221222(,),()222xx x v L x v h x x v--⎛⎫⎛⎫⎛⎫∇==∇= ⎪⎪ ⎪--⎝⎭⎝⎭⎝⎭． 因此1212(){(,)|(,)()0}T M x z z z z h x =∇=121221{(,)|0}T z z z x z x =+= 1212{(,)|}T z z z z ==-．并且(),0z M x z ∀∈≠，有222211221(,)24280T xx z L x v z z z z z z ∇=-+=>．利用定理2，所得的两个可行点(8,8)T x =和(8,8)T x =--都是问题的严格局部极小点．§2.3 不等式约束最优化问题的最优性条件定义 设,,,0n n S R x clS d R d ⊆∈∈≠，若0δ∃>，使得，,(0,)x d S λλδ+∈∀∈， 则称d 为集合S 在点x 处的可行方向． 这里{|,(),0}n clS x x R SN x δδ=∈≠∅∀>．令 {|0,0,,(0,)}D d d x d S δλλδ=≠∃>+∈∀∈使，0{|()0}T F d f x d =∇<．定理 1 设n S R ⊆是非空集合，:,,()f S R x S f x →∈在点x 处可微．若x 是问题min ()x Sf x ∈的局部极小点，则 0F D =∅．对于min ();..()0,1,2,,,i f x s t g x i m ⎧⎨≥=⎩ （1）其中:,:(1,2,,)n n i f R R g R R i m →→=．令(){|()0,1,2,,}i I x i g x i m ===，其中x 是上述问题（1）的可行点．定理 2 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x 处连续，如果x 是问题（1）的局部极小点，则 00F G =∅，其中0{|()0,()}T i G d g x d i I x =∇>∈．定理 3 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x 处连续，若x 是问题（1）的局部极小点，则存在不全为0的非负数0,(())i u u i I x ∈，使0()()()0iii I x u f x u g x ∈∇-∇=∑． （x 称为Fritz John 点）如果()(())i g x i I x ∉在点x 处也可微，则存在不全为0的非负数01,,,m u u u ，使01()()0,()0,1,2,,.mi i i i iu f x u g x u g x i m =⎧∇-∇=⎪⎨⎪==⎩∑ （x 称为Fritz John 点） 例1 设1311222min ();..()(1)0,()0.f x x s t g x x x g x x =-⎧⎪=--≥⎨⎪=≥⎩试判断(1,0)T x =是否为Fritz John 点． 解 因为12100(),(),()011f x g x g x -⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭，且(){1,2}I x =，所以为使Fritz John 条件01210000110u u u -⎛⎫⎛⎫⎛⎫⎛⎫--= ⎪ ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭⎝⎭成立，只有00u =才行．取0120,0u u u α===>即可，因此x 是Fritz John 点．定理 4 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x 处连续，并且()(())i g x i I x ∇∈线性无关．若x 是问题（1）的局部极小点，则存在0(())i u i I x ≥∈，使得()()()0iii I x f x u g x ∈∇-∇=∑． （x 称为K-T 点）如果()(())i g x i I x ∉在点x 处也可微，则存在0(1,2,,)i u i m ≥=，使得1()()0,()0,1,2,,.mi i i i if x ug x u g x i m =⎧∇-∇=⎪⎨⎪==⎩∑ （x 称为K-T 点） 例2 求最优化问题21211222min ()(1);..()20,()0f x x x s t g x x x g x x ⎧=-+⎪=--+≥⎨⎪=≥⎩的K-T 点． 解 因为1122(1)10(),(),()111x f x g x g x --⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭，所以K-T 条件为111211222122(1)0,10,(2)0,0,0,0.x u u u u x x u x u u -+=⎧⎪+-=⎪⎪--+=⎨⎪=⎪⎪≥≥⎩ 若20u =，则11u =-，这与10u ≥矛盾．故20u >，从而20x =；若120x -+=，则12u =-，这与10u ≥矛盾．故10u =，从而211,1u x ==； 由于120,0u u ≥≥，且(1,0)T x =为问题的可行点，因此x 是K-T 点． 定理5 设在问题（1）中，()f x 和()(1,2,,)i g x i m -=是凸函数，x 是可行点，并且()f x 和()(())i g x i I x ∈在点x 处可微．若x 是问题（1）的K-T 点，则x 是问题（1）的全局极小点．§2.4 一般约束最优化问题的最优性条件考虑等式和不等式约束最优化问题min ();..()0,1,2,,,()0,1,2,,,i j f x s t g x i m h x j l ⎧⎪≥=⎨⎪==⎩（1） 其中:,:(1,2,,),:(1,2,,)n n n i j f R R g R R i m h R R j l →→=→=．并把问题（1）的可行域记为S ．,(){|()0,1,2,,}i x S I x i g x i m ∀∈==．定理 1 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l =在点x 处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续，并且向量组12(),(),,()l h x h x h x ∇∇∇线性无关．若x 是问题（1）的局部极小点，则 00F G H =∅，这里0{|()0}T F d f x d =∇<，0{|()0,()}T i G d g x d i I x =∇>∈，0{|()0,1,2,,}T j H d h x d j l =∇==．定理 2 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l =在点x 处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续．若x 为问题（1）的局部极小点，则存在不全为0的数0,(())i u u i I x ∈和(1,2,,)j v j l =，且0,0(())i u u i I x ≥∈，使0()1()()()0liijji I x j u f x u g x v h x ∈=∇-∇-∇=∑∑． （x 称为Fritz John 点）若()(())i g x i I x ∉在点x 处也可微，则存在不全为0的数0,(1,2,,)i u u i m =和(1,2,,)j v j l =，且0,0(1,2,,)i u u i m ≥=，使011()()()0,()0,1,2,,.m li i j j i j i iu f x u g x v h x u g x i m ==⎧∇-∇-∇=⎪⎨⎪==⎩∑∑ （x 称为Fritz John 点）例1 设2212311222212min ();..()0,()0,()(1)0.f x x x s t g x x x g x x h x x x ⎧=+⎪=-≥⎪⎨=≥⎪⎪=--+=⎩试判断(1,0)T x =是否为Fritz John 点．解 (){2}I x =，且2200(),(),()011f x g x h x ⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭，且(){1,2}I x =，因此为使Fritz John 条件022*******u u v ⎛⎫⎛⎫⎛⎫⎛⎫--= ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭⎝⎭成立，只有00u =才行．所以取020,1,1u u v ===-，即知x 是Fritz John 点．定理 3 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l =在点x 处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续，且向量组()(()),()(1,2,,)i j g x i I x h x j l ∇∈∇=线性无关．若x 是问题（1）的局部极小点，则存在数0(())i u i I x ≥∈和(1,2,,)j v j l =，使()1()()()0liijji I x j f x u g x v h x ∈=∇-∇-∇=∑∑． （x 称为K-T 点）如果()(())i g x i I x ∉在点x 处也可微，则存在数0(1,2,,)i u i m ≥=和(1,2,,)j v j l =，使11()()()0,()0,1,2,,.m li i j j i j i if x ug x vh x u g xi m ==⎧∇-∇-∇=⎪⎨⎪==⎩∑∑ （x 称为K-T 点） 令 1212()((),(),,()),()((),(),,())T T m l g x g x g x g x h x h x h x h x ==，1212(,,,),(,,,)T T m l u u u u v v v v ==，称u 与v 为广义Lagrange 乘子向量或K-T 乘子向量．()()()0,()0,0.T T Tf xg x uh x v u g x u ⎧∇-∇-∇=⎪=⎨⎪≥⎩令(,,)()()()T T L x u v f x u g x v h x =--为广义Lagrange 函数．称(,,)L x u v 为广义Lagrange 函数．则K-T 条件为(,,)0,()0,0.x TL x u v u g x u ∇=⎧⎪=⎨⎪≥⎩定理 4 设在问题（1）中，()f x 和()(1,2,,)i g x i m -=是凸函数，()(1,2,,)j h x j l =是线性函数，x 是可行点，并且()f x 和()(())i g x i I x ∈在点x 处可微．若x 是问题（1）的K-T 点，则x 是问题（1）的全局极小点．例2 求解最优化问题221221212min ()(3)(1);..()0,()230.f x x x s t g x x x h x x x ⎧=-+-⎪=-+≥⎨⎪=+-≥⎩ 解 广义Lagrange 函数为222121212(,,)()()()(3)(1)()(23)L x u v f x ug x vh x x x u x x v x x =--=-+---+-+-．因为111(,,)2(3)22L x u v x ux v x ∂=-+-∂，22(,,)2(1)L x u v x u v x ∂=---∂．所以K-T 条件及约束条件为112212212122(3)220,2(1)0,()0,0,230,0.x ux v x u v u x x x x x x u -+-=⎧⎪---=⎪⎪-+=⎪⎨-+≥⎪⎪+-=⎪≥⎪⎩ 下面分两种情况讨论． （1） 设0u =，则有12122(3)20,2(1)0,230.x v x v x x --=⎧⎪--=⎨⎪+-=⎩ 由此可解得12718,,555x x v ===-，但71(,)55T x =不是可行点，因而不是K-T 点．（2） 设0u >，则有112212122(3)220,2(1)0,0,230.x ux v x u v x x x x -+-=⎧⎪---=⎪⎨-+=⎪⎪+-=⎩ 由此可得211230x x --+=，解得11x =或13x =-。
约束问题的最优化方法
m
⑤ .Φ ( x, r ) = f ( x) − r ∑ ln[− g u ( x)]
(k )
其中：惩罚（加权）因子 降低系数 c：
r ( 0 ) > r (1) > ....r ( k )
0< c <1
r ( k −1) ⋅ c = r ( k )
xk * → x *
当lim r ( k ) → 0
x ∈ D ⊂ Rn s.t. g u ( x ) ≥ 0, u = 1,2,..., p hv ( x ) = 0, v = 1,2,..., q min F ( x )
一. 约束优化问题解法分类： 约束优化方法按求解原理的不同可以分为直接法和间接法两类。
直接解法：随机方向搜索法、复合形法、可行方向法
其中：g u ( x) ≥ 0, u = 1,2,...m
③ .Φ ( x, r ) = f ( x) − ∑ ru ( k )
(k ) u =1
m
1 g u ( x)
④ .Φ ( x, r ) = f ( x) + r
(k )
(k )
(k )
1 ∑ 2 u =1 [ g u ( x )]
m u =1
k →∞
则Φ ( x, r ( k ) ) → f ( x) ,
) x12 + x22 例： 用内点法求 min f ( x=
s.t. g ( x ) = 1 − x1 ≤ 0
的约束最优解。
2 解: 首先构造内点惩罚函数:φ ( x , r ) = x12 + x2 − r k ln( x1 − 1)
(k ) u =1 m
lim r2 H [hv ( x ( k ) )] = 0
最优化方法第四章(1)概要
（4.7）
D {x si ( x) 0, i 1,2, , 对于约束问题（4.7），设 x D 。若 x 使得 某个不等式约束有 si ( x ) 0 ，则该不等式约束 si ( x ) 0 称为是关于容许点 x 的起作用约束；否则，若 si ( x ) 0 ， 则该不等式约束称为是关于容许点 x 的不起作用约束。
*
*
G( x* ) S ( x* ) * * p C ( x ) ， 证 根据引理4.3，若 p G( x ) ，则 * * C ( x ) S ( x ) , 从而 G( x* ) C( x* ) 。又根据定理4.5，有 故必有 G( x* ) S ( x* ) 。
j 1
l
Lagrange 函数（4.4)的梯度是
x L L L
其中
x L f ( x ) j h j ( x )
l
L h1 ( x ), h2 ( x ),
最优性必要条件
j 1
hl ( x )
T
L( x* , 1* , 2* ,
C 是凸集，则称为凸锥。
显然，由 的集合
n 维向量 v1, v2 ,
m i 1
, vm 的全部非负组合构成
C {x x i vi , i 0}
是一个以原点为顶点的凸锥。由于这样的凸锥的边界是 （超）平面或直线，所以也称为由 v1 , v2 , , vm 张成的 凸多面锥。 n 是 D 定义4.3 设 R 中的非空集，且 x D。对于非零 n 向量 p R ，若存在 0 ，当 t (0, ) 时，必有 x tp D ，则 p 称为点 x 的容许方向向量，其方向 称为点 x 的容许方向。由点 x 的全部容许方向向量构成的 集合称为点 x 的容许方向锥，记作 C ( x* )
最优化：最优性条件
g i ( x ) T d 0 和 h j ( x ) T d 0, 即d LFD( x, D ) 注意：尽管 LFD( x, D )具有代数表示, 但上面的命题表明 LFD( x, D )是SFD( x, D )的一个子集,因此还不能用 LFD( x, D )替换定理 9.1.1中的SFD( x, D )
令 xk x k d k , 由定义9.1.2知, {xk } D.
为理解序列可行方向, 我们来看看它的几何解释：
xk
D
D
●
dk
●
xdຫໍສະໝຸດ xkdk●●
d
x
(a ) 点x在D内部
(b) 点x在D的边界上
序列可行方向实际 上就是可行方向
显然,
序列可行方向包含可行 方向和边界的切线方向
FD( x, D) SFD( x, D) (只需取d k d )
定义9.1.1 设x D, d R n .若存在数 0, 使得 x d D, (0, ], 则称d是D在x处的一个可行方向.
记x处所有可行方向的集合为FD( x, D)
若记x处函数f 的所有下降方向 集合为GD( x ) * 容易看出, 如果x 是(9.1)的最优 解, 则在该点不存在既下降又 可行的方向, 即
等式 h j ( x) 0 : h j ( x)T d 0
由上面分析可知：d FD( x, D ), 则有 h j ( x )T d 0, j E T g ( x ) d 0, i I 且 g i ( x ) 0 i
但反之不一定成立.
为方便起见, 记
可行域：D {x : g i ( x ) 0, i I ; h j ( x ) 0, j E}
约束优化问题的最优性条件
{
}
连续，若 x 是(NLP1)的局部最优解，则存在不全 为零的非负数 w0 , wi (i ∈ i ) ，使得
w0∇f ( x) − ∑ wi ∇gi ( x) = 0
i∈I
证明：参见陈宝林书 page 239
注：运用Fritz John 条件时，可能出现 w0 = 0 的情形。这时Fritz John 条件中实际上不包含 目标函数的任何数据，只是把起作用约束的梯 度组合成零向量。这样的条件，对于问题的解 的描述，没有多大价值。我们感兴趣的是
w0 ≠ 0 的情形，所以为了保证 w0 ≠ 0 ，还需
要对约束施加某种限制。这种限制条件通常称 为约束规格。在定理7.3中，如果增加起作用 约束的梯度线性无关的约束规格，则给出不等 式约束问题的著名的K-T条件。
定理7.8 (K-T 必要条件) 考虑约束问题(NLP) , x 为可行点，I = i gi ( x) = 0 ， f (x) 和 gi (x) (i ∈ I ) 在 x 处可微, gi (x) (i ∉ I ) 在 x 处连续, hj (j=1,…,l) 在 x 处连续可微。向量集
∂f = d T ∇f ( x ) ≥ 0 ∂d
(d
= 1)
即在极小点处的可行方向一定不是下降方向
n R 定理7.1 考虑约束极值问题 (NLP) , 设 S 是 中的非空集合，x ∈ S ， f (x) 在 x 处可微。如果 x
是局部最优解，则
F0 ∩ D = ∅
证明：参见陈宝林书 page236
定理7.5 设在问题（NLP1）中, f 是凸函数, gi(x)(i=1,2,…,m) 是凹函数，S为可行域，x ∈ S
I = i gi ( x) = 0 ， f (x) 和 gi (x) (i ∈ I )在 x 处可微,
运筹学-约束最优化方法
若AT的各个行向量线性无 关.根据Kuhn-Tucker条件, 在该线性规划的最优点y* 处存在乘子向量x*≥0,使得
即Ax*=b 对偶规划约束条件 及(ATy*-c)T x*=0 线性规划互补松弛条件
29
5.1.3 一般约束问题的最优性条件
定理1.3.1 在上述问题中,若 (i)x*为局部最优解, 有效集I*={i|ci(x*)=0,i∈I}; (ii)f(x),ci(x)(1≤i≤m)在x*点可微; (iii)对于i∈E∪I*, 线性无关, 则存在向量l*=(l1*,· · · ,lm*)使得
解:本问题是求点(1,1)T到如图三角形区域的最短 距离.显然唯一最优解为x*=(1/2,1/2)T.
19
例题(Fritz-John条件)
min f(x)=(x1-1)2+(x2-1)2 s.t. c1(x1,x2)=(1-x1-x2)3≥0 c2(x)=x1≥0 c3(x)=x2≥0 即
35
惩罚函数法
惩罚是手段，不是目的
KT条件中li*ci(x*)=0 称为互补松弛条件. 它表明li*与ci(x*)不能 同时不为0.
28
线性规划情形
对于线性规划问题 min f(y)=-bTy s.t. -ATy≥-c 其中 y∈Rm,A∈Rm×n, b∈Rm,c∈Rn 问题有n个约束条件. 各个约束条件关于y 的梯度为-AT的行向 量(-pi).
借助于Farkas引理,可推出存在li*≥0(i∈I*), 使得
类似与Fritz-John条件的证明,可以证明KuhnTucker条件. 有效约束函数的梯度线性无关称为KuhnTucker约束规范. 如果该约束规范不满足,最优点不一定是KT点.
最优化方法(约束优化问题的最优性条件)
s.t. c1 ( x ) = x 1 + x 2 + x 3 − 3 = 0 , c 2 ( x ) = − x 1 + x 2 ≥ 0
c 3 ( x ) = x1 ≥ 0 , c 4 ( x ) = x 2 ≥ 0 , c 5 ( x ) = x 3 ≥ 0
带入约束条件可知满足约束条件 将 x = (1,1,1) 带入约束条件可知满足约束条件
验证KT点的步骤 小结
• • • • • • 1 化为标准形式 2 验证约束成立 并且求得有效约束 3 约束规范 ∇f ( x * ) − λ1 ∇c1 ( x * ) − λ 2 ∇c 2 ( x * ) = 0 4 一阶条件方程 例如 5 验证不等式约束互补条件、乘子的非负性 验证不等式约束互补条件、 6结论 结论
* T
并且有效约束集合为 并且有效约束集合为 I = {1,2}
*
∇f ( x ) = ( −3,−1,−2) T ， ∇c1 ( x ) = ( 2,2,2) T ， ∇c 2 ( x ) = ( −1,1,0) T T T 线性无关。 且 ∇c 1 ( x ) = ( 2,2,2) 与 ∇c 2 ( x ) = ( −1,1,0) 线性无关。
向量 d ，如果对任意的 i ∈ I ( x) 有 ∇ci ( x)T d > 0 , 则 d 是点 x 的 可行方向。
令 证明： x ' = x + t d , t > 0。 则对任意的 i ∈ I ( x ) , 有
ci ( x' ) = ci ( x) + t ∇ci ( x)T d + o( || td ||2 )
= t ∇ci ( x)T d + o( || td ||2 )
约束最优化最优性条件
0
x2
R { x | g i ( x ) 0}
gi (x) 0
x
0
x1
x gi (x) 0
0
形成的边界, 影响下一步选向.
如何判断一个向量是否
是可行方向？
定理 1 给定点 x Q , 记点 x 的积极约束指标集为 向量 d ，如果对任意的 可行方向。
T
min s .t .
可行域为
f (x) g( x) 0
(1 )
Q { x | g ( x ) 0 }。
1 .可 行 方 向
可行方向： 设 x Q ， 为一个向量。如果存在 d
0
实数 0 ，
0
使得对任意的 一个可行方向。
[ 0 , ] 有 x d Q , 则称 d 为 x 处的
T
I ( x ) 。给定
i I(x)
则向量 d 是点 x 处的可行下降方向。
极值点的必要条件：
定理 3 设 x * Q ， ( x *) 是其积极约束指标集。 I ( i I ( x *) ) 在点 x * 处可微， 续。如果 x * 是约束极值问题（
f ( x)和 gi( x)
g i ( x ) ( i I ( x *) ) 在点 x * 处连 1）的局部极小点，则在
i
( x ) 和 i
有且仅有一个成立，即取 0 值，则称为严格互补松弛条 件.
3 . K T 点的计算
例1 求约束极值问题
min f ( x ) x1 x 2 6 x1 6 x 2 8
2 2
s .t .
x1 x 2 4 x1 0 x 0 2
不等式约束条件的最优化问题
不等式约束条件的最优化问题
不等式约束条件的最优化问题可以使用拉格朗日乘子法来解决。
这种方法将约束优化问题转化为求解偏微分方程组的问题，从而将问题转化为寻找可能的极值点。
在等式约束条件下，可以使用拉格朗日乘子法将问题转化为求解微分方程的问题，而在面对不等式约束条件时，需要使用 KKT 条件。
这些条件提供了解决不等式约束优化问题的一种必要条件。
在实际应用中，需要通过求解偏微分方程组或 KKT 条件来找到最优解。
最优化方法及应用_郭科_约束问题的最优性条件
§2.7 约束问题的最优性条件所谓最优性条件就是最优化问题的目标函数与约束函数在最优点处满足的充要条件．这种条件对于最优化算法的终止判定和最优化理论推证都是至关重要的．最优性必要条件是指在最优点处满足哪些条件；充分条件是指满足哪些条件的点是最优点．本节仅讲述最基本的结论．一、约束最优解对约束优化问题的求解，其目的是在由约束条件所规定的可行域D 内，寻求一个目标函数值最小的点*X 及其函数值)(*X f ．这样的解))(,(**X f X 称为约束最优解．约束最优点除了可能落在可行域D 内的情况外，更常常是在约束边界上或等式约束曲面上，因此它的定义及它的一阶必要条件与无约束优化问题不同．（一）约束优化问题的类型约束优化问题根据约束条件类型的不同分为三种，其数学模型如下：（1）不等式约束优化问题（IP 型）min (),..()012i f X s t g X i l ≥=，，，，． （2.16）（2）等式约束优化问题（EP 型）min ()..()012j f X s t h X j m ==，，，，，．（3）一般约束优化问题（GP 型） min ()()012..()012i j f X g X i l s t h X j m ≥=⎧⎪⎨==⎪⎩，，，，，，，，，，．（二）约束优化问题的局部解与全局解按一般约束优化问题，其可行域为 }210)(210)(|{m j X h l i X g X D j i ，，，，；，，，， ===≥=．若对某可行点*X 存在0>ε，当*X 与它邻域的点X 之距离ε<-||||*X X 时，总有)()(*X f X f <则称*X 为该约束优化问题的一个局部最优解．下面以一个简单例子说明．设有⎩⎨⎧=---=≥+=+-=．，，09)2()(02)(..)1()(min 222122221x x X h x X g t s x x X f该问题的几何图形如图2.8所示．从图上的目标函数等值线和不等式约束与等式约束的函数曲线可写出它的两个局部最优解T T X X ]05[]01[*2*1，，，=-=．这是因为在*1X 点邻域的任一满足约束的点X ，都有)()(*1X f X f >；同理，*2X 亦然．１图2.8 对某些约束优化问题，局部解可能有多个．在所有的局部最优解中，目标函数值最小的那个解称为全局最优解．在上例中，由于16)(4)(*2*1==X f X f ，，所以全局最优解为))((*1*1X f X ，． 由此可知，约束优化问题全局解一定是局部解，而局部解不一定是全局解．这与无约束优化问题是相同的．二、约束优化问题局部解的一阶必要条件对于约束，现在进一步阐明起作用约束与不起作用约束的概念．一般的约束优化问题，其约束包含不等式约束l i X g i ，，，， 210)(=≥和等式约束m j X h j ，，，， 210)(==．在可行点k X 处，如果有0)(=k i X g ，则该约束)(X g i 称可行点k X 的起作用约束；而如果有0)(>k i X g ，则该约束)(X g i 称可行点k X 的不起作用约束．对于等式约束0)(=X h j ，显然在任意可行点处的等式约束都是起作用约束． 在某个可行点k X 处，起作用约束在k X 的邻域内起到限制可行域范围的作用，而不起作用约束在k X 处的邻域内就不产生影响．因此，应把注意力集中在起作用约束上．（一）IP 型约束问题的一阶必要条件图2.9所示为具有三个不等式约束的二维最优化问题．图2.9图2.9（a ）是最优点*X 在可行域内部的一种情况．在此种情形下，*X 点的全部约束函数值)(*X g i 均大于零)321(，，=i ，所以这组约束条件对其最优点*X 都不起作用．换句话说，如果除掉全部约束，其最优点也仍是同一个*X 点．因此这种约束优化问题与无约束优化问题是等价的．图2.9（b ）所示的约束最优点*X 在)(1X g 的边界曲线与目标函数等值线的切点处．此时，0)(0)(0)(*3*2*1>>=X g X g X g ，，，所以)(1X g 是起作用约束，而其余的两个是不起作用约束．既然约束最优点*X 是目标函数等值线与)(1X g 边界的切点，则在*X 点处目标函数的梯度)(*X f ∇与约束函数梯度矢量)(*1X g ∇必共线，而且方向一致．若取非负乘子0*1≥λ，则在*X 处存在如下关系0)()(*1*1*=∇-∇X g X f λ．另一种情况如图2.9（c ）所示．当前迭代点k X 在两约束交点上，该点目标函数的梯度矢量)(k X f ∇夹于两约束函数的梯度矢量)()(21k k X g X g ∇∇，之间．显然，在k X 点邻近的可行域内部不存在目标函数值比)(k X f 更小的可行点．因此，点k X 就是约束最优点，记作*X ．由图可知，此时k X 点目标函数的梯度)(k X f ∇可表达为约束函数梯度)(1k X g ∇和)(2k X g ∇的线性组合．若用*X 代替k X 即有)()()(*2*2*1*1*X g X g X f ∇+∇=∇λλ成立，且式中的乘子*1λ和*2λ必为非负．总结以上各种情况，最优解的一阶必要条件为⎪⎪⎪⎩⎪⎪⎪⎨⎧=≥≥=∇-∇∑=．，，，，210)(00)()(**21**1*i X g X g X f i i i i λλ 对于（2.16）IP 型约束问题的一阶必要条件讨论如下： 设最优点*X 位于j 个约束边界的汇交处，则这j 个约束条件组成一个起作用的约束集．按上面的分析，对于*X 点必有下式成立⎪⎪⎪⎩⎪⎪⎪⎨⎧=≥≥=∇-∇∑=．，，，，，，j i X g X g X f i i j i i i 210)(00)()(**1***λλ （2.17）但是在实际求解过程中，并不能预先知道最优点*X 位于哪一个或哪几个约束边界的汇交处．为此，把l 个约束全部考虑进去，并取不起作用约束的相应乘子为零，则最优解的一阶必要条件应把式（2.17）修改为⎪⎪⎪⎩⎪⎪⎪⎨⎧==≥≥=∇-∇∑=．，，，，，，，l i X g X g X g X f i i iil i i i 210)(0)(00)()(****1***λλλ （2.18）式（2.18）为IP 型问题约束最优解的一阶必要条件，它与式（2.17）等价．因为在*X 下，对于起作用约束，必有l i X g i ，，，， 210)(*==使式（2.18）中的第四式成立；对于不起作用约束，虽然0)(*>X g i 而必有0*=i λ，可见式（2.18）与式（2.17）等价．（二）EP 型约束问题的一阶必要条件图2.10所示为具有一个等式约束条件的二维化问题，其数学模型为．，0)(..)(min =X h t s X f在该问题中，等式约束曲线0)(=X h 是它的可行域，而且目标函数等值线C X f =)(与约束曲线0)(=X h 的切点*X 是该约束问题的最优解．图2.10在*X 点处，目标函数的梯度)(*X f ∇与约束函数的梯度)(*X h ∇共线．因此，在最优点*X 处一定存在一个乘子*u ，使得 0)()(***=∇-∇X h u X f成立．对于一般的n 维等式约束优化问题，其数学模型为min ()..()012j f X s t h X j m ==，，，，，．则*X 为其解的一阶必要条件为***1*()()0()012m j j j j f X u h X h X j m =⎧∇-∇=⎪⎨⎪==⎩∑，，，，，．（三）GP 型约束问题解的一阶必要条件由上述不等式约束优化与等式约束优化问题的一阶必要条件，可以推出一般约束优化问题的条件．设n 维一般约束优化问题的数学模型为⎩⎨⎧===≥，，，，，，，，，，，m j X h l i X g t s X f j i 210)(210)(..)(min （2.19）则*X 为其解的一阶必要条件应为⎪⎪⎪⎪⎪⎩⎪⎪⎪⎪⎪⎨⎧====≥≥=∇-∇-∇∑∑==．，，，，，，，，，，，，m j X h l i X g X g X h u X g X f j i i i i l i m j j j i i 210)(210)(0)(00)()()(*****11*****λλλ （2.20） 函数∑∑==--=l i m j j j i i X h u X g X f u X L 11)()()()(λλ，，称为关于问题（2.19）的广义拉格朗日函数，式中T l ][21λλλλ，，， =，T m u u u u ][21，，， =为拉格朗日乘子．由于引入拉格朗日函数，条件（2.20）中的第一式可写为0)(***=∇u X L X ，，λ．（四）Kuhn —T ｕcker 条件（简称K —T 条件）在优化实用计算中，常常需要判断某可行迭代点k X 是否可作为约束最优点*X 输出而结束迭代，或者对此输出的可行结果进行检查，观察它是否已满足约束最优解的必要条件，这种判断或检验通常借助于T K -条件进行的．对于IP 型问题，T K -条件可叙述如下：如果*X 是一个局部极小点 ，且各梯度矢量)(*X g i ∇组成线性无关的矢量系，那么必存在一组非负乘子*i λ，使得⎪⎩⎪⎨⎧===∇-∇∑=l i X g X g X f ii l i i i ，，，，，210)(0)()(**1***λλ 成立．必须指出，在一般情形下，T K -条件是判别约束极小点的一阶必要条件，但并非充分条件．只是对于凸规划问题，即对于目标函数)(X f 为凸函数，可行域为凸集的最优化问题，T K -条件才是约束最优化问题的充分条件．而且，在这种情况下的局部最优解也必为全局最优解．应用T K -条件检验某迭代点k X 是否为约束最优点的具体作法可按下述步骤进行：（1）检验k X 是否为可行点．为此需要计算k X 处的诸约束函数值)(k i X g ，若是可行点，则l i X g k i ，，，， 210)(=≥． （2）选出可行点k X 处的起作用约束．前面已求得l 个)(k i X g 值，其中等于零或相当接近零的约束就是起作用约束．把这些起作用约束重新编排成序列I i X g i ，，，， 21)(=．（3）计算k X 点目标函数的梯度)(k X f ∇和I 个起作用约束函数的梯度)(k i X g ∇．（4）按T K -条件，k X 点应满足∑==≥=∇-∇Ii i k i i k I i X g X f 1)21(00)()(，，，， λλ. (2.21）将式（2.21）中的各梯度矢量用其分量表示，则可得到i λ为变量的线性方程组⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧=∂∂-∂∂-∂∂-∂∂=∂∂-∂∂-∂∂-∂∂=∂∂-∂∂-∂∂-∂∂．，，0)()()()(0)()()()(0)()()()(22112222211211221111n k I I n k n k n k k I I k k k k I I k k k x X g x X g x X g x X f x X g x X g x X g x X f x X g x X g x X g x X f λλλλλλλλλ 由于矢量系I i X g k i ，，，， 21)(=∇是线性无关的，所以该方程组存在唯一解．通过解此线性方程组，求得一组乘子I λλλ，，，21，若所有乘子均为非负，即I i i ，，，， 210=≥λ，则k X 即为约束最优解．否则，k X 点就不是约束最优点．例2.9 设约束优化问题⎪⎩⎪⎨⎧≥=≥=≥--=+-=．，，，0)(0)(01)(..)2()(min 132222112221x X g x X g x x X g t s x x X f 它的当前迭代点为T k X ]01[，=，试用T K -条件判别它是否为约束最优点． 解：（1）计算k X 点的诸约束函数值，，，1)(0)(011)(2221===-=k k k X g X g X gk X 是可行点．（2）k X 点起作用约束是222211)(1)(x X g x x X g =--=，．（3）求k X 点梯度．，，⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡=∇⎥⎦⎤⎢⎣⎡--=⎥⎦⎤⎢⎣⎡--=∇⎥⎦⎤⎢⎣⎡-=⎥⎦⎤⎢⎣⎡-=∇1010)(1212)(022)2(2)()0,1(2)0,1(11)0,1(21k k k X g x X g x x X f（4）求拉格朗日乘子 按T K -条件应有 ．，01012020)()()(212211=⎥⎦⎤⎢⎣⎡-⎥⎦⎤⎢⎣⎡---⎥⎦⎤⎢⎣⎡-=∇-∇-∇λλλλk k k X g X g X f写成线性方程组 ⎩⎨⎧=-=+-．，0022211λλλ 解得010121>=>=λλ，．乘子均为非负，故T k X ]0,1[=满足约束最优解的一阶必要条件．如图2.11所示，k X 点确为该约束优化问题的局部最优解，由于可行域是凸集，所以点k X 也是该问题的全局最优解．图2.11GP 型的约束最优化问题的T K -条件类似于IP 型约束最优化问题的T K -条件： 如果*X 是一个局部极小点 ，且各梯度矢量)(*X g i ∇和)(*X h j ∇组成线性无关的矢量系，那么必存在两组乘子*i λ和*j u ，使得。
最优化方法第四章(1)
以下几个概念是讨论的基础。
v
v
某 称个为不是定等关义式 于4.1约容对束许于有点约sxv%i束(的xv%问)起题作0（，用4则约.7该）束不，；v等设否式则x%约，束D若。ssi若i((xv%xv%x)%)使0得0，
则该不等式约束称为是关于容许点 x%的不起作用约束。
例如，
不等式约束关于容许集的任意内点都是不起作用约束。
) 时，对于所有的 。根据定义4.3，即
i
，
记
G(
v G(x%)
{ pv
v
v
x%) C(x%)
si
。
(
v x%)T
pv 0,
i I} ，则依引理4.3可知，
v
是方s两i (不 向部xv)起向分由作量，这0用。，梯个约 换变度引束 句成理， 话起看si则 说作(到xv%)，用一pv总约约个是束束事s指曲，实i (向面x且v%，)包若s就i含(sxv是ix%()容仅xv%点)许使0集x把v%0v某的整个，的那个约而一一空束其个侧间，它容。分例约许成如束
由点 xv 的所有下降方向向量构成的集合称为点 xv 的
下降方向锥。 定理4.4 设
f
: Rn
R1 在点
xv 处可微，则点
xv 的
下降方向向量 pv 必满足
f (xv)T pv 0
记 既是点
xvS(
xv) {pv f (xv)T pv 0}
的下降方向锥。显然
，则定理4.4表明， S ( xv)
在第2章和第1章中，已经分别讨论过线性规划问题和 无约束问题的最优性条件。定理2.9是线性规划问题的最 优性充分条件。定理1.15、定理1.17和定理1.18以及推论 1.16分别是无约束问题的最优性必要条件、充分条件以及 充分且必要条件。本节主要讨论一般约束问题的最优性条 件。我们将先从仅含等式约束或不等式约束的问题入手， 然后自然过渡到一般约束问题。
3不等式约束最优化问题的最优性条件
定 闭包： 设S Rn , S的闭包定义为： 义 Closure clS { x | S N ( x) , 0}.
可行方向：设S Rn , x clS, d Rn , d 0, 若存在〉0，使得
x d S, (0, ),
则称d为集合S在点x处的可行方向( feasible direction).
则
F0 G0 ,
其中G0 d Rn ci x* T d 0 , i I *
不等式约束最优化问题的最优性条件
几何最优性条件—一阶必要条件
例1：确定： min f x x1 62 x2 22
s.t x1 2 x2 4 0
3 x1 2 x2 12 0
x1 , x2 0
F0 D .
不等式约束最优化问题的最优性条件
几何最优性条件—一阶必要条件
仅考虑在某点起作用的约束
定理3.3.2: 在问题(3.3.1)中，假设：
(1) x*为局部最优解且I * i ci x* 0,1 i m ；
(2) f x与ci xi I * 在 x* 点可微；
(3) ci x i I \ I * 在 x* 点连续；
在点 x 2,3T处的可行下降方向.
解：x 2,3T， Ix 1,2.
c1
x
1 2
,
c2
x
3 2
.
不等式约束最优化问题的最优性条件
几何最优性条件—一阶必要条件
f
x
2 x1 12 2x2 4
,
f
x
8 2
.
设 d d1 , d2 T , 则d T c1 x 0, d1 2d2 0;
即该问题在x*处Fritz-John条件成立.
第三章 (1) 约束优化问题的最优性理论
m
iai , i
0, i
1,...,
m
i 1
如果 n 维向量 g C ，则存在一个
法向量为d的超平面分离 g 和 C，
使得 gTd 0
aiT d 0,i 1,..., m
三、一阶最优性条件
Farkas 引理
给定任意 n 维向量 a1, a2,..., am 与 g，则集合
一、一般约束最优化问题
可行域 X x Rn ci x 0,i I , ci x 0,i E .
min f x xRn
s.t. ci x 0,i E 1, , me, ci x 0,i I me 1, , m.
不同时成立！
g* i*ai*
iE
二、约束规范条件
对不等式约束最优化问题
aiT ( x*)d 0,i I ( x*) (线性化可行方向)
g*Td 0
(下降方向)
不同时成立！
g* i*ai*, i* 0,i I * iI *
起作用约束问题
i* 0？
最优解为x (0,0)
F2 : d (d1, 0)T , d1 1
D : d (d1, d2 )T , d2 0 F1 D F2 D
正则性假设成立，KT约 束规范条件不成立。
二、约束规范条件
一阶必要条件(几何特征) 根据可行方向和下降方向定义, 若 x* 为约束问题的局部最优解，则
等式约束问题
不等式约束问题
记 Ax a1(x), , am (x), ai (x) ci x;
一、一般约束最优化问题 约束优化问题的求解困难：目标函数、约束函数共同作用
最优性条件kuhn-tucker条件
二、不等式约束问题的Khun-Tucker条件： （续）
f ( x)
m
uig i ( x) 0
i
u i 0, i 1,2, , m
ui g i (x) 0
2(x1 3) u1 2x1 u2 u3 0 (1)
2(x2 2) u1 2x2 2u2 u4 0 (2)
f
(x )T
e, e
d d
。
定理 如果 f(x)在点 x 处沿非零向量 d 的方向导数存在，且 f (x )T d 0 （成锐角），则 d 是 f(x)在点 x 处的上升方向。如 果 f (x )T d 0 （成钝角），则 d 是 f(x)在点 x 处的下降方向
定理 设 S Rn 是非空开凸集， f : S R 二阶连续可导，则 f 是 S 上的凸函数的充要条件
f (x td) f (x), t (0, )
则称向量 d 是函数 f(x)在点 x 处的下降方向。
定义 2 设 S Rn, x S,d Rn,d 0 ，若存在 t 0 ，使
x td S
则称向量 d 是函数 f(x)在点 x 处关于 S 的可行方向。
定义 3. 设 f : Rn a
解22((0023))uu34 00得u3 60,u4 40 故非 KT点.
二、不等式约束问题的Kuhn-Tucker条件： （续） ●
目标函f数 (x)与g1(x) 0相切的情况： I {1},则u2 u3 u4 0
解22((xx21
3)2x1u1 2)2x2u1
0 0
x12 x22 50
得( 1435, 1230)S
fx(x*,y*)+ λ* фx (x*,y*) =0 fy(x*,y*)+ λ* фy(x*,y*) =0 Ф (x*,y*)=0 推广到多元情况，可得到对于(fh)的情况：
线性约束三次规划问题的全局最优性必要条件和最优化算法
线性约束三次规划问题的全局最优性必要条件和最优化算法叶敏;吴至友;张亮【摘要】讨论了带线性不等式约束三次规划问题的最优性条件和最优化算法.首先,讨论了带有线性不等式约束三次规划问题的全局最优性必要条件.然后,利用全局最优性必要条件,设计了解线性约束三次规划问题的一个新的局部最优化算法(强局部最优化算法).再利用辅助函数和所给出的新的局部最优化算法,设计了带有线性不等式约束三次规划问题的全局最优化算法.最后,数值算例说明给出的最优化算法是可行的、有效的.【期刊名称】《运筹学学报》【年(卷),期】2015(019)002【总页数】14页(P15-28)【关键词】三次规划问题;线性不等式约束;全局最优性必要条件;强局部优化算法;全局最优化算法【作者】叶敏;吴至友;张亮【作者单位】重庆师范大学数学科学学院,重庆401331;重庆师范大学数学科学学院,重庆401331;重庆师范大学数学科学学院,重庆401331【正文语种】中文【中图分类】O221.42010数学分类号90C26,90C30,90C59Chinese Library Classifcation O221.42010 Mathematics Subject Classifcation 90C26,90C30,90C59考虑下面带线性约束的三次规划问题:其中x=(x1,···,xn)T∈ℝn,x0≡1,b=(b1,···,bn)T∈ℝn;Ci,j,k∈ℝ,i,j,k=0,1,2,···,n; ui,vi∈ℝ,ui＜vi,i=1,2,···,n;A=(aij),i=1,···,m,j=1,···,n为m×n矩阵.本文余下的部分,记问题(CIP)的可行域D:={x|Ax≤b,x∈U}.三次规划问题作为一类特殊的多项式规划问题,广泛应用于农业、金融、证券投资组合等方面[1-3].因此,近几年来三次规划问题受到许多学者的重视,并取得了一定的进展.在文献[4]中,Zhang等给出了一类不含有交叉项的特殊三次规划问题的全局最优性充分条件.Wang[5]等研究了一类带有双值约束或箱子约束的特殊三次规划问题的全局最优性条件.Wu[6]等给出了带有混合变量的一般三次规划问题的一些全局最优性必要条件,并用这些条件设计出了求解该类问题的最优化算法(包括强局部最优化算法和全局最优化算法).在文献[7-9]中,作者研究了二次规划问题的一些全局最优性条件,同时设计出了求解二次规划问题的一些全局最优化算法.在文献[10]中,Jeyakumar等对一般多项式优化问题进行了研究,给出了该问题的全局最优性充分必要条件.因为这些全局最优性充分必要条件涉及求解一系列的半定规划问题,所以文献[10]中的全局最优性条件是很难验证的.受文献[5-13]的启发,本文主要考虑带有线性不等式包含箱子约束的三次规划问题(CIP).首先,给出了问题(CIP)的全局最优性必要条件,并利用问题(CIP)的全局最优性必要条件设计了求解问题(CIP)的强局部最优化算法或ε-强局部最优化算法(SLOM).然后,将局部最优化算法(SLOM)与辅助函数结合设计了求解问题(CIP)的全局最优化算法(GOM).最后,通过数值算例说明所给出的全局最优化算法是可行的、有效的. 本文余下部分的结构如下:第1节,给出了文章中将要用到的一些基本符号和基本概念,重点讨论了问题(CIP)的全局最优性条件,得到了问题(CIP)的一个全局最优性必要条件;第2节,给出了问题(CIP)的一个强局部最优化算法或ε-强局部最优化算法(SLOM);第3节,结合问题(CIP)的强局部最优化算法(SLOM)和辅助函数方法设计了问题(CIP)的全局最优化算法(GOM);第4节,给出一些具体的数值计算实例和数值计算结果;第5节,对本文的研究进行总结并对后续的研究工作作出展望.在本文中,若无特别说明,总假定:ℝ表示实线性空间,ℝn表示n维欧几里得空间,Sn 表示所有n×n阶实对称矩阵构成的集合.对于ℝn中的任意两个向量,x≥y⇔xi≥yi,i= 1,2,···,n,I表示单位矩阵.以α1,···,αn为对角元的对角矩阵记为diag(α1,···,αn),对x=(x1,···,xn)T∈ℝn,记X=diag(x)=diag(x1,···,xn).∇f(x)表示f(x)在点x处的梯度,∇2f(x)表示f(x)在点x处的Hessian矩阵.设∈D,对k=1,···,m,令定义1.1[6]若存在∈D,对所有的x∈D,都有f()≤f(x)成立,则称∈D为问题(CIP)的全局最优解或全局极小点,称f()为全局最优值或全局极小值.定义1.2[6]在定义1.1中,当x时,有严格不等式f()＜f(x)成立,则称∈D为问题(CIP)的严格全局最优解或严格全局极小点.命题1.1 设∈D,则(1)li≤ri,i=1,2,···,n;(2)其中li,ri由式(1.1)确定.证明由得即取则对任意的k=1,···,m,由式(1.2)可得下面分三种情形讨论:(i)当aki＞0时,由上不等式组可得(ii)当aki＜0时,由上不等式组可得(iii)当aki=0时,显然对任意的xi∈ℝ都满足式(1.2),事实上,如果满足式(1.2)且aki=0,则有因此,由(i),(ii),(iii)可得所以li≤ri,i=1,2,···,n,且有故命题成立.为了方便,本文给出下面的一些记号:下面给出问题(CIP)的全局最优性必要条件.定理1.1 设∈D.如果是问题(CIP)的全局极小点,那么下面的条件成立:其中,分别由式(1.3)和式(1.4)给出.证明设∈D.如果是问题(CIP)的全局极小点,那么对任意这里xi∈[ui,vi]),构造区间[li,ri].由命题1.1可知令从而因此,如果是问题(CIP)的全局极小点,那么也一定是f(x)在Ωi()(i=1,···,n)上的全局极小点,从而对任意i=1,···,n有下面证明式(1.5)与定理1.1中的条件[GNCP]i,i=1,···,n,是等价的.我们对xi分三种情形讨论:(I)当时,由式(1.5)知即因为当Ci,i,i＞0时,当Ci,i,i≤0时,所以(II)当故有时,由式(1.5)可知即则类似于(I)的证明,可得因此故(III)当时,则式(1.5)等价于所以综上所述,如果是问题(CIP)的全局最优解,那么条件[GNCP]i,i=1,···,n,成立.本节根据定理1.1给出的全局最优性必要条件[GNCP]i,i=1,···,n,设计问题(CIP)的强或ε-强局部最优化方法.定义2.1设称为问题(CIP)的强局部极小点当且仅当满足全局最优性必要条件[GNCP]i,i=1,···,n.定义2.2设称为问题(CIP)的ε-强局部极小点当且仅当满足如下条件:对任意i=1,···,n,[GNCP]i成立或者存在使得满足条件[GNCP]i且设令其中 li,ri和分别由式(1.1)和式(1.4)定义.注意到对i=1,···,n,有|Ni()|≤2和≤2,其中|Ni|和分别表示Ni()和()中元素的个数.下面我们依据全局最优性必要条件[GNCP]i,i=1,···,n,给出问题(CIP)的强或ε-强局部最优化方法,通过该方法所获得的点满足或近似满足全局最优性必要条件[GNC P]i, i=1,···,n,然而传统的局部最优化方法一般都是采用KKT必要条件来设计算法的,因而该方法不同与以往的局部最优化算法.问题(CIP)的强或ε-强局部最优化方法在我们的全局最优化算法的设计过程中起到了重要的作用.算法2.1 问题(CIP)的强或ε-强局部最优化方法(SLOM).步0 取定一个初始点x1∈U.设ε是一个很小的正数.令i:=1.设是f(x)以x1为初始点所求得问题(CIP)的一个局部极小点或者是f(x)在D上的KKT点.令转步1.步1 检验下面的条件是否成立:如果条件成立,转步2;否则转步3.步2 如果i=n,转步4;否则,令i:=i+1,转步1.步3 令:=argmin{f(x)|x∈Ni∪},其中Ni和分别由式(2.1)和式(2.2)定义.令是以为初始点所求得的一个局部极小点或者是f(x)在D上的KKT点.如果f(x∗)＜f()-ε,令 :=x∗,i:=1,转步1;否则,令i:=i+1,转步1.步4停止是问题(CIP)的强局部极小点或ε-强局部极小点.定理2.1 对给定的初始点x1∈U,由强局部最优化算法2.1可以在有限步迭代次数以内得到问题(CIP)的一个强局部极小点或ε-强局部极小点¯x.证明仿照文献[6]中的定理3.2的证明过程可以证明定理2.1的结论成立.注2.1在算法 2.1的步 0和步 3中,诸如牛顿法、拟牛顿法、共轭梯度法、线收索法等方法能够被用来获得一个 f(x)在 D的 KKT点或者局部极小点.在步 3中,因为|Ni∪|≤ 4,所以很容易由式(2.1)和式(2.2)找到 Ni和从而找到使得=argmin{f(x)|xi∈Ni∪}.下面介绍找问题(CIP)的全局极小点的全局优化方法.这需要问题(CIP)的强局部优化方法或ε-强局部优化方法以及辅助函数.辅助函数用于跳出当前局部极小点而找到问题(CIP)的更好的点.本文我们采用文献[7]中介绍的辅助函数.对任意的r＞0,令显然,函数fr(t)在ℝ上是连续可微的,并且令其中r＞0,q＞0为参数,是问题(CIP)的当前局部极小点.辅助函数具有如下性质.引理3.1[7]当r＞0,q＞0时,若是问题(CIP)的局部极小点,则是 (x)在U上的严格局部极大点.引理3.2[7] 辅助函数(x)在U上的任一局部极小点满足下列条件之一:(1)f()＜f(),∈D;(2)是箱子集U的顶点.下面介绍一个求解问题(CIP)的全局极小点的全局最优化方法.该全局最优化方法主要由以下三个阶段组成:阶段1(强局部搜索)从一个给定的可行点xk出发,利用强局部极小化算法2.1获得一个强局部极小点阶段2(局部搜索)构造辅助函数(x).求函数(x)的一个KKT点或者局部极小点阶段3(全局搜索)如果是一个比更好的点,则令k:=k+1,xk:=转回阶段1;否则,终止迭代过程.初始的局部最优解就可以作为问题的一个全局最优解.算法3.1 问题(CIP)的全局最优化方法(GOM)步0 取M=1010,µ=10−5,k0=2n.取ei=(0,···,0,1,0,···,0),i=1,···,n,其第i个分量为1,其他分量为0,en+i=(0,···,0,-1,0,···,0),i=1,···,n,其第i个分量为-1,其他分量为0.令r0:=1,q0=105,δ0:=k:=1,i:=1,r:=r0.设∈U是一个任意的初始点,令:=,转步1.步1 以为初始点,利用强局部优化算法(SLOM)找到问题(CIP)的一个局部极小点 ,如果f()≥f()(k＞1),则转步 5;否则(包括f()≥f()(k=1)或者f()＜f()(k≥1)),令r:=r0,q:=q0,δ:=δ0,i:=1,=,k:=k+1,转步2.步2 令:=+δei.如果 U,转步7;否则,f()＜f),则令:= k:=k+1,转步1;否则,转步3.步3 如果转步4;否则,令转步2.步4令从初始点出发求解如下问题:设局部极小点为如果满足令转步1;否则,转步5;步5 若qk≤M,令qk:=10qk,转步4;否则,转步6.步6 若r≥µ,令转步4;否则,转步8.步7 若δ≤µ且i＜k0,则令i:=i+1,q=q0,δ:=δ0,转步2;如果i=k0,转步8;否则,令δ:=转步2.步8 停止.就是问题(CIP)的全局极小点或近似全局极小点.在这一节,首先给出一个计算实例来说明问题(CIP)的全局最优性必要条件[GNCP]i, i=1,···,n,是可行的,且是很容易验证的.然后给出了利用所得的问题(CIP)的全局最优化算法(GOM)来计算几个实际例子的数值计算结果,且数值计算结果表明所给出的全局最优化算法是可行的、有效的.例4.1考虑下面的三次规划问题:显然,是f(x)的全局极小点.又由Ax≤b可得则由命题1.1可得所以,因此,即定理1.1全局最优性必要条件成立.由所给问题(CIP)的全局最优化方法(GOM),下面给出几个数值算例.首先,我们给出如下相关定义.,k=1:表示初始点;,k≥2:表示利用局部算法求得问题(CIP)从出发的局部极小点;,k≥1:表示以为初始点求得问题(CIP)的强局部极小点;f():表示目标函数f(x)在处的函数值;f():表示目标函数f(x)在处的函数值.例4.2 考虑下面的三次规划问题:表4.1给出了算法3.1求解问题(CIP1)的数值结果,通过计算我们知道问题(CIP1)的全局极小点为例4.3 考虑下面的三次规划问题:其中A=100I,I=diag(1,···,1),a=(42,44,45,47,47.5)T.表4.2给出了算法3.1求解问题(CIP2)的数值结果,通过计算我们知道问题(CIP2)的全局极小点为=(1,1,0,1,0)T. 例4.4[6]考虑下面的三次规划问题:表4.3给出了算法3.1求解问题(CIP3)的数值结果,通过计算我们知道问题(CIP3)的全局极小点有2个,分别为(-3,-3,-3,-3,-3,5,-3-3,-3,-3)T和(-3,5,-3,5,-3,5, -3,-3,-3,-3)T.本文讨论了带线性不等式约束包含箱子约束的三次规划问题(CIP)的最优性条件和最优化算法.提出了问题(CIP)的全局最优性必要条件,进而利用全局最优性必要条件,设计了解线性约束三次规划问题(CIP)的一个新的局部最优化算法(SLOM);再利用辅助函数和所给出的新的局部最优化算法(SLOM),设计了带有线性不等式约束三次规划问题(CIP)的全局最优化算法(GOM).【相关文献】[1]Hanoch G,Levy H.Efcient selection portfolio with quadratic and cubic utility[J].Journal of Business,1970,43:181-189.[2]Levy H,Sarnat M.Investment and Portfolio Analysis[M].New York:Wiley,1972.[3]Henin C,Doutriau J.A specialization of the convex simplex method to cubic programming[J]. Decisions in Economics and Finance,1980,3:61-72.[4]Zhang X M,Wang Y J,Ma W M.Global sufcient optimality conditions for a special cubic minimization problem[J].Mathematical Problems in Engineering,2012,2012:1-16.[5]Wang Y J,Liang Z A.Global optimality conditions for cubic minimization problem with box or binary constraints[J].Journal of Global Optimization,2010,47:583-595.[6]Wu Z Y,Quan J,Li G Q,et al.Necessary optimality conditions and new optimization methods for cubic polynomial optimization problems with mixed variables[J].Journal of Optimization Theory and Applications,2012,153:408-435.[7]李国权.非凸二次规划问题的全局最优性条件及全局优化方法[D].上海:上海大学,2012.[8]Li G Q,Wu Z Y,Quan J.A new local and global optimization method for mixed integer quadratic programming problems[J].Applied Mathematics andComputation,2010,217:2501-2512.[9]Wu Z Y,Li G Q,Quan J.Global optimality condition and optimization methods for quadratic integer programming problems[J].Journal of Global Optimization,2011,51:549-568.[10]Jeyakumar V,Li G Y.Necessary global optimality conditions for nonlinear programming problems with polynomial constraints[J].Mathematical Programming,2011,126:393-399.[11]Quan J,Wu Z Y,Li G Q.Global optimality conditions for some classes of polynomial integer programming problems[J].Journal of Industrial and Management Optimization,2011,7(1): 67-78.[12]田静,吴至友,Ugon J.一类特殊多项式整数规划问题的最优化算法[J].运筹学学报,2011,15(4):23-35.[13]吴至友.全局优化的几种确定性方法[D].上海:上海大学,2003.。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
注:当 x int S时, S在 x 处的可行方向锥是全空间Rn .
不等式约束最优化问题的最优性条件
定
义设S下降Rn方, x向 (Sd,edsceRnnt,
direction)：
d 0, 且f : S
R在点x处可微，
f ( x)T d 0,则d为f在点x处的下降方向.
几何最优性条件—一阶必要条件
几何最优性条件直观,但难以在实际
计算中应用.
???
将几何最优性条件转化为代数
最优性条件.
(1) Fritz John 条件 (2) Kuhn-Tucker 条件
不等式约束最优化问题的最优性条件
Fritz John 最优性条件—一阶必要条件 (1948)
定理3.3.3: 设 x*为问题(3.3.1)的局部最优解且
s.t. g1( x1 , x2 ) x1 0
g2 ( x1 , x2 ) x2 0
g3 ( x1 , x2 ) 1 x12 x2 0
解：1）判断该点起作用约束：
2）计算目标函数及有效约束在 该点梯度：
g1( x1, x2 ) 1 0 g2( x1, x2 ) 0 g3 ( x1 , x2 ) 0
f
(x(k
)
)
2(
x1(k ) 2 x2(k )
2)
2
0
g2
(x(k
)
)
0 1
g3 (x(k)
)
2 x1(k ) 1
2 1
§5-1 约束最优解及其必要条件
3）代入K-T条件，求乘子：
s.t. g1( x1 , x2 ) x1 0
g2 ( x1 , x2 ) x2 0
g3 ( x1 , x2 ) 1 x12 x2 0
不等式约束最优化问题的最优性条件
Kuhn-Tucker 最优性条件—一阶充分条件
min
f ( x1 , x2 ) ( x1 2)2 x22
x x (2) 的非有效约束g3(x)≥0对 处的可行方向没有影响，
故非有效约束也称为不起作用的约束.
不等式约束最优化问题的最优性条件
几何最优性条件—一阶必要条件
定理3.3.1: 考虑约束最优化问题
min f ( x), xS
(3.3.2)
其中S Rn是非空集合，f : S R, 且f在
K-T f x* m *i ci x* 0
条
件
i 1
*i ci x* 0 i 1,2, , m
*i 0 i 1,2, , m
互补 松弛 条件
不等式约束最优化问题的最优性条件
Kuhn-Tucker 最优条件—一阶必要条件
m
解： I * 1, 2, f x* 1, 0T , c1 x* 0,1T , c2 x* 0,1T .
取*0 0 *1 *2 0, 有
*0f x* *1c1 x* *2c2 x* 0,
验证 x* 0, 0T处kuhn-Tucker条件是否成立？
解：对 1 , 2 T , 有
f x*
所以
1c1 x* 2c2 x*
x* 0, 0T 不是K-T点．
1
1
2
0,
原因是c1 x* ,c2 x* 线性相关．
d T c2 x 0, 3d1 2d2 0;
d T f x 0, 8d1 2d2 0.
故该问题在x处的可行下降方向集合为
FD
{d
R2
|
1 4
d2
d1
2 3
d2,d2
0}.
由于FD ，故x一定不是问题的极小点.
不等式约束最优化问题的最优性条件
x处可微.若x是问题(3.3.2)的局部极小点, 则
F0 D .
不等式约束最优化问题的最优性条件
几何最优性条件—一阶必要条件
仅考虑在某点起作用的约束
定理3.3.2: 在问题(3.3.1)中，假设：
(1) x*为局部最优解且I * i ci x* 0,1 i m ；
例1：确定： min f x x1 62 x2 22
s.t x1 2 x2 4 0
3 x1 2 x2 12 0
x1 , x2 0
在点 x 2,3T处的可行下降方向.
解：x 2,3T， Ix 1,2.
c1
x
可行方向：设S Rn , x clS, d Rn , d 0, 若存在〉0，使得
x d S, (0, ),
则称d为集合S在点x处的可行方向( feasible direction).
可行方向锥： S在点 x处的可行方向锥
D {d | d 0, 0,使x d S, (0, )}.
1 2
,
c2
x
3 2
.
不等式约束最优化问题的最优性条件
几何最优性条件—一阶必要条件
f
x
2 x1 12 2x2 4
,
f
x
8 2
.
设 d d1 , d2 T , 则d T c1 x 0, d1 2d2 0;
x 是(3.3.1)的全局极小点.
不等式约束最优化问题的最优性条件
Kuhn-Tucker 最优性条件—一阶充分条件
K-T条件对于约束问题的重要性在于： 1）检验某点是否为约束最优点； 2）检验一种搜索方法是否可行。
例4：判断x(k)=[1 0]T是否为下列约束优化问题最优点：
min
f ( x1 , x2 ) ( x1 2)2 x22
不等式约束最优化问题的最优性条件
Kuhn-Tucker 最优性条件—一阶必要条件 (1951)
定理3.3.4
设 x* 为 (3.3.1)局部最优解, I * i ci x* 0 ;
f x, ci x 1 i m在 x* 点可微，对于 i I *
的ci x* 线性无关，则存在非零向量 * *1 , , *m 使得：
*i 0 i 0,1,2, , m
不等式约束最优化问题的最优性条件
Fritz John 最优性条件—一阶必要条件
例2： min f x1 , x2 x1 s.t c1 x1 , x2 x13 x2 0 c2 x1 , x2 x2 0
验证 x* 0, 0T 处Fritz-John条件是否成立？
f x* *i gi x*
(a)
i 1
式(a)的几何意义:在局部
极小点 xk 处,目标函数的梯度能 表示成有效约束梯度的 非负组合,即目标函数的 梯度属于有效约束的梯度 所生成的凸锥内.
不等式约束最优化问题的最优性条件
Kuhn-Tucker 最优性条件—一阶必要条件
例3： min f x1 , x2 x1 s.t c1 x1 , x2 x13 x2 0 c2 x1 , x2 x2 0
不等式约束最优化问题的最优性条件
Kuhn-Tucker 最优性条件—一阶充分条件
定理3.3.5
设 在问题(3.3.1)中 f x,ci x 1 i m
是凸函数, x 是可行点， 且 f x,ci x(i 1,2,..., m) 在 x处可微. 若 x是(3.3.1)的K-T点, 则
(2) f x与ci xi I * 在 x* 点可微；
(3) ci x i I \ I * 在 x* 点连续；
则
F0 G0 ,
其中G0 d Rn ci x* T d 0 , i I *
不等式约束最优化问题的最优性条件
几何最优性条件—一阶必要条件
*1c1 x* 0, *2c2 x* 0.
即该问题在x*处Fritz-John条件成立.
不等式约束最优化问题的最优性条件
Fritz John 最优性条件—一阶必要条件
注: (1)上例说明在Fritz John条件中有可能λ0=0. 此时，目
标 函数的梯度就会从Fritz John中消失, 即Fritz John 条件实际上不包含目标函数的任何信息，仅仅表明 起作用约束函数的梯度线性相关，而这对表述最优 点没有什么实际价值.
(2) 为了保证λ0 >0, 还需要对约束再加上一些限制条件．这种限 制条件通常称为约束规格(Constraint Qualification)． 一个 自然的想法是附加 ci ( x)(i I( x)) 线性无关的约束规格 (当然还有许多其他的约束规格)，这样就得到了著名的 Kuhn—Tuker条件.
f x, ci x1 i m 在 x* 点可微，则存在非零
则存在非零的向量* *0 , *1 , , *m , 使得：
m
*0f x* *i ci x* 0
i 1
*i ci x* 0 i 1,2, , m
x Constraint 在可行点 处的有效约束的指标集：
有效集：I I x i ci x 0
不等式约束最优化问题的最优性条件
有效约束与非有效约束---几何解释
g1(x)=0