3不等式约束最优化问题的最优性条件.
[最优化]不等式约束的优化问题求解
![[最优化]不等式约束的优化问题求解](https://img.taocdn.com/s3/m/9cd05016974bcf84b9d528ea81c758f5f61f29fd.png)
[最优化]不等式约束的优化问题求解不等式约束的优化问题求解与前⽂讨论的只含等式约束的优化问题求解类似，含不等式约束的优化问题同样可以⽤拉格朗⽇乘⼦法进⾏求解对于⼀般形式的优化问题：其中，引⼊下⾯两个定义：定义1：对于⼀个不等式约束，如果在处，那么称该不等式约束是处的起作⽤约束；如果在处，那么称该约束是处的不起作⽤约束。
按照惯例，总是把等式约束当作起作⽤的约束定义2：设满⾜，设为起作⽤不等式约束的下标集：如果向量 是线性⽆关的，那么称是⼀个正则点下⾯介绍某个点是局部极⼩点所满⾜的⼀阶必要条件，即KKT 条件。
KKT 条件：设，设是问题的⼀个正则点和局部极⼩点，那么必然存在和，使得以下条件成⽴：那么在求解不等式约束的最优化问题的时候，可以搜索满⾜KKT 条件的点，并将这些点作为极⼩点的候选对象。
⼆阶充分必要条件除了⼀阶的KKT 条件之外，求解这类问题还有⼆阶的充分必要条件。
⼆阶必要条件：在上述的问题中若是极⼩点且。
假设是正则点，那么存在和使得1. 2. 对于所有，都有成⽴⼆阶充分条件：假定，是⼀个可⾏点，存在向量和使得1. 2. 对于所有，都有成⽴那么是优化问题的严格局部极⼩点f(x)subject toh(x)=0g(x)≤0minimize f(x)subject to h(x)=0g(x)≤0f:Rn →R,h:Rn →Rm,m≤n,g:Rn →Rp f :→R,h :→,m ≤n,g :→R n R n R m R n R pgj(x)≤0(x)≤0g j x ∗x ∗gj(x ∗)=0()=0g j x ∗x ∗x ∗x ∗x ∗gj(x ∗)<0()<0g j x ∗x ∗x ∗hi(x)(x)h i x ∗x ∗h(x ∗)=0,g(x ∗)≤0h()=0,g()≤0x ∗x ∗J(x ∗)J()x ∗J(x ∗)≜{j:gj(x ∗)=0}J()≜{j :()=0}x ∗g j x ∗∇hi(x ∗),∇gj(x ∗),1≤i≤m,j ∈J(x ∗)∇(),∇(),1≤i ≤m,j ∈J()h i x ∗g j x ∗x ∗x ∗x ∗f,h,g ∈C1f,h,g ∈C 1x ∗x ∗h(x)=0,g(x)≤0h(x)=0,g(x)≤0λ∗∈Rm ∈λ∗R m µ∗∈Rp ∈µ∗R p Df(x ∗)+λ∗TDh(x ∗)+µ∗TDg(x ∗)=0Tµ∗Tg(x ∗)=0h(x ∗)=0g(x ∗)≤0≥0µ∗Df()+Dh()+Dg()=x ∗λ∗T x ∗µ∗T x ∗0Tg()=0µ∗T x ∗h()=0x ∗g()≤0x ∗x ∗x ∗f,h,g ∈C2f,h,g ∈C 2x ∗x ∗λ∗∈Rm ∈λ∗R m µ∗∈Rp ∈µ∗R p µ∗≥0,Df(x ∗)+λ∗TDh(x ∗)+µ∗TDg(x ∗)=0T,µ∗Tg(x ∗)=0≥0,Df()+Dh()+Dg()=,g()=0µ∗x ∗λ∗T x ∗µ∗T x ∗0T µ∗T x ∗y ∈T(x ∗)y ∈T ()x ∗yTL(x ∗,λ∗,µ∗)y≥0L(,,)y ≥0y T x ∗λ∗µ∗f,h,g ∈C2f,h,g ∈C 2x ∗∈Rn ∈x ∗R n λ∗∈Rm ∈λ∗R m µ∗∈Rp ∈µ∗R p µ∗≥0,Df(x ∗)+λ∗TDh(x ∗)+µ∗TDg(x ∗)=0T,µ∗Tg(x ∗)=0≥0,Df()+Dh()+Dg()=,g()=0µ∗x ∗λ∗T x ∗µ∗T x ∗0T µ∗T x ∗y ∈T~(x ∗,µ∗),y≠0y ∈(,),y ≠0T˜x ∗µ∗yTL(x ∗,λ∗,µ∗)y>0L(,,)y >0y T x ∗λ∗µ∗x ∗x ∗h(x)=0,g(x)≤0h(x)=0,g(x)≤0。
约束最优化问题的最优性条件
ci ( x ) ≥ 0
i ∈ I = {l + 1, , m}
一阶必要条件
定理6: (Kuhn-Tucker一阶必要条件)
*
I * = i ci x * = 0, i ∈ I ; 设 x 为问题(3)的局部最优解, f ( x ), ci ( x ) (1 ≤ i ≤ m ) 在 x * 点可微, 对于i ∈ E ∪ I *
*
λ f (x ) ∑ λ ci (x ) = 0
m * 0 *
λ c (x ) = 0 i = 1,2, , m
* i i *
i =1
* i
*
λ ≥ 0 i = 0,1,2, , m
* i
例2: 验证是否满足Fritz-John条件:
min f ( x1 , x2 ) = x1 s.t
*
3 c1 ( x1 , x2 ) = x1 x2 ≥ 0
* 则存在一组不全为零的实数 λ1 , λ* , λ* 使得: 2 l
f x * ∑ λ*ci x * = 0 i
i =1
( )
l
( )
二阶充分条件
定理2: 对等式约束问题,若: (1) f ( x ) 与 ci ( x )(1 ≤ i ≤ l ) 是二阶连续可微函数; (3) s ∈ R n且 s ≠ 0 , 且 s T ci (x * ) = 0 , i = 1,2, l 均有 s T 2 L (x * , λ* )s > 0 xx 则 x* 是等式约束问题的严格局部极小点. (2) x * ∈ R n 与 λ* ∈ R l 使: L(x* , λ* ) = 0 ;
{ ( ) }
的ci (x * ) 线性无关, 则存在非零向量 * λ* = (λ1 , , λ* ) 使得: m
第四章约束问题的最优化方法
当limr(k) 0 k
则(x, r(k) ) f (x) , xk * x *
例： 用内点法求
min
f
(x)
x2 1
x2 2
s.t. g( x) 1 x1 0 的约束最优解。
解:
首先构造内点惩罚函数: (
x,
r)
x2 1
x2 2
rk
ln(x1
1)
用解析法求函数的极小值，运用极值条件：
二. 直接解法：
基本思想：合理选择初始点，确定搜索方向，以迭代公式 x(k+1)= x(k)+α(k)S(k)在可行域中寻优，经过若干次迭代，收敛至最优点。 适用范围：只能求解不等式约束优化问题的最优解。
基本要点：选取初始点、确定搜索方向及适当步长。
搜索原则：每次产生的迭代点必须满足可行性与适用性两个条件。 可行性：迭代点必须在约束条件所限制的可行域内，即满足
1
u1 gu (x)
② .(x, r(k) )
m
f (x) r(k)
1
u1 gu (x)
③ .(x, r (k) )
f (x)
m
r (k) u u 1
1 gu (x)
其中：gu (x) 0,u 1,2,...m
其中：gu (x) 0,u 1,2,...m
gu(x)0, u=1,2,…,p
适用性：当前迭代点的目标函数值较前一点是下降的，即满足 F(xk+1)<F(xk)
收敛条件：
• 边界点的收敛条件应该符合 K-T 条件；
• 内点的收敛条件为： xk1 xk 1
和
最优化方法4-1第四章 约束最优化方法-KKT条件
(II) f(x)和 c i (x)（i∈I*）在 x*点可微；
（III）c i (x)（i∈I\ I*）在 x*点连续
则 S={p∈Rn | ▽f(x*)Tp<0}
与 G={ p∈Rn |▽c i(x* )Tp>0, i∈I*} 的交是空集，
（iii）▽ci(x*)(i=1,2,…,l)线性无关；
则存在一组不全为零的实数 1*… l*使得
l
▽f(x*)- i *▽c i(x*)=0 1
定义 n+l 元函数：
l
L(x, )=f(x)- Tc(x)=f(x)- ici(x) i1 为 lagrange 函数，
1
1 2
x1 x2 1 0
的 KT 点为 x* (0, 3)T,相应乘子为* (1 ,0)T。
6
例 2：验证(2,1)T 为下面约束优化问题的 K-T 点.
min
f ( x1 , x2 ) ( x1 3)2 ( x2 2)2
恰好给出等式约束问题的一阶必要条件
及 c i(x*)=0，i=1, …,l
点（X*, *）称为 lagrange 函数 L（x, ）的驻点。
几何意义是明显的：考虑一个约束的情况：
-▽f(x*)
-▽f(x ) x
▽c(x )
c(x)
▽c(x*)
这里 x* 是局部最优解，
▽f(x*)与▽c(x*) 共线，
称 为 lagrange 乘子向量。
lagrange 函数的梯度为
▽L(x, )=(▽xL,▽ L)T
最优化理论第四章约束问题最优性条件
定理4.2
设x* s, f ( x), g i ( x), (i I )在x*可微，g i ( x), (i I )在x *连续，
如果x*是问题 2 的局部最优解，则F0 G0 =。 （证明从略）
2.2 定理4.3 （Fritz，John条件）
* 设x* s，I i g i ( x* ) 0 ，f , g i (i I )在x*处可微，g （ i i I）在x 处连续，
第
四
章
约束问题的最优性 条件（P206）
min f(x) 约束优化： s.t. gi (x) 0, h ( x) 0, j
x Rn i 1,..., m j 1,..., l
s x gi ( x) 0, i 1,..., m; h j ( x), j 1,..., l
iI
①K-T条件
* 进一步条件，若g（ i I ）在 x 处可微，K-T条件为： i m （ f x*） - wi gi ( x* ) 0 ② i 1 ② * m n方程组 wi gi ( x ) 0, i 1,..., m ③ ③ ④ wi 0, i 1,..., m * 给定x ，验证是否符合K-T条件用① 应用 * x 未定，求解K-T点，求解② +③
2.4
定理4.5 （约束问题最优解的一阶充分条件）
问题（2）中，f 是凸函数，g （ ）是凹函数，s为可行域，x* s, i i 1,..., m I i gi ( x* ) 0 , f 和gi (i I )在点x*可微，gi (i I )在点x*连续，且在x*处 K - T 条件成立，则x*为全局最优解。 x 1， 0 为全局最优解（例子）
《最优化方法》课程复习考试
《最优化方法》复习提要 第一章 最优化问题与数学预备知识§1. 1 模型无约束最优化问题 12min (),(,,,)T n n f x x x x x R =∈．约束最优化问题（},,2,1,0)(;,,2,1,0)(,|{l j x h m i x g R x x S j i n ===≥∈=∧）min ();...f x s t x S ⎧⎨∈⎩ 即 m i n ();..()0,1,2,,,()0,1,2,,.i j f x s t g x i m h x j l ⎧⎪≥=⎨⎪==⎩其中()f x 称为目标函数，12,,,n x x x 称为决策变量，S 称为可行域，()0(1,2,,),()0(1,2,,)i j g x i m h x j l ≥===称为约束条件．§1. 2 多元函数的梯度、Hesse 矩阵及Taylor 公式定义 设:,n n f R R x R →∈．如果n ∃维向量p ，n x R ∀∆∈，有()()()T f x x f x p x o x +∆-=∆+∆．则称()f x 在点x 处可微，并称()T df x p x =∆为()f x 在点x 处的微分．如果()f x 在点x 处对于12(,,,)T n x x x x =的各分量的偏导数(),1,2,,if x i n x ∂=∂都存在，则称()f x 在点x 处一阶可导，并称向量12()()()()(,,,)Tnf x f x f x f x x x x ∂∂∂∇=∂∂∂ 为()f x 在点x 处一阶导数或梯度．定理1 设:,n n f R R x R →∈．如果()f x 在点x 处可微，则()f x 在点x 处梯度()f x ∇ 存在，并且有()()T df x f x x =∇∆．定义 设:,n n f R R x R →∈．d 是给定的n 维非零向量，de d=．如果 0()()lim()f x e f x R λλλλ→+-∈存在，则称此极限为()f x 在点x 沿方向d 的方向导数，记作()f x d∂∂． 定理2 设:,n n f R R x R →∈．如果()f x 在点x 处可微，则()f x 在点x 处沿任何非零方向d 的方向导数存在，且()()T f x f x e d ∂=∇∂，其中de d=． 定义 设()f x 是n R 上的连续函数，n x R ∈．d 是n 维非零向量．如果0δ∃>，使得(0,)λδ∀∈，有()f x d λ+<（>）()f x ．则称d 为()f x 在点x 处的下降（上升）方向．定理3 设:,n n f R R x R →∈，且()f x 在点x 处可微，如果∃非零向量n d R ∈，使得()T f x d ∇<（>）0，则d 是()f x 在点x 处的下降（上升）方向． 定义 设:,n n f R R x R →∈．如果()f x 在点x 处对于自变量12(,,,)T n x x x x =的各分量的二阶偏导数2()(,1,2,,)i j f x i j n x x ∂=∂∂都存在，则称函数()f x 在点x 处二阶可导，并称矩阵22221121222222122222212()()()()()()()()()()n n n n n f x f x f x x x x x x f x f x f x f x x x x x x f x f x f x x x x x x ⎛⎫∂∂∂ ⎪∂∂∂∂∂ ⎪ ⎪∂∂∂ ⎪∇=∂∂∂∂∂ ⎪ ⎪⎪ ⎪∂∂∂⎪∂∂∂∂∂⎝⎭为()f x 在点x 处的二阶导数矩阵或Hesse 矩阵． 定义 设:,n m n h R R x R →∈，记12()((),(),,())T m h x h x h x h x =，如果 ()(1,2,,)i h x i m =在点x 处对于自变量12(,,,)T n x x x x =的各分量的偏导数()(1,2,,;1,2,,)i jh x i m j n x ∂==∂都存在，则称向量函数()h x 在点x 处是一阶可导的，并且称矩阵111122221212()()()()()()()()()()n n m n m m m n h x h x h x xx x h x h x h x x x x h x h x h x h x xx x ⨯∂∂∂⎛⎫ ⎪∂∂∂⎪⎪∂∂∂⎪∂∂∂∇= ⎪ ⎪⎪∂∂∂ ⎪ ⎪∂∂∂⎝⎭为()h x 在点x 处的一阶导数矩阵或Jacobi 矩阵，简记为()h x ∇．例2 设,,n n a R x R b R ∈∈∈，求()T f x a x b =+在任意点x 处的梯度和Hesse 矩阵．解 设1212(,,,),(,,,)TTn n a a a a x x x x ==，则1()nk k k f x a x b ==+∑，因()(1,2,,)k kf x a k n x ∂==∂，故得()f x a ∇=．又因2()0(,1,2,,)i jf x i j n x x ∂==∂∂，则2()f x O ∇=．例3 设n n Q R ⨯∈是对称矩阵，,n b R c R ∈∈，称1()2TT f x x Qx b x c =++为二次函数，求()f x 在任意点x 处的梯度和Hesse 矩阵．解 设1212(),(,,,),(,,,)T T ij n n n n Q q x x x x b b b b ⨯===，则121111(,,,)2n nnn ij i j k k i j k f x x x q x x b x c ====++∑∑∑，从而111111111()()()nn j j j j j j n n n nj j n nj j j j n f x q x b q x x bf x Qx b f x b q x b q x x ====⎛⎫⎛⎫∂⎛⎫+ ⎪ ⎪ ⎪∂⎛⎫ ⎪ ⎪⎪ ⎪ ⎪ ⎪ ⎪∇===+=+ ⎪ ⎪ ⎪ ⎪ ⎪∂⎝⎭ ⎪ ⎪ ⎪+ ⎪ ⎪ ⎪∂⎝⎭⎝⎭⎝⎭∑∑∑∑．再对1()(1,2,,)nij j i j i f x q x b i n x =∂=+=∂∑求偏导得到2()(,1,2,,)ij i jf x q i j n x x ∂==∂∂，于是1112121222212()n n n n nn q q q q q q f x Q q q q ⎛⎫⎪ ⎪∇== ⎪⎪⎝⎭． 例 4 设()()t f x td ϕ=+，其中:n f R R →二阶可导，,,n n x R d R t R ∈∈∈，试求(),()t t ϕϕ'''．解 由多元复合函数微分法知 2()(),()()T T t f x td d t d f x td d ϕϕ'''=∇+=∇+． 定理4 设:,n n f R R x R →∈，且()f x 在点x 的某邻域内具有二阶连续偏导数，则()f x 在点x 处有Taylor 展式21()()()(),(01)2T T f x x f x f x x x f x x x θθ+∆=+∇∆+∆∇+∆∆<<．证明 设()(),[0,1]t f x t x t ϕ=+∆∈，则(0)(),(1)()f x f x x ϕϕ==+∆．按一元函数Taylor 公式()t ϕ在0t =处展开，有21()(0)(0)(),(0)2t t t t ϕϕϕϕθθ'''=++<<．从例4得知2(0)(),()()()T T f x x x f x x x ϕϕθθ'''=∇∆=∆∇+∆∆．令1t =，有21()()()(),(01)2T T f x x f x f x x x f x x x θθ+∆=+∇∆+∆∇+∆∆<<．根据定理1和定理4，我们有如下两个公式()()()()()T f x f x f x x x o x x =+∇-+-，221()()()()()()()()2T T f x f x f x x x x x f x x x o x x =+∇-+-∇-+-．§1. 3 最优化的基本术语定义 设:n f R R →为目标函数，n S R ⊆为可行域，x S ∈．（1） 若x S ∀∈，都有()()f x f x ≥，则称x 为()f x 在S 上的全局（或整体）极小点，或者说，x 是约束最优化问题min ()x Sf x ∈的全局（或整体）最优解，并称()f x为其最优值．（2） 若,x S x x ∀∈≠，都有()()f x f x >，则称x 为()f x 在S 上的严格全局（或整体）极小点．（3） 若x ∃的δ邻域(){}(0)n N x x R x x δδδ=∈-<>使得()x N x S δ∀∈，都有()()f x f x ≥，则称x 为()f x 在S 上的局部极小点，或者说，x 是约束最优化问题min ()x Sf x ∈的局部最优解．（4） 若x ∃的δ邻域()(0)N x δδ>使得(),x N x S x x δ∀∈≠，都有()()f x f x >，则称x 为()f x 在S 上的严格局部极小点．第二章 最优性条件§2.1 无约束最优化问题的最优性条件定理 1 设:n f R R →在点x 处可微，若x 是问题min ()f x 的局部极小点，则()0f x ∇=．定义 设:()n f S R R ⊆→在int x S ∈处可微，若()0f x ∇=，则称x 为()f x 的平稳点．定理2 设:n f R R →在点x 处具有二阶连续偏导数，若x 是问题min ()f x 的局部极小点，则()0f x ∇=，且2()f x ∇半正定．定理3 设:n f R R →在点x 处具有二阶连续偏导数，若()0f x ∇=，且2()f x ∇正定，则x 是问题min ()f x 的严格局部极小点． 注：定理2不是充分条件，定理3不是必要条件．例1 对于无约束最优化问题2312min ()f x x x =-，其中212(,)T x x x R =∈，显然 2212()(2,3),T f x x x x R ∇=-∀∈，令()0f x ∇=，得()f x 的平稳点(0,0)T x =，而且2222020(),()0600f x f x x ⎛⎫⎛⎫∇=∇= ⎪ ⎪-⎝⎭⎝⎭．易见2()f x ∇为半正定矩阵．但是，在x 的任意δ邻域x x δ-<，总可以取到(0,)2T x δ=，使()()f x f x <，即x 不是局部极小点．例2 对于无约束最优化问题42241122min ()2f x x x x x =++，其中212(,)T x x x R =∈， 易知3223112122()(44,44)Tf x x x x x x x ∇=++，从而得平稳点(0,0)T x =，并且 22221212221212001248(),()008412x x x x f x f x x x x x ⎛⎫+⎛⎫∇=∇=⎪ ⎪+⎝⎭⎝⎭． 显然2()f x ∇不是正定矩阵．但是，22212()()f x x x =+在x 处取最小值，即x 为严格局部极小点．例3 求解下面无约束最优化问题332122111min ()33f x x x x x =+--，其中212(,)T x x x R =∈， 解 因为21212222201(),()0222x x f x f x x x x ⎛⎫-⎛⎫∇=∇= ⎪ ⎪--⎝⎭⎝⎭，所以令()0f x ∇=，有2122210,20.x x x ⎧-=⎪⎨-=⎪⎩解此方程组得到()f x 的平稳点(1)(2)(3)(4)1111,,,0202x x x x --⎛⎫⎛⎫⎛⎫⎛⎫==== ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭⎝⎭．从而2(1)2(2)2020(),()0202f x f x ⎛⎫⎛⎫∇=∇= ⎪ ⎪-⎝⎭⎝⎭，2(3)2(4)2020(),()0202f x f x --⎛⎫⎛⎫∇=∇= ⎪ ⎪-⎝⎭⎝⎭．由于2(1)()f x ∇和2(4)()f x ∇是不定的，因此(1)x 和(4)x 不是极值点．2(3)()f x ∇是负定的，故(3)x 不是极值点，实际上它是极大点．2(2)()f x ∇是正定的，从而(2)x 是严格局部极小点．定理4 设:n f R R →是凸函数，且()f x 在点n x R ∈处可微，若()0f x ∇=，则x 为min ()f x 的全局极小点．推论5 设:n f R R →是凸函数，且()f x 在点n x R ∈处可微．则x 为min ()f x 的全局极小点的充分必要条件是()0f x ∇=． 例 4 试证正定二次函数1()2TT f x x Qx b x c =++有唯一的严格全局极小点1x Q b -=-，其中Q 为n 阶正定矩阵．证明 因为Q 为正定矩阵，且(),n f x Qx b x R ∇=+∀∈，所以得()f x 的唯一平稳点1x Q b -=-．又由于()f x 是严格凸函数，因此由定理4知，x 是()f x 的严格全局极小点．§2.2 等式约束最优化问题的最优性条件定理1 设:n f R R →在点x 处可微，:(1,2,,)n j h R R j l →=在点x 处具有一阶连续偏导数，向量组12(),(),,()l h x h x h x ∇∇∇线性无关．若x 是问题min ();..()0,1,2,,j f x s t h x j l ⎧⎨==⎩的局部极小点，则,1,2,,j v R j l ∃∈=，使得1()()0lj j j f x v h x =∇-∇=∑．称(,)()()T L x v f x v h x =-为Lagrange 函数，其中12()((),(),,())T l h x h x h x h x =．称12(,,,)T l v v v v =为Lagrange 乘子向量．易见(,)x v L L x v L ∇⎛⎫∇= ⎪∇⎝⎭，这里1(,)()(),(,)()lx j j v j L x v f x v h x L x v h x =∇=∇-∇∇=-∑．定理 2 设:n f R R →和:(1,2,,)n j h R R j l →=在点n x R ∈处具有二阶连续偏导数，若l v R ∃∈，使得(,)0x L x v ∇=，并且，,0n z R z ∀∈≠，只要()0,1,2,,T j z h x j l ∇==，便有2(,)0T xx z L x v z ∇>，则x 是问题min ();..()0,1,2,,j f x s t h x j l ⎧⎨==⎩的严格局部极小点．例1 试用最优性条件求解 221212min ();..()80.f x x x s t h x x x ⎧=+⎨=-=⎩解 Lagrange 函数为221212(,)(8)L x v x x v x x =+--，则1221122(,)2(8)x vx L x v x vx x x -⎛⎫⎪∇=- ⎪ ⎪--⎝⎭， 从而得(,)L x v 的平稳点(8,8,2)T 和(8,8,2)T --，对应有(8,8),2T x v ==和(8,8),2T x v =--=．由于221222(,),()222xx x v L x v h x x v--⎛⎫⎛⎫⎛⎫∇==∇= ⎪⎪ ⎪--⎝⎭⎝⎭⎝⎭． 因此1212(){(,)|(,)()0}T M x z z z z h x =∇=121221{(,)|0}T z z z x z x =+= 1212{(,)|}T z z z z ==-．并且(),0z M x z ∀∈≠，有222211221(,)24280T xx z L x v z z z z z z ∇=-+=>．利用定理2，所得的两个可行点(8,8)T x =和(8,8)T x =--都是问题的严格局部极小点．§2.3 不等式约束最优化问题的最优性条件定义 设,,,0n n S R x clS d R d ⊆∈∈≠，若0δ∃>，使得，,(0,)x d S λλδ+∈∀∈， 则称d 为集合S 在点x 处的可行方向． 这里{|,(),0}n clS x x R SN x δδ=∈≠∅∀>．令 {|0,0,,(0,)}D d d x d S δλλδ=≠∃>+∈∀∈使，0{|()0}T F d f x d =∇<．定理 1 设n S R ⊆是非空集合，:,,()f S R x S f x →∈在点x 处可微．若x 是问题min ()x Sf x ∈的局部极小点，则 0F D =∅．对于min ();..()0,1,2,,,i f x s t g x i m ⎧⎨≥=⎩ （1）其中:,:(1,2,,)n n i f R R g R R i m →→=．令(){|()0,1,2,,}i I x i g x i m ===，其中x 是上述问题（1）的可行点．定理 2 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x 处连续，如果x 是问题（1）的局部极小点，则 00F G =∅，其中0{|()0,()}T i G d g x d i I x =∇>∈．定理 3 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x 处连续，若x 是问题（1）的局部极小点，则存在不全为0的非负数0,(())i u u i I x ∈，使0()()()0iii I x u f x u g x ∈∇-∇=∑． （x 称为Fritz John 点）如果()(())i g x i I x ∉在点x 处也可微，则存在不全为0的非负数01,,,m u u u ，使01()()0,()0,1,2,,.mi i i i iu f x u g x u g x i m =⎧∇-∇=⎪⎨⎪==⎩∑ （x 称为Fritz John 点） 例1 设1311222min ();..()(1)0,()0.f x x s t g x x x g x x =-⎧⎪=--≥⎨⎪=≥⎩试判断(1,0)T x =是否为Fritz John 点． 解 因为12100(),(),()011f x g x g x -⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭，且(){1,2}I x =，所以为使Fritz John 条件01210000110u u u -⎛⎫⎛⎫⎛⎫⎛⎫--= ⎪ ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭⎝⎭成立，只有00u =才行．取0120,0u u u α===>即可，因此x 是Fritz John 点．定理 4 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x 处连续，并且()(())i g x i I x ∇∈线性无关．若x 是问题（1）的局部极小点，则存在0(())i u i I x ≥∈，使得()()()0iii I x f x u g x ∈∇-∇=∑． （x 称为K-T 点）如果()(())i g x i I x ∉在点x 处也可微，则存在0(1,2,,)i u i m ≥=，使得1()()0,()0,1,2,,.mi i i i if x ug x u g x i m =⎧∇-∇=⎪⎨⎪==⎩∑ （x 称为K-T 点） 例2 求最优化问题21211222min ()(1);..()20,()0f x x x s t g x x x g x x ⎧=-+⎪=--+≥⎨⎪=≥⎩的K-T 点． 解 因为1122(1)10(),(),()111x f x g x g x --⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭，所以K-T 条件为111211222122(1)0,10,(2)0,0,0,0.x u u u u x x u x u u -+=⎧⎪+-=⎪⎪--+=⎨⎪=⎪⎪≥≥⎩ 若20u =，则11u =-，这与10u ≥矛盾．故20u >，从而20x =；若120x -+=，则12u =-，这与10u ≥矛盾．故10u =，从而211,1u x ==； 由于120,0u u ≥≥，且(1,0)T x =为问题的可行点，因此x 是K-T 点． 定理5 设在问题（1）中，()f x 和()(1,2,,)i g x i m -=是凸函数，x 是可行点，并且()f x 和()(())i g x i I x ∈在点x 处可微．若x 是问题（1）的K-T 点，则x 是问题（1）的全局极小点．§2.4 一般约束最优化问题的最优性条件考虑等式和不等式约束最优化问题min ();..()0,1,2,,,()0,1,2,,,i j f x s t g x i m h x j l ⎧⎪≥=⎨⎪==⎩（1） 其中:,:(1,2,,),:(1,2,,)n n n i j f R R g R R i m h R R j l →→=→=．并把问题（1）的可行域记为S ．,(){|()0,1,2,,}i x S I x i g x i m ∀∈==．定理 1 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l =在点x 处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续，并且向量组12(),(),,()l h x h x h x ∇∇∇线性无关．若x 是问题（1）的局部极小点，则 00F G H =∅，这里0{|()0}T F d f x d =∇<，0{|()0,()}T i G d g x d i I x =∇>∈，0{|()0,1,2,,}T j H d h x d j l =∇==．定理 2 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l =在点x 处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续．若x 为问题（1）的局部极小点，则存在不全为0的数0,(())i u u i I x ∈和(1,2,,)j v j l =，且0,0(())i u u i I x ≥∈，使0()1()()()0liijji I x j u f x u g x v h x ∈=∇-∇-∇=∑∑． （x 称为Fritz John 点）若()(())i g x i I x ∉在点x 处也可微，则存在不全为0的数0,(1,2,,)i u u i m =和(1,2,,)j v j l =，且0,0(1,2,,)i u u i m ≥=，使011()()()0,()0,1,2,,.m li i j j i j i iu f x u g x v h x u g x i m ==⎧∇-∇-∇=⎪⎨⎪==⎩∑∑ （x 称为Fritz John 点）例1 设2212311222212min ();..()0,()0,()(1)0.f x x x s t g x x x g x x h x x x ⎧=+⎪=-≥⎪⎨=≥⎪⎪=--+=⎩试判断(1,0)T x =是否为Fritz John 点．解 (){2}I x =，且2200(),(),()011f x g x h x ⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭，且(){1,2}I x =，因此为使Fritz John 条件022*******u u v ⎛⎫⎛⎫⎛⎫⎛⎫--= ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭⎝⎭成立，只有00u =才行．所以取020,1,1u u v ===-，即知x 是Fritz John 点．定理 3 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l =在点x 处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续，且向量组()(()),()(1,2,,)i j g x i I x h x j l ∇∈∇=线性无关．若x 是问题（1）的局部极小点，则存在数0(())i u i I x ≥∈和(1,2,,)j v j l =，使()1()()()0liijji I x j f x u g x v h x ∈=∇-∇-∇=∑∑． （x 称为K-T 点）如果()(())i g x i I x ∉在点x 处也可微，则存在数0(1,2,,)i u i m ≥=和(1,2,,)j v j l =，使11()()()0,()0,1,2,,.m li i j j i j i if x ug x vh x u g xi m ==⎧∇-∇-∇=⎪⎨⎪==⎩∑∑ （x 称为K-T 点） 令 1212()((),(),,()),()((),(),,())T T m l g x g x g x g x h x h x h x h x ==，1212(,,,),(,,,)T T m l u u u u v v v v ==，称u 与v 为广义Lagrange 乘子向量或K-T 乘子向量．()()()0,()0,0.T T Tf xg x uh x v u g x u ⎧∇-∇-∇=⎪=⎨⎪≥⎩令(,,)()()()T T L x u v f x u g x v h x =--为广义Lagrange 函数．称(,,)L x u v 为广义Lagrange 函数．则K-T 条件为(,,)0,()0,0.x TL x u v u g x u ∇=⎧⎪=⎨⎪≥⎩定理 4 设在问题（1）中，()f x 和()(1,2,,)i g x i m -=是凸函数，()(1,2,,)j h x j l =是线性函数，x 是可行点，并且()f x 和()(())i g x i I x ∈在点x 处可微．若x 是问题（1）的K-T 点，则x 是问题（1）的全局极小点．例2 求解最优化问题221221212min ()(3)(1);..()0,()230.f x x x s t g x x x h x x x ⎧=-+-⎪=-+≥⎨⎪=+-≥⎩ 解 广义Lagrange 函数为222121212(,,)()()()(3)(1)()(23)L x u v f x ug x vh x x x u x x v x x =--=-+---+-+-．因为111(,,)2(3)22L x u v x ux v x ∂=-+-∂，22(,,)2(1)L x u v x u v x ∂=---∂．所以K-T 条件及约束条件为112212212122(3)220,2(1)0,()0,0,230,0.x ux v x u v u x x x x x x u -+-=⎧⎪---=⎪⎪-+=⎪⎨-+≥⎪⎪+-=⎪≥⎪⎩ 下面分两种情况讨论． （1） 设0u =，则有12122(3)20,2(1)0,230.x v x v x x --=⎧⎪--=⎨⎪+-=⎩ 由此可解得12718,,555x x v ===-，但71(,)55T x =不是可行点，因而不是K-T 点．（2） 设0u >，则有112212122(3)220,2(1)0,0,230.x ux v x u v x x x x -+-=⎧⎪---=⎪⎨-+=⎪⎪+-=⎩ 由此可得211230x x --+=，解得11x =或13x =-。
约束条件下的最优化问题
在约束条件下的最优化问题是指在一定的限制条件下，寻找使目标函数达到最大或最小值的最优解。
这类问题可以通过数学建模和优化算法来解决。
常见的约束条件包括等式约束和不等式约束。
等式约束要求某些变量之间的关系满足特定的等式关系，而不等式约束则要求某些变量之间的关系满足特定的不等式关系。
数学上，约束条件可以表示为：
1. 等式约束：g(x) = 0，其中g(x)是一个关于变量x的函数。
2. 不等式约束：h(x) ≤0，其中h(x)是一个关于变量x的函数。
最优化问题的目标函数可以是线性的、非线性的，甚至是在某些特殊情况下可能是非凸的。
根据问题的具体形式，可以选择适合的优化算法进行求解，如线性规划、非线性规划、整数规划等。
常见的优化算法包括：
1. 梯度下降法：用于求解无约束或有约束的凸优化问题，在连续可导的情况下通过迭代调整参数来逐步接近最优解。
2. KKT条件法：用于求解有约束的凸优化问题，通过构建拉格朗日函数和KKT条件来确定最优解。
3. 内点法：用于求解线性规划和凸优化问题，通过在可行域内寻找目标函数的最优解。
4. 遗传算法：用于求解复杂的非线性优化问题，通过模拟自然进化过程中的选择、交叉和变异操作来搜索最优解。
5. 模拟退火算法：用于求解非线性优化问题，通过模拟固体退火的过程来逐步降低温度并接近最优解。
在实际应用中，约束条件下的最优化问题广泛应用于工程、经济、运筹学、物流等领域。
通过合理地建立数学模型，并选择合适的优化算法，可以有效地解决这类问题，并得到最优解或接近最优解的结果。
约束问题的最优化方法
m
⑤ .Φ ( x, r ) = f ( x) − r ∑ ln[− g u ( x)]
(k )
其中：惩罚（加权）因子 降低系数 c：
r ( 0 ) > r (1) > ....r ( k )
0< c <1
r ( k −1) ⋅ c = r ( k )
xk * → x *
当lim r ( k ) → 0
x ∈ D ⊂ Rn s.t. g u ( x ) ≥ 0, u = 1,2,..., p hv ( x ) = 0, v = 1,2,..., q min F ( x )
一. 约束优化问题解法分类： 约束优化方法按求解原理的不同可以分为直接法和间接法两类。
直接解法：随机方向搜索法、复合形法、可行方向法
其中：g u ( x) ≥ 0, u = 1,2,...m
③ .Φ ( x, r ) = f ( x) − ∑ ru ( k )
(k ) u =1
m
1 g u ( x)
④ .Φ ( x, r ) = f ( x) + r
(k )
(k )
(k )
1 ∑ 2 u =1 [ g u ( x )]
m u =1
k →∞
则Φ ( x, r ( k ) ) → f ( x) ,
) x12 + x22 例： 用内点法求 min f ( x=
s.t. g ( x ) = 1 − x1 ≤ 0
的约束最优解。
2 解: 首先构造内点惩罚函数:φ ( x , r ) = x12 + x2 − r k ln( x1 − 1)
(k ) u =1 m
lim r2 H [hv ( x ( k ) )] = 0
最优化：最优性条件
g i ( x ) T d 0 和 h j ( x ) T d 0, 即d LFD( x, D ) 注意：尽管 LFD( x, D )具有代数表示, 但上面的命题表明 LFD( x, D )是SFD( x, D )的一个子集,因此还不能用 LFD( x, D )替换定理 9.1.1中的SFD( x, D )
令 xk x k d k , 由定义9.1.2知, {xk } D.
为理解序列可行方向, 我们来看看它的几何解释：
xk
D
D
●
dk
●
xdຫໍສະໝຸດ xkdk●●
d
x
(a ) 点x在D内部
(b) 点x在D的边界上
序列可行方向实际 上就是可行方向
显然,
序列可行方向包含可行 方向和边界的切线方向
FD( x, D) SFD( x, D) (只需取d k d )
定义9.1.1 设x D, d R n .若存在数 0, 使得 x d D, (0, ], 则称d是D在x处的一个可行方向.
记x处所有可行方向的集合为FD( x, D)
若记x处函数f 的所有下降方向 集合为GD( x ) * 容易看出, 如果x 是(9.1)的最优 解, 则在该点不存在既下降又 可行的方向, 即
等式 h j ( x) 0 : h j ( x)T d 0
由上面分析可知：d FD( x, D ), 则有 h j ( x )T d 0, j E T g ( x ) d 0, i I 且 g i ( x ) 0 i
但反之不一定成立.
为方便起见, 记
可行域：D {x : g i ( x ) 0, i I ; h j ( x ) 0, j E}
不等式约束的最优化问题
不等式约束的最优化问题1. 引言不等式约束的最优化问题是数学领域中一类常见且重要的问题。
在实际生活和工程应用中，很多问题都可以转化为最优化问题，其中包含了一些约束条件，这些约束条件可以用不等式的形式表示。
本文将从理论和应用两个方面综合讨论不等式约束的最优化问题。
2. 理论基础2.1 最优化问题的定义最优化问题是指在满足一定的约束条件下，寻找使得目标函数取得最大（或最小）值的变量取值。
最优化问题可以分为有约束和无约束两种情况，本文主要讨论带有不等式约束的最优化问题。
2.2 拉格朗日乘子法拉格朗日乘子法是解决带有等式约束的最优化问题的重要方法，然而对于带有不等式约束的问题，拉格朗日乘子法并不适用。
取而代之的是KKT条件，即Karush–Kuhn–Tucker条件。
2.3 KKT条件KKT条件是带有不等式约束的最优化问题的解的必要条件。
KKT条件包括了原问题的约束条件和原问题的一阶和二阶必要条件。
利用KKT条件，可以将不等式约束的最优化问题转化为无约束最优化问题，从而求解出问题的最优解。
3. 解决方法3.1 梯度下降法梯度下降法是一种常用的优化算法，可以用于求解无约束和有约束的最优化问题。
对于带有不等式约束的问题，可以通过将约束条件变形为罚函数的形式，从而将其转化为无约束的问题。
梯度下降法的基本思想是根据目标函数的梯度信息不断迭代更新变量的取值，使得目标函数逐渐趋近于最优解。
3.2 内点法内点法是求解带有不等式约束的最优化问题的一种高效算法。
内点法的基本思想是通过不断向可行域的内部靠近，逐渐找到问题的最优解。
内点法具有较好的收敛性和稳定性，在实际应用中使用较为广泛。
3.3 割平面法割平面法是一种用于求解带有不等式约束的整数优化问题的有效方法。
割平面法的主要思想是通过逐步添加割平面，将原问题分解为一系列子问题，利用线性规划算法求解。
割平面法可以有效地提高整数规划问题的求解效率。
4. 应用领域4.1 金融领域在金融领域中，不等式约束的最优化问题被广泛应用于投资组合优化、风险管理等方面。
不等式约束条件的最优化问题
不等式约束条件的最优化问题概述在数学和经济学等领域中，最优化问题是一个常见的研究课题。
在解决最优化问题时，我们通常会面临各种约束条件，其中一种常见的约束条件是不等式约束条件。
本文将深入探讨不等式约束条件的最优化问题，包括其定义、求解方法以及应用领域等。
定义不等式约束条件的最优化问题是指在一组不等式条件下，寻找使目标函数取得最大值或最小值的变量取值。
不等式约束条件可以是单个不等式，也可以是多个不等式的组合。
一般来说，最优化问题可以分为线性最优化问题和非线性最优化问题，而不等式约束条件可以存在于两种类型的最优化问题中。
线性不等式约束条件的最优化问题求解方法线性不等式约束条件的最优化问题可以通过线性规划方法求解。
线性规划是一种数学优化方法，用于求解线性约束条件下的最优化问题。
在线性规划中，目标函数和约束条件都是线性的，可以用线性代数的方法进行求解。
线性不等式约束条件的最优化问题可以通过单纯形法、内点法等方法进行求解。
单纯形法是一种基于顶点的搜索算法，通过不断移动顶点以搜索最优解。
内点法是另一种常用的求解线性规划问题的方法，它通过将问题转化为一个等价的无约束问题来求解。
应用领域线性不等式约束条件的最优化问题在实际应用中具有广泛的应用。
例如，在生产计划中，我们常常需要在一组资源有限的条件下，最大化产出或最小化成本。
在供应链管理中，我们需要在供应商、生产能力、运输成本等多个因素的约束下，优化供应链的效率和利润。
线性不等式约束条件的最优化问题也在金融投资、交通规划等领域中得到广泛应用。
非线性不等式约束条件的最优化问题求解方法非线性不等式约束条件的最优化问题相对复杂，求解方法也更加多样化。
常见的求解方法包括梯度下降法、牛顿法、拟牛顿法等。
这些方法通常需要对目标函数进行求导或近似求导，以找到函数的极值点。
应用领域非线性不等式约束条件的最优化问题在实际应用中也非常常见。
例如，在机器学习和人工智能领域中，我们常常需要通过调整模型参数来最小化损失函数，以提高模型的准确性。
运筹学-约束最优化方法
若AT的各个行向量线性无 关.根据Kuhn-Tucker条件, 在该线性规划的最优点y* 处存在乘子向量x*≥0,使得
即Ax*=b 对偶规划约束条件 及(ATy*-c)T x*=0 线性规划互补松弛条件
29
5.1.3 一般约束问题的最优性条件
定理1.3.1 在上述问题中,若 (i)x*为局部最优解, 有效集I*={i|ci(x*)=0,i∈I}; (ii)f(x),ci(x)(1≤i≤m)在x*点可微; (iii)对于i∈E∪I*, 线性无关, 则存在向量l*=(l1*,· · · ,lm*)使得
解:本问题是求点(1,1)T到如图三角形区域的最短 距离.显然唯一最优解为x*=(1/2,1/2)T.
19
例题(Fritz-John条件)
min f(x)=(x1-1)2+(x2-1)2 s.t. c1(x1,x2)=(1-x1-x2)3≥0 c2(x)=x1≥0 c3(x)=x2≥0 即
35
惩罚函数法
惩罚是手段，不是目的
KT条件中li*ci(x*)=0 称为互补松弛条件. 它表明li*与ci(x*)不能 同时不为0.
28
线性规划情形
对于线性规划问题 min f(y)=-bTy s.t. -ATy≥-c 其中 y∈Rm,A∈Rm×n, b∈Rm,c∈Rn 问题有n个约束条件. 各个约束条件关于y 的梯度为-AT的行向 量(-pi).
借助于Farkas引理,可推出存在li*≥0(i∈I*), 使得
类似与Fritz-John条件的证明,可以证明KuhnTucker条件. 有效约束函数的梯度线性无关称为KuhnTucker约束规范. 如果该约束规范不满足,最优点不一定是KT点.
最优化方法(约束优化问题的最优性条件)
s.t. c1 ( x ) = x 1 + x 2 + x 3 − 3 = 0 , c 2 ( x ) = − x 1 + x 2 ≥ 0
c 3 ( x ) = x1 ≥ 0 , c 4 ( x ) = x 2 ≥ 0 , c 5 ( x ) = x 3 ≥ 0
带入约束条件可知满足约束条件 将 x = (1,1,1) 带入约束条件可知满足约束条件
验证KT点的步骤 小结
• • • • • • 1 化为标准形式 2 验证约束成立 并且求得有效约束 3 约束规范 ∇f ( x * ) − λ1 ∇c1 ( x * ) − λ 2 ∇c 2 ( x * ) = 0 4 一阶条件方程 例如 5 验证不等式约束互补条件、乘子的非负性 验证不等式约束互补条件、 6结论 结论
* T
并且有效约束集合为 并且有效约束集合为 I = {1,2}
*
∇f ( x ) = ( −3,−1,−2) T ， ∇c1 ( x ) = ( 2,2,2) T ， ∇c 2 ( x ) = ( −1,1,0) T T T 线性无关。 且 ∇c 1 ( x ) = ( 2,2,2) 与 ∇c 2 ( x ) = ( −1,1,0) 线性无关。
向量 d ，如果对任意的 i ∈ I ( x) 有 ∇ci ( x)T d > 0 , 则 d 是点 x 的 可行方向。
令 证明： x ' = x + t d , t > 0。 则对任意的 i ∈ I ( x ) , 有
ci ( x' ) = ci ( x) + t ∇ci ( x)T d + o( || td ||2 )
= t ∇ci ( x)T d + o( || td ||2 )
约束最优化最优性条件
0
x2
R { x | g i ( x ) 0}
gi (x) 0
x
0
x1
x gi (x) 0
0
形成的边界, 影响下一步选向.
如何判断一个向量是否
是可行方向？
定理 1 给定点 x Q , 记点 x 的积极约束指标集为 向量 d ，如果对任意的 可行方向。
T
min s .t .
可行域为
f (x) g( x) 0
(1 )
Q { x | g ( x ) 0 }。
1 .可 行 方 向
可行方向： 设 x Q ， 为一个向量。如果存在 d
0
实数 0 ，
0
使得对任意的 一个可行方向。
[ 0 , ] 有 x d Q , 则称 d 为 x 处的
T
I ( x ) 。给定
i I(x)
则向量 d 是点 x 处的可行下降方向。
极值点的必要条件：
定理 3 设 x * Q ， ( x *) 是其积极约束指标集。 I ( i I ( x *) ) 在点 x * 处可微， 续。如果 x * 是约束极值问题（
f ( x)和 gi( x)
g i ( x ) ( i I ( x *) ) 在点 x * 处连 1）的局部极小点，则在
i
( x ) 和 i
有且仅有一个成立，即取 0 值，则称为严格互补松弛条 件.
3 . K T 点的计算
例1 求约束极值问题
min f ( x ) x1 x 2 6 x1 6 x 2 8
2 2
s .t .
x1 x 2 4 x1 0 x 0 2
最优化方法及应用_郭科_约束问题的最优性条件
§2.7 约束问题的最优性条件所谓最优性条件就是最优化问题的目标函数与约束函数在最优点处满足的充要条件．这种条件对于最优化算法的终止判定和最优化理论推证都是至关重要的．最优性必要条件是指在最优点处满足哪些条件；充分条件是指满足哪些条件的点是最优点．本节仅讲述最基本的结论．一、约束最优解对约束优化问题的求解，其目的是在由约束条件所规定的可行域D 内，寻求一个目标函数值最小的点*X 及其函数值)(*X f ．这样的解))(,(**X f X 称为约束最优解．约束最优点除了可能落在可行域D 内的情况外，更常常是在约束边界上或等式约束曲面上，因此它的定义及它的一阶必要条件与无约束优化问题不同．（一）约束优化问题的类型约束优化问题根据约束条件类型的不同分为三种，其数学模型如下：（1）不等式约束优化问题（IP 型）min (),..()012i f X s t g X i l ≥=，，，，． （2.16）（2）等式约束优化问题（EP 型）min ()..()012j f X s t h X j m ==，，，，，．（3）一般约束优化问题（GP 型） min ()()012..()012i j f X g X i l s t h X j m ≥=⎧⎪⎨==⎪⎩，，，，，，，，，，．（二）约束优化问题的局部解与全局解按一般约束优化问题，其可行域为 }210)(210)(|{m j X h l i X g X D j i ，，，，；，，，， ===≥=．若对某可行点*X 存在0>ε，当*X 与它邻域的点X 之距离ε<-||||*X X 时，总有)()(*X f X f <则称*X 为该约束优化问题的一个局部最优解．下面以一个简单例子说明．设有⎩⎨⎧=---=≥+=+-=．，，09)2()(02)(..)1()(min 222122221x x X h x X g t s x x X f该问题的几何图形如图2.8所示．从图上的目标函数等值线和不等式约束与等式约束的函数曲线可写出它的两个局部最优解T T X X ]05[]01[*2*1，，，=-=．这是因为在*1X 点邻域的任一满足约束的点X ，都有)()(*1X f X f >；同理，*2X 亦然．１图2.8 对某些约束优化问题，局部解可能有多个．在所有的局部最优解中，目标函数值最小的那个解称为全局最优解．在上例中，由于16)(4)(*2*1==X f X f ，，所以全局最优解为))((*1*1X f X ，． 由此可知，约束优化问题全局解一定是局部解，而局部解不一定是全局解．这与无约束优化问题是相同的．二、约束优化问题局部解的一阶必要条件对于约束，现在进一步阐明起作用约束与不起作用约束的概念．一般的约束优化问题，其约束包含不等式约束l i X g i ，，，， 210)(=≥和等式约束m j X h j ，，，， 210)(==．在可行点k X 处，如果有0)(=k i X g ，则该约束)(X g i 称可行点k X 的起作用约束；而如果有0)(>k i X g ，则该约束)(X g i 称可行点k X 的不起作用约束．对于等式约束0)(=X h j ，显然在任意可行点处的等式约束都是起作用约束． 在某个可行点k X 处，起作用约束在k X 的邻域内起到限制可行域范围的作用，而不起作用约束在k X 处的邻域内就不产生影响．因此，应把注意力集中在起作用约束上．（一）IP 型约束问题的一阶必要条件图2.9所示为具有三个不等式约束的二维最优化问题．图2.9图2.9（a ）是最优点*X 在可行域内部的一种情况．在此种情形下，*X 点的全部约束函数值)(*X g i 均大于零)321(，，=i ，所以这组约束条件对其最优点*X 都不起作用．换句话说，如果除掉全部约束，其最优点也仍是同一个*X 点．因此这种约束优化问题与无约束优化问题是等价的．图2.9（b ）所示的约束最优点*X 在)(1X g 的边界曲线与目标函数等值线的切点处．此时，0)(0)(0)(*3*2*1>>=X g X g X g ，，，所以)(1X g 是起作用约束，而其余的两个是不起作用约束．既然约束最优点*X 是目标函数等值线与)(1X g 边界的切点，则在*X 点处目标函数的梯度)(*X f ∇与约束函数梯度矢量)(*1X g ∇必共线，而且方向一致．若取非负乘子0*1≥λ，则在*X 处存在如下关系0)()(*1*1*=∇-∇X g X f λ．另一种情况如图2.9（c ）所示．当前迭代点k X 在两约束交点上，该点目标函数的梯度矢量)(k X f ∇夹于两约束函数的梯度矢量)()(21k k X g X g ∇∇，之间．显然，在k X 点邻近的可行域内部不存在目标函数值比)(k X f 更小的可行点．因此，点k X 就是约束最优点，记作*X ．由图可知，此时k X 点目标函数的梯度)(k X f ∇可表达为约束函数梯度)(1k X g ∇和)(2k X g ∇的线性组合．若用*X 代替k X 即有)()()(*2*2*1*1*X g X g X f ∇+∇=∇λλ成立，且式中的乘子*1λ和*2λ必为非负．总结以上各种情况，最优解的一阶必要条件为⎪⎪⎪⎩⎪⎪⎪⎨⎧=≥≥=∇-∇∑=．，，，，210)(00)()(**21**1*i X g X g X f i i i i λλ 对于（2.16）IP 型约束问题的一阶必要条件讨论如下： 设最优点*X 位于j 个约束边界的汇交处，则这j 个约束条件组成一个起作用的约束集．按上面的分析，对于*X 点必有下式成立⎪⎪⎪⎩⎪⎪⎪⎨⎧=≥≥=∇-∇∑=．，，，，，，j i X g X g X f i i j i i i 210)(00)()(**1***λλ （2.17）但是在实际求解过程中，并不能预先知道最优点*X 位于哪一个或哪几个约束边界的汇交处．为此，把l 个约束全部考虑进去，并取不起作用约束的相应乘子为零，则最优解的一阶必要条件应把式（2.17）修改为⎪⎪⎪⎩⎪⎪⎪⎨⎧==≥≥=∇-∇∑=．，，，，，，，l i X g X g X g X f i i iil i i i 210)(0)(00)()(****1***λλλ （2.18）式（2.18）为IP 型问题约束最优解的一阶必要条件，它与式（2.17）等价．因为在*X 下，对于起作用约束，必有l i X g i ，，，， 210)(*==使式（2.18）中的第四式成立；对于不起作用约束，虽然0)(*>X g i 而必有0*=i λ，可见式（2.18）与式（2.17）等价．（二）EP 型约束问题的一阶必要条件图2.10所示为具有一个等式约束条件的二维化问题，其数学模型为．，0)(..)(min =X h t s X f在该问题中，等式约束曲线0)(=X h 是它的可行域，而且目标函数等值线C X f =)(与约束曲线0)(=X h 的切点*X 是该约束问题的最优解．图2.10在*X 点处，目标函数的梯度)(*X f ∇与约束函数的梯度)(*X h ∇共线．因此，在最优点*X 处一定存在一个乘子*u ，使得 0)()(***=∇-∇X h u X f成立．对于一般的n 维等式约束优化问题，其数学模型为min ()..()012j f X s t h X j m ==，，，，，．则*X 为其解的一阶必要条件为***1*()()0()012m j j j j f X u h X h X j m =⎧∇-∇=⎪⎨⎪==⎩∑，，，，，．（三）GP 型约束问题解的一阶必要条件由上述不等式约束优化与等式约束优化问题的一阶必要条件，可以推出一般约束优化问题的条件．设n 维一般约束优化问题的数学模型为⎩⎨⎧===≥，，，，，，，，，，，m j X h l i X g t s X f j i 210)(210)(..)(min （2.19）则*X 为其解的一阶必要条件应为⎪⎪⎪⎪⎪⎩⎪⎪⎪⎪⎪⎨⎧====≥≥=∇-∇-∇∑∑==．，，，，，，，，，，，，m j X h l i X g X g X h u X g X f j i i i i l i m j j j i i 210)(210)(0)(00)()()(*****11*****λλλ （2.20） 函数∑∑==--=l i m j j j i i X h u X g X f u X L 11)()()()(λλ，，称为关于问题（2.19）的广义拉格朗日函数，式中T l ][21λλλλ，，， =，T m u u u u ][21，，， =为拉格朗日乘子．由于引入拉格朗日函数，条件（2.20）中的第一式可写为0)(***=∇u X L X ，，λ．（四）Kuhn —T ｕcker 条件（简称K —T 条件）在优化实用计算中，常常需要判断某可行迭代点k X 是否可作为约束最优点*X 输出而结束迭代，或者对此输出的可行结果进行检查，观察它是否已满足约束最优解的必要条件，这种判断或检验通常借助于T K -条件进行的．对于IP 型问题，T K -条件可叙述如下：如果*X 是一个局部极小点 ，且各梯度矢量)(*X g i ∇组成线性无关的矢量系，那么必存在一组非负乘子*i λ，使得⎪⎩⎪⎨⎧===∇-∇∑=l i X g X g X f ii l i i i ，，，，，210)(0)()(**1***λλ 成立．必须指出，在一般情形下，T K -条件是判别约束极小点的一阶必要条件，但并非充分条件．只是对于凸规划问题，即对于目标函数)(X f 为凸函数，可行域为凸集的最优化问题，T K -条件才是约束最优化问题的充分条件．而且，在这种情况下的局部最优解也必为全局最优解．应用T K -条件检验某迭代点k X 是否为约束最优点的具体作法可按下述步骤进行：（1）检验k X 是否为可行点．为此需要计算k X 处的诸约束函数值)(k i X g ，若是可行点，则l i X g k i ，，，， 210)(=≥． （2）选出可行点k X 处的起作用约束．前面已求得l 个)(k i X g 值，其中等于零或相当接近零的约束就是起作用约束．把这些起作用约束重新编排成序列I i X g i ，，，， 21)(=．（3）计算k X 点目标函数的梯度)(k X f ∇和I 个起作用约束函数的梯度)(k i X g ∇．（4）按T K -条件，k X 点应满足∑==≥=∇-∇Ii i k i i k I i X g X f 1)21(00)()(，，，， λλ. (2.21）将式（2.21）中的各梯度矢量用其分量表示，则可得到i λ为变量的线性方程组⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧=∂∂-∂∂-∂∂-∂∂=∂∂-∂∂-∂∂-∂∂=∂∂-∂∂-∂∂-∂∂．，，0)()()()(0)()()()(0)()()()(22112222211211221111n k I I n k n k n k k I I k k k k I I k k k x X g x X g x X g x X f x X g x X g x X g x X f x X g x X g x X g x X f λλλλλλλλλ 由于矢量系I i X g k i ，，，， 21)(=∇是线性无关的，所以该方程组存在唯一解．通过解此线性方程组，求得一组乘子I λλλ，，，21，若所有乘子均为非负，即I i i ，，，， 210=≥λ，则k X 即为约束最优解．否则，k X 点就不是约束最优点．例2.9 设约束优化问题⎪⎩⎪⎨⎧≥=≥=≥--=+-=．，，，0)(0)(01)(..)2()(min 132222112221x X g x X g x x X g t s x x X f 它的当前迭代点为T k X ]01[，=，试用T K -条件判别它是否为约束最优点． 解：（1）计算k X 点的诸约束函数值，，，1)(0)(011)(2221===-=k k k X g X g X gk X 是可行点．（2）k X 点起作用约束是222211)(1)(x X g x x X g =--=，．（3）求k X 点梯度．，，⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡=∇⎥⎦⎤⎢⎣⎡--=⎥⎦⎤⎢⎣⎡--=∇⎥⎦⎤⎢⎣⎡-=⎥⎦⎤⎢⎣⎡-=∇1010)(1212)(022)2(2)()0,1(2)0,1(11)0,1(21k k k X g x X g x x X f（4）求拉格朗日乘子 按T K -条件应有 ．，01012020)()()(212211=⎥⎦⎤⎢⎣⎡-⎥⎦⎤⎢⎣⎡---⎥⎦⎤⎢⎣⎡-=∇-∇-∇λλλλk k k X g X g X f写成线性方程组 ⎩⎨⎧=-=+-．，0022211λλλ 解得010121>=>=λλ，．乘子均为非负，故T k X ]0,1[=满足约束最优解的一阶必要条件．如图2.11所示，k X 点确为该约束优化问题的局部最优解，由于可行域是凸集，所以点k X 也是该问题的全局最优解．图2.11GP 型的约束最优化问题的T K -条件类似于IP 型约束最优化问题的T K -条件： 如果*X 是一个局部极小点 ，且各梯度矢量)(*X g i ∇和)(*X h j ∇组成线性无关的矢量系，那么必存在两组乘子*i λ和*j u ，使得。
3不等式约束最优化问题的最优性条件
定 闭包： 设S Rn , S的闭包定义为： 义 Closure clS { x | S N ( x) , 0}.
可行方向：设S Rn , x clS, d Rn , d 0, 若存在〉0，使得
x d S, (0, ),
则称d为集合S在点x处的可行方向( feasible direction).
则
F0 G0 ,
其中G0 d Rn ci x* T d 0 , i I *
不等式约束最优化问题的最优性条件
几何最优性条件—一阶必要条件
例1：确定： min f x x1 62 x2 22
s.t x1 2 x2 4 0
3 x1 2 x2 12 0
x1 , x2 0
F0 D .
不等式约束最优化问题的最优性条件
几何最优性条件—一阶必要条件
仅考虑在某点起作用的约束
定理3.3.2: 在问题(3.3.1)中，假设：
(1) x*为局部最优解且I * i ci x* 0,1 i m ；
(2) f x与ci xi I * 在 x* 点可微；
(3) ci x i I \ I * 在 x* 点连续；
在点 x 2,3T处的可行下降方向.
解：x 2,3T， Ix 1,2.
c1
x
1 2
,
c2
x
3 2
.
不等式约束最优化问题的最优性条件
几何最优性条件—一阶必要条件
f
x
2 x1 12 2x2 4
,
f
x
8 2
.
设 d d1 , d2 T , 则d T c1 x 0, d1 2d2 0;
即该问题在x*处Fritz-John条件成立.
不等式约束的最优化问题
不等式约束的最优化问题在实际生产和生活中，我们常常会遇到需要确定某种目标的最优解决方案的情况，例如，最小成本、最大利润、最长飞行时间等等。
这种针对某种优化目标的问题就是最优化问题。
当我们考虑最优化问题的时候，通常需要考虑约束条件。
约束条件即限制性条件，它将问题的解空间控制在一定范围之内，使得问题更贴近实际情况。
在最优化问题中，不等式约束是最常见的一种约束条件。
本文将从不等式约束的特点、最小二乘法和KKT条件三个方面进行阐述。
不等式约束的特点在一个包含n个变量的最优化问题中，不等式约束可以表示为：G(x) ≤ 0其中，G(x)是一个n维函数向量，称为约束函数。
它是一组由不等式构成的系统，它将限制x取值范围的空间控制在G(x)≤0的区域中。
而且，不等式约束通常在解的边界上成立。
对于不等式约束的优化问题，我们通常需要利用各种算法求解。
最小二乘法最小二乘法是一种常用的数学方法，用于寻找某一函数的最佳拟合曲线。
它通常被用于估计数据中存在误差的线性回归模型中。
同时，它也被广泛地用于优化问题中。
在解决最小二乘法问题时，我们可以使用拉格朗日乘子法，显式地添加一个不等式约束。
通过这种方式，我们可以得到方程组的解，从而得到最优解。
KKT条件在解不等式约束的最优化问题时，KKT条件是一个非常关键的思想。
KKT条件是Karush-Kuhn-Tucker条件的缩写，它是用来描述一类非线性规划问题的必要条件。
这些条件是可行性、拉格朗日对偶、互补松弛和非负性约束等方面的约束。
在不等式约束的最优化问题中，KKT条件是非常重要的，因为它们可以帮助我们建立一个完整的解题框架，并确保我们能够得到正确的结果。
它可以帮助我们确定合理的约束条件，并确保我们的优化方案具有最优性。
结论在实际生产和生活中，不等式约束的最优化问题是非常常见的。
通过使用最小二乘法和KKT条件，我们可以解决这些问题，从而得到具有最优性的解决方案。
同时，了解不等式约束的特点也是非常重要的，它可以帮助我们设计出可行的优化方案，并确保我们的方案具有最优性和可行性。
第三章 (1) 约束优化问题的最优性理论
m
iai , i
0, i
1,...,
m
i 1
如果 n 维向量 g C ，则存在一个
法向量为d的超平面分离 g 和 C，
使得 gTd 0
aiT d 0,i 1,..., m
三、一阶最优性条件
Farkas 引理
给定任意 n 维向量 a1, a2,..., am 与 g，则集合
一、一般约束最优化问题
可行域 X x Rn ci x 0,i I , ci x 0,i E .
min f x xRn
s.t. ci x 0,i E 1, , me, ci x 0,i I me 1, , m.
不同时成立！
g* i*ai*
iE
二、约束规范条件
对不等式约束最优化问题
aiT ( x*)d 0,i I ( x*) (线性化可行方向)
g*Td 0
(下降方向)
不同时成立！
g* i*ai*, i* 0,i I * iI *
起作用约束问题
i* 0？
最优解为x (0,0)
F2 : d (d1, 0)T , d1 1
D : d (d1, d2 )T , d2 0 F1 D F2 D
正则性假设成立，KT约 束规范条件不成立。
二、约束规范条件
一阶必要条件(几何特征) 根据可行方向和下降方向定义, 若 x* 为约束问题的局部最优解，则
等式约束问题
不等式约束问题
记 Ax a1(x), , am (x), ai (x) ci x;
一、一般约束最优化问题 约束优化问题的求解困难：目标函数、约束函数共同作用
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
不等式约束最优化问题
min
s.t .
f x
n
ci x 0,
3.3.1
i 1,2, m ,
n
其中f : R R,ci :R R(i 1,2 ,...,m).
不等式约束最优化问题的最优性条件
定 义
闭包：
Closure
设S R n , S的闭包定义为： clS { x | S N ( x ) , 0}.
x 处的可行方向锥 x
处的可行方向锥是全空间Rn .
D {d | d 0, 0, 使x d S , (0, )}.
注:当 x int S 时, S在
不等式约束最优化问题的最优性条件
定 下降方向(descent direction)： 义设S R n , x S , d R n , d 0, 且f : S R在点x处可微，
* * 则存在非零的向量* * 0 , 1 , , m , 使得：
* * * * f x c x i i 0 0 m
* 0 i 1,2,, m * c x i i * i 0,1,2, , m i 0
2 x1 12 8 f x 2 . 2x 4 , f x 2 T T d 设 d d , d , 则 c1 x 0, d1 2d 2 0;
1 2
d T c2 x 0, 3d1 2d 2 0; d T f x 0, 8d1 2d 2 0.
x
f ( x )
S
D
不等式约束最优化问题的最优性条件
定义
设(3.3.1)中的一个可行点 x 满足 有效约束： c j x 0, 则称约束 c j x 0为在
Active Constraint
x
处的有效约束或紧约束．
非有效约束： inactive 在
Constraint
若有 ck x 0, பைடு நூலகம் 称 ck x 0 为
f ( x )T d 0, 则d为f在点x处的下降方向 .
下降方向锥：f在点
x 处的下降方向锥
T
F0 {d | f ( x ) d 0}.
不等式约束最优化问题的最优性条件
可行方向锥与下降方向锥的几何解释
F0 在极小点处，任何 下降方向都不是可 行方向，而任何可 行方向也不是下降 方向，即，不存在 可行下降方向.
由于FD ，故x一定不是问题的极小点 .
故该问题在 x处的可行下降方向集合 为 2 2 1 FD {d R | d 2 d1 d 2 , d 2 0}. 4 3
不等式约束最优化问题的最优性条件
几何最优性条件—一阶必要条件
几何最优性条件直观,但难以在实际
计算中应用.
???
将几何最优性条件转化为代数
最优性条件.
(1) Fritz John 条件 (2) Kuhn-Tucker 条件
不等式约束最优化问题的最优性条件
Fritz John 最优性条件—一阶必要条件 (1948) 定理3.3.3: 设 x *为问题(3.3.1)的局部最优解且 * 在 则存在非零 1 i m x 点可微， f x , ci x
其中G0
dR
F0 G0 ,
n
c i x
* T
d 0,i I*
不等式约束最优化问题的最优性条件
几何最优性条件—一阶必要条件 例 1： 确定：
min s .t
2 2 f x x1 6 x 2 2
x1 2 x 2 4 0 3 x1 2 x 2 12 0 x1 , x 2 0
不等式约束最优化问题的最优性条件
几何最优性条件—一阶必要条件
仅考虑在某点起作用的约束
定理3.3.2: 在问题(3.3.1)中，假设： (1) x * 为局部最优解且I * i c x * 0,1 i m ； i (2) f x 与ci x i I * 在 x * 点可微； (3) ci x i I \ I * 在 x * 点连续； 则
在点 x 2,3 处的可行下降方向.
T
解：x 2,3T ， I x 1,2.
1 c1 x 2 , 3 c 2 x 2 .
不等式约束最优化问题的最优性条件
几何最优性条件—一阶必要条件
x
处的非有效约束或松约束．
在可行点
有效集： I I x i ci x 0
x 处的有效约束的指标集：
不等式约束最优化问题的最优性条件
有效约束与非有效约束---几何解释
g1(x)=0
x
g2(x)=0 (1) 在点 x 处, g1(x)≥0 和 g2 (x)≥0是有效约束； g3(x)≥0是非有效约束.
S
g3(x)=0
(2)
x的非有效约束g3(x)≥0对 x 处的可行方向没有影响，
故非有效约束也称为不起作用的约束.
不等式约束最优化问题的最优性条件
几何最优性条件—一阶必要条件
定理3.3.1: 考虑约束最优化问题 min f ( x ), (3.3.2)
xS
其中S R n 是非空集合， f : S R, 且f在 x处可微.若x是问题( 3.3.2)的局部极小点 ,则 F0 D .
n n 设 S R , x clS , d R , d 0, 若存在〉 0，使得 可行方向：
x d S , (0, ), 则称d为集合S在点x处的可行方向 ( feasible direction).
可行方向锥： S在点
Feasible direction cone