非线性约束优化

L [m(uij ) m 1 dij2 ] 0; uij [ 2 ]1/( m 1) uij mdij

i 1 ij

i 1
m
2 dij
m
i1[
c
1 1/(m1) ] 1 2 dij
所以
uij

[ l 1
c
1 dij dlj
]2/( m2)
FCM的中心迭代过程
f ( x ) *h j ( x* ) 0 j
* l
以及
hj(x)=0， j=1,2, …,l
j 1
一、等式约束性问题的最优性条件： (续) 几何意义是明显的：考虑一个约束的情况：
－▽f(x*)
-▽f(ㄡ )
h(x)
这里 x* ---l.opt. ▽f(x*)与 ▽h(x*) 共线，而ㄡ非l.opt. ▽f(ㄡ )与▽h(ㄡ )不共线。
l
令拉格朗日函数:
则等式约束下规划问题转化成无约束问题: min L(X, ) 该问题有极值点的必要条件为:
h ( X *) f ( X *) l L | X X *, * i 1 * i 0, j 1,2,...,n i x x j x j j L | h ( X *) 0, i 1,2..,l i X X *, * i
展开z的(n-l)=(2-1)=1次多项式方程，得
(4 z)(16 2 ) 2 (64 2 ) 16 (8 2 16z) 0
z1 12 / 17 0
一个信息处理技术中重要的例子－求最优隶属度函数 １）背景介绍－聚类分析 ２）目标函数－符号说明
J (U ,V ) u d , s.t.
f f g g 2( x1 1), 2 x2 , 1, 2 x2 / 5 x1 x2 x1 x2
* 2 2 * x22 x2 * * * 2( x1 1) * 0; 2 x2 0; * ( x1 ) 0; 0; x1 0 5 5 5
i 1 j 1 m 2 ij ij
c m
c
n

2 ij
c
i 1 ij
u 1, j 1 ~ n
c
构造拉日函数： L i 1 (uij ) d (i 1 uij 1) 最优化的一阶必要条件为
c L ( i 1 uij 1) 0;
代回上式进入到约束条件： 1 c c 得 u ( )1/(m1) [ ]1/(m1) ( )1/(m1)
k 1 2
.............
3）假设X D
求P( X , M k )驻点
3
2 , 则P( X , M k ) x12 x2 M k ( x1 x2 4) 2 ,以M k 为参数，
充分条件: 如果 L( X *, ) 0 且行列式方程:
所有根Zj>0(j=1,2,…,n-l)，则X*为局部极小点；反 之所有Zj<0，为局部极大点；有正有负非极值点
例题4-1用拉格朗日乘子算法求解:
max f ( X ) x12 , s.t. h1 ( x) 2x12 2x1x2 24 0
不可行域
1）假设X D
求P( X , M k )驻点
1
2 , 则P( X , M k ) x12 x2 M k x12 ,以M k 为参数，
P / x1 2 x1 (1 M k ) 0 P / x2 2 x2 0 M >0， x =0,x =0不满足假设条件，因此该解无效
解：都是不等式约束。定义外部罚函数 １．解法一
P( X , Mk ) x x M k [min(0, 2x1 x2 4)] [min(0, x1)] [min(0, x2 )]
2 1 2 2 2 2 2
可行域
D {X | 2 x1 x2 4 0, x1 0, x2 0}
g2(x)=0 x* g1(x)=0
g1(x*)=0, g1为起作用约束， 约束集已知时回归到含等式优化问题
问题: 事先并不知道约束集＝？
定理（任意情况的最优性必要条件）：（K-T条件） 问题(fg), 设Ｄ={x|gi(x) 0，i 1 ~ m; hj ( x) 0, j 1 ~ l }, x*∈Ｄ, I为x*点处的起作用集，设f, gi(x) ,i ∈I在x*点可微， gi(x) ,i I在x*点连续。 向量组{▽gi(x*), i ∈I}线性无关。 m l * L 构造拉日函数： ( X , , ) f ( x) i 1 i gi ( X ) i 1 i hi ( X )
１）K-Ｔ条件：
考虑两种情况：
0 无解 2 * * x1 x2 / 5 0 x1 0; x2 0; * 2 ２）局部最小判别：看课本
3．罚函数法（外点法）
序列无约束最优化方法SUMT ( Sequential Unconstrained Minimization Technique) 1.罚函数概念： min f ( x) f : Rn R ( fgh) s.t. g i ( x ) 0, i 1, 2,..., m h j ( x) 0 j 1, 2,..., l 构造外部罚函数： P ( X , M k ) f ( X ) ( M k , g ( X ), h( X )) f ( X ) M k { [min(0, g i ( X ))] [( h j ( X ))]2 }
D1 { X | 2 x1 x2 4 0, x1 0, x2 0} 2 D { X | 2 x1 x2 4 0, x1 0, x2 0} D 3 { X | 2 x x 4 0, x 0, x 0} 1 2 1 2 4 D { X | 2 x1 x2 4 0, x1 0, x2 0} D 5 { X | 2 x x 4 0, x 0, x 0} 1 2 1 2 D 6 { X | 2 x1 x2 4 0, x1 0, x2 0}
一、等式约束性问题的最优性条件： (续) 若(x*,y*)是条件极值，则存在λ* ，使 fx(x*,y*)+ λ* фx (x*,y*) =0 fy(x*,y*)+ λ* фy(x*,y*) =0 Ф (x*,y*)=0
推广到多元情况，可得到对于(fh)的情况： min f(x) s.t. hj(x)=0 j=1,2, …,l 若x*是(fh)的l.opt. , 则存在*∈ Rl使
对于得到的三个根。 使用充分条件检验如下：
计算:
2 L( X * , * ) * * 2x2 41 4 x12 2 L( X * , * ) * * 2x1 21 2 x1 x2 4 z 2 16 2 L( X * , * ) 0 2 0 z 4 0 2 x2 16 4 0 h ( X * ) * * 1 4x1 2x2 16 x1 h1 ( X * ) * 2x1 4 x2
2)不等式约束问题的Khun-Tucker条件：
考虑问题 min f(x) s.t. gi(x) 0
i=1,2, …,m
设 x*∈S={x|gi(x) 0 i=1,2, …,m} , 并令 I={i| gi(x*) =0， i=1,2, …,m} 称I为 x*点处的起作用集（紧约束集）。 如果x*是l.opt. ,对每一个约束函数来说，只有当它是起作用约 束时，才产生影响，如：
ㄡ ▽h(ㄡ )
最优性条件即：
▽h(x*)
f ( x*) *h j ( x*) j
j 1
h
一 等式约束下的拉格朗日乘子算法 考虑等式约束问题:
min f ( X ), s.t. hi ( X ) 0, i 0,1,2,...,l
L( X , ) f ( X ) i 1 i hi ( X )
第
四
章
约束最优化方法
问题
(fgh)
min f(x)
s.t. g(x) ≤0 h(x)=0
约束集 S={x|g(x) ≤0 , h(x)=0}
高等数学中所学的条件极值：
一、等式约束性问题的最优性条件： 考虑 min f(x) s.t. h(x)=0
问题: 在ф(x,y)=0的条件下, 求z=f(x,y)极值. min f(x,y) 。 s.t. ф(x,y)=0 引入Lagrange乘子：λ Lagrange函数 L(x, y;λ)= f(x,y)+ λф(x,y)
解: 令 极大点的必要条件:
L( X ) x12 x2 1 ( 2 x12 2 x1x2 24 )
* * * * * (L / x1 ) x*, * 2 x1 x2 41 x1 21* x2 0 x1 2 * *2 * * x2 4 (L / x2 ) x*, * x1 21 x1 0 * *2 * * * (L / 1 ) x*, * (2 x1 x2 2 x1 x2 24 ) 0 1 1
2 i 1 j 1 m l
这里( M k , g ( X ), h( X ))是惩罚项： k CM k 1 M 0, 满足约束 ( M k , g ( X ), h( X )) 0, 不满足约束
例题４－３用外点法求解
2 min f ( X ) x12 x2 , s.t. 2x1 x2 4, x1 , x2 0
gi ( X *)T Y 0, i I1 ( X *) {i | gi ( X *) 0, i* 0} gi ( X *)T Y 0, i I 2 ( X *) {i | gi ( X *) 0, i* 0} gi ( X *)T Y 0, i 1, 2,..., I
如果x*----l.opt. 那么，u*i≥0, 使得 m l f ( x ) i 1 i*gi ( X * ) j 1 j h j ( X * ) 0 １）驻点条件： ２）互补条件： ３）非负条件： ui* 0 i 1, 2, , m gi ( x ) 0 i 1, 2, , m ４）不等式约束： ５）等式约束： hi ( X *) 0, i 1,2,...,l 说明： １）如果是max问题等，要改变叙述。 ２）在一定条件下上面叙述变成充要条件。
２．二阶充分条件 设拉格朗日函Fra Baidu bibliotek为
L( X , , ) f ( x) i 1 gi ( X ) i 1 i hi ( X )
m * i l
x*
为非线性规划的严格局部极小点的充分条件： １） x* 为Ｋ-Ｔ点； ２） x* 拉日函数的海瑟矩阵在Ｙ方向正定，并且 Ｙ方向满足下列等式：
例４２求解不等式约束问题的K-T点，并判断是否为局部极小
2 f ( X ) ( x1 1) x2 2 g1( X ) x1 x2 / 5 2 2 2 解： L( X , ) ( x1 1) x2 { x1 x2 / 5} 2
min 例 s.t.