第5章约束优化

f ( x (k ) )
g 2 ( x (k ) )
f ( x (k ) )
x(k)是约束最优点
x(k)不是约束最优点
两个起作用约束条件极小点的必要条件
§5-1 约束最优解及其必要条件
若x(k)为约束最优点x*，约束条件极小点的必要条件 可以表示成：
f ( x () ) 1g1 ( x () ) 2 g 2 ( x () )
0
验证其可行性和适用性：不可行性
8）产生k个随机方向（k=3）计算各随机点：
e1 e2 0.8 0.99 2 2 0.1 (0.8) 0.1 0.12 1 0.2 0.32 2 2 0.6 (0.6) 0.2 0.95 1
等式约束的优化设计问题，其约束最优
点的一阶必要条件：
f ( x ) u g u ( x ) v hv ( x )
u 1 v 1 J p
gu ( x ) 0
uJ uJ
u 0
§5-1 约束最优解及其必要条件
K-T条件是多元函数取得约束极值的必要
随机方向法的计算步骤：
5)从初始点x0出发，沿可行搜索方向d以步长进行迭
代计算，直到搜索到一个满足全部约束条件，且目标 函数值不再下降的新点x。
6)若收敛条件

满足，迭代终止。约束最优解为x*＝x，否则，x0=x， 转到步骤2。
例：用随机方向法求解下面问题的约束最优解：
min s.t.
2 f ( x1 , x2 ) ( x1 3) 2 x2
§5-1 约束最优解及其必要条件
min s.t. f ( x1 , x2 ) ( x1 2) 2 x22 g1 ( x1 , x2 ) x1 0 g 2 ( x1 , x2 ) x2 0 g3 ( x1 , x2 ) 1 x12 x2 0
§5-1 约束最优解及其必要条件
d xL x
0
f ( xL ) f ( x )
( 0)
则将步长缩小，转步骤2)重新计算
随机方向法的计算步骤：
1)选择一个可行的初始点x0。 2)产生k个n维随机单位向量。 3)取试验步长，计算出k个随机点。
4)在k个随机点中，根据可行性和适用性，找出可行
搜索方向。 5)从初始点x0出发，沿可行搜索方向d以步长进行迭 代计算，直到搜索到一个满足全部约束条件，且目标 函数值不再下降的新点x。
1 0,
2 0
它的几何意义：如果x*是一个局部极小点，则该点 的目标函数梯度应落在该点起作用约束的梯度所组成 的锥角之内。
§5-1 约束最优解及其必要条件
几何意义：如果x(k)是一个局部极小点，则该点的目 标函数梯度应落在该点起作用约束的梯度所组成的锥 角之内。
x(k)不是约束最优点
x(k)是约束最优点
2 f ( x1 , x 2 ) ( x1 2) 2 x 2
g1 ( x1 , x 2 ) x1 0 g 2 ( x1 , x 2 ) x 2 0 g 3 ( x1 , x 2 ) 1 x12 x 2 0
§5-1 约束最优解及其必要条件
min s.t.
解：1）判断该点起作用约束：
g1 ( x1 , x2 ) 1 0 g 2 ( x1 , x2 ) 0
g 3 ( x1 , x2 ) 0
0 g 2 ( x ) 1
(k )
g 3 ( x
(k )
2 x1 2 ) 1 x ( k ) 1
随机方向法基本原理
1 初始点的选择
1) 人为确定； 2) 随机选择：
(1)输入设计变量的下限值和上限值，即
ai≤xi≤bi (i=1,2,…,n) (2)产生n个随机数qi. （ 0≤ qi ≤ 1） xi=ai+qi(bi-ai) (3)计算随机点x的各分量：
(4)判别随机点x是否可行，若随机点x为可行点，则取初始
同样方法计算出k个随机单位向量（k≥n） 2)取一试验步长，按下式计算k个随机点:
x j x0 e j
( j 1,2,, k )
§5-2 随机方向法
3)检验k个随机点的可行性，比较其大小，选 出目标函数值最小的点xL。 4)比较两点xL和x0的目标函数值(适用性)： 若 则 若
f ( x L ) f ( x ( 0) )
x(k)是约束最优点
单起作用约束条件极小点的必要条件
§5-1 约束最优解及其必要条件
因而得出单约束条件极小点的必要条件可以 表示成：
f ( x ) g ( x )
() ()
0
§5-1 约束最优解及其必要条件
x
(k )
g 2 ( x ( k ) )
g1 ( x ( k ) )
1 e 0
3
4）判断k个随机点的可行性：
x1 x 3
5）判断可行搜索方向：
f 1 (0.6 3) 2 0.82 13.6 f 3 (1 3)2 02 4
f 3 f ( x ( 0) )
d x3 x (0) [1
6）从可行点沿着可行方向前进：
g1 ( x1 , x2 ) x1 1 0 g 2 ( x1 , x2 ) x2 0 g 3 ( x1 , x2 ) 4 x12 x2 0
解：1）确定初始点：
1
x(0) [0
0]T
f ( x ( 0) ) 9
2）产生k个随机方向（k=3）：
e1 0.3 0.6 2 2 0. 4 0. 8 (0.3) 0.4 0.7 0.76 2 2 0.6 0.65 (0.6) 0.7 1
即： f ( x ) h( x )
§5-1 约束最优解及其必要条件
从而得出多个等式约束问题
hv ( x ) 0 v 1, , p
K-T条件：
f ( x ) vhv ( x )
v 1 p
§5-1 约束最优解及其必要条件
因此，容易得出对于具有等式约束和不
0 g 2 ( x ) 1
(k )
2 0 2 0 2 1 3 1
解得：
g 3 ( x
(k )
2 x1 2 ) 1 x ( k ) 1
2 1,
3 1
因此判断该点是约束最优点。
直接解法思路:
x
k 1
x k d
k
k
(k 0,1,2,)
k
d
k
步长
可行搜索方向
可行搜索方向:当设计点沿该方向作微量移动时，
目标函数值将下降，且不会越出可行域。
通常适用于仅含不等式约束的问题！
§5-2 随机方向法
基本思想：在可行域内，利用随机产生的可行 方向进行搜索的一种直接解法。
约束优化方法
第五章
约束优化方法
5-1 约束最优解及其一阶必要条件
5-2 随机方向法
5-3 复合形法
5-4-1 内惩罚函数法
5-4-2 外惩罚函数法 5-4-3 混合惩罚函数法
§5-1 约束最优解及其必要条件
约束最优解（a）
§5-1 约束最优解及其必要条件
约束最优解（b）
§5-1 约束最优解及其必要条件
§5-1 约束最优解及其必要条件
约束优化设计问题数学模型为:
min f ( x ), x R s.t. g j ( x ) 0 j 1,2,, m hk ( x ) 0 k 1,2,, l
n
§5-1 约束最优解及其必要条件
g ( x (k ) )
x(k)不是约束最优点
条件,以用来作为约束极值的判断条件。
对于目标函数和约束函数都是凸函数的情 况， 符合K-T条件的点一定是全局最优点。这种
情况K-T条件即为多元函数取得约束极值的充分 必要条件。
约束优化设计问题求解方式:
（1）直接法 直接法是在满足不等式约束的可行设计区域内直 接搜索问题的最优解x*和f(x*)。 （2）间接法 间接法是将优化问题转化为一系列无约束优化问 题来求解。
0]T
1 1 2 x x 0 d x 3 d 0 0 0
验证其可行性和适用性： f ( x) (2 3)2 02 1
f ( x) f 3
7）从可行点沿着可行方向前进：
2 1 3 x x d x d 0 0 0
答案：乘子无解，故非最优点。
§5-1 约束最优解及其必要条件
对于仅有等式约束的优化设计问题，以一个
等式约束为例：
h( x ) 0
可以写成：
h ( x) 0 h( x ) 0
从而得出等式约束问题的K-T条件：
f ( x ) h( x ) h( x )
e2
e3
0.5 1 2 2 0 0.5 0 0 1
3）计算k个随机点：
x1 x ( 0 ) 0.6 e 1 0.8 x x
2 ( 0)
0.76 e 0.65
2
x x
3
( 0)
§5-1 约束最优解及其必要条件
推广到n维设计空间的具有m个不等式约束的问题，
即为检验约束优化问题局部最优点的著名的K-T条件：
f ( x
(k )
) u g u ( x ( k ) )
u 1
J
u 0
或：
u 1,2,, J
J g u ( x ( k ) ) f ( x ( k ) ) u xi xi u 1
约束最优解（c）
§5-1 约束最优解及其必要条件
约束优化问题的最优性条件：在满足等式和不等式约束 条件下，其目标函数值最小的点所必需满足的条件。
（局部最优解）
最优点可能出现的情况：
1）在可行域内部
2）在约束边界上
约束最优解
§5-1 约束最优解及其必要条件
约束最优解的搜索路线
约束优化问题的最优性条件：在满足等式和不等式约束 条件下，其目标函数值最小的点所必需满足的条件。
练习：
判断x(k)=[1 0]T是否为下列约束优化问题的最优点：
min s.t. f ( x1 , x2 ) ( x1 2) 2 x22 g1 ( x1 , x2 ) x1 0 g 2 ( x1 , x2 ) x2 0 g 3 ( x1 , x2 ) x2 (1 x1 )3 0
2 f ( x1 , x2 ) ( x1 2) 2 x2
g1 ( x1 , x2 ) x1 0 g 2 ( x1 , x2 ) x2 0 g 3 ( x1 , x2 ) 1 x12 x2 0
2）计算目标函数及起作用 约束Biblioteka Baidu该点梯度： 2( x1 2) 2 (k ) f ( x ) 2 x2 x( k ) 0
点 x0=x；若随机点x为非可行点，则转步骤2)重新计算，直
到 产生的随机点是可行点为止。
2
随机方向的产生
ri 2i 1
1) 在[-1,1]区间内产生随机数ri (i=1,2,……,n)
计算随机单位向量s
r1 r 1 2 e n ri 2 rn i 1
u 0
u 1,2,, J
即只有当λ u为非负乘子时， x(k)才是约束最优点x*。
§5-1 约束最优解及其必要条件
K-T条件对于约束问题的重要性在于： 1）检验某点是否为约束最优点； 2）检验一种搜索方法是否可行。
例1：判断x(k)=[1 0]T是否为下列约束优化问题最优点：
min s.t.
§5-1 约束最优解及其必要条件
2）计算目标函数及起作 用约束在该点梯度： 3）代入K-T条件，求乘子：
f ( x
(k )
2( x1 2) 2 ) 0 2 x2 x( k )
f ( x ( k ) ) 2g 2 ( x ( k ) ) 3g3 ( x ( k ) )