最优化方法 第三章(罚函数法)

二、外点法 算法收敛性分析
引理： 对于由外点法产生的点列 x k , k 1, 总有：
k 1 k 1 k
k 1 k
(1) F x , M F x , M , (2) p x p x , (3) f x f x . 证明：(1) 对于由外点法产生的点列 x , k 1, 总有： F x , M f ( x ) M p( x ) f ( x ) M p( x ) M M , p( x ) 0 F x ,M F x ,M
p( x) (max gi ( x), 0) h 2 j ( x)
2 i 1 j 1 m l
用解析法求 驻点 或者 用无约束优 化方法求解
k 3：若 M k p( x ) ，则停止计算，得到近似极小点 x k ；
否则，令 M k 1 cM k ，置k:=k+1，转步骤2。
~ 的任何聚点 x x 必是约束问题的最优解。
k
证明： 不妨设 x k x . 因为 x 和 x 分别为约束问题和无约束问题的最优解，且
*
k
p x* 0, 所以有：
f x* f x * M k p x * f x k M k p x k F xk , M k f xk
k 1 k F ( x , M ) F ( x , Mk ) 证明：(2) f ( x ) M k p( x ) k x k 是F x, M k 的最优解. f ( x k ) M k p( x k )
k 1 k 1
f ( xk 1 ) f ( xk ) M k [ p( x k ) p( x k 1 )]
k
k k 0 0 lim F x , M f x F f lim M k p x k k

F x k ,M k 为单调有界序列，设其极限为 F 0 .

F x k 1 , M k 1 F x k , M k
k k 1 f ( x k ) M k 1 p( x k 1 ) F ( x , M k 1 ) F ( x , M k 1 ) f ( x k 1 ) M k 1 p( x k 1 )
f ( x ) f ( x ) M k 1[ p( x ) p( x )]
一、罚函数法简介
min
xR n
f x gi x 0, i I 1, , me , , m . hi x 0, i E me 1,
惩罚项
s.t.
min F ( x, ) f ( x) p( x)
罚因子
p( x) 惩罚函数
一
简介
二
罚 函 数 法
四
外点法 内点法 混合法
三
一、罚函数法简介
min f x
xR n
s.t.
gi x 0, i I 1,
, me , , m .
hi x 0, i E me 1,
借助罚函数将约束非线性规划转化为一系列无约束问题，
x k 是F x, M k 的最优解.
f ( x k ) F x k , M k f ( x* )
二、外点法
f ( x k ) F x k , M k f ( x* )

又
故
设其极限为 f 0 . f ( xk 1 ) f ( xk ),故 f x k 为单调有界序列，
k
而 M k , 所以 lim p x
k

k
~ p lim x p x , 0 x 为可行解。 k
k
x
又
k
* 为最优解；
k *
f xk f x f ( x ) F x , M k f ( x ) f x klim
二、外点法 外点罚函数法算法步骤 1：给定初始点 x 0 ，初始罚因子M1 0 (可取M1 1 ), 精度 0, k : 1. 2：以 x k 1初始点，求解无约束优化问题
min F ( x, M k ) f ( x) M k p( x)
得到极小点 x* ( M k )，记为 x k ， 其中
当 x1 x2 1 时， x1 0 x2 ，舍去该点；
若x1 x2 1 若x1 x2 1
当 x1 x2 1 时，由 F ( x, M k ) F ( x, M k ) 0 ，得到
x1 x2 2 x1 2M k x1 x2 1 0 4 x2 2M k x1 x2 1 0 2M k Mk 所以 x1 , x2 ，令 M k ，得到 2 3M k 2 3M k
一、罚函数法简介 惩罚函数法分类 外点法：对违反约束的点在目标函数中加入相应的惩 罚，可行点不予惩罚，这种方法的迭代点一般在可行 域D的外部移动； 内点法: 对从内部企图穿越可行域D边界的点在目标函
数中加入障碍，距边界越近，障碍越大，在边界上给予
无穷大的障碍，从而保证迭代点一直在可行域内部移动； 混合法：将外点法和内点法结合，两种惩罚函数联合 使用。
二、外点法
罚函数p(x)应满足的性质
min F ( x, M ) f ( x) Mp( x)
(1) p(x)连续 (2) p( x) 0, x D (3) p( x) 0, x D 若 x* M 是 min F ( x, M ) 的最优解，且 x* M D ，则 f ( x) 的最优解。 x* M D 也是 min xD 证明：因为 x* M 是 min F ( x, M ) 的最优解，所以
f x Mp x f x
xD
二、外点法 一般来说，x* M D 仅在M充分大时才成立，但在 实际计算中，过大的M会造成无约束问题 min F ( x, M ) 的求解困难，因此取一个递增且趋于 的罚因子序 列 M k ，即
0 M1 M 2 ... M k M k 1 ... , 且M k 然后求解一系列无约束问题 min F ( x, M k )
ຫໍສະໝຸດ Baidu
这种惩罚策略，对于在无约束的求解过程中企图违反约
束的迭代点给予很大的目标函数值，迫使无约束问题的 极小点或者无限地向可行域D靠近，或者一直保持在可 行域D内移动，直到收敛到原来约束最优化问题的极小 点。
不改变可行域局部极小值，可以将 约束域之外的局部极小值变大。
p ( x) 0, x D p ( x) 0, x D
k k
k 1
k 1
xk 1是F x, M k 1 的最优解.
k 1 k k 1 k 0 M k 1 M k p ( x ) p ( x ) p ( x ) p ( x )
M k 1 M k
(3) f ( x k 1 ) M k p( x k 1 ) F ( x k 1 , M k ) F ( x k , M k ) f ( x k ) M k p( x k )
F ( x* (M ), M ) F ( x, M ), x R n
又 x* M D, 所以 p x* M 0, 故 x D,
f x* M = f x* M Mp x* M
x* M D
* = F ( x M , M ) F ( x, M )
故 p( x ) 0
k

F ( x, M 2 )
F ( x, M1 )
p( x k )
F ( xk , M k )
f(x)
F ( x k , M k ) f ( x k ) M k p( x k )
f (x )
k
x
D
x*
F x k 1 , M k 1 F x k , M k ,
p( x k ) 0
c [2,50]
xk D
常取 c [4,10]
二、外点法
若无约束优化问题的最优解始终位于可行集之外
min F ( x, M k ) f ( x) M k p( x) 最优解记为 x k
因为 M k 时，
F ( x, M k )
M k p( x k ) 0
通过求解无约束问题来求解约束非线性规划，所以也称为序
列无约束极小化技术(sequentail unconstrained minimization technique,简称SUMT) 根据约束特点（等式或不等式）构造某种罚函数p(x)，把 它加到目标函数中去，将约束非线性规划转化为一系列无约 束问题：
gi ( x) gi ( x) max gi ( x), 0 = 罚函数p(x)的构造 2 m l p( x) (max gi ( x), 0) 2 h 2 j ( x)
i 1 j 1
(1) p(x)连续 (2) p( x) 0, x D (3) p( x) 0, x D
k 1 k
k
k
k 1
k 1
k 1
k 1
k 1
k 1
k 1
k
k 1
k
k
k
k 1
k
k 1
F ( x, M k ) f ( x) M k p( x)
故 F x k 1 ,M k 1 F x k ,M k
x k 是F x, M k 的最优解.
二、外点法
f ( xk 1 ) M k p( x k 1 ) f ( x k ) M k p( x k )
k 1 k p x p x 又由(2) ,
f ( x k 1 ) f ( x k )
二、外点法 定理：设约束问题和无约束问题的最优解为 x * 和
x
k
取序列 M k , M k 1 M k ,且M k ,则由外点法产生的点列
用解析法求F(x,Mk)的驻点，令
2 x1 F ( x, M k ) 0 x1 2 x1 2M k x1 x2 1
若x1 x2 1 若x1 x2 1
二、外点法
4 x2 F ( x, M k ) 0 x2 4 x2 2M k x1 x2 1
f x* f x


*

f x* f x
即 x 为约束问题的最优解．
二、外点法 例：用外点罚函数法求解如下优化问题：
2 min x12 2 x2
s.t. x1 x2 1 0
2
解：问题只有不等式约束，对应的罚函数为:
p( x) min x1 x2 1,0
x 2 / 3,1/ 3
*
T
例：求下述约束优化问题的最 优点。
min. f (x) = x
s.t g (x) = 1-x ≤ 0
解 新目标函数：
x r k (1 x) 2 x 1时； x, r x 1时。 x

k

二、外点法 外点罚函数法特点 初始点可以任选，对等式约束和不等式约束均可适用； 初始罚因子要选择得当，否则会影响迭代计算的正常进 行，许多计算表明，取 M1 1常常可以取得满意的效
2 F ( x, M k ) ������2 1 + 2������2 + ������������ min ������1 + ������2 − 1,0
2 2 x 2 x 1 2 2 2 2 x1 2 x2 M k x1 x2 1
2
若x1 x2 1 若x1 x2 1