约束优化-惩罚函数法

* T n

n hk f 把l个 dxi 0乘以k 再加上 dxi 0，得： i 1 xi i 1 xi n
f h3 h1 h2 2 3 1 xi xi xi i 1 xi
n
hl l dxi 0 xi
k 1 F 0 (i 1,2,, n) xi
F 0 (k 1,2,, l ) k
条件是 hk x 0 k 1,2, , l 的 l 个等式约束方程。 * * * * T xn 为了求出f x 的可能的极值点x x1 x2 ， 引入非零拉格朗日乘子 k k 1,2, , l ，并构成一 个新的目标函数
i 1 n


组成一个称为“惩罚函 数”的新目标函数： ( x, M ) f ( x) M k hk ( x) 2
k 1 l


例题： min f ( x) x x x1 x2 10x1 4 x2 60
2 1 2 2
s.t. h( x) x1 x2 8 0 令： ( x, M ) f ( x) M (h( x))2 利用微分法： 2 x1 x2 10 2 M ( x1 x2 8) 0 x1 2 x2 x1 4 2 M ( x1 x2 8) 0 x2 消去M，可化简得： x1 x2 2 代入，得： x2 6 4 M ( x2 3) 0 若M 0，则解(8,6)为无约束时的最优解 现在取M ，可得最优解(5,3)
k 1 l


对于每次迭代的 M ( p )，都可以求得相应的惩 罚函数最小 值和最优解X ( M ( p ) )。
当M为足够大的值时，惩罚 函数最小值将收敛于一 个有 限的极限值 *，且满足hk ( x) 0，而序列｛X ( M ( p ) )｝将 收敛于某一点X *。 *即为原问题f ( x)在等式约束hk ( x) 0 条件下的最小值， X *即为原问题的最优解。 即： lim M ( p ) lim M
解此方程组，求得的无约束最优解为：
x* 1.6 0.2 , x* , 2 0.8


间接法是在优化过程中得到广泛应用的方法，主 要原因有以下几个方面： 1）由于无约束方法的研究日趋成熟，已经研究出不 少有效的无约束最优化方法，使得间接解法有了可靠 的基础。 2）可以有效地处理具有等式约束的约束优化问题。 3）间接解法存在的主要问题是：选取加权因子比较 困难，加权因子选取不当，不但影响收敛速度和计 算精度，甚至会导致计算失败。 求解约束优化问题的间接方法很多，我们将主要 介绍消元法（降维法）、拉格朗日乘子法（升维法）、 惩罚函数法
2 另外，惩罚项形式 M h ( x ) k k 不是唯一的， k 1 l


任何仅仅当约束条件得 到满足时才等于零的 非负函数都可以当作惩 罚项，可以根据具体情 况选择。
四、惩罚函数法
将约束最优化问题 min f x f x1 , x2 , , xn s.t. g j x g j x1 , x2 , , xn 0 hk x hk x1 , x2 , , xn 0 转化为形如： min x, r ( j 1,2, , m) (k 1,2, , l )
来求解1 , 2 ,, l，使得上面方程中 dx1 , dx2 ,, dxl
h l l x j dx 0 j
但 dxl 1, dxl 2 , , dxn应是任意的量，则应有
h h h f 1 1 2 2 3 3 x j x j x j x j l hl 0 x j
可以通过其中的l个方程
h3 h1 h2 f 1 2 3 xi xi xi xi
的系数为０，方程变为 ：பைடு நூலகம்
f h3 h1 h2 1 2 3 x j x j x j j l 1 x j
n
hl l 0 xi
二、拉格朗日乘子法
拉格朗日乘子法通过增加变量将等式约束优化 问题变成无约束优化问题，所以又称升维法。
对于具有l个等式约束的优化问题 ： min f ( x1 , x2 ,, xn ) s.t. hk x hk x1 , x2 ,, xn 0
* T
(k 1,2,, l )

( p) 1
,r
( p) 2
f x r G g x r H h x
( p) 1 m j 1 j ( p) 2 l k 1 k
的无约束最优化问题。
min x, r1( p ) , r2( p ) f x r1( p ) G g j x r2( p ) H hk x
n
在约束最优点x'附近的一切微小位移 S [dx1 , dx2 ,, dxn ]， f 如果不想使函数值增加 ，需要f ( x ) S dxi 0 i 1 xi 另外，x*需要满足约束条件，即 S需要与hk x* 的梯度垂直， hk 即hk ( x ) S dxi 0 i 1 xi
一、消元法（降维法）
为了便于理解，先讨论二元函数只有一个等式约束的 简单情况，即 min f x1, x2 s.t. h x1, x2 0 从约束条件得 x1 x2 ，带入目标函数可消去一个变量 min f x1, x2 , xn 对于n维情况
s.t.
hk x1, x2 ,
F x, f x k hk x
k 1 l
设 x x1
x2
xn ，目标函数是 f x ，约束
T
2 例题： min f ( x) x12 x2 x1 x2 10x1 4 x2 60
s.t. h( x) x1 x2 8 0 令： F ( x, ) f ( x) h( x) F 则： 2 x1 x2 10 0 x1 F 2 x2 x1 4 0 x2 F x1 x2 8 0 可解得： x (5,3)T ， 3
为便于在计算机上用直 接寻优的方法进行迭代 计算， 可以构造一个新的函数 ： F F Z x i 1 k 1 i k
n l 2 l F 2 x hk ( x) i 1 k 1 i n 2 2
n l m
2


m

2
三、等式约束惩罚函数法
惩罚函数法是在原无约束优化问题的目标函数 中，引进约束影响的附加项，从而构成一个新的 无约束优化问题的目标函数。通过合理选择这些 附加项，可以使这个新目标函数的无约束最优点 的序列收敛到原问题的最优点。
利用等式约束条件 hk ( x) 0和待定系数（乘子） Mk, 构造惩罚项 M k hk ( x) 2 ，然后与原函数 f ( x)一起
约束优化方法间接解法
约束优化间接解法的一种基本思路是将约束优 化问题中的约束函数进行特殊的加权处理后，和目 标函数结合起来，构成一个新的目标函数，即将原 约束优化问题转化成为一个或一系列的无约束优化 问题。
min f x f x1 , x2 ,, xn s.t. g j x g j x1 , x2 ,, xn 0 hk x hk x1 , x2 , , xn 0
j l 1, l 2,
i 1, 2,
, n
, n
综合上面两式即为：
h1 h2 f 1 2 xi xi xi
hn n 0 xi
再加上等式约束 hk x 0 k 1,2, , l
就是无约束优化问题 F 的极值条件： l F x, f x k hk x
对于复杂问题，例如多 维多等式问题，需要用 到前面 学习过的各种无约束寻 优方法进行迭代计算。 这时， 惩罚乘子可以对所有约 束在同一次迭代中取同 一值， 且在迭代开始时可以取 小一点的值，随后逐渐 增大，即 0 M ( 0 ) M (1) M ( 2 ) M ( k ) 第p次迭代时的惩罚函数为 ： ( x, M ( p ) ) f ( x) M ( p ) hk ( x) 2
( p)
h ( x) 0
l 2 k 1 k
lim X ( M ( p ) ) X * lim ( X * , M ( p ) ) f ( X * ) hk ( x ) 0 ( k 1, 2 ,l )
在实际计算中，当约束 条件满足给定的精度时 ， 计算即可停止。
求约束优化问题 2 2 min f x x1 2 x2 1 s.t. hx x1 2 x2 2 0 解 该问题的约束最优解为
T
的最优解。
x* 1.6 0.2 , f x* 0.8 用间接解法求解时，可取 2 0.8，转换后的新目

标函数为
可以用解析法求min x, 2 即令 0，得到方程组
2 x1 2 0.8 0 x1 2 x2 1 1.6 0 x2
T
x, 2 x1 22 x2 12 0.8( x1 2x2 2)
若问题含有非等式约束 ： g j x 0 可引入 j，则
l m
( j 1,2, , m)
F ( x, , ) f ( x) k hk ( x) j ( g j ( x) j )
2 k 1 j 1
F F 2 2 2 Z h ( x ) g ( x ) k j j x i 1 k 1 j 1 j 1 j i
xn
k 1, 2,
,l
由 l 个约束方程将n个变量中的前 l 个变量用其余 n l x1 1 xl 1 , xl 2 , xn 个变量表示，即有： x2 2 xl 1 , xl 2 , xn 带入目标函数可以 消去 l 个设计变量
xl l xl 1 , xl 2 , xn
m j 1
( j 1,2, , m) (k 1,2, , l )
l k 1
x, 1 , 2 f x 1Gg j x 2 H hk x x, 1 , 2 ——转换后的新目标函数。
对新函数进行无约束极小化计算，由于在 新目标函数中包含了各种约束条件，在求极值的 过程中还将改变加权因子的大小。因此可以不断 调整设计点，使其逐步逼近约束边界。从而间接 地求得原约束问题的最优解。