第4章罚函数法

▲拉格朗日乘子法的基本原理 对等式约束问题
min f (x)
s.t.
g(x) 0
引入拉格朗日（Lagrange）乘子 ，并定义增广拉格朗日函数
L(x,) f (x) g(x)
则原问题的解可转化求解
min L(x, )
由高等数学知，该问题有解的必要条件是：
L(x, ) 0
即： xL(x, ) f g 0 ， L(x, ) g 0
§4.1 罚函数法 §4.2 障碍函数法 §4.3 广义乘子法
第四章 约束最优化的加权方法
§4.1 罚函数法
◆从拉格朗日乘子法谈起
乘子法是研究带约束的极值问题的有效方法之一。从高等数学中拉格朗日乘子法开始，对它的研究一直 不断。在拉格朗日乘子法的基础上又给出了罚函数法、障碍函数法、广义拉格朗日乘子法（也简称为广义乘 子法）对带约束的极值问题的求解方法。这些方法统称为广义乘子法。
注：
①由后式得“解（最小点）在边界上得到”（即满足 g 0 ）；
②由前式得 f
g
0
即
g T f g T g
；如果将它代入 L(x, ) 中可用解决无约束问题的方
法求解；
③ f (x) 与 g(x) 的极值点相同，即 f g 。 ④事实上，求解 min L(x, ) 是运用无约束问题的最优化方法来求解的，一般无法求得上述
△例题 2
min f (x, y) x2 y2
求
s.t. y 1 0
解 定义罚函数为： F (x, y, ) x2 y2 ( y 1)2 。求它的极值。由 F (x, y, ) 0 得
2x
F
2
y
2 (y
(y 1)2
1)
0
→
x y
0
1
源自文库
0 1
可见对 求极小没有任何作用，因此只对变量取极小。此时，F (x, y, ) F (x, y, ) 1 min F (x, y, ) 。
即
解 (x, y) (0,1)
并且 min f (x, y) 1
min 前例：
f s.t.
2x2 y2 3xy x y 1
？？
50
◆不等式约束的罚函数法
操华胜：最优化方法
▲不等式约束的罚函数法 设有带不等式约束的非线性规划问题
min f (x)
s.t.
hi (x) 0
此时有 min F (x, ) min f (x) 。
②当 x 不为可行点（即 x 满足 gi (x) 0 ）时，则有
P(x) 0 ， 且 P(x) 很大
此时，求 min F (x, ) 必然有 min f (x) 与 min P(x) 同时满足，而后者是求 x 使得 min P(x) 。
事实上，当 时，若问题有解（即 F ）则必有 g 0 ；
另一方面，由于 F f 2 gigi 0 ，结合 时的结果 g 0 ，故有 F f ＝0；
也就是说，若边界上（ g 0 ）的点 x 为 F 的极值点，则它必为原目标函数 f 有极值点。
由于 x( ) 往往不满足原问题的可行条件，即它并不是原问题的解，当 充分大时它才趋于 可行解；它表明该序列从可行域的外部慢慢收敛于可行域内部的解，因此该方法又称为外点法。
3 5
，
2 5
。
则求得
f
2 5
,
3 5
1 5
min
△关于拉格朗日乘子法的讨论
min f 2x2 y2 2xy
s.t. x y 1
min f 2x2 y2 3xy
s.t. x y 1
若将上例中的 2xy 改为 3xy ，则 4x 3y 0 ， 2 y 3x 0 ， x y 1 0 无法解出。
关于 P 的取法：①与原条件函数相关；②为正函数（σP 为正）；③上述性质；
48
操华胜：最优化方法
min s.t.
f (x) gi (x)
0
，
F (x, ) f (x) gT g
△分析（判断）：①当 x 为可行点（即 x 满足 gi (x) 0 ）时，则有 P(x) 0 ， （即 gi (x) 0 ）
s.t.
gi (x) 0
引入增广目标函数
F (x, ) f (x) P(x)
其中 为很大的正数；称 F (x, ) 为罚函数， P 为罚项， 为罚因子。一般取
P gT g
因此原问题等价于无约束的最优化问题：
min F (x, ) f (x) P(x)
罚项 P(x) 具有这样的性质，当 x 为可行解时罚项为零； 当 x 不为可行解时罚项就是一个惩罚项（远离可行域），求极小的作用又期望将它“拉”回。
联立方程组。
46
操华胜：最优化方法
△例题 1
min f 2x2 y2 2xy
求解
s.t. x y 1
解 定义 L(x, ) 2x2 y2 2xy (x y 1)
则作 L(x, ) 0 如下， 4x 2y 0， 2y 2x 0， x y 1 0
解得
x
2 5
，
y
究其原因是因为目标函数的 Hess 阵并不是正定的。因此对拉格朗日乘子法方法需要加以改进。
（不足之处）引入下面方法的理由
若函数或条件为非多项式则不可能求解
第五章 约束最优化的加权方法
47
◆等式约束的罚函数法
▲罚函数法的基本原理 设有带约束的非线性规划问题
式中的函数均为的非线性连续函数。
min f (x)
x
x,
==================================================================================
若记
D
x
gi (x)
0 则有
gi (x)2
0, 0,
xD xD 。
可以期望，当 充分大时，无约束问题 min F (x, ) 的最优解 x( ) 与原问题的解 x 十分接近。
h(g) min
h(g) min C
0
第五章 约束最优化的加权方法
49
△罚函数算法（等式约束的罚函数算法） ①取初值 初始点 x0 ，允许误差 0 ，初罚因子 0 0 ，放大系数 1 ，且 k k1 ，并置 k 1 ； ②计算 以 xk1 为初始点，求解 min F (x, ) f (x) P(x) ，得到解 xk 。 ③约束判断 若 k g(xk ) 则计算终止，此时的解为 x xk ；否则，置 k k 1 转②