乘子法

ki


2
1 ki T ( x , M ) f ( x ) min ki M ki 因为 lim f ( x ki ) f ( x )
ki
所以可取 1, k 0,当ki k 时，有 f ( x ki ) f ( x ) 1
收敛定理
1 ki 于是， T ( x , M ) f ( x ) min k i M ki 1 f min f ( x ) 1 M ki


收敛定理
定理3：设(1) f ( x ), gi ( x )连续； (2) M k 严格递增，且趋于无穷大； (3)M k 0, min T ( x, M k )有最优解
xEn
x k , 且有界； min f ( x ) (4)问题 有最优解xmin , gi ( x ) 0 则
项M min0, g i ( x) 称为罚项
2 i 1 m
经济解释：
问题由来
目标函数视作“价格”，约束条件视作“规定”， 那么规划问题就可以理解为：一定的约束规定 下进行采购，确定一种采购方法，使得总价格 （费用）最小。 给定任意一个解（采购方法），如果不满足约束 条件，就处以一定的罚款，如果符合规定，罚 款为0。这样，为使成本最小，必须在约束条 件下进行采购，即求符合约束条件下的解。
f ( x ki ) T ( x ki , M ki ) T ( xmin , M ki ) f min
收敛定理
因为f ( x)连续，取极限，得 f ( x ) f min
只要证明极限点是可行解即可。
也即，证明 min0，g i ( x ) 0
2 i 1 m
收敛定理
可化为无约束问题 min T ( x, M ) n
xE m
,m
其中T ( x, M ) f ( x ) M ( hi ( x )) ，
2 i 1
M 是充分大的正数。
问题由来
3。不等式情形
设规划为 min f ( x ) gi ( x ) 0, i 1, 2, 构造函数 ,m ,m
0
min T ( x , M k0 ) n
xE
的最优解x k0 x ( M k ) R, 那么x ( M k0 )是问题 min f ( x ) (V) gi ( x ) 0, i 1, 2, , m 的最优解。并且对于任意的M >M k0 , 无约束问题 min T ( x, M ) n
迭代步骤：
迭代步骤
1.取M 1 0, 给定允许误差 0，置s : 1.
k 2.求无条件极值问题min T ( x , M ) T ( x ,Mk ) k n xE
其中T ( x, M k )＝f ( x) M k min(0, g i ( x))
i 1
m
2
3.若存在j (1 j m), 使 gi ( x ) 得近似最优解
反证即可。
问题由来
该定理说明有约束的问题可以转化成无约 束问题进行求解，并且如果最优解包含 在可行域R内，那么就得到了原问题的最 优解。 如何使最优解一定属于可行域R呢？只要 限制正数M的选取就可以了。
一个约束可以推广到m个约束的情形。
问题由来
2。多个的等式约束规划 min f ( x ) 考虑问题( I ) hi ( x ) 0, i 1, 2,
min 0，g ( x )
i 1 i
m
2
lim min 0 ， g ( x ) i ki
ki


2
. 记Pki min 0 ， g ( x ) i 1 ki ki 显然， 0 Pki T ( x , M ) f ( x ) k i M ki
2 2

2
百度文库
从外部逼近：
罚函数算例
分别对变量求偏导，等于0，求解，得 1 x1 2 2 M k 2 x 1 1 2 2 2 M 2M k k
取极限M k +，得 x1＝x2 0
二、收敛定理：
收敛定理
定理2：设f ( x ), gi ( x )为实值函数。若对于某M k0 0, 无约束极值问题
令M ki ，得Pki 0 得证。
收敛定理
2.记f k f ( x k ),
显然，f k M k Pk T ( x k 1 , M k ) f k 1 M k Pk 1
又 f k 1 M k 1 Pk 1 T ( x k , M k 1 ) f k M k 1 Pk
xE
的最优解x ( M )也是问题（V）的最优解。
收敛定理
证明：第二个结论。用反证法。 设M >M k0 , 但是x( M ) R,
f x k0 =T x k0 , M k0 T x(M ), M k0



2
2
f ( x(M )) M k0 min 0, gi (x (M ))
hi ( x ) min 0, gi ( x ) 0，i 1, 2,
问题由来
那么规划可以转化为 min T ( x, M ) n
xE m
其中T ( x, M ) f ( x ) M min 0, gi ( x )
i 1
2
问题由来
这种处理问题的方式称为罚函数法 构造的无约束问题的目标函数T(x,M)称为 罚函数 M称为罚因子
惩罚值的大小多少合适？事先未知，采
取逐渐增大的方式。 逐渐增大，进行迭代，直至得到符合约束 条件的解。
终止准则
x ( M k ) R, 即 gi ( x ( M k )) 0,
若 即存在i,使得
x ( M k ) R, gi ( x ( M k )) 0,
因此，给定误差范围 gi ( x( M k )) 即可。也即： -gi ( x( M k ))
则取M k＋1 M k , 置s : s 1, 转2。否则，停止迭代，
例子：
罚函数算例
例1：求如下规划的最优解 min x x 0 x E 1
解：首先构造罚函数： T ( x, M k ) x M k min 0, x
2
从外部逼近：
M k 1 M k f k f k 1 0 于是得f k f k 1，即 f k 单调递增。
有上界，故极限存在。 由函数连续性，可得极 限为f min
第1式乘以M k 1加上第2式乘以M k，化简得
收敛定理
3.T ( x k , M k ) T ( x k 1 , M k ) f k 1 M k Pk 1 f k 1 M k 1 Pk 1 T ( x k 1 , M k 1 )
(4) 惩罚项趋于0。
收敛定理 说明：1a说明有限项得到的解是可行解，那 么得原问题的最优解 1b说明如果无穷，那么取极限，极限点是最 优解 4说明逐渐增大罚因子，那么无约束问题的最 优解逐渐接近于原问题的最优解。 （即罚函数法算法的理论基础）
极限的证明可以使用迫敛定理
证明：1a显然。 1b.设x 为序列 x ki 的一个极限点，则有
f ( x( M )) M min 0, gi ( x (M )) T x( M ), M ,
收敛定理
另一方面，x ( M )是 min T ( x, M )的最优解， n
xE
所以 T x ( M ), M T x k0 , M ＝f x k0 . 矛盾。 所以，x ( M ) R成立。
xE
其中T ( x, M ) f ( x ) M ( h1 ( x )) 2 ， M 是充分大的正数。
记R x h1 ( x) 0
问题由来
定理1：若对于某M 1 0, 无约束极值问题( II ) 的最优解x ( M 1 ) R, 那么x ( M 1 )一定是问题 ( I )的最优解。
所以T ( x k , M k )严格单调递增。
又因为T ( x k , M k ) f min , 有上界。故有极限。 又 f ( x k ) T ( x k , M k ) f min 所以极限为f min
收敛定理
4.因为f k 1 M k＋1 Pk 1 f k M k＋1 Pk f k 1 M k 1 Pk 所以Pk 1 Pk ,即单调递减。又因为 Pk 0, 所以有极限。
第11章 乘子法
第一节、罚函数方法(外点法)
一、问题 对于无约束问题,可以用最速下降法进行迭 代,由收敛准则来判断是否最优解. 目的:有约束的问题能否转化成无约束问题 进行求解.
问题由来
1。单个的等式约束规划 min f ( x ) 考虑问题( I ) h1 ( x ) 0
以及无约束问题( II ) min T ( x, M ) n
收敛定理
(1) a). k0 , 使得x k0 R，那么x k0 是原问题的最优解；
b).
(2)
(3)
x 无穷，任意极限点是原问题的最优解。
k
k k k
f ( x )递增，且 lim f ( x T ( x , M )严格递增且
k k k
) f min；
lim T ( x k , M k ) f min ；
2
罚函数算例
1 使x M k x 最小，得x 2M k
取极限M k +，得 x＝0， 即最优解为x 0.
罚函数算例
例2：用罚函数法求非线性规划 min x1 x2 2 ( x ) x2 0 1 x 0 1 的最优解。
解：首先构造罚函数： T ( x, M k ) x1 x2 Mk min 0, ( x ) x min 0, x 1 2 1
k k lim Pk lim T ( x , M ) f ( x ) k k k
lim T ( x k , M k ) lim f (x k ) 0
k k