chap11_2等式约束乘子法
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
此时 d TWd 0, 于是取 * 0, 则当 *时有
d (W aa )d d Wd a d
T T T T 2
d TWd 0
(2)当d K且d K时：
由于K是有界闭集，
所以连续函数d TWd和(aT d )2 在K上取到极小值.
不妨令(d 1 )T Wd 1和(aT d 2 )2 分别是函数d TWd 和(aT d )2 在K上 的极小值.
c ( x* ) 0
f ( x* ) *c( x* )
0
KKT 条件
* 2 * * 2 * * * T * 2 * 2 ( x , ) f ( x ) c ( x ) c ( x ) c ( x ) c ( x ) c ( x ) xx
(*)
(**)
f ( x* ) *c( x* ) 0
比较(*)和(**)两式，即有
* k 2 k c( xk )
于是得到乘子迭代公式
k 1 k 2 k c( xk )
终止准则：
若x k是无约束问题(11.2.17)的局部解，且满足c( x k ) 0,
2 * 2 T 2 2 ( x , ) f ( x ) c ( x ) c ( x ) c ( x ) c ( x ) c( x ), xx
又因x* , *满足约束问题(11.2.1)的二阶充分条件，
所以 xx ( x* , ) f ( x* ) *c( x* ) c( x* )c( x* )
则由(11.2.18)得到
f ( x k ) k c( x k ) 0
由此知x k是约束问题(11.2.1)的KKT点， k是相应的乘子.
类似于定理11.2.1的证明，知x k为原约束问题的局部解， 算法停止.
终止原则：
c( x k ) ,
其中 是给定精度.
例. 用乘子法求解下列问题
一般情况下f ( x* ) 0, 从而 x P( x* , ) 0, 所以x*不是无约束问题(11.2.2)的局部最优解.
?
的最优解？
是否存在函数 ( x, ), 使得x*是无约束问题
min ( x, )
(11.2.3)
若存在，则可试图通过求解问题（11.2.3）来得到原约束 问题的解.
于是得到无约束优化问题
2 2 min ( x, , ) 2 x1 x2 2 x1 x2 ( x1 x2 1) ( x1 x2 1)2
取罚参数 1, 乘子的初值 1 1.
则由最优性条件有
解得
( x,1,1) 6 x1 1 0 x1 ( x,1,1) 4 x2 1 0 x2 1 1 x1 , x2 . 6 4
二. 乘子法的基本思想
事实上，我们是无法通过求解无约束问题(11.2.10)来得到 原约束问题(11.2.1)的解的!
(为什么？ )
因为在未求出x*之前 *是未知的!
改进：用参数 代替 * .
定义增广Lagrangian函数如下
( x, , ) f ( x) c( x) c 2 ( x),
是正定阵，
于是知x*是无约束问题(11.2.10)的严格局部解.
反之，若xk是 ( x, k )的极小点，且c( xk ) 0,
则存在 0, 使当 x x k 时有
( x, k ) ( x k , k )
f ( xk ) *c( x k ) k c2 ( xk )
一般地，在第k次迭代取乘子 k , 则 ( x, k ,1)的极小点满足
( x, k ,1) 6 x1 k 2 0 x1 ( x, k ,1) 4 x2 k 2 0 x2 1 1 k 解得 x1 (2 ), x2 (2 k ). 6 4 而由乘子迭代公式 k 1 k 2 k c( xk )
T T T T
2
(d 1 )T Wd 1 (aT d 2 )2
0
定理11.2.1
设x* , *满足约束问题(11.2.1)的二阶充分条件，则存在 * 0, 使当 *时x*是无约束问题
min ( x, ) f ( x) *c( x) c 2 ( x)
lim* x( , ) x* .
小结 :
虽然不能通过求解一个无约束问题来得到原约束问题的 最优解，但可以保证只要 大到一定程度后，调整参数 使之趋于 * , 就能得到原约束问题的最优解.
乘子法的基本思想
另一方面，对于任意的实数 , 函数 ( x, , )是约束问题
* (1) ( x , ) 0， 若x 满足： x * (2) 2 ( x , )正定， x
*
则由无约束问题的二阶充分条件知x*是(11.2.3)的严格局部解.
令
( x, ) f ( x) *c( x) c 2 ( x),
* 当 充分大时可使2 ( x , )为正定阵. xx
2 2 min 2 x1 x2 2 x1 x2
s.t . c( x ) x1 x2 1 0.
解.
增广Lagrangian函数为
2 2 ( x, , ) 2 x1 x2 2 x1 x2 ( x1 x2 1) ( x1 x2 1)2
(11.2.18)
lim x( , ) x * .
x k x* , f ( x k ) f ( x* ), c( x k ) c( x* )
f ( x* ) [ k 2 k c( xk )]c( x* ) 0
而由约束问题(11.2.1)的KKT 条件有
有
k k 1 k 2 x1k x2 1 (*) 1 1 k 1 1 k k 2 1 2 4 3 6 1 k 1 6 3
(*)
1 * 1 6 3 2 * 即 . 5 1 2 k 于是 x1 (2 ) , 6 5 1 3 k x2 (2 ) . 4 5
引理11.2.1 设W Rnn , a Rn , 若d D {d R n : d 0, a T d 0 } 均有 d TWd 0, 则存在 * , 使当 *时矩阵W aaT 正定.
n 令 K { d R : d 1}, 证 明
只需证明d K , 存在 * 0, 使得当 *时有 d T (W aaT )d 0.
且aT d 2 0,
若a T d 2 0, 则由假设条件知 (d 2 )T Wd 2 0, 与" d 2 K " 矛盾 !
1 T 1 ( d ) Wd * 0, 则当 时有 取 * T 2 2 (a d )
d (W aa )d d Wd a d
通过罚函数得到无约束问题
(11.2.1)
min P( x, ) f ( x) c 2 ( x). 设x*是(11.2.1)的局部解.
(11.2.2)
P( x, )在x*处的梯度为
x P( x* , ) f ( x* ) 2 c( x* )c( x* ) f ( x* ) ( c( x* ) 0)
考虑相应的无约束问题
(11.2.12) (11.2.13)
min ( x, , ) f ( x) c( x) c 2 ( x ),
令其最优解为x x( , ). 则由定理11.2.1知：只要 足够大
( * 即可，不需要趋于+),
则有
(11.2.14)
§11.2
外罚函数法的不足：
等式约束问题的乘子法
(1) 迭代点x k不是原约束问题( P )的可行点;
(2) 当罚参数 k 趋于无穷大时罚函数P ( x, k )的Hessian阵是 病态矩阵.
对(2)的改进：使用乘子法.
一. 改进(外)罚函数的设想
先考虑只带一个等式约束的优化问题
min f ( x ) s.t. c( x ) 0.
min f ( x ) c( x ) s.t . c( x ) 0
(11.2Hale Waihona Puke Baidu15)
的(外)罚函数. 而问题(11.2.15)与问题(11.2.1)是等价的.
在满足一定条件下由罚函数收敛定理知
lim x( , ) x * .
(11.2.16)
由此可见，若固定(如取 0)，则乘子法即为罚函数法.
令 K {d : d K 且 d TWd 0 }, 若K , 则d K , 均有d TWd 0,
于是取 * 0, 则当 *时有
d (W aa )d d Wd a d
T T T T 2
d TWd 0
若K ,
(1)当d K \ K时：
令k , 得
*
2 2 3 * 所以原问题的最优解为 x , , 最优乘子 . 5 5 5
*
T
二.一般等式约束问题的乘子法
考虑如下一般等式约束问题
min f ( x ) s.t. ci ( x ) 0, i E {1, , l }.
(11.2.22)
即 f ( xk ) k c( xk ) 2 k c( xk )c( xk ) 0
(11.2.18)
即 f ( xk ) k c( xk ) 2 k c( xk )c( xk ) 0
当 k充分大时，由(11.2.16)知
代入(11.2.18), 得
在 *未知前提下如何 调整参数 ?
乘子迭代公式：
分析： 在给定 k , k 后，求解无约束问题
min ( x, k , k ) f ( x) k c( x) k c 2 ( x), (11.2.17)
设其最优解为x k .
则由一阶必要条件
x ( x k , k , k ) 0，
c ( x* ) 0
2 f ( x* ) * 2c( x* ) c( x* )c( x* )T
* * * * T 2 L ( x , ) c ( x ) c ( x ) xx a W * * 则由引理11.2.1知：存在 0, 使当 *时Hesse阵 2 ( x , ) xx
(11.2.10)
的严格局部解. 反之，若x k 是 ( x , k )的极小点，且c( x k ) 0, 则x k 是约束问题(11.2.1)的局部解.
证 明
( x, ) f ( x) *c( x) c 2 ( x),
x ( x , ) f ( x ) *c( x ) c( x )c( x ),
定义增广Lagrangian函数如下
( x, , ) f ( x ) i ci ( x ) ci2 ( x )
f ( xk )
现取x为约束问题(11.2.1)的可行点，即c( x ) 0,
(11.2.11)
则
( x, k ) f ( x) *c( x) k c2 ( x) f ( x )
代入(11.2.11),即得 所以x k是约束问题(11.2.1)的局部解.
f ( x) f ( xk )
d (W aa )d d Wd a d
T T T T 2
d TWd 0
(2)当d K且d K时：
由于K是有界闭集，
所以连续函数d TWd和(aT d )2 在K上取到极小值.
不妨令(d 1 )T Wd 1和(aT d 2 )2 分别是函数d TWd 和(aT d )2 在K上 的极小值.
c ( x* ) 0
f ( x* ) *c( x* )
0
KKT 条件
* 2 * * 2 * * * T * 2 * 2 ( x , ) f ( x ) c ( x ) c ( x ) c ( x ) c ( x ) c ( x ) xx
(*)
(**)
f ( x* ) *c( x* ) 0
比较(*)和(**)两式，即有
* k 2 k c( xk )
于是得到乘子迭代公式
k 1 k 2 k c( xk )
终止准则：
若x k是无约束问题(11.2.17)的局部解，且满足c( x k ) 0,
2 * 2 T 2 2 ( x , ) f ( x ) c ( x ) c ( x ) c ( x ) c ( x ) c( x ), xx
又因x* , *满足约束问题(11.2.1)的二阶充分条件，
所以 xx ( x* , ) f ( x* ) *c( x* ) c( x* )c( x* )
则由(11.2.18)得到
f ( x k ) k c( x k ) 0
由此知x k是约束问题(11.2.1)的KKT点， k是相应的乘子.
类似于定理11.2.1的证明，知x k为原约束问题的局部解， 算法停止.
终止原则：
c( x k ) ,
其中 是给定精度.
例. 用乘子法求解下列问题
一般情况下f ( x* ) 0, 从而 x P( x* , ) 0, 所以x*不是无约束问题(11.2.2)的局部最优解.
?
的最优解？
是否存在函数 ( x, ), 使得x*是无约束问题
min ( x, )
(11.2.3)
若存在，则可试图通过求解问题（11.2.3）来得到原约束 问题的解.
于是得到无约束优化问题
2 2 min ( x, , ) 2 x1 x2 2 x1 x2 ( x1 x2 1) ( x1 x2 1)2
取罚参数 1, 乘子的初值 1 1.
则由最优性条件有
解得
( x,1,1) 6 x1 1 0 x1 ( x,1,1) 4 x2 1 0 x2 1 1 x1 , x2 . 6 4
二. 乘子法的基本思想
事实上，我们是无法通过求解无约束问题(11.2.10)来得到 原约束问题(11.2.1)的解的!
(为什么？ )
因为在未求出x*之前 *是未知的!
改进：用参数 代替 * .
定义增广Lagrangian函数如下
( x, , ) f ( x) c( x) c 2 ( x),
是正定阵，
于是知x*是无约束问题(11.2.10)的严格局部解.
反之，若xk是 ( x, k )的极小点，且c( xk ) 0,
则存在 0, 使当 x x k 时有
( x, k ) ( x k , k )
f ( xk ) *c( x k ) k c2 ( xk )
一般地，在第k次迭代取乘子 k , 则 ( x, k ,1)的极小点满足
( x, k ,1) 6 x1 k 2 0 x1 ( x, k ,1) 4 x2 k 2 0 x2 1 1 k 解得 x1 (2 ), x2 (2 k ). 6 4 而由乘子迭代公式 k 1 k 2 k c( xk )
T T T T
2
(d 1 )T Wd 1 (aT d 2 )2
0
定理11.2.1
设x* , *满足约束问题(11.2.1)的二阶充分条件，则存在 * 0, 使当 *时x*是无约束问题
min ( x, ) f ( x) *c( x) c 2 ( x)
lim* x( , ) x* .
小结 :
虽然不能通过求解一个无约束问题来得到原约束问题的 最优解，但可以保证只要 大到一定程度后，调整参数 使之趋于 * , 就能得到原约束问题的最优解.
乘子法的基本思想
另一方面，对于任意的实数 , 函数 ( x, , )是约束问题
* (1) ( x , ) 0， 若x 满足： x * (2) 2 ( x , )正定， x
*
则由无约束问题的二阶充分条件知x*是(11.2.3)的严格局部解.
令
( x, ) f ( x) *c( x) c 2 ( x),
* 当 充分大时可使2 ( x , )为正定阵. xx
2 2 min 2 x1 x2 2 x1 x2
s.t . c( x ) x1 x2 1 0.
解.
增广Lagrangian函数为
2 2 ( x, , ) 2 x1 x2 2 x1 x2 ( x1 x2 1) ( x1 x2 1)2
(11.2.18)
lim x( , ) x * .
x k x* , f ( x k ) f ( x* ), c( x k ) c( x* )
f ( x* ) [ k 2 k c( xk )]c( x* ) 0
而由约束问题(11.2.1)的KKT 条件有
有
k k 1 k 2 x1k x2 1 (*) 1 1 k 1 1 k k 2 1 2 4 3 6 1 k 1 6 3
(*)
1 * 1 6 3 2 * 即 . 5 1 2 k 于是 x1 (2 ) , 6 5 1 3 k x2 (2 ) . 4 5
引理11.2.1 设W Rnn , a Rn , 若d D {d R n : d 0, a T d 0 } 均有 d TWd 0, 则存在 * , 使当 *时矩阵W aaT 正定.
n 令 K { d R : d 1}, 证 明
只需证明d K , 存在 * 0, 使得当 *时有 d T (W aaT )d 0.
且aT d 2 0,
若a T d 2 0, 则由假设条件知 (d 2 )T Wd 2 0, 与" d 2 K " 矛盾 !
1 T 1 ( d ) Wd * 0, 则当 时有 取 * T 2 2 (a d )
d (W aa )d d Wd a d
通过罚函数得到无约束问题
(11.2.1)
min P( x, ) f ( x) c 2 ( x). 设x*是(11.2.1)的局部解.
(11.2.2)
P( x, )在x*处的梯度为
x P( x* , ) f ( x* ) 2 c( x* )c( x* ) f ( x* ) ( c( x* ) 0)
考虑相应的无约束问题
(11.2.12) (11.2.13)
min ( x, , ) f ( x) c( x) c 2 ( x ),
令其最优解为x x( , ). 则由定理11.2.1知：只要 足够大
( * 即可，不需要趋于+),
则有
(11.2.14)
§11.2
外罚函数法的不足：
等式约束问题的乘子法
(1) 迭代点x k不是原约束问题( P )的可行点;
(2) 当罚参数 k 趋于无穷大时罚函数P ( x, k )的Hessian阵是 病态矩阵.
对(2)的改进：使用乘子法.
一. 改进(外)罚函数的设想
先考虑只带一个等式约束的优化问题
min f ( x ) s.t. c( x ) 0.
min f ( x ) c( x ) s.t . c( x ) 0
(11.2Hale Waihona Puke Baidu15)
的(外)罚函数. 而问题(11.2.15)与问题(11.2.1)是等价的.
在满足一定条件下由罚函数收敛定理知
lim x( , ) x * .
(11.2.16)
由此可见，若固定(如取 0)，则乘子法即为罚函数法.
令 K {d : d K 且 d TWd 0 }, 若K , 则d K , 均有d TWd 0,
于是取 * 0, 则当 *时有
d (W aa )d d Wd a d
T T T T 2
d TWd 0
若K ,
(1)当d K \ K时：
令k , 得
*
2 2 3 * 所以原问题的最优解为 x , , 最优乘子 . 5 5 5
*
T
二.一般等式约束问题的乘子法
考虑如下一般等式约束问题
min f ( x ) s.t. ci ( x ) 0, i E {1, , l }.
(11.2.22)
即 f ( xk ) k c( xk ) 2 k c( xk )c( xk ) 0
(11.2.18)
即 f ( xk ) k c( xk ) 2 k c( xk )c( xk ) 0
当 k充分大时，由(11.2.16)知
代入(11.2.18), 得
在 *未知前提下如何 调整参数 ?
乘子迭代公式：
分析： 在给定 k , k 后，求解无约束问题
min ( x, k , k ) f ( x) k c( x) k c 2 ( x), (11.2.17)
设其最优解为x k .
则由一阶必要条件
x ( x k , k , k ) 0，
c ( x* ) 0
2 f ( x* ) * 2c( x* ) c( x* )c( x* )T
* * * * T 2 L ( x , ) c ( x ) c ( x ) xx a W * * 则由引理11.2.1知：存在 0, 使当 *时Hesse阵 2 ( x , ) xx
(11.2.10)
的严格局部解. 反之，若x k 是 ( x , k )的极小点，且c( x k ) 0, 则x k 是约束问题(11.2.1)的局部解.
证 明
( x, ) f ( x) *c( x) c 2 ( x),
x ( x , ) f ( x ) *c( x ) c( x )c( x ),
定义增广Lagrangian函数如下
( x, , ) f ( x ) i ci ( x ) ci2 ( x )
f ( xk )
现取x为约束问题(11.2.1)的可行点，即c( x ) 0,
(11.2.11)
则
( x, k ) f ( x) *c( x) k c2 ( x) f ( x )
代入(11.2.11),即得 所以x k是约束问题(11.2.1)的局部解.
f ( x) f ( xk )