第八章 约束问题的最优性条件
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
* * x* Rn , E (1 ,
, l* )wenku.baidu.com Rl , I* (l*1,
m , l*m )T R
满足鞍点条件
* * L( x*, E , I ) L( x*, E , I* ) L( x, E , I* )
则 x*是约束问题 (8.0.1)的全局解 .这里 L( x, ) 为 Lagrange 函数
R
(8.3.3)
(8.3.3)的对偶问题(极大极小问题)
max L* ( ) max min L( x, ) n p p
R R xR
(8.3.4)
就称为约束问题(8.3.2)的 Lagrange 对偶问题。 对于还含有等式约束的问题，可以同样的 方法得到其 Lagrange 对偶问题，不同之处在于 对应于等式约束的 Lagrange 乘子不再有非负性 的限制。
x 处的约束规格（约束限制性条件） ： （ 1 ） 线 性 条 件 ： 所 有 的 l+m 个 约 束 函 数
c1 ( x), , cl m ( x) 都是线性函数.
（2）梯度线性无关条件：梯度向量集
{ci ( x) | i E I ( x)} 0 线性无关.
（二）必要条件 定理 8.1.1(一般约束问题局部解的 KKT 必 要条件 ) 设约束问题 (8.0.1) 中 f ( x), c1 ( x), , cl m ( x) 具有连续的一阶偏导数，若 x*是(8.0.1)的局部 解，并且 x*处的约束规格之一成立，则一定存
则称 C 为锥；若 C 还是凸集，则称为凸锥。 下降方向 d：若存在 0 ，使得对每个 (0, ) ， 都有 f ( x d ) f ( x) ,则称 d 为在 x 处的下降方向.
可行方向 d：设 D 为约束问题的可行域， x D ， 若存在 0 ，使得对每个 (0, ) ，都有 x d D 则称 d 为在 x 处的可行方向.
§8.2 Lagrange 乘子的意义 考虑(8.0.1)的扰动问题
min f ( x) s.t. ci ( x) i , i E {1, 2, , l} , l m} ci ( x) i , i I {l 1, l 2,
(8.2.1)
设 x *( ), x * 分 别 是 为 (8.2.1) 和 (8.0.1) 的 最 优 解， * 是相应的 Lagrange 乘子，则
min
x *
( x), 这里
*
( x) max
y
( x, y)
D（理性）的目标（对策） ：最大化自己最小 的收益，即
max
y *
( y)，这里 * ( y) min
x
( x, y)
（一）原问题与对偶问题 原问题(极小极大问题):
min
x *
( x) min max
x y
( x, y)
其中 L( x, ) 为 Lagrange 函数
L( x, ) f ( x) i ci ( x)
i 1 l m
（二）充分条件 定理 8.1.2 (一般约束问题局部解的二阶充 分条件)设约束问题 (8.0.1)中 f ( x), c1 ( x), , cl m ( x) 具 有连续的二阶偏导数,x*是可行域中的一点,若 （1）在 x*处的 KKT 条件(8.1.1)成立;
f ( x*) * c( x*) 0 f ( x*) 0 c( x*) 0 c( x*) 0 * 0
综 合 起 来 ， 不 论 c( x*) 0 或 c( x*) 0 ， 若 引 进 Lagrange 函数
L( x, ) f ( x) c( x)
要条件是存在满足(8.3.1)的鞍点(x*,y*)，此时 x*和 y*就分别是原问题和对偶问题的最优解.
二、 Lagrange 对偶 （一）原问题与对偶问题 考虑不等式约束问题
min f ( x) s.t. ci ( x) 0, i 1, 2, ,p
(8.3.2)
其 Lagrange 函数为
第八章 约束问题的最优性条件
min f ( x) s.t. ci ( x) 0, i E {1, 2, , l} , l m} ci ( x) 0, i I {l 1, l 2,
(8.0.1)
可行域： D {x | ci ( x) 0, i E, ci ( x) 0, i I } 局部解 x*: f(x)≥f(x*) §8.1 约束问题的最优性条件 §8.2 Lagrange 乘子的意义 §8.3 对偶理论
f ( x *( )) | 0 *
注： * 可理解为收入对资源的变化率（导数）
§8.3 对偶理论 一、 极大极小对偶 二人零和博弈问题：对策人 P 和 D, P 和 D 的可行策略集为 , ,支付函数为 ( x, y) ， ( x, y) 表示当 P 选策略 x ，D 选策略 y ，P 付给 D 的金额. P（理性）的目标（对策） ：最小化自己最大 的损失，即
* * T 在 Lagrange 乘子 * (1 , , l m ) ，使得
x L( x*, *) f ( x*) * c( x*) 0 ci ( x*) 0, i E {1, , l} c( x*) 0, i I {l 1, , l m} * 0, i I (8.1.1) i * i ci ( x*) 0, i I
min f ( x) f ( x1 , x2 ) s.t. c( x) c( x1 , x2 ) 0
若 c( x*) 0 ,则同等式约束，有
f ( x*) * c( x*) 0 c( x*) 0 * 0
若 c( x*) 0 ，则 x*在可行域的内部，x*是无约束 问题 minf(x)的局部解，约束实际不起作用，有
L( x, ) f ( x) T c( x)
T p T ( , , ) R , c ( x ) ( c ( x ), , c ( x )) 其中 . 1 p 1 p
将 x 看作对策人 P, R n 为其可选策略集， 看作对策人 D， R 为其可选策略集， L( x, ) 看作
3．一般等式约束的问题
min f ( x) s.t. ci ( x) 0, i E {1, 2, , l}
T Lagrange 函数： L( x, ) f ( x) c( x)
T T ( , , ) , c ( x ) ( c ( x ), , c ( x )) 其中 1 l 1 l
其必要条件可写为
x L( x*, *) f ( x*) * c( x*) 0 c( x*) 0 * 0 * c( x*) 0
二、最优性条件的严格论述 （一）一些概念
n 锥与凸锥 C：若非空的 C R , x C, 0, x C ,
可行方向锥： 在 x 处的所有可行方向组成的集合
有效约束、无效约束、有效集：设 D 为约束问 题的可行域 , x D, i I , 若 ci ( x) 0 , 则称 ci ( x) 0 为
x 处的有效约束;若 ci ( x) 0 则称 ci ( x) 0 为 x 处的 无效约束;x 处的有效集指 I ( x) {i | i I , ci ( x) 0} .
对偶问题（极大极小问题） ：
max
y *
( y) max min
y x
( x, y)
（二）弱对偶定理
* ( y) *
( x), x , y
进一步，若原问题和对偶问题都有最优解 x*和 y*,则
max min
y x
( x, y) max
y
* ( y ) min x
L( x, ) f ( x) i ci ( x), E (1 ,
i 1 l m
, l )T , I ( l 1 ,
, l m )T
（三）凸约束问题解的充要条件 凸约束问题 : 约束问题 (8.0.1) 称为凸约束问题 (或凸优化问题）,如果目标函数 f ( x) 和约束函数
必要条件：
* f ( x*) 1*c1 ( x*) 2 c2 ( x*) 0 ，
ci ( x*) 0, i 1, 2
也等价于引进 Lagrange 函数
L( x, ) f ( x) T c( x)
后，无约束问题 L(x,α)的一阶必要条件。其中
(1 , 2 , 3 )T , c( x) (c1 ( x), c2 ( x), c3 ( x))T 。
和 c( x*) 0
等价于引进 Lagrange 函数
L( x, ) f ( x) c( x)
后，无约束问题 L(x,α)的一阶必要条件 2.三个变量两个等式约束的问题
min f ( x) f ( x1 , x2 , x3 ) s.t. ci ( x1 , x2 , x3 ) 0, i 1, 2
*
( x) min max
x y
( x, y)
即原问题的最优值以对偶问题的最优值为下界.
（三）强对偶定理 鞍点(x*,y*)条件:
( x*, y) ( x*, y*) ( x, y*)
(8.3.1)
强对偶定理：原问题和对偶问题的最优值相
max ( x, y) max min ( x, y) 成立的充 等，即 min x x y y
§8.1 约束问题的最优性条件 一、最优性条件的直观导出 （一）等式约束问题解的必要条件 1.两个变量一个等式约束的问题
min f ( x) f ( x1 , x2 ) s.t. c( x) c( x1 , x2 ) 0
必要条件：
f ( x*) * c( x*) 0
ci ( x), i I
都是凸函数,而 ci ( x), i E 都是线性函数.
定理 8.1.4(凸约束问题解的充要条件)设凸约束 问题中 f ( x), cl 1 ( x), , cl m ( x) 具有连续一阶偏导数 , 且 x*处的约束规格之一成立，则 x*是凸约束问 题全局解的充要条件是 KKT 条件(8.1.1)成立.
p
支付函数，则
f ( x) if c( x) 0 L ( x) max L( x, ) max[ f ( x) c( x)] p p R R othwise
* T
因而，原约束问题(8.3.2)可看成极小极大问题
* min L ( x) min max L( x, ) n n p xR xR
必要条件：无约束问题 L(x,α)的必要条件，即
x L( x*, *) f ( x*) c( x*) * 0 L( x*, *) c( x*) 0
其中 c( x*) 是以 c1 ( x*), , cl ( x*) 为列的矩阵。
（二）不等式约束问题解的必要条件
（二）弱对偶定理 1．弱对偶定理： L* ( ) L ( x), R , x R
T 2 （2）对于任意的 d M ,有 d x L( x*, *)d 0
则 x*是约束问题(8.0.1)的严格局部解.这里
M {d | d 0, ci ( x*)T d 0, i E I ( x*)} .
定理 8.1.3( 一般约束问题全局解的鞍点充 分条件)对于约束问题(8.0.1)，若存在
, l* )wenku.baidu.com Rl , I* (l*1,
m , l*m )T R
满足鞍点条件
* * L( x*, E , I ) L( x*, E , I* ) L( x, E , I* )
则 x*是约束问题 (8.0.1)的全局解 .这里 L( x, ) 为 Lagrange 函数
R
(8.3.3)
(8.3.3)的对偶问题(极大极小问题)
max L* ( ) max min L( x, ) n p p
R R xR
(8.3.4)
就称为约束问题(8.3.2)的 Lagrange 对偶问题。 对于还含有等式约束的问题，可以同样的 方法得到其 Lagrange 对偶问题，不同之处在于 对应于等式约束的 Lagrange 乘子不再有非负性 的限制。
x 处的约束规格（约束限制性条件） ： （ 1 ） 线 性 条 件 ： 所 有 的 l+m 个 约 束 函 数
c1 ( x), , cl m ( x) 都是线性函数.
（2）梯度线性无关条件：梯度向量集
{ci ( x) | i E I ( x)} 0 线性无关.
（二）必要条件 定理 8.1.1(一般约束问题局部解的 KKT 必 要条件 ) 设约束问题 (8.0.1) 中 f ( x), c1 ( x), , cl m ( x) 具有连续的一阶偏导数，若 x*是(8.0.1)的局部 解，并且 x*处的约束规格之一成立，则一定存
则称 C 为锥；若 C 还是凸集，则称为凸锥。 下降方向 d：若存在 0 ，使得对每个 (0, ) ， 都有 f ( x d ) f ( x) ,则称 d 为在 x 处的下降方向.
可行方向 d：设 D 为约束问题的可行域， x D ， 若存在 0 ，使得对每个 (0, ) ，都有 x d D 则称 d 为在 x 处的可行方向.
§8.2 Lagrange 乘子的意义 考虑(8.0.1)的扰动问题
min f ( x) s.t. ci ( x) i , i E {1, 2, , l} , l m} ci ( x) i , i I {l 1, l 2,
(8.2.1)
设 x *( ), x * 分 别 是 为 (8.2.1) 和 (8.0.1) 的 最 优 解， * 是相应的 Lagrange 乘子，则
min
x *
( x), 这里
*
( x) max
y
( x, y)
D（理性）的目标（对策） ：最大化自己最小 的收益，即
max
y *
( y)，这里 * ( y) min
x
( x, y)
（一）原问题与对偶问题 原问题(极小极大问题):
min
x *
( x) min max
x y
( x, y)
其中 L( x, ) 为 Lagrange 函数
L( x, ) f ( x) i ci ( x)
i 1 l m
（二）充分条件 定理 8.1.2 (一般约束问题局部解的二阶充 分条件)设约束问题 (8.0.1)中 f ( x), c1 ( x), , cl m ( x) 具 有连续的二阶偏导数,x*是可行域中的一点,若 （1）在 x*处的 KKT 条件(8.1.1)成立;
f ( x*) * c( x*) 0 f ( x*) 0 c( x*) 0 c( x*) 0 * 0
综 合 起 来 ， 不 论 c( x*) 0 或 c( x*) 0 ， 若 引 进 Lagrange 函数
L( x, ) f ( x) c( x)
要条件是存在满足(8.3.1)的鞍点(x*,y*)，此时 x*和 y*就分别是原问题和对偶问题的最优解.
二、 Lagrange 对偶 （一）原问题与对偶问题 考虑不等式约束问题
min f ( x) s.t. ci ( x) 0, i 1, 2, ,p
(8.3.2)
其 Lagrange 函数为
第八章 约束问题的最优性条件
min f ( x) s.t. ci ( x) 0, i E {1, 2, , l} , l m} ci ( x) 0, i I {l 1, l 2,
(8.0.1)
可行域： D {x | ci ( x) 0, i E, ci ( x) 0, i I } 局部解 x*: f(x)≥f(x*) §8.1 约束问题的最优性条件 §8.2 Lagrange 乘子的意义 §8.3 对偶理论
f ( x *( )) | 0 *
注： * 可理解为收入对资源的变化率（导数）
§8.3 对偶理论 一、 极大极小对偶 二人零和博弈问题：对策人 P 和 D, P 和 D 的可行策略集为 , ,支付函数为 ( x, y) ， ( x, y) 表示当 P 选策略 x ，D 选策略 y ，P 付给 D 的金额. P（理性）的目标（对策） ：最小化自己最大 的损失，即
* * T 在 Lagrange 乘子 * (1 , , l m ) ，使得
x L( x*, *) f ( x*) * c( x*) 0 ci ( x*) 0, i E {1, , l} c( x*) 0, i I {l 1, , l m} * 0, i I (8.1.1) i * i ci ( x*) 0, i I
min f ( x) f ( x1 , x2 ) s.t. c( x) c( x1 , x2 ) 0
若 c( x*) 0 ,则同等式约束，有
f ( x*) * c( x*) 0 c( x*) 0 * 0
若 c( x*) 0 ，则 x*在可行域的内部，x*是无约束 问题 minf(x)的局部解，约束实际不起作用，有
L( x, ) f ( x) T c( x)
T p T ( , , ) R , c ( x ) ( c ( x ), , c ( x )) 其中 . 1 p 1 p
将 x 看作对策人 P, R n 为其可选策略集， 看作对策人 D， R 为其可选策略集， L( x, ) 看作
3．一般等式约束的问题
min f ( x) s.t. ci ( x) 0, i E {1, 2, , l}
T Lagrange 函数： L( x, ) f ( x) c( x)
T T ( , , ) , c ( x ) ( c ( x ), , c ( x )) 其中 1 l 1 l
其必要条件可写为
x L( x*, *) f ( x*) * c( x*) 0 c( x*) 0 * 0 * c( x*) 0
二、最优性条件的严格论述 （一）一些概念
n 锥与凸锥 C：若非空的 C R , x C, 0, x C ,
可行方向锥： 在 x 处的所有可行方向组成的集合
有效约束、无效约束、有效集：设 D 为约束问 题的可行域 , x D, i I , 若 ci ( x) 0 , 则称 ci ( x) 0 为
x 处的有效约束;若 ci ( x) 0 则称 ci ( x) 0 为 x 处的 无效约束;x 处的有效集指 I ( x) {i | i I , ci ( x) 0} .
对偶问题（极大极小问题） ：
max
y *
( y) max min
y x
( x, y)
（二）弱对偶定理
* ( y) *
( x), x , y
进一步，若原问题和对偶问题都有最优解 x*和 y*,则
max min
y x
( x, y) max
y
* ( y ) min x
L( x, ) f ( x) i ci ( x), E (1 ,
i 1 l m
, l )T , I ( l 1 ,
, l m )T
（三）凸约束问题解的充要条件 凸约束问题 : 约束问题 (8.0.1) 称为凸约束问题 (或凸优化问题）,如果目标函数 f ( x) 和约束函数
必要条件：
* f ( x*) 1*c1 ( x*) 2 c2 ( x*) 0 ，
ci ( x*) 0, i 1, 2
也等价于引进 Lagrange 函数
L( x, ) f ( x) T c( x)
后，无约束问题 L(x,α)的一阶必要条件。其中
(1 , 2 , 3 )T , c( x) (c1 ( x), c2 ( x), c3 ( x))T 。
和 c( x*) 0
等价于引进 Lagrange 函数
L( x, ) f ( x) c( x)
后，无约束问题 L(x,α)的一阶必要条件 2.三个变量两个等式约束的问题
min f ( x) f ( x1 , x2 , x3 ) s.t. ci ( x1 , x2 , x3 ) 0, i 1, 2
*
( x) min max
x y
( x, y)
即原问题的最优值以对偶问题的最优值为下界.
（三）强对偶定理 鞍点(x*,y*)条件:
( x*, y) ( x*, y*) ( x, y*)
(8.3.1)
强对偶定理：原问题和对偶问题的最优值相
max ( x, y) max min ( x, y) 成立的充 等，即 min x x y y
§8.1 约束问题的最优性条件 一、最优性条件的直观导出 （一）等式约束问题解的必要条件 1.两个变量一个等式约束的问题
min f ( x) f ( x1 , x2 ) s.t. c( x) c( x1 , x2 ) 0
必要条件：
f ( x*) * c( x*) 0
ci ( x), i I
都是凸函数,而 ci ( x), i E 都是线性函数.
定理 8.1.4(凸约束问题解的充要条件)设凸约束 问题中 f ( x), cl 1 ( x), , cl m ( x) 具有连续一阶偏导数 , 且 x*处的约束规格之一成立，则 x*是凸约束问 题全局解的充要条件是 KKT 条件(8.1.1)成立.
p
支付函数，则
f ( x) if c( x) 0 L ( x) max L( x, ) max[ f ( x) c( x)] p p R R othwise
* T
因而，原约束问题(8.3.2)可看成极小极大问题
* min L ( x) min max L( x, ) n n p xR xR
必要条件：无约束问题 L(x,α)的必要条件，即
x L( x*, *) f ( x*) c( x*) * 0 L( x*, *) c( x*) 0
其中 c( x*) 是以 c1 ( x*), , cl ( x*) 为列的矩阵。
（二）不等式约束问题解的必要条件
（二）弱对偶定理 1．弱对偶定理： L* ( ) L ( x), R , x R
T 2 （2）对于任意的 d M ,有 d x L( x*, *)d 0
则 x*是约束问题(8.0.1)的严格局部解.这里
M {d | d 0, ci ( x*)T d 0, i E I ( x*)} .
定理 8.1.3( 一般约束问题全局解的鞍点充 分条件)对于约束问题(8.0.1)，若存在