基于一类非线性Lagrange函数的对偶问题_任咏红
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
关键词: L agrange 对偶; 非线性 L agrange 函数; 鞍点; 最优性条件; 扰动函数 中图分类号: O221. 2 文献标志码: A
0 引言
凸规划的对偶理论与鞍点理论是算法设计的 基础, 可以基于共轭函数的理论通过定义原问题 的 L ag rang e 对偶或共轭对偶而得到[ 1、2] . 对非凸 约束规划, 可以通过经典的增广 Lag rang e 函数建 立对 偶 理 论[ 3] . 更 一 般 地, 通 过 对 偶 参 数 化 ( dualizing parameterizat ion ) 函 数, Rockaf ellar 等[ 4] 给出了一般增广 L agrange 函数理论以及对 偶间隙消除的条件.
( NL D) 的解.
定理 2 假设( a) ~ ( f ) 成立. 若问题( NL P) 的解 x* 存在, 问题( N L D) 有解 u* 且
f 0 ( x* ) = dc ( u* )
则存在充分大的 c > 0, Pc I ( 0, c] , 对 偶问题
( NL D) 的二阶最优性条件成立.
Jaco bian 惟一条件下, 对偶问题的最 优解处 二阶充分 性条件 是成立 的, 因 此对偶 解处满 足二 阶增长条件. 非 线性 L ag r ang e 函数的鞍点存在 是原始 问题与对 偶问题 无对偶 间隙的 充分条 件, 给出了 鞍点条 件的等 价条件, 并且 给出了 用扰动 函数来刻 画的鞍 点存在 的一个 充分条 件.
其中 c 是惩罚参数, u 是乘子估计, W: R y R 是实
值函数. 该 函数 类 吸引 了 众多 学 者的 注 意, 如 Poly ak 等[ 5] 、A uslender 等[ 6] 、Dussault [ 7] 、P olyak
等[ 8] 分别研究了该类函数, 构造了有效的算法并
证明了算法的收敛性. 本文主要讨论基于该类函
数的对偶问题, 讨论对偶问题的二阶充分条件和
消除对偶间隙的条件并用扰动函数加以说明.
1 对偶定理及鞍点定理
假设函数 W及其导数满足下述条件:
H 1 W( 0) = 0; H 2 Wc( t) > 0, Pt I ( b, + ] ) , 其中- ] [ b < 0, 且 Wc( 0) = 1;
H 3 Wcc( t ) < 0, Pt I ( b, + ] ) , 其中 - ]
L ag rang e 函数的对偶问题也源于这一思想.
引入下列符号: f ( x) = ( f 1 ( x) , f m ( x) ) T , f ( r) ( x) = ( f 1 ( x) , f r ( x) ) T ,
¨f ( x) = ( ¨f 1 ( x) , ¨f m( x) ) ,
¨f ( r ) ( x) = ( ¨f 1 ( x) , ¨f r ( x) ) ,
度向量 ei 是线性独立的. 于是对偶积极集在点 u*
的切子空间为
Y = { y I Rm: 3y, ei4 = 0, i = r + 1, ,, m} =
{ y I Rm: y = ( y 1 , yr 0 , 0) }
因此, 为证明二阶最优性条件成立, 只需证明
3¨2uL( u* , v* , c) y , y4 [ - L+y +2 , L> 0, Py I Y
( y( r) 0) = y
换句话说
62 2
大 连理 工 大 学学 报
第 48 卷
3¨2uL ( u* , v* , c) y, y4 =
- 3( ¨2xH ( x* , u* , c) )- 1 ¨f ( x* ) y, ¨f ( x* ) y4 [
-
M
c
1 3¨f
( r)
(
x*
) y( r ) , ¨f ( r) ( x*
定理 3 解( x, u) 是函数 H ( x, u, c) 的鞍点
的充分必要条件是
( i) H ( x, u, c) = inf H ( x, u, c) ; x I Rn
) y(r)4 =
-
M
c
1 3¨f
T ( r)
(
x*
) ¨f ( r) ( x* ) y( r) , y( r ) 4
( 1)
根据 ( e) , Gram 阵
¨f
T ( r)
(
x*
) ¨f ( r ) ( x*
)
是正定
的, 因此存在L> 0 满足
3¨f
T ( r)
(
x*
)
¨f ( r) ( x*
) y( r) , y( r) 4
( f) 3¨2xxL ( x* , u* ) y , y4 \ K3y, y4, Py:
¨f
T (r
)
(
Fra Baidu bibliotek
x
*
)y
=
0, 其中 K>
0 是一常数.
考虑问题( NL P) 的非线性 L agr ange 函数类
m
E H ( x, u, c) = f 0 ( x) - c ui W( c- 1 f i ( x) ) i= 1
v( y ) = inf { f 0 ( x) | f i ( x) \ y i , i = 1, ,, m}
亦即 v 的上图 epi v = { ( y , z ) | v ( y) [ z , y I Rm}
在点( y, z ) = ( 0, v( 0) ) 处的支撑 超平面为 z =
v( 0) + uT y . 换言之, 若原问题有最优解, 则对偶
其中 Wc( c- 1 f ( x* ) ) =
[
diagWc( c-
1f
i(
x*
))
]
m i=
1,
且
y = Wc( c- 1 f ( x* ) ) y = ( Wc( c- 1 f 1 ( x* ) ) y 1 , Wc( c- 1 f r ( x* ) ) y r
0 , 0) =
( y1 , y r 0 , 0) =
实际上, 这一性质成立的充分必要条件是鞍点的
存在.
定义 1 解( x, u) 称为函数 H ( x, u, c) 的鞍
点, 若 x I Rn , u I R+m, 且
H ( x, u, c) [ H ( x, u, c) [ H ( x, u, c) , Px I
Rn , Pu I R+m
易知对于固定的 0 < c [ c 矩阵 ¨2x H ( x* , u* , c)
是正定的, 即 Kmin ( ¨2x H( x* , u* , c) ) = Kc > 0. 令
Kmax ( ¨2xH ( x* , u* , c) ) = Mc > 0, 则有
K-c 13y , y4 \ 3( ¨2x H( x* , u* , c) )- 1 y , y4 \
[ b < 0; H 4 c- 1 Wc( c- 1 t ) 有界, Pt I ( b, + ] ) , 其中
- ] [ b < 0. 基于非线性 L ag rang e 函数 H ( x, u, c) , 定义
对偶函数
dc ( u) = inf H ( x, u, c) x I Rn
考虑对偶问题
max dc ( u) s. t. u \ 0
作者简介: 任咏红( 1973-) , 女, 博士; 张立卫* ( 1966- ) , 男, 教授, 博士生导师.
第4期
任咏红等: 基于一类非线性 L agrange 函数的对偶问题
621
0, i = 1, ,, m} = { 1, ,, r } ;
( c) 设 ( x* , u* ) I Rn @ Rm 满 足
间隙为 0 等价于 v 的上图在点( 0, v( 0) ) 的支撑超
平面 存 在. 然 而, 对 于 非 凸 规 划, 用 经 典 的
L ag rang e 对偶模式, 对偶间隙通常是非 0 的. 于
是, 自然会想到能否用某个非线性函数代替仿射
函数来支撑 v 的上图 epi v 以达到消除对偶间隙
的目的. 如经典的增广 L ag rang e 函数的构造就是 基于这一思想[ 3] . 本文所讨论的基于一类非线性
\ L+y ( r)
+2
( 2)
将式( 2) 代入式( 1) 并令 L= M-c 1 L, 得
3¨2uL ( u* , v* , c) y, y4 [ - L+y +2 , Py I Y
即对偶问题( NL D) 的二阶最优性条件成立.
定理 2 表明了 在适当 的约 束规格 下, 问题
( NL P) 和( NL D) 在最优解处的目标函数值相等.
证 明 考 虑 对 偶 问 题 ( NL D) 的 经 典
L ag rang e 函数
易知
m
E L ( u, v, c) = dc( u) + vi ui i= 1
¨2uL ( u, v, c) = ¨2ud c( u)
问题( N L D) 的积极约束为 ui \ 0, i = r + 1, ,,
m, 其梯度向量为 ei I Rm , i = r + 1, ,, m. 显然梯
u*
=
(
u
* 1
u* ( r)
=
( u*1
,
u
* m
)
I
Rm ,
, u*r ) I Rr
假设问题( NL P) 满足下列条件:
( a) f i ( x) ( i = 0, ,, m ) 二次连续可微; ( b) 为方便叙述, 假设 I ( x* ) = { i: f i ( x* ) =
收稿日期: 2006-04-15; 修回日期: 2008-06-09. 基金项目: 国家自然科学基金资助项目( 10771026) .
( NL D)
定理 1( 弱对偶 定理) 令 x、 u 分别 为问题 ( N L P) 和 问 题 ( N L D) 的 可 行解, 则 f 0 ( x) \ dc( u) .
推论 1 f 0( x) = dc( u) , 其中 u \ 0 且 x I
8, 则 x 和 u 分别 是原问 题( NLP ) 和对 偶问题
第48 卷第 4期 2 00 8 年7 月
大 连理 工大 学学 报 Journal of Dalian University of Technology
Vol. 48, No. 4 July 2 0 0 8
文章编号: 1000- 8608( 2008) 04- 0620- 05
基于一类非线性 Lagrange 函数的对偶问题
M
c
1 3y,
y4
即
- K-c 1 3y, y4 [ - 3( ¨2xH ( x* , u* , c) ) - 1 y , y4 [
-
M
c
13y
,
y4
于是对 ¨2uL ( u* , v* , c) , 有
3¨2uL ( u* , v* , c) y, y4 = 3¨2ud c ( u* ) y, y4 =
本文考虑如下的不等式约束的非线性规划问 题:
m in f 0 ( x) ( NLP)
s. t . f i ( x) \ 0, i = 1, ,, m 其中 f 0 : Rn y R, f i : Rn y R, i = 1, ,, m, 是连续 可微函数. 令 8 = { x | f i ( x) \ 0, i = 1, ,, m} . 通过对经典的 L agrange 对偶问题的研究得知, 若 x 是原问题( NL P) 的一个最优解, 则( x, u) 是鞍点 的充要条件是 v( y ) \v( 0) + uT y , Py I Rm, 其中 v 为问题( NL P) 的扰动函数, 即
任 咏 红1, 2 , 肖 现 涛1 , 金 丽3 , 张 立 卫* 1
( 1. 大连 理工大学 应用数学系, 辽宁 大连 116024; 2. 辽宁师范大学 数学学院, 辽宁 大连 116029; 3. 浙江海洋学院 数理与信息学院, 浙江 舟山 316004 )
摘要: 基于一类非线性 L agr ang e 函数提出不等式约束 优化问题 的一类对偶 问题, 证明了在
Kuhn- T ucker 条件
¨x L ( x* , u* ) = 0, u* \ 0,
f i ( x* ) u*i = 0, i = 1, ,, m
( d)
严格
互补
松弛条件
成立
,
即
u
* i
>
0, i I
I ( x* ) ;
( e) { ¨f i ( x* ) | i I I ( x* ) } 线性无关;
- 3Wc( c- 1 f ( x* ) ) ¨f T ( x* ) ( ¨2x H ( x* , u* , c) )- 1
¨f ( x* ) Wc( c- 1 f ( x* ) ) y, y4 = - 3¨f T ( x* ) ( ¨2xH ( x* , u* , c) )- 1 ¨f ( x* ) y, y 4
0 引言
凸规划的对偶理论与鞍点理论是算法设计的 基础, 可以基于共轭函数的理论通过定义原问题 的 L ag rang e 对偶或共轭对偶而得到[ 1、2] . 对非凸 约束规划, 可以通过经典的增广 Lag rang e 函数建 立对 偶 理 论[ 3] . 更 一 般 地, 通 过 对 偶 参 数 化 ( dualizing parameterizat ion ) 函 数, Rockaf ellar 等[ 4] 给出了一般增广 L agrange 函数理论以及对 偶间隙消除的条件.
( NL D) 的解.
定理 2 假设( a) ~ ( f ) 成立. 若问题( NL P) 的解 x* 存在, 问题( N L D) 有解 u* 且
f 0 ( x* ) = dc ( u* )
则存在充分大的 c > 0, Pc I ( 0, c] , 对 偶问题
( NL D) 的二阶最优性条件成立.
Jaco bian 惟一条件下, 对偶问题的最 优解处 二阶充分 性条件 是成立 的, 因 此对偶 解处满 足二 阶增长条件. 非 线性 L ag r ang e 函数的鞍点存在 是原始 问题与对 偶问题 无对偶 间隙的 充分条 件, 给出了 鞍点条 件的等 价条件, 并且 给出了 用扰动 函数来刻 画的鞍 点存在 的一个 充分条 件.
其中 c 是惩罚参数, u 是乘子估计, W: R y R 是实
值函数. 该 函数 类 吸引 了 众多 学 者的 注 意, 如 Poly ak 等[ 5] 、A uslender 等[ 6] 、Dussault [ 7] 、P olyak
等[ 8] 分别研究了该类函数, 构造了有效的算法并
证明了算法的收敛性. 本文主要讨论基于该类函
数的对偶问题, 讨论对偶问题的二阶充分条件和
消除对偶间隙的条件并用扰动函数加以说明.
1 对偶定理及鞍点定理
假设函数 W及其导数满足下述条件:
H 1 W( 0) = 0; H 2 Wc( t) > 0, Pt I ( b, + ] ) , 其中- ] [ b < 0, 且 Wc( 0) = 1;
H 3 Wcc( t ) < 0, Pt I ( b, + ] ) , 其中 - ]
L ag rang e 函数的对偶问题也源于这一思想.
引入下列符号: f ( x) = ( f 1 ( x) , f m ( x) ) T , f ( r) ( x) = ( f 1 ( x) , f r ( x) ) T ,
¨f ( x) = ( ¨f 1 ( x) , ¨f m( x) ) ,
¨f ( r ) ( x) = ( ¨f 1 ( x) , ¨f r ( x) ) ,
度向量 ei 是线性独立的. 于是对偶积极集在点 u*
的切子空间为
Y = { y I Rm: 3y, ei4 = 0, i = r + 1, ,, m} =
{ y I Rm: y = ( y 1 , yr 0 , 0) }
因此, 为证明二阶最优性条件成立, 只需证明
3¨2uL( u* , v* , c) y , y4 [ - L+y +2 , L> 0, Py I Y
( y( r) 0) = y
换句话说
62 2
大 连理 工 大 学学 报
第 48 卷
3¨2uL ( u* , v* , c) y, y4 =
- 3( ¨2xH ( x* , u* , c) )- 1 ¨f ( x* ) y, ¨f ( x* ) y4 [
-
M
c
1 3¨f
( r)
(
x*
) y( r ) , ¨f ( r) ( x*
定理 3 解( x, u) 是函数 H ( x, u, c) 的鞍点
的充分必要条件是
( i) H ( x, u, c) = inf H ( x, u, c) ; x I Rn
) y(r)4 =
-
M
c
1 3¨f
T ( r)
(
x*
) ¨f ( r) ( x* ) y( r) , y( r ) 4
( 1)
根据 ( e) , Gram 阵
¨f
T ( r)
(
x*
) ¨f ( r ) ( x*
)
是正定
的, 因此存在L> 0 满足
3¨f
T ( r)
(
x*
)
¨f ( r) ( x*
) y( r) , y( r) 4
( f) 3¨2xxL ( x* , u* ) y , y4 \ K3y, y4, Py:
¨f
T (r
)
(
Fra Baidu bibliotek
x
*
)y
=
0, 其中 K>
0 是一常数.
考虑问题( NL P) 的非线性 L agr ange 函数类
m
E H ( x, u, c) = f 0 ( x) - c ui W( c- 1 f i ( x) ) i= 1
v( y ) = inf { f 0 ( x) | f i ( x) \ y i , i = 1, ,, m}
亦即 v 的上图 epi v = { ( y , z ) | v ( y) [ z , y I Rm}
在点( y, z ) = ( 0, v( 0) ) 处的支撑 超平面为 z =
v( 0) + uT y . 换言之, 若原问题有最优解, 则对偶
其中 Wc( c- 1 f ( x* ) ) =
[
diagWc( c-
1f
i(
x*
))
]
m i=
1,
且
y = Wc( c- 1 f ( x* ) ) y = ( Wc( c- 1 f 1 ( x* ) ) y 1 , Wc( c- 1 f r ( x* ) ) y r
0 , 0) =
( y1 , y r 0 , 0) =
实际上, 这一性质成立的充分必要条件是鞍点的
存在.
定义 1 解( x, u) 称为函数 H ( x, u, c) 的鞍
点, 若 x I Rn , u I R+m, 且
H ( x, u, c) [ H ( x, u, c) [ H ( x, u, c) , Px I
Rn , Pu I R+m
易知对于固定的 0 < c [ c 矩阵 ¨2x H ( x* , u* , c)
是正定的, 即 Kmin ( ¨2x H( x* , u* , c) ) = Kc > 0. 令
Kmax ( ¨2xH ( x* , u* , c) ) = Mc > 0, 则有
K-c 13y , y4 \ 3( ¨2x H( x* , u* , c) )- 1 y , y4 \
[ b < 0; H 4 c- 1 Wc( c- 1 t ) 有界, Pt I ( b, + ] ) , 其中
- ] [ b < 0. 基于非线性 L ag rang e 函数 H ( x, u, c) , 定义
对偶函数
dc ( u) = inf H ( x, u, c) x I Rn
考虑对偶问题
max dc ( u) s. t. u \ 0
作者简介: 任咏红( 1973-) , 女, 博士; 张立卫* ( 1966- ) , 男, 教授, 博士生导师.
第4期
任咏红等: 基于一类非线性 L agrange 函数的对偶问题
621
0, i = 1, ,, m} = { 1, ,, r } ;
( c) 设 ( x* , u* ) I Rn @ Rm 满 足
间隙为 0 等价于 v 的上图在点( 0, v( 0) ) 的支撑超
平面 存 在. 然 而, 对 于 非 凸 规 划, 用 经 典 的
L ag rang e 对偶模式, 对偶间隙通常是非 0 的. 于
是, 自然会想到能否用某个非线性函数代替仿射
函数来支撑 v 的上图 epi v 以达到消除对偶间隙
的目的. 如经典的增广 L ag rang e 函数的构造就是 基于这一思想[ 3] . 本文所讨论的基于一类非线性
\ L+y ( r)
+2
( 2)
将式( 2) 代入式( 1) 并令 L= M-c 1 L, 得
3¨2uL ( u* , v* , c) y, y4 [ - L+y +2 , Py I Y
即对偶问题( NL D) 的二阶最优性条件成立.
定理 2 表明了 在适当 的约 束规格 下, 问题
( NL P) 和( NL D) 在最优解处的目标函数值相等.
证 明 考 虑 对 偶 问 题 ( NL D) 的 经 典
L ag rang e 函数
易知
m
E L ( u, v, c) = dc( u) + vi ui i= 1
¨2uL ( u, v, c) = ¨2ud c( u)
问题( N L D) 的积极约束为 ui \ 0, i = r + 1, ,,
m, 其梯度向量为 ei I Rm , i = r + 1, ,, m. 显然梯
u*
=
(
u
* 1
u* ( r)
=
( u*1
,
u
* m
)
I
Rm ,
, u*r ) I Rr
假设问题( NL P) 满足下列条件:
( a) f i ( x) ( i = 0, ,, m ) 二次连续可微; ( b) 为方便叙述, 假设 I ( x* ) = { i: f i ( x* ) =
收稿日期: 2006-04-15; 修回日期: 2008-06-09. 基金项目: 国家自然科学基金资助项目( 10771026) .
( NL D)
定理 1( 弱对偶 定理) 令 x、 u 分别 为问题 ( N L P) 和 问 题 ( N L D) 的 可 行解, 则 f 0 ( x) \ dc( u) .
推论 1 f 0( x) = dc( u) , 其中 u \ 0 且 x I
8, 则 x 和 u 分别 是原问 题( NLP ) 和对 偶问题
第48 卷第 4期 2 00 8 年7 月
大 连理 工大 学学 报 Journal of Dalian University of Technology
Vol. 48, No. 4 July 2 0 0 8
文章编号: 1000- 8608( 2008) 04- 0620- 05
基于一类非线性 Lagrange 函数的对偶问题
M
c
1 3y,
y4
即
- K-c 1 3y, y4 [ - 3( ¨2xH ( x* , u* , c) ) - 1 y , y4 [
-
M
c
13y
,
y4
于是对 ¨2uL ( u* , v* , c) , 有
3¨2uL ( u* , v* , c) y, y4 = 3¨2ud c ( u* ) y, y4 =
本文考虑如下的不等式约束的非线性规划问 题:
m in f 0 ( x) ( NLP)
s. t . f i ( x) \ 0, i = 1, ,, m 其中 f 0 : Rn y R, f i : Rn y R, i = 1, ,, m, 是连续 可微函数. 令 8 = { x | f i ( x) \ 0, i = 1, ,, m} . 通过对经典的 L agrange 对偶问题的研究得知, 若 x 是原问题( NL P) 的一个最优解, 则( x, u) 是鞍点 的充要条件是 v( y ) \v( 0) + uT y , Py I Rm, 其中 v 为问题( NL P) 的扰动函数, 即
任 咏 红1, 2 , 肖 现 涛1 , 金 丽3 , 张 立 卫* 1
( 1. 大连 理工大学 应用数学系, 辽宁 大连 116024; 2. 辽宁师范大学 数学学院, 辽宁 大连 116029; 3. 浙江海洋学院 数理与信息学院, 浙江 舟山 316004 )
摘要: 基于一类非线性 L agr ang e 函数提出不等式约束 优化问题 的一类对偶 问题, 证明了在
Kuhn- T ucker 条件
¨x L ( x* , u* ) = 0, u* \ 0,
f i ( x* ) u*i = 0, i = 1, ,, m
( d)
严格
互补
松弛条件
成立
,
即
u
* i
>
0, i I
I ( x* ) ;
( e) { ¨f i ( x* ) | i I I ( x* ) } 线性无关;
- 3Wc( c- 1 f ( x* ) ) ¨f T ( x* ) ( ¨2x H ( x* , u* , c) )- 1
¨f ( x* ) Wc( c- 1 f ( x* ) ) y, y4 = - 3¨f T ( x* ) ( ¨2xH ( x* , u* , c) )- 1 ¨f ( x* ) y, y 4