等式约束优化的信赖域法

530 由 记
2
数
学
杂
志
Vo l. 29
xL (xk, K k , ck ) ( x k+ 1 - x k ) = - ¨ xL (xk, K k , ck ) New to n 法得 : ¨
( 2)
k , ck ) Bk = B(xk, K
g k = g( x k )
T k
d k = x k+ 1 - x k
No . 4
王芳华等
等式约束优化的信赖域法
531
k 为 5 k ( x ) 的实际下降量与预估下降量的比值, 即 : 令D
5k ( x k ) - 5k ( x k + dk ) D k = Dk
( 11)
2
算法
信赖域算法如下 :
n S1: 给出 x 1 I R n , $ 1 > 0, K 1 I R , c1 > 0, 0< A < 1 , 0< A 1 < 1< A 2 , 0< G 1< G 2 < 1,
对乘子 K , 我们按下式校正 : K k+ 1 = K k + $K k 记¨ L k= ¨ L (x k, K k , ck ) 其中 令
T -1 $ K k = - ( Ak A k) AT k( ¨ L k + B kd k ) T 5k ( x ) = L ( x , K , c) = f ( x ) + K g ( x ) + c + g( x ) + 2 = l ( x , K ) + c +g ( x ) + 2 2 2
2 T 2
S8: 按( 11) 式计算比值 D k; x k+ 1 = x k + dk xk if D k > 0 其它 ;
k+ 1 = K k + $ k , 其中 $ k 按( 10) 式计算: K K K k, A 2 + d k +2 ] max [ $ k > G 2 D k < G 2 G1 < D k < G 1 D
( 8)
我们把 5 k ( x ) 作为价值函数, 故有: 5k ( x k ) - 5k ( x k + dk ) = L( x k , K k , ck ) - L ( x k + d k , K k+ $ K k , ck )
T = l( x k , Kk ) + l( x k + dk , K k) - $ K k g( x k + dk ) +
令
1 Q = +I + D + 2 , 则 0< Q < 1 L 所以 + C+ 2 [ Q+ C+2 .
引理 2
若 A k 满秩 , B K 正定 , 则 A T k B k A k 正定.
T
证 对 P x X 0, 因 B K 正定 , 则 x B k x > 0 T T T T T 又因 A k 满秩 , 即有 A T k x X 0, 从而( A k x ) B k ( A k x ) > 0, 即 x ( A k B k A k ) x > 0 故 xT ( AT k B kA k ) x > 0 P x X 0 所以 A T k B k A k 正定 . 定理 1 在算法中 , 内循环 S 4 ) ) ) S 5 是有限的 . 证 因
( 5) ( 6) ( 7)
其中 , 称 C k 为广义 L agr ange 乘子 为使搜索方向 d k 趋向可行域 , 一方面可使罚因子 c k y ] ; 但另一方面, 如果 C k U 0, 则点 x k + d k 是非常接近可行的 , 而不必罚因子 ck y ] , 故需要选择 ck , 使得 g k A T k d [ 0, 即- g T k g k+ gT kC k +C k + +gk + [ 0 或 +g k + 2 \ , 并且我们进一步把条件加强为: ck ck A+g k + \ +C k + ck 其中 0 < A< 1
从而有: ( I +
D D -1 )C = C , 又因 D 正定 , 故( I + ) 存在 L L
532 由( 12) 式有 : C = (I+ D )- 1 C L
数
学
杂
志
Vo l. 29
1 由上式得: + C+ [ + ( I + D ) - 1 +2 + C+2 [ + I + D +2 + C+2 L L
T m
¨ xl( x, K ) = ¨ f ( x ) + KA ( x )
T
¨ xL (x, K , c) = ¨ xl( x, K ) + cA T ( x ) g( x )
2 2 ¨ x L (x, K , c) = ¨2 xl( x , K ) + c E gi ( x ) ¨ g i ( x ) + cA T ( x ) A ( x ) i= 1
$ k+ 1 =
k $ k, A 1 + d k +2 ] min[ $
S9: 计算 B k+ 1 , C k+ 1 : = C k , 转 S2.
3
算法的收敛性分析
我们在以下的分析中 , 假设如下的条件成立: 假设 ( 1) { x k } 是一有界序列; ( 2) P x I X = { x g ( x ) = 0 } 有 A ( x ) 列满秩 ; ( 3) Pk, B k 正定且一致有界. 引理 1 = LC , 则一定存在 设 D 是一正定矩阵, L是大于 0 的常数 , 如果( L I + D) C 0 < Q< 1, 使得 + C+2 [ Q+ C +2. 证 因 LX 0, 故有( L I+ D )C = L (I+ D )C = LC L ( 12)
T
由 ( 2) 式得: B k d k + ck A A k d k + ¨x l ( x k , K k ) + ck A K g k = 0 即有 :
T B k d k + ck A T k A kd k = - ¨ xl( xk, K k ) - ck A K g k
( 3)
1 T -1 假定 B k 是可逆的, ( 3) 式两端分别左乘 k A k B k , 得 c 1 T - 1 T 1 T -1 T - 1 ( + Ak B k A k) Ak d k = A k Bk ¨ xl (xk, K k ) - A k B k A k gk ck ck gk -1 1 + AT -1 k Bk ¨ xl( xk, K k) - ( k B k A k ) gk + = - 1AT ck ck ck = 即有 : 令 则有 :
T
1 k T -1 1 T - 1 k) ) - ( ( g - A k B k ¨x l ( x k , K + A kBk A k)g k ck ck
1( 1+ AT - 1 - 1 - 1 AT kd k= kBk A k) ( gk - A T k Bk ¨x l ( x k , K k ) ) - gk ck ck
k: = C k + 1 , 转 S4. C
S6: 如果 +g k + 2 + + ¨f k - A T kK k +2 [ E , 则停止计算 ; 否则, 解 ( 5) 、 ( 6) 、 ( 7) 得 d k . 1 2 T 2 S7: 由( 10) 式计算 D k ; 如果 D k \ C k [ + g k +2 - + g k + A k d k +2 ] , 则转 S8; 2 否则 , 令 C k : = 2 Ck , D k : = D k + C k [ +g k +2 - +g k + A k d k +2 ] .
T - 1 - 1 T - 1 1 k k k k k k x k k k k+ 1 = ( C ck + A B A ) ( g - A B ¨ l ( x , K + C) 故有 : -1 T -1 ( 1 + AT k Bk A k) C k+ 1 = g k - A k B k ¨ xl( xk, K k+ C k) ck -1 T -1 = g k - AT k B k ¨ xl ( x k , K k ) - A k B k A kC k 1 T -1 -1 T -1 C k = ( + A k B k A k ) ( g k - A k B k ¨x l ( x k , K k ) 故有: ck 1 T - 1 T - 1 ( + A kBk A k) C k = gk - A k B k ¨x l ( x k , K k) 即 : ck C k -1 T -1 = gk - A T k Bk ¨ xl( xk, K k) - A kBk A kC k ck
k = ( C k C ck
1 T -1 -1 T -1 xl( xk, K k) + A k B k A k) (g k - Ak B k ¨ ck
( 4)
A k d k = - gk +
信赖域法求解子问题 :
T 1 d T B kd m in ¨ xL (xk, K k , ck ) d + n 2 dI R C k s. t . AT k d + gk = ck +d +2 [ $ k
令
B( x , K , c) = ¨ x l( x , K ) + c E gi ( x ) ¨ gi ( x )
2 2 i= 1
m
*
收稿日期 : 2006 - 05 - 09 接收日期 : 2007 - 01 - 25 基金项目 : 国家自然科学基金资助项 目( 70771078, 70471034, A 0324666) 作者简介 : 王芳华 ( 1969 - ) , 男 , 湖南湘潭 , 讲师 , 硕士生 , 研究方向 : 最优化理论与算法 .
ck 2 [ +g( x k ) +2 2 - +g( x k + d k ) +2 ] ( 9) 2
令
ck T 1 dT T T 2 Dk = - ¨ x l k dk k B k d k - $K k gk + A k dk + [ +g( x k ) +2 2 - +g(x k + d k ) +2 ] ( 10) 2 2 我们把 D k 作为价值函数的预估下降量.
Vol. 29( 2009) No. 4
数 学 杂 志
J. o f Mat h. ( PRC)
等式约束优化的信赖域法
王芳华1 , 高成修2
*
( 1. 湘潭大学数学与计算科学学院, 湖南 湘潭 411105) ( 2. 武汉大学数学与统计学院 , 湖北 武汉 430072)
摘要 : 本文研究了约束优化信赖域法中的线 性化约束条件在信赖域 内无解的问 题 . 利 用一 种基于增广 L agr ang e 函数的方法 . 获得了一个改进的约束优化的信赖域 法 . 该法 的线性化 约束 条件在信赖内有解 , 并且具有全局收敛性和超线 性收敛性 . 关键词 : 增广 L ag range 函 数 ; 信赖域法 ; 全局收敛性 ; 超线性收敛性 ; 等式约束优化 MR( 2000) 主题 分类号 : 49M37 中图分类号 : O221. 2 文献标识码 : A 文章编号 : 0255 - 7797( 2009) 04 - 0529 - 06
k: = 1, E\0, 计算 B 1 . S2: 如果 g k = 0, 转 S6. S3: 计算 Ck . S4: 如果 A +g k + \
k + +C , 转 S6. ck
1 T - 1 - 1 T - 1 k+ 1 = ( k k k k k k x k k k S5: 计算 C ck + A B A ) ( g - A B ¨ l ( x , K+ C ) 令
1
引言
考虑一般的等式约束优化问题 : min f (x) n
xI R
s. t .
wenku.baidu.com
g( x ) = 0
( 1)
其中 g( x ) = ( g 1 ( x ) , ,, g m ( x ) ) T f ( x ) , g i ( x ) ( i= 1, 2, ,, m) 均为二次连续可微函数. 记 A ( x ) = ¨g( x ) T = [ ¨ g1 ( x ) , ¨ g 2 ( x ) , ,, ¨g m ( x ) ] T A k = A ( x k ) 约束优化应用信赖域法时 , 它的一个主要困难是线性化约束条件 : AT k d + g( x k ) = 0 内无解 ( 见文献 [ 1 ] ) , 对这一困难至少有两种处理方法 ( 文献 在信赖域 d: + d + [ $ k [ 2] 已经给出了两种处理方法 ) , 我们这里是基于增广 Lag rang e 函数的一种处理方法 ( 见文 献[ 3 ] ) . 问题 ( 1) 增广 L agrange 函数为 : T c 2 c 2 L(x, K , c) = f ( x ) + K g ( x ) + + g( x ) + = l ( x , K )+ + g( x ) + 2 2 其中 l( x, K ) = f ( x ) + Kg ( x )