求解非线性等式约束优化问题的共轭梯度投影算法

存储量小 。它具有以下迭代形式 xk + 1 = xk +λkdk , dk =
- gk , k = 1 , - gk +βkdk - 1 , k Ε 2
其中 ,λk 是步长 ,它可以通过某种选择策略确定;βk 是一参数 ,不同参数对应不同的共轭梯度法。
如 :βkFR
=
‖gk ‖gk -
‖2 1 ‖2
∑ hj ( xk) T dk - ck
(-
j ∈L , hj ( xk) < 0
hj ( xk) T dk)
∑ = - g ( xk) T p ( xk) Sk - μ( xk) T h ( xk) - ck
hj ( xk) T dk
j ∈L , hj ( xk) > 0
∑ - ck
hj ( xk) T dk -
-1
‖ ‖
(3)
βk (Δ)
=
1 (1 +Δ) -
cosθk
·‖‖pp(
xk) ( xk)
g( dk
xk)
-1
‖ ‖
(4)
其中θk 是 p ( xk) g ( xk) 和 p ( xk) dk - 1的夹角 。
引理 2 若 xk ∈En 为问题 (AP) 的非 K - T 点 , 令 Sk = p ( xk) ( g ( xk) +βkdk - 1) ,βk 满足
第 21 卷 第 2 期 2004 年 04 月
工 程 数 学 学 报 JOURNAL OF ENGINEERING MATHEMATICS
文章编号 :100523085 (2004) 0220217205
Vol . 21 No. 2 Apr. 2004
求解非线性等式约束优化问题的 共轭梯度投影算法Ξ
=0,
j ∈L } ,
L = { 1 , 2 , …, m} , x =
( x1 , x2 , …, xn) T , En 为 n 维欧氏空间 。
Ξ 收稿日期 :2000205225. 作者简介 :孙清滢 (1966 年 2 月生) ,男 ,副教授 ,研究方向 :非线性规划. 基金项目 :国家自然科学基金项目 (10171055) .
+c ∑ j ∈L , hj ( x) < 0
hj ( x) T d
∑ hj ( x) T d - c j ∈L , hj ( x) = 0
hj ( x) T d
2 算法与性质
对问题 ( P) 的非 K - T 点 xk ∈En , 为了得到目标函数在 xk 点的下降的共轭梯度投影方
向 ,假设对 Π k > 1 ,βk 满足
引理 4 对 xk ∈En ,若 DGck ( xk , dk) = 0 ,则 xk 为问题 ( P) 的 K2T 点 。 证明 由引理 1 知
DGck ( xk , dk) =
∑ f ( xk) T dk - ck j ∈L , hj ( xk) > 0
hj ( xk) TBaidu Nhomakorabeadk
∑ - ck j ∈L , hj ( xk) = 0
,
βkPR
=
gkT ( gk - gk - 1) ‖gk - 1 ‖2
, βkHS
=
gkT ( gk - gk - 1) dkT - 1 ( gk - gk - 1)
,
分别称为 FR ,
PR ,
HS 共轭梯
度法。本文利用投影矩阵 ,对求解无约束规划的共轭梯度算法中的参数βk 给一限制条件确定βk
的取值范围 ,以保证得到目标函数的共轭梯度投影下降方向 ,建立求解非线性等式约束优化问题
(2) ～ (4) 式 ,则
g
(
xk)
T Sk
Ε
1 2
+Δ +Δ
‖p (
xk)
g ( xk)
‖2 。
证明 由 Sk 的定义和式 (1) 得
g ( xk) T Sk = g ( xk) T p ( xk) ( g ( xk) +βkdk - 1)
Ε
‖p ( xk)
g ( xk)
‖2 -
| βkg ( xk) T p ( xk)
g ( xk) T p ( xk) g ( xk) > βkg ( xk) T p ( xk) dk - 1 g ( xk) T p ( xk) ( g ( xk) +βkdk - 1) Ε (1 +Δ) | βk| ·‖p ( xk) g ( xk ‖·‖p ( xk) dk - 1 ‖
∑ 定义辅助的规划问题 (AP) 为 :min Gc ( x) , x ∈En ,其中 Gc ( x) = f ( x) - c
hj ( x) , c
j ∈L
> 0 为参数 。
定义 Gc ( x) 在 x 处沿方向 d 的方向导数为 : DGc ( x , d) = lim ( Gc ( x + td) - Gc ( x) ) / t t →0 +
μ( x 3 ) = (μj ( x 3 ) , j ∈L ) T = [ A ( x 3 ) TA ( x 3 ) ] - 1 A ( x 3 ) T g ( x 3 )
显然有{μ( xk) } K→μ( x 3 ) ;由{ hj ( xk) } K→hj ( x 3 ) , 再由{ xk} K→x 3 , { g ( xk) } K→g ( x 3 ) 及引理 3
218
工 程 数 学 学 报 第 21 卷
本文始终假设 : ( H1) : f ( x) ∈C1 , hj ( x) ∈C1 , j ∈L ;
( H2) : Π x ∈En , rank A ( x) = m ,其中 A ( x) = ( hj ( x) , j ∈L ) 。
4) 令 : xk + 1 = xk +λkdk ,其中 λk 是
1,
1 2
,
1 22
,
…,
满足下式的最大者
-
1 2
λkDGck
(
xk
,
dk)
Φ Gck ( xk)
-
Gck ( xk +λkdk)
令 k : = k + 1 ,转步 2) 。
结合 FR ,PR ,HS 共轭梯度法 ,βk 的选取方法如下
孙清滢
(石油大学应用数学系 ,山东东营 257061)
摘 要 : 利用投影矩阵 ,对求解无约束规划的共轭梯度算法中的参数 βk 给一限制条件确定βk 的取值范围 , 以保证得到目标函数的共轭梯度投影下降方向 ,建立了求解非线性等式约束优化问题的共轭梯度 投影算法 ,并证明了算法的收敛性 。数值例子表明算法是有效的 。
并令 : c ( x) = max{ | μj ( x) | : j ∈L 且 hj ( x) ≠0} + c0 ,其中 , c0 是一个充分小的正常数 。
引理 1[5] Π x ∈R′, d ∈En ,有
DGc ( x , d) =
∑ f ( x) T d - c j ∈L , hj ( x) > 0
关键词 : 非线性规划 ;非线性等式约束 ;投影 ;共轭梯度 ;收敛 分类号 : AMS(2000) 90C30 中图分类号 : O221. 2 文献标识码 : A
0 引 言
Rosen 梯度投影法[1 ,2]是求解非线性最优化问题的基本方法之一 , 梯度投影算法与其它 方法结合 ,得到了许多有效算法[3～5] 。求解无约束最优化问题的共轭梯度法 , 收敛速度快 ,
j ∈L , hj ( xk) < 0
由 ck 和 c ( xk) 的定义知 , - (μj ( xk) - ck) Ε - (μj ( xk) - (μj ( xk) + c0) ) = c0 > 0 。而 μj ( xk)
+ ck Ε c0 ,所以 DGck ( xk , dk) Φ0 。
若 DGck ( xk , dk) = 0 ,则必有 p ( xk) g ( xk) = 0 ; hj ( xk) = 0 , j ∈L ; 由 p ( xk) g ( xk) = 0 可得
的共轭梯度投影算法 ,并证明算法的收敛性。同时给出结合 FR ,PR ,HS 算法的共轭梯度投影算
法 ,从而将经典共轭梯度算法推广用于求解约束规划问题。数值例子表明算法是有效的。
1 问题与假设
考虑问题 ( P) : minf ( x) , 其中 x ∈R′
R′= { x ∈En : hj ( x)
3 收敛性
引理 6[4] 若算法产生点列{ xk}包含于某紧集 X 中 ,则当 k0 充分大时 ,均有 c ≡ck0 , k Ε k0 。
220
工 程 数 学 学 报 第 21 卷
记 ck0为 c 3 。设 x 3 是算法产生的无穷点列{ xk} 的一个极限点 ,{ xk} K→x 3 ,其中 K < { 1 , 2 , …,} 是一个无穷子集 。令 :
dk - 1|
Ε
‖p ( xk)
g ( xk)
‖2 -
1
1 +Δ
g
(
xk)
T
Sk
由上式可知
g ( xk) T Sk
Ε
1 2
+Δ +Δ
‖p
(
xk)
g ( xk)
‖2 。
引理 3 若
xk
∈En 为问题 (AP) 的非
K-
T 点 ,βk
满足 (2) ～ (4) 式 , 则
‖Sk
‖Φ
(
1
+
1 Δ
)
‖p ( xk) g ( xk) ‖。 求解非线性等式约束优化问题的共轭梯度投影算法 (PCGM)
(1)
其中 ,Δ > 0 为常数 。
由 g ( xk) T p ( xk) g ( xk) = ‖p ( xk) g ( xk) ‖2 及式 (1) ,可取
βk ∈ - βk (Δ) ,βk (Δ)
(2)
其中 βk (Δ)
=
1
+Δ
1 +
cosθk
·‖‖pp(
xk) ( xk
)
g( dk
xk)
j ∈L , hj ( xk) = 0
Φ -
1 2
+Δ +Δ
‖p
(
xk)
g(
xk)
‖2
∑ ck
(-
j ∈L , hj ( xk) < 0
hj ( xk) T dk)
-
∑ ∑ (μj ( xk) + ck) hj ( xk) +
( ck - μj ( xk) ) hj ( xk)
(5)
j ∈L , hj ( xk) > 0
∑ g ( xk) - μj ( xk) hj ( xk) = 0 。因而 xk 为问题 ( P) 的 K2T 点 。 j ∈L
引理 5 若 xk ∈En 且为问题 ( P) 的非 K2T 点 ,则 DGck ( xk , dk) < 0 ,即 dk 为 (AP) 在 xk 处 的下降方向 。
证明 由引理 4 易知 DGck ( xk , dk) < 0 。
βk = argmin β- βkFR ∶β∈[ - βk (Δ) ,βk (Δ) ]
βk = argmin β- βkPR ∶β∈[ - βk (Δ) ,βk (Δ) ]
βk = argmin β- βkHS ∶β∈[ - βk (Δ) ,βk (Δ) ]
从而得到结合 FR ,PR ,HS 算法的共轭梯度投影算法 , 分别记为 PFRM ,PPRM ,PHSM。
记 g ( x) = - f ( x) , Π x ∈En ,令 :B ( x) = [ A ( x) TA ( x) ] - 1A ( x) T , μ( x) = (μj ( x) , j ∈L) T
= B ( x) g ( x) , p ( x) = I - A ( x) B ( x) 。其中 I 为单位矩阵 , p ( x) 称为投影矩阵。
第 2 期 孙清滢 :求解非线性等式约束优化问题的一个共轭梯度投影算法
219
1) Π x1 ∈En , c0 > 0 , c0 > 0 ,ε> 0 , d0 = 0 ,令 k : = 1 。 2) 计算 g ( x) = - f ( xk) , B ( xk) ,μ( xk) , p ( xk) , c ( xk ) , 令 : dk = Sk + B ( xk ) T h ( xk) , Sk = p ( xk) ( g ( xk) +βkdk - 1) ,βk 满足 (2) ～ (4) 式 ; h ( x) = ( h1 ( x) , h2 ( x) , …, hm ( x) ) T。 3) ( Ⅰ) 若 c ( xk) > ck - 1 ,则令 ck = max{ c ( xk) , ck - 1 +ε} ; ( Ⅱ) 若 c ( xk) Φ ck - 1 ,则令 ck = ck - 1 。计算 DGck ( xk , dk) 。若 DGck ( xk , dk) = 0 ,则 xk 为问题 ( P) 的 K - T 点 , 停 ; 若 DGck ( xk , dk) ≠0 ,则转步 4) 。