求解非线性等式约束优化问题的共轭梯度投影算法

并令 : c ( x) = max{ | μj ( x) | : j ∈L 且 hj ( x) ≠0} + c0 ,其中 , c0 是一个充分小的正常数 。
引理 1[5] Π x ∈R′, d ∈En ,有
DGc ( x , d) =
∑ f ( x) T d - c j ∈L , hj ( x) > 0
+c ∑ j ∈L , hj ( x) < 0
hj ( x) T d
∑ hj ( x) T d - c j ∈L , hj ( x) = 0
hj ( x) T d
2 算法与性质
对问题 ( P) 的非 K - T 点 xk ∈En , 为了得到目标函数在 xk 点的下降的共轭梯度投影方
向 ,假设对 Π k > 1 ,βk 满足
g ( xk) T p ( xk) g ( xk) > βkg ( xk) T p ( xk) dk - 1 g ( xk) T p ( xk) ( g ( xk) +βkdk - 1) Ε (1 +Δ) | βk| ·‖p ( xk) g ( xk ‖·‖p ( xk) dk - 1 ‖
4) 令 : xk + 1 = xk +λkdk ,其中 λk 是
1,
1 2
,
1 22
,
…,
满足下式的最大者
-
1 2
λkDGck
(
xk
,
dk)
Φ Gck ( xk)
-
Gck ( xk +λkdk)
令 k : = k + 1 ,转步 2) 。
结合 FR ,PR ,HS 共轭梯度法 ,βk 的选取方法如下
218
工 程 数 学 学 报 第 21 卷
本文始终假设 : ( H1) : f ( x) ∈C1 , hj ( x) ∈C1 , j ∈L ;
( H2) : Π x ∈En , rank A ( x) = m ,其中 A ( x) = ( hj ( x) , j ∈L ) 。
第 2 期 孙清滢 :求解非线性等式约束优化问题的一个共轭梯度投影算法
219
1) Π x1 ∈En , c0 > 0 , c0 > 0 ,ε> 0 , d0 = 0 ,令 k : = 1 。 2) 计算 g ( x) = - f ( xk) , B ( xk) ,μ( xk) , p ( xk) , c ( xk ) , 令 : dk = Sk + B ( xk ) T h ( xk) , Sk = p ( xk) ( g ( xk) +βkdk - 1) ,βk 满足 (2) ～ (4) 式 ; h ( x) = ( h1 ( x) , h2 ( x) , …, hm ( x) ) T。 3) ( Ⅰ) 若 c ( xk) > ck - 1 ,则令 ck = max{ c ( xk) , ck - 1 +ε} ; ( Ⅱ) 若 c ( xk) Φ ck - 1 ,则令 ck = ck - 1 。计算 DGck ( xk , dk) 。若 DGck ( xk , dk) = 0 ,则 xk 为问题 ( P) 的 K - T 点 , 停 ; 若 DGck ( xk , dk) ≠0 ,则转步 4) 。
的共轭梯度投影算法 ,并证明算法的收敛性。同时给出结合 FR ,PR ,HS 算法的共轭梯度投影算
法 ,从而将经典共轭梯度算法推广用于求解约束规划问题。数值例子表明算法是有效的。
1 问题与假设
考虑问题 ( P) : minf ( x) , 其中 x ∈R′
R′= { x ∈En : hj ( x)
3 收敛性
引理 6[4] 若算法产生点列{ xk}包含于某紧集 X 中 ,则当 k0 充分大时 ,均有 c ≡ck0 , k Ε k0 。
220
工 程 数 学 学 报 第 21 卷
记 ck0为 c 3 。设 x 3 是算法产生的无穷点列{ xk} 的一个极限点 ,{ xk} K→x 3 ,其中 K < { 1 , 2 , …,} 是一个无穷子集 。令 :
j ∈L , hj ( xk) = 0
Φ -
1 2
+Δ +Δ
‖p
(
xk)
g(
xk)
‖2
∑ ck
(-
j ∈L , hj ( xk) < 0
hj ( xk) T dk)
-
∑ ∑ (μj ( xk) + ck) hj ( xk) +
( ck - μj ( xk) ) hj ( xk)
(5)
j ∈L , hj ( xk) > 0
,
βkPR
=
gkT ( gk - gk - 1) ‖gk - 1 ‖2
, βkHS
=
gkT ( gk - gk - 1) dkT - 1 ( gk - gk - 1)
,
分别称为 FR ,
PR ,
HS 共轭梯
度法。本文利用投影矩阵 ,对求解无约束规划的共轭梯度算法中的参数βk 给一限制条件确定βk
的取值范围 ,以保证得到目标函数的共轭梯度投影下降方向 ,建立求解非线性等式约束优化问题
∑ hj ( xk) T dk - ck
(-
j ∈L , hj ( xk) < 0
hj ( xk) T dk)
∑ = - g ( xk) T p ( xk) Sk - μ( xk) T h ( xk) - ck
hj ( xk) T dk
j ∈L , hj ( xk) > 0
∑ - ck
hபைடு நூலகம் ( xk) T dk -
孙清滢
(石油大学应用数学系 ,山东东营 257061)
摘 要 : 利用投影矩阵 ,对求解无约束规划的共轭梯度算法中的参数 βk 给一限制条件确定βk 的取值范围 , 以保证得到目标函数的共轭梯度投影下降方向 ,建立了求解非线性等式约束优化问题的共轭梯度 投影算法 ,并证明了算法的收敛性 。数值例子表明算法是有效的 。
(2) ～ (4) 式 ,则
g
(
xk)
T Sk
Ε
1 2
+Δ +Δ
‖p (
xk)
g ( xk)
‖2 。
证明 由 Sk 的定义和式 (1) 得
g ( xk) T Sk = g ( xk) T p ( xk) ( g ( xk) +βkdk - 1)
Ε
‖p ( xk)
g ( xk)
‖2 -
| βkg ( xk) T p ( xk)
-1
‖ ‖
(3)
βk (Δ)
=
1 (1 +Δ) -
cosθk
·‖‖pp(
xk) ( xk)
g( dk
xk)
-1
‖ ‖
(4)
其中θk 是 p ( xk) g ( xk) 和 p ( xk) dk - 1的夹角 。
引理 2 若 xk ∈En 为问题 (AP) 的非 K - T 点 , 令 Sk = p ( xk) ( g ( xk) +βkdk - 1) ,βk 满足
关键词 : 非线性规划 ;非线性等式约束 ;投影 ;共轭梯度 ;收敛 分类号 : AMS(2000) 90C30 中图分类号 : O221. 2 文献标识码 : A
0 引 言
Rosen 梯度投影法[1 ,2]是求解非线性最优化问题的基本方法之一 , 梯度投影算法与其它 方法结合 ,得到了许多有效算法[3～5] 。求解无约束最优化问题的共轭梯度法 , 收敛速度快 ,
βk = argmin β- βkFR ∶β∈[ - βk (Δ) ,βk (Δ) ]
βk = argmin β- βkPR ∶β∈[ - βk (Δ) ,βk (Δ) ]
βk = argmin β- βkHS ∶β∈[ - βk (Δ) ,βk (Δ) ]
从而得到结合 FR ,PR ,HS 算法的共轭梯度投影算法 , 分别记为 PFRM ,PPRM ,PHSM。
=0,
j ∈L } ,
L = { 1 , 2 , …, m} , x =
( x1 , x2 , …, xn) T , En 为 n 维欧氏空间 。
Ξ 收稿日期 :2000205225. 作者简介 :孙清滢 (1966 年 2 月生) ,男 ,副教授 ,研究方向 :非线性规划. 基金项目 :国家自然科学基金项目 (10171055) .
存储量小 。它具有以下迭代形式 xk + 1 = xk +λkdk , dk =
- gk , k = 1 , - gk +βkdk - 1 , k Ε 2
其中 ,λk 是步长 ,它可以通过某种选择策略确定;βk 是一参数 ,不同参数对应不同的共轭梯度法。
如 :βkFR
=
‖gk ‖gk -
‖2 1 ‖2
j ∈L , hj ( xk) < 0
由 ck 和 c ( xk) 的定义知 , - (μj ( xk) - ck) Ε - (μj ( xk) - (μj ( xk) + c0) ) = c0 > 0 。而 μj ( xk)
+ ck Ε c0 ,所以 DGck ( xk , dk) Φ0 。
若 DGck ( xk , dk) = 0 ,则必有 p ( xk) g ( xk) = 0 ; hj ( xk) = 0 , j ∈L ; 由 p ( xk) g ( xk) = 0 可得
μ( x 3 ) = (μj ( x 3 ) , j ∈L ) T = [ A ( x 3 ) TA ( x 3 ) ] - 1 A ( x 3 ) T g ( x 3 )