求解无约束优化的一个新的下降共轭梯度法

(Fletcher − Re eves [2],1964);
(1.5)
−
g
(g d
−
−
)
g (g − g − ) (Polak − Ribiere − Polyak [3,4],1969); (1.6) g− g− d g g − g (Conjugate D escent [6],1987);
−
y−d
邵阳学院学报 （自然科学版 ） J ournal of S haoyang Univers ity （Natural S cience Edition）
Vol . 7 No . 4 Dec . 2010
求解无约束优化的一个新的下降共轭梯度法
陈 玉， 米黑龙
（湖南商学院 信息学院， 湖南 长沙 410205 ）
10
邵阳学院学报 （自然科学版 ）
(1.4)
第7卷
=
g (g − g
−
−
)
(g − g
) d
( Hestenses − Stiefel [1],1952);
证明： 由于 d = − g , g d ，= − g 用 g 乘公式 （1.3 ）
g d =− g
+
满足公式 （2.2 ）
(g d
−
−
g g = g− g =
［3］E.Polak, G.Ribiere, Note Sur la convergence de directions conjugees ［J］ . Rev. Francaise Informat Recherche Operationelle 3e Annee., 1969,16:35- 43.
g d =− g
Armijo 线搜索条件下具有全局收敛性.
个新的共轭梯度法，对任意线搜索满足充分下降 条件 g d ≤ − (1 −
1 ) g 4µ ,µ >
函数， 在不限制 β 的下限值的条件下， 标准 Wolf 线搜索具有全局收敛性.
2
β
DY 公式.
下降条件.
则对于任意的 k ≥ 1 ，
Á Á Â Ã Ä Â Â Á Å Æ Á Â Ç È É Á Á Â Â Á Â Â Ã Ä Á Á Â Å Æ Á Â Á Á Á Á Â Á Â Á Â Á Á Á Â Â Á Â Á Á Â Ã Á Â Ã Á Á Á Á Â Â Â Â Â Á ÁÁ Á Â Â
Á Â Á Â Â Ã Ã
陈 玉， 米黑龙： 求解无约束优化的一个新的下降共轭梯度法
11
［4］B.T.Polyak,The conjugate gradient method in extreme problems ［J］ . put.Math.Phys,9(1969),94- 112. method ［J］ .Math.Program., 1977,12:241- 254. Optimization,second ［5］M.J.D.Powell,Restart procedures for the conjugate gradient ［6］R.Fletcher, Practical Method of Optimization ［M ］ .Vol.I:Unconstrained 1987. edit.,Wiley,NewYork,
g s− σ ≤ m ax{1, }. y −s − 1 −σ
1 [g ≤ y −s−
其中 Γ = max g . 因此
∈
D = max{ y − z : y , z ∈ L}.由引理 2.1 得
从 Wolf 条件和 （2.11 ） 中可得到 考虑条件 *，
因此
inf g = 0 . 这与 （2.10 ） 式矛盾. 因此，lim →∞
参考文献：
［1］M.R.Hestenes, E.Stiefel, Method of conjugate gradient for 409- 436.
Á Á Â Â Â Á Â Á Á Â Ã Â Â Ä Å Æ Á Â
β
∑ =
.J.Res.Nat.Bur.Sand., 1952,49: solving linear equation ［J］ ［2］R.Fletcher, C.Reeves, Function minimization by conjugate gradients ［J］ put., 1964, （7 ） :149- 154.
问题的提出
考虑下列无约束优化问题
min{ f ( x) : x ∈ R },
为一种重要的方法.共轭梯度法的迭代公式如下： x + = x +t d ） （1.2
d 是搜索方向且 t 是线性搜索的步长，
− g d = − g + β − d if k = 1
−
（1.1 ）
f : R → R 是连续可微函数.
−
)
( Dai − Yuan [8],1999);
(1.9)
≤ =
1 1 [ (y d 2 2µ 1 g 4µ
) g
+ 2 µ( g d − ) g
−
]
(y − d
)
上述公式的全局收敛性已经被很多人研究，
+µ
g
(g d
−
−
)
(y − d
)
） 式成立， 证毕. 因此 （2..2
基于新的 β − 和标准的 Wolf 线搜索，现在给
证明中假设具有下降方向. 为克服此缺陷，最近， 有部分文献研究了具有下降方向的共轭梯度法 . Hager 和 Zhang([13])提出了一个新的共轭梯度法，
7 对于任意的线搜索都满足下降条件 g d ≤ − g ， 8
当线搜索满足 Wolf 条件和 β 的下限值被限制时， 对一般的非线性函数具有全局收敛性.Zhang， Zhou 和 Li ([15]) 提 出 了 无 需 线 搜 索 满 足 下 降 条 件
−
= − (1 − σ ) g − s − .
（2.5 ）
,
(2.2)
由定理 2.1 可得 因此
g d ≤ −ω g
.
（2.6 ）
− g d ≥ ωγ
（2.7 ）
第4期
结合 （2.5 ） (2.7)有 y − s − ≥ (1− σ )α ωγ . （2.8 ） 注意到：g s − = y − s − + g − s − < y − s − .由 Wolf 条 件有 g s − ≥ σ g − s − = −σ y − s − + σ g s − −σ y s 由于 σ < 1， 故g s− ≥ 1− σ − − 因此
1 . 4 对一般 的非线 性
度 g 是李普希茨连续的，即：存在常数 L 满足
g ( x ) − g ( y ) ≤ L x − y , ∀x, y ∈ N .
） （2.3
引理 2.1
[13,14]
若条件 * （iii ） 成立， 线搜索满足
1 −δ g d . L d
Wolf 搜索条件， 则
算法及其全局收敛性
1 y −d (g − µ g
α ≥
首先， 给出一个新的非线性共轭梯度法公式
−
−
=
y −d
−
d − ) g ,µ >
1 4
(2.1)
定理 2.2
若 {x } 是上述算法产生的点列且满足条
件 *，则该算法在有限步终止或产生的点列满足
lim inf g = 0 （2.4 ） .
→∞
显然，若使用精确线性搜索，上述公式就是 下面定理说明新公式对任意线搜索具有充分 定理 2.1 在方法 （1.2 ） 和(1.3)中假设 β
（2.9 ）
−
+µ g
g s
［7］Y.Liu, C.Sorey,Efficient generalized conjugate gradient al. J.Optim.Theor.Appl., 1992,69: gorithms,Part I: theory ［J］ 129- 137.
1 4
出一个新的下降共轭梯度算法：
步 0 选 x ∈ R , µ > ,0 < δ ≤ σ < 1. 计算 f ( x ), g ( x ) .
令 d = −g , k = 1
则终止， 否则转步 2. 步 1 假如 g = 0 ， 步 2 计算满足 Wolf 条件的步长， 令
（2.1 ） 计算 β ， 利用 （1.3 ） 式计算 d k +1 . 步 3 利用式 步 4 令 k = k +1 ， 转步 1.
g d ≤ −(1 − 1 ) g 4µ
−
证明 假设 g ≠ 0, ∀k
γ = inf{ g : k ≥ 0}, s
y−s
−
由 Wolf 条件可得
−
> 0. 定义 1 = α − d − ,1 − = ω . 因此 γ > 0 4µ lim inf g
→∞
= β −，
= (g − g − ) s
−
≥ (σ −1) g − s
CHEN Yu, MI Hei- long
(School of Information, Hunan University of Commerce, Changsha, Hunan, 410205)
Abstr act: In this paper, based on the Dai- Yuan conjugate gradient method ,a new nonlinear conjugate gradient method is proposed for the unconstrained optimization. For any line search, our scheme satisfies the sufficient descent condition .