无约束优化的超记忆梯度算法

1 T 2 f ( x k ) - f ( x k+ 1 ) Ε - Α Λ1 g T Α kΛ 1g k d k = k ∆ k Ε kΛ 1 gk . 2 其中 ∆k = x k+ 1 - x k = Α kd k , 故
li m gT m Α k ∆ k = 0; li k gk
T f ( x k ) - f ( x k + 2Α 2Α kd k ) < kΛ 1 g k d k;
( 12) ( 13)
亦可表示为 f ( x k ) - f ( x k + 2∆k ) < - 2Λg T k ∆ k 由 ( 13) 式中第一式及引理 2 可得 ∆k → 0 ( k ∈ N ) 令 pk = dk
1 引 言
考虑无约束优化问题: m in f ( x ) ; x ∈ Rn; 其中 f : R → R , f ∈ C 构造迭代算法: x k + 1 = x k + Α kd k 束优化算法中, 一般要求 d k 为下降方向, 或者要求 g T k d k < 0; 其中, g k =
2 算法及其性质
假设 (H ) : 水平集 L 0 = {x ∈ Rn f ( x ) Φ f ( x 1 ) } 有界。 超记忆梯度法如下: 1 初始步: 0 < Λ1 < 1; 0 < Λ2 < ; x 1 ∈ Rn; k = 1; 2 第一步: 若 g k = 0, 停! 否则转第二步; 第二步: - g k; k = 1 d k = - g k + Βk g k - 1; k Ε 2 其中 ( - ∞, bk ]; Η k = 0 Βk ∈ [ - ak , bk ]; 0 < Η k < Π [ - ak , ∞) ; Η k = Π 这里 Η k 表示 g k 和 g k - 1 之间的夹角, 而 ak ( 1 - co sΗ k) = bk ( 1 + co sΗ k) =
T
2
=
gk
2
- 2Βk g k g k -
2 + Βk g k-
1
,故
由引理 1 可得 - g T k dk Ε Λ gk 从而 ( 10) 式成立。
dk
证毕
3 全局收敛性
定理 1 若假设 (H ) 成立, 则算法或有限步终止于问题的稳定点, 或产生无穷点列
{x k }, 其任意极限点都是问题的稳定点。
( 7)
第 2 期 时贞军: 无约束优化的超记忆梯度算法
101
引理 1 假设 (H ) 成立, 则对 Π k 有 1 2 g T gk k dk Φ 2 证明 由 d k 之定义很容易验证 ( 8) 式成立, 此略。 引理 2 假设 (H ) 成立, 若算法产生无穷点列{x k }, 则 co s ( Η k) = gk dk Ε Λ gk dk
前一类算法结构简单, 每次迭代的计算工作量小, 但其收敛速度慢且易产生拉锯现象, 故不是一类理想算法。 后两类算法在一定条件下收敛速度较快, 但每次迭代的计算工作量较 大, 不适于求解大规模无约束优化问题。 60 年代中期, F letcher 等人 [ 3 ] 提出一种共轭梯度法, 其基本结构是 ( 3) d k = - g k + Βk d k- 1; 当 Βk 选取不同的公式时就得到了不同的共轭梯度法 [ 4 ], 三个有代表性的公式是 ΒFR = g k 2 g k - 1 2; ( F letcher - R eeves) k Βk = [ g k ( g k - g k- 1 ) ] g k- 1 ; ( Po lak 2 R ibiere) T T Βk = [ g k ( g k - g k- 1 ) ] [ d k- 1 ( g k - g k- 1 ) ]; (H estenes2Stiefel)
f (x k ) -
f (x k + Α kp k )
- g 3 T p 3 Φ - Λ1 g 3 T p 3 从而
( 16) g 3 T p 3 Ε 0 另一方面由引理 2 可得 T - g T g k d k d k = g k co s ( Η k pk = k) Ε Λ g k 3 T 3 3 令 k → ∞ ( k ∈ N 1 ) 可得 - g p Ε Λ g , 与 ( 16) 式相矛盾, 故必有 g 3 = 0, 即 x 3 为问题 之稳定点。 证毕
k →∞ k →∞
2
= 0
( 11)
由于 g 3 ≠ 0, 故存在 Ε ∈ N, 当 k Ε K ′ ,k ∈N时 0 > 0 和 K ′
102
工 程 数 学 学 报 第 17 卷
g k Ε Ε 0 由 ( 11) 式可知 g T k ∆ k → 0, Α k → 0 ( k ∈ N ) 由Α k 的取法可知, 若令 Α= 2 Α k 则 ( 7 ) 式中的不等号应反号, 即
第17卷 第2期
2000年5月
工 程 数 学 学 报
JOU RNAL O F EN G I N EER I N G M A TH EM A T ICS
Vol . 17 N o. 2 M ay 2000
文章编号: 100523085 ( 2000) 0220099206
无约束优化的超记忆梯度算法
时贞军
T 2
( 4) ( 5) ( 6)
这类方法适于求解大规模问题, 由于共轭梯度法是针对正定二次函数设计的, 虽然在精 确搜索下具有二次终止性, 但对一般非线性目标函数, 有些共轭梯度法不具有全局收敛性, 有些则数值性能较差 [ 5 ]。 近年来, 文 [ 9 ] 分析了 Beale2Pow ell 重新开始算法的收敛性, 所论 算法具有很好的数值计算效果, 特别适于求解大规模无约束优化问题。 本文提出的超记忆梯度法, 不需要重新开始, 对非线性目标函数不但具有全局收敛性, 而且具有良好的数值计算效果。 通过与 A rm ijo 搜索下 FR , PR 共轭梯度法及 Cauchy 方法的 比较发现超记忆梯度法具有明显的优越性。 本文第 2 节叙述算法及其性质, 第 3 节分析算法 的收敛性, 第 4 节对算法进行数值试验和比较。
第 2 期 时贞军: 无约束优化的超记忆梯度算法
103
dk , 则
( 14) ( 15)
2∆k = 2 ∆k p k = Α kp k , 其中Α → 0 ( k ∈ N ) , 由 ( 14) 式得 k = 2 ∆ k
< - Λg T . k pk Α k 由于 p k = 1, 即{p k }k∈N 有界, 因而存在无穷子列{p k }k∈N 1 → p 3 , 其中 N 1 < N 为无穷序列, 令 k → ∞ ( k ∈ N 1 ) , 则有
α 收稿日期: 1999206207. 基金项目: 国家自然科学基金基金项目 (19871049) ; 山东省自然科学基金资助项目 ( Q 98A 06114) 。
2 f (x k ) 1
的某种近似, 这类方法称为拟 N ew ton 方法或变
100
工 程 数 学 学 报 第 17 卷
证明 若有 g k = 0, 则 x k 为稳定点, 假设算法产生无穷点列{x k }, 设 x 3 为其任意极限 点, 由假设 (H ) 可知 x 3 为一有限点且存在无穷子列{x k }k∈N → x 3 , N < {1, 2, 3, …} 为无穷 子列。 用反证法证明, 假设 g 3 = g ( x 3 ) ≠ 0, 由假设 (H ) 及{f ( x k ) } 单调下降且有下界可知 {f ( x k ) } 有极限。 由步长选取规则和引理 1 可得
4 数值试验
由 以上分析可知, 本文提出的算法是一个算法类, Βk 的选取范围很广, 我们选择文 [ 4 ] 的几个算例, 对本文算法进行数值试验, 并与 A rm ijo 搜索下的共轭梯度法 ( FR , PR ) 和最速 下降法进行比较, 计算结果表明算法是有效的。 例 1 4 维 Ro senb rock 函数[ 4 ]. 例 2 H elical 函数[ 4 ]. 例 3 二次型幂函数[ 4 ]. 例 4 在例 3 中取 k = 0. 1, 0. 3, 0. 5, 0. 7, 0. 9. 例 5 扩展 Pow ell 函数[ 4 ]. 我们用 IT 表示算法的迭代次数, GM 表示最速下降法, FR 和 PR 分别表示 FR 和 PR 共 轭梯度法, SG 表示本文之超记忆梯度法。 表中数字为迭代中的目标函数值, 舍入成小数点后 三位有效数字, 一维搜索全部采用 A rm ijo 搜索, 且令 Λ1 = 0. 75, Λ = 0. 5。
T
( 8)ຫໍສະໝຸດ Baidu
( 10)
其中 Η g k 与 d k 之间的夹角。 k 为 证明 由 Βk 的取法可知下式成立 2 T 2 g k 4 - 2Βk g k 2 ( g T k g k- 1 ) + Β k [ (g k g k- 1 ) 2
gk
2
g k-
1
2
] Ε 0.
上式两边同乘以 1 - Λ 可得 ( 1 - Λ2 ) g k 4 - 2Β g k 2 ( g T Λ2 ) + k g k- 1 ) ( 1 2 2 ( 1 - Λ2 ) g k Βk [ ( 1 - Λ2 ) ( g T k g k- 1 ) 由于 1 - Λ < 1, 1 - Λ > Λ , 从而下式成立 ( 1 - Λ2 ) g k 4 - 2Β g k 2 ( g T Λ2 ) + k g k- 1 ) ( 1 2 2 Βk [ (g T Λ2 g k 2 g k - 1 k g k- 1 ) 2 2 2
2
g k-
1
2
] Ε 0.
2
]Ε 0
2 2 T
经整理得 g k
T 4
- 2Βk g k
2
2
2 T 2 2 (g T k g k- 1 ) + Β k (g k g k- 1 ) Ε Λ g k
[ gk ].
1
2
2
2Βk g k g k T
1
+ Βk g k 2
1
由于 g k d k = - g k + Βk g k g k- 1 , d k 2 2 2 2 ( g T dk k d k) Ε Λ g k
f ( x k ).
n
( 1)
1
1
( 2)
其中 d k 为搜索方向, Α 对Α 在无约 k 为搜索步长。 k 和 d k 的不同选择就构成了不同的迭代算法。
若 d k = - g k , 则算法称为 Cauchy 方法 [ 1 ]。 2 - 1 若 f ( x ) 二阶连续可微, d k = f ( x k ) g k; 则算法称为 N ew ton 型方法 [ 2 ]; 其中 2 f ( x k ) 非奇异。 若 d k = - H k g k , 其中 H k 为 尺度方法 [ 2 ]。
gk , g k- 1 gk . g k- 1
第三步: x k+ 1 = x k + Α k d k , 其中 Α k 为{1, f ( x k ) - f ( x k + Α d k) Ε - Α k 第四步: k = k + 1 转第一步。 首先证明算法的两个性质: Λ1
1 1 , , …} 中满足下式的最大者, 2 22 T g k d k;
( 曲阜师范大学运筹学研究所, 山东曲阜 273165) ( 大连理工大学应用数学系, 辽宁大连 116024)
α
摘 要
提出了一种无约束优化超记忆梯度算法, 分析了算法的收敛性, 并对算法进行了数值试验, 结果表明 算法比 A rm ijo 搜索下的 FR 和 PR 共轭梯度法及 Cauchy 方法有效, 特别适于求解大规模无约束最优化问 题。 关键词 无约束优化, 超记忆梯度法, 收敛性, 数值试验 分类号 AM S ( 1991) 49 M , 90C45 中图分类号: O 221. 2 文献标识码: A