基于模拟退火准则的谱投影梯度算法

基于模拟退火准则的谱投影梯度算法

董文丽1, 何 帆2, 章 旭1

(1. 福州大学 数学与计算机科学学院, 福建 福州350116; 2. 湖南理工学院 数学学院, 湖南 岳阳 414006)

摘 要: 针对简单凸集约束优化问题, 提出了一种基于模拟退火准则的谱投影梯度方法. 在适当的假设下, 证明了算法的全局收敛性. 数值实验结果表明, 与已有的算法比较, 本文所提出的算法在求解该类问题时更有效、更具竞争力.

关键词: 约束优化问题; 模拟退火准则; 谱投影梯度算法; 全局收敛性

中图分类号: O224 文献标识码: A 文章编号: 1672-5298(2019)01-0020-05

Spectral Projection Gradient Algorithm Based on

Simulated Annealing Criterion

DONG Wenli 1, HE Fan 2, ZHANG Xu 1

(1. College of Mathematics and Computer Science, Fuzhou University, Fuzhou 350116, China; 2. School of Mathematics, Hunan Institute of Science and Technology, Yueyang 414006, China)

Abstract : In this paper, a spectral projection gradient algorithm was proposed based on simulated annealing criterion for solving a convex constrained optimization problem. The algorithm is a combination of spectral projection gradient algorithm and simulated annealing criterion. Under suitable assumptions, global convergence of the proposed algorithm was proved. Numerical experiments showed that the proposed algorithm is more effective and competitive than the existing algorithms in solving the problems.

Key words : constrained optimization problem; simulated annealing criterion; Spectral Projection Gradient; global convergence

0 引言

考虑如下约束最优化问题:

min (),

s.t.,

f x x C ∈ (1)

其中:n f → 是连续可微函数, n C ⊆ 是一非空闭凸集.

Barzilai-Borwein(BB)方法是Barzilai 和Borwein [1]于1988年提出的一种求解大规模无约束优化问题的方法, 并证明了对于二维的严格凸二次函数, BB 算法是R-超线性收敛的. 1990年, Fletcher [2]证明了对于任意n 维函数, BB 算法是R-线性收敛的. 1993年, Raydan [3]证明了对于任意n 维的严格凸二次函数, BB 算法是全局收敛的.

投影梯度(Projection Gradient, PG)方法是求解问题(1)最简单的方法之一, 最初由Goldstein [4]提出, 并由Calanai [5]等进行推广. 由于PG 算法的步长选择策略简单, 且不能保证目标函数值单调下降, 导致实际计算过程中收敛速度较慢. 为了提高PG 算法的收敛速度, Birgin [6]等将BB 算法与PG 算法相结合提出了求解问题(1)的谱投影梯度(Spectral Projection Gradient, SPG)算法, 并结合Grippo [7]等提出的非单调线搜索技术, 证明了SPG 算法的全局收敛性. 2013年, 毕亚倩[8]等将SPG 方法与Zhang [9]等提出的自适应非单调

Wolfe 线搜索相结合, 提出了一种求解界约束优化问题的非单调谱投影梯度方法, 在合理条件下证明了算法的全局收敛性.

模拟退火(Simulated Annealing, SA)算法的思想最早由 Metropolis [10]等于1953年提出, 其退火准则为

收稿日期: 2018-10-26

作者简介: 董文丽(1993− ), 女, 甘肃定西人, 硕士研究生. 主要研究方向: 优化算法

第32卷 第1期 湖南理工学院学报(自然科学版) Vol.32No.1 2019年3月 Journal of Hunan Institute of Science and Technology (Natural Sciences) Mar. 2019

第1期 董文丽, 等: 基于模拟退火准则的谱投影梯度算法 21

111,()(),()()exp ,k k k k k f x f x p f x f x T ++⎧

⎪=-⎨⎧⎫

⎨⎬⎪⎩⎭⎩

≤如果其他. (2) 1983年, Kirkpatrick [11]等成功地将退火思想引入到组合优化领域. 近年来, 一些学者对SA 算法做了大量研究, 用于求解组合优化问题[12,13]和连续优化问题[14,15]. SA 算法具有较强的全局搜索能力, 能以概率1收敛到全局最优解. 但是, SA 算法计算成本较高, 在实际应用中受到一定的限制.

本文将谱投影梯度算法与模拟退火准则结合, 提出了求解问题(1)的基于模拟退火准则的谱投影梯度

(Simulated Annealing-Based Spectral Projection Gradient, SASPG)算法. SASPG 算法以一定概率接受新解, 本质上属于随机算法. 在适当的假设下, 证明了SASPG 算法的全局收敛性. 数值实验结果表明, 在求解简单的凸集约束优化问题时, SASPG 算法比SPG 算法更有效.

符号约定: ||||⋅表示2-范数; ||||F ⋅表示矩阵F -范数; ,<⋅⋅>表示向量内积; ():()g x f x =∇.

1 SASPG 算法

对n y ∀∈ , y 到闭凸集C 上的投影定义为

()arg min{||||:}.C x

P y x y x C =-∈

求解问题(1)的SASPG 算法可描述如下:

SASPG 算法

Step 1 初始化. 给定精度0ε>, 初始点0x C ∈(若0x C ∉, 以0()C P x 替换0x ), 1201σσ<<<,

0min max [,]ααα∈, min max 0αα<<<∞, 00T >, 1v >, (0,1)c ∈, (0,1)γ∈. 令0k =.

Step 2 如果||(())||C k k k P x g x x ε--≤, 停止迭代; 否则, 令:k λα=. Step 3 计算(())k C k k z P x g x λ=-.

Step 4 计算()(),()k k k k k k f z f x c z x g x ∆=--〈-〉, exp()k

k k

p T ∆=-. Step 5 如果

k p r ≥, (3)

其中1

(e ,e )r νν--∈, 则k λλ=, 1k k x z +=, 转Step7; 否则转Step 6.

Step 6 令12

+2

σσλλ=

, 转Step 3. Step 7 计算11,()(),T

k k k k k k k k

k s x x y g x g x b s y ++=-=-=. 如果0,k b ≤令1max k αα+=; 否则计算T

k k k a s s =, k

k

a b α=

, 1max min min{,max{,}}k αααα+=. Step 8 退火过程1:k k T T γ+=⋅, 令1k k =+, 转Step 2.

注 在Step 7中将BB 步长投影到区间min max [,]αα是为了防止步长太大或者太小, 并且保证了序列

{}k α的一致有界性.

2 收敛性分析

为了证明SASPG 算法的全局收敛性, 假设:

(L) ()f x 在水平集{:(),}x f x ωωΩ=∀∈ ≤上有下界.

引理1 对x C *∀∈及0α∀>, (())0C P x g x x α***--=当且仅当x *是受约稳定点, 即对x C ∀∈,

((()))()0T C P x g x x x x α****---≥.