非凸函数的异步并行拟牛顿算法的收敛性分析

非凸函数的异步并行拟牛顿算法的收敛性分析
陈忠;黄亮;范臣君
【摘要】若假设可供使用的处理机具有p+q台,将其分成两组,两组处理机之间进行异步并行计算.提出了一种求解非凸函数极小的异步并行拟牛顿算法.若假设目标函数是二阶连续可微的,二阶导数矩阵在极小点x*处正定,步长由Wolfe原则确定,证明了所提出异步并行算法的全局收敛性.
【期刊名称】《长江大学学报（自然版）理工卷》
【年(卷),期】2007(004)004
【总页数】4页(P5-8)
【关键词】拟牛顿法;并行算法全局收敛;非凸极小
【作者】陈忠;黄亮;范臣君
【作者单位】长江大学信息与数学学院,湖北,荆州,434023;长江大学信息与数学学院,湖北,荆州,434023;长江大学信息与数学学院,湖北,荆州,434023
【正文语种】中文
【中图分类】O224
对于无约束优化问题：
利用Broyden算法求解问题(1)的迭代格式为：
其中,dk为搜索方向，它由公式:
给出式中，gk是f(x)在xk处的梯度f(xk)；Bk是一个逼近2f(xk)的矩阵，它由Broyden公式：
给出。

其中，φ∈[0,1)为参数；γk=gk+1-gk；ηk=；；yk=γk+rksk；rk=；
sk=xk+1-xk；vk=-。

若B0对称正定，则由式(4)产生的迭代序列{Bk}也是对称正定的。

在式(4)中若取φ=0, 则式(4)称为BFGS修正公式。

在式(2)中,λk称为步长，它由Wolfe原则确定:固定及β∈(α,1), 选取λk使下面的式子成立:
若假设f(x)是连续可微的非凸函数，且它的一阶导数是Lipschitz连续,文献[1]提出了一种求解非凸函数极小的异步并行BFGS算法,并证明了算法的全局收敛性。

Li 和Fukushima[2]提出了一种求解非凸函数极小的BFGS算法，若假设f(x)连续可微，且f(x)的梯度g(x)满足Lipschitz条件，即存在正常数L，对任意的x,y∈Rn 有:
其中，‖·‖表示Euclidean向量范数。

另外，若假设:
其中，ε为给定的正常数，文献[2]证明了求解问题(1)的修正的BFGS算法是全局收敛的。

笔者给出了一种求解非凸函数极小的异步并行的拟牛顿算法。

若假设目标函数是二阶连续可微的，二阶导数矩阵在极小点处正定，证明了该异步并行算法的全局收敛性。

设可供使用的并行系统是一个有共享存储器的多处理机系统，该系统含有p+q台处理机，每台处理机均具有局部存储的功能。

p+q台处理机被分成两组，第一组含有p台处理机，且p台处理机之间能相互交换数据；第二组含有q台处理机，q台处理机之间也能相互交换数据，共享存储器仅用来装载程序和供两组处理机之间交换数据。

算法1(异步并行的拟牛顿算法) 给定对称正定矩阵B1∈Rn×n(笔者取B1为单位矩阵)，C∈R,令将送到共享存储器中。

第一组处理机按下面的步骤作同步并行计算：
步1 从共享存储器中接受利用公式并行计算dk;
步2 求满足条件(3)、(4)的λk;
步3 利用公式xk+1=xk+λkdk并行计算xk+1;
步4 判断迭代是否满足误差要求，若满足，停止迭代，否则转步5;
步5 利用公式其中rk∈[0,C]，并行计算sk、γk、ηk、yk。

令并将k、s、y、v、E 送到共享储器中，转步1。

第二组处理机按下面的步骤作同步并行计算：
步Ⅰ 从共享存储器中接受s、y、k、E, 如果k>1, 转步Ⅱ，否则重复步Ⅰ;
步Ⅱ 利用公式:
并行计算Bj,令并送到共享存储器中，转步Ⅰ。

为讨论算法1的收敛性，现对算法1作如下假设:
假设1 函数f(x)在x*的邻域内二阶连续可微,且f(x)的二阶导数矩阵G(x)在x*处正定。

假设2 存在正整数N，第1组处理机经过N次迭代后必须至少被修正一次。

由假设1可知，G(x)在x*的邻域∪(x*)是一致正定的，即存在常数m>0，使得对
任意的x∈∪(x*)有：
并且对任意的d∈Rn，有：
为后面叙述问题明确起见，现将在式(9)中用于计算Bj的s、y、v记为skj、ykj、vkj,于是式(9)变为：
由算法1和假设2知,在上面的表达式中,对任意的j>2,E=Bj-2, 即：
给定对称正定矩阵B0及初始点x0,记D(x)={x:f(x)≤f(x0)}，设D是有界的，且设
x*是f(x)在D中的一个极小点。

类似于Byrd[3]和 Pearson[4]引入一些记号：
由于记则由Taylor公式知，fk+1-fk=gTksk+sTkG(ξ)sk(ξ位于xk与xk+1之间)，
于是，
考虑：
于是当k→∞时,‖‖→0,即存在一个正常数C,使得rk∈[0,C]。

引理1[1] 设{xk}是由算法1产生的迭代序列，则:
引理2 设ykj、skj、Bj-2是由算法1产生的迭代序列，假设1成立，则：其中，c1=,c2=。

证明由引理1可得：≤
由于‖
因此≤≤=
又因
于是‖‖gkj‖‖skj‖cosθkj
取c1=,即得:
由引理1得：
由Taylor公式及式(12)得:
其中，c2=。

于是:
则存在正常数M，使得:
引理3 设φ∈[0,1),则存在正常数c4使对任意的j>1有：
证明因为≤c2,忽略式(16)右边的第4项，得:
从而存在c3>0使得:
由引理2和式(11)得:
由算术平均与几何平均公式得:
i)当j为奇数时，由式(17)和式(18)得:于是存在一个正常数ω1，使得：ii)当j为偶数时，类似上面的讨论知存在一个正常数ω2，使得：
由式(19)、式(20)得:
其中，c4为一正常数。

定理1 设B0是一对称正定矩阵，假设1成立，{xk}是由算法1产生的迭代序列，且φ∈[0，1)，则{xk}收敛于x*。

证明利用式(16)完全类似于文献[3]的讨论，可以证明存在自然数的一个子序列{ki}及η>0，使cosθki≥η>0。

由于{fk}是单调下降的，因此：
其中，δ=1-<1,故fki→f*,从而fk→f*(k→∞)。

由Taylor公式及及引理1可得，对充分大的k，有:
于是,即由算法1产生的迭代序列{xk}全局收敛到x*。

【相关文献】
[1]陈忠.求解非凸函数极小的异步并行拟牛顿算法[J].长江大学学报,2005,2(1):1～3.
[2]Li D, Fukushima M.A modified BFGS method and its global convergence in nonconvex minimization[J]. J Comp Appl Math,2001,129(1):15～35.
[3]Byrd R H,Nocedal J,Yuan Y.Global convergence of a class of quasi-Newton methods on convex problems[J].SIAM J Numer Anal, 1987,24(3):1171～1189.
[4]Pearson J D. Variable metric methods of minimization[J].Computer J, 1969,12(1):171～189.。