求解随机线性互补问题的Barzilai-Borwein算法

求解随机线性互补问题的Barzilai-Borwein算法
魏潇
【摘要】随机线性互补是一类特殊的互补问题.常用的求解方法是先将其转化为约束极小化模型,然后用优化算法求解该模型.文中针对随机线性互补问题的期望残差极小化模型,通过使用Barzilai-Borwein步和有效集策略,提出了求解该模型的Barzilai-Borwein算法.实验结果表明,该算法与光滑投影梯度法相比,能在更短的时间内得到相应的数值结果.
【期刊名称】《电子科技》
【年(卷),期】2015(028)002
【总页数】4页(P7-10)
【关键词】随机线性互补问题;Barzilai-Borwein算法;ERM模型
【作者】魏潇
【作者单位】西安电子科技大学数学与统计学院,陕西西安710126
【正文语种】中文
【中图分类】O221.5
考虑概率空间(Ω，F，P)，其中，Ω∈Rm是相应的样本空间，P是已知的概率分布。

随机线性互补问题［1－7］(SLCP)定义为，求x∈Rn满足
其中，ω∈Ω 是随机变量;M(ω)∈Rn×n和q(ω)∈Rn分别是关于ω的随机矩阵和
随机向量;a.s.表示几乎必然成立。

通常，不存在x使得对所有的ω∈Ω，式(1)均有解。

解决式(1)常用的方法是寻求适当的再定形式，将其转化为约束优化问题。

Gürkan等［1］提出了期望值(EV)模型Rn满足
此外，Chen和Fukushima［2］提出了求解SLCP的期望残差(ERM)模型:求极小化问题
的最优解。

其中
这里Ψ∶R2→R 是一个 NCP 函数，Ψ(a，b)=0 ⇐⇒a≥0，b≥0，ab=0。

常用的NCP函数有min函数Ψmin(a，b)=min(a，b)和 Fischer－Burmeister(FB)［8］函数ΨFB(a，b)=a+
Chen和Zhang等［6］指出，由 ERM 模型所得到的数值解具有鲁棒性。

本文考虑随机线性互补问题的ERM模型
其中，ΨFB(x，ω)是由函数ΨFB(·)对应形如式(4)的向量。

Zhang和Chen［3］提出了求解 ERM 模型的光滑投影梯度(SPG)算法。

该算法借助经典的求解约束极小化问题的投影梯度法［9］对ERM模型进行求解。

通过数值实验可发现，算法中求解投影梯度方向时耗时较大。

因此，需研究求解该模型更有效的算法。

文中假设M(ω)和q(ω)是ω的可测函数，且
定理 1［4，10－11］f(x)在 Rn 上是连续可微的。

引理 1令，则 x是式(5)的局部极小点，当且仅当r(x)=0。

定义1［7］称M(·)是随机 R矩阵，若x≥0，0 M(ω)x≥0，x T M(ω)x=0，
a.e.⇒x=0。

引理 2［6］若是R矩阵，则M(·)是随机R 00矩阵。

定理 2［6］对任意的q(·)，ERM(M(·)，q(·))的解集非空有界，当且仅当M(·)是随机R0矩阵。

1 Barzilai－Borwein算法
借鉴 Liu 等［12－13］提出的求解 SLCP 的 Barzilai－Borwein(BB)算法，借助有效集策略，文中给出了求解SLCP的ERM模型BB算法。

算法旨在求模型(5)的极小点，由引理1可知，在极小点处必有x ki和▽f(x k)i(i=1～n)至少其中之一为0。

据此可定义有效集
其中，N={1，2，L，n}。

显然，集合 U(x k)和 S(x k)所对应的元素不满足局部极
小点条件，因此可对该部分元素进行迭代更新。

定义搜索方向
在此，γk即 Barzilai－Borwein步
其中，s k－1=x k－x k－1，y k－1=▽f(x k)－▽f(x k－1)，γmax＞γmin＞0。

算法1
步骤1 选择参数ρ，σ∈(0，1)，令x0≥0，k:=0。

步骤2 (非单调线搜索)记mk为满足下式的最小非负整数。

令λk= ρm d k，x k+1=x k+ λk d k。

步骤3 令k:=k+1，转步骤2。

2 数值结果
随机线性互补问题的ERM模型中，目标函数是期望的形式通常，上式是不易计算。

由式(6)及大数定律可知，可通过大样本平均值来近似计算期望值，用近似值代替
目标函数
其中，Nl表示所选取的样本数，ω1，ω2，L，ωNl是由Monte Carlo法得到的
独立同分布样本。

进一步可计算其梯度的近似值
其中，VΨ(x，ωi)为Ψ(x，ωi)在 x处的广义雅克比矩阵，其计算方法如文献［4］所示。

生成测试问题的步骤如文献［6］。

对每个测试问题，向量x%∈Rn+均是随机生
成的，其中，有n0(＜n)个元素在区间(0，c1)上，c1＞0，且期望矩阵正定。

若
c3=0，则x%是式(5)的一个解;若c3＞0，则x%不一定是式(5)的解，且测试问题
本身可能无解。

由于是正定矩阵，故其是一个R0矩阵［8］，根据引理2及定理2，式(5)的解集为非空有界。

对算法1与文献［3］中的SPG算法分别在c3=0和c3＞0时进行比较。

算法1
和SPG算法的终止条件为。

当终止条件满足或迭代次数超过100时，终止计算。

通过实验，算法1中所用到的参数取值为ρ=0.25，σ =10－4，C=5，
γmax=106，γmin=10－6。

测试问题的参数选取 c1=20，μ =10，c4=15。

对所有的测试问题，初始迭代点均选为
对每个初始迭代点，随机生成10个问题，表1和表 2 中，测试问题记为(Nl，n，n0，c2，c3)，Itr表示平均迭代次数，Time表示平均CPU运行时间，x1和x2
分别表示SPG算法和算法1的数值解，f(·)代表对应的函数值。

通过计算迭代点处
r(·)的值来检验其最优性。

对于c3=0的情况，计算所得数值解x的相对误差图1和图2中分别记录了c=0 3和c3＞0时一定规模问题的迭代时间Time与迭代点处最优性度量r(·)的变化情况。

表1 算法SPG和算法1的比较(c3=0)(Nl，n，n0，c2，c3)SPG Itr Time f(x1) r(x1) err(x1)算法1 Itr Time f(x2) r(x2) err(x2)1.07e－14(100，150，50，10，0) 41 2.397 4 4.32e －22 7.21e －10 3.10e －15 47 1.682 5 1.28e －21 7.63e －10 9.79e －15(100，150，50，5，0) 42.5 2.761 5 5.97e －23 2.91e －10 4.31e －15 48 1.676 2 2.51e －22 2.61e －10 8.49e －15(100，200，100，20，0) 38.5 8.173 0 7.32e －22 4.44e －09 2.34e －15 49 3.130 6 2.15e －21 3.24e －09 5.36e －15(100，200，100，10，0) 40 7.013 1 3.48e －22 1.48e －09 3.12e －15 49 3.121 7 8.27e －22 1.05e －09 6.56e －15(100，200，100，5，0) 42.5 6.305 7 8.55e －23 3.72e －10 3.10e －15 49 3.196 4 2.09e －22 2.77e －10 6.63e －15(1000，50，25，20，0) 41 7.611 8 7.02e －22 1.69e －09 7.69e －15 47 2.914 3 1.15e －21 2.26e －10 1.41e －14(1000，50，25，10，0) 42 29.900 1.98e －22 5.49e －10 9.03e －15 47 2.932 4 3.37e －22 6.54e －11 1.51e －14(1000，50，25，5，0) 44 4.280 6 1.80e －23 8.01e －11 5.53e －15 47.5 3.047 8 5.45e －23 5.94e －11 1.27e －
14(1000，60，20，20，0) 40 12.851 3.19e －22 1.46e －09 6.84e －15 47 3.462 8 1.24e －21 3.22e －10 1.13e －14(1000，60，20，10，0) 42 8.560 3 8.88e －23 3.74e －10 7.04e －15 47 3.497 6 3.66e －22 8.78e －11 1.31e －14(1000，60，20，5，0) 44 5.235 0 2.82e －23 1.00e －10 7.59e －15 47 3.384 1 1.08e －22 2.24e －11(100，150，50，20，0) 36.5 2.222 2 2.66e －21 2.36e －09 2.76e －15 47 1.614 2 5.96e －21 2.90e －09 1.47e－14
表2 算法SPG和算法1的比较(c3＞0)(Nl，n，n0，c2，c3)SPG Itr Time f(x1)
r(x1)算法1 Itr Time f(x2) r(x2)4.94e－09(100，60，20，10，10) 30 0.673 7 5.32e+02 1.21e －05 32 0.237 7 2.94e+02 1.94e －09(100，60，20，5，10) 31 0.539 9 4.58e+02 4.18e －06 33.5 0.246 1 2.61e+02 4.75e －10(100，90，30，20，10) 28 1.263 1 8.04e+02 3.50e －05 33.5 0.443 5 4.40e+02 3.94e
－09(100，90，30，10，10) 29 1.377 4 7.48e+02 1.10e －05 33 0.525 4
4.09e+02 1.03e －09(100，90，30，5，10) 30 1.445 2 7.18e+02 6.72e －06 33 0.444 0 4.13e+02 2.21e －10(1000，100，50，20，10) 24 12.431 2
1.31e+03 9.94e －05 31.5 5.249 2 7.01e+02 6.18e －10(1000，100，50，10，10) 24 11.998 6 1.28e+03 5.49e －05 30 5.210 3 6.92e+02 3.02e －10(1000，100，50，5，10) 25 8.235 8 1.21e+03
2.73e －05 31 4.889 4 6.54e+02
7.99e －11(1000，60，20，20，10) 27 32.420 2 5.45e+02 5.78e －05 27
2.035 6 2.99e+02 2.30e －09(1000，60，20，10，10) 28 18.366 5 5.13e+02 2.38e －05 27 2.001 6 2.91e+02 4.88e －10(1000，60，20，5，10) 29 7.696 5 4.56e+02 1.53e －05 29 2.185 7 2.70e+02(100，60，20，20，10) 28
0.603 3 5.48e+02 3.29e －05 33 0.250 8 2.96e+02 1.32e－10
图1 c3=0，规模为Nl=1 000，n=50的数值结果
图2 c3＞0，规模为Nl=1 000，n=100的数值结果
通过表1与表2及图1与图2的对比可发现，两算法所求得的最优值相差较小。

算法1虽在一些问题上比SPG算法的迭代次数略多，但却能在更短的时间内达到
与SPG算法相近的效果，因此表明算法1的单步迭代耗时更少，并能更快地收敛
到极小点。

而导致这一结果的原因是SPG算法在计算投影梯度时耗费较大，而算
法1借助有效集策略，使用BB步进行迭代，缩短了计算时间。

参考文献
［1］Gürkan G，Özge A Y，Robinson SM.Sample－ path solution of
stochastic variational inequalities［J］.Mathematical Programming，1999，84(6):313 －333.
［2］Chen Xiaojun，Fukushima M.Expected residual minimization method for stochastic linear complementarity problems［J］.Math Operation Result，2005，30(6):1022 －1038.
［3］Zhang Chao，Chen Xiaojun.Smoothing projected gradient method and its application to stochastic linear complementarity problems
［J］.SIAM Journal Optimization，2009，20(3):627 －649.
［4］Zhou Guanglu，Caccetta L.Feasible semismooth newton method for
a class of stochastic linear complementarity problems［J］.Journal Optimization Throry Application，2008，13(9):379－392.
［5］Lin Guihua，Fukushima M.Stochastic equilibrium problem and stochastic mathematical programs with equilibrium constrains:A survey ［R］.Kyoto:Department of Applied Mathematics and Physics，Kyoto University，2009.
［6］Chen Xiaojun，Zhang Chao，Fukushima M.Robust solution of monotone stochastic linear complementarity problems ［J］.Math Program，2009，117(3):51 －80.
［7］Fang Haitao，Chen Xiaojun，Fukushima M.Stochastic R_0 matrix linear complementarity problems［J］.SIAM Journal Optimization，
2007(18):482 －506.
［8］韩继业，修乃华，戚厚铎.非线性互补理论与算法［M］.上海:上海科技出版社，2006.
［9］袁亚湘，孙文瑜.最优化理论与方法［M］.北京:科学出版社，1997.
［10］Sun Defeng，Qi Liqun.On NCP functions［J］.Computational Optimization Application，1999(13):201 －220.
［11］Chen Bintong，Chen Xiaojun，Christian Kanzow，et al.On NCP functions［J］.Computational Optimization Application，2000，88，(3):211 －216.
［12］Li Xiangli，Liu Hongwei，Sun Xiaojun.Feasible smooth method based on Barzilai－Borwein method for stochastic linear complementarity problem ［J］.Numerical Algorithms，2011，57(6):207－215.
［13］Huang Yakui，Liu Hongwei，Zhou Sha.A barzilai－ borwein type method for stochastic linear complementarity problems
［J］.Complementarity Problem Numerical Algorithms，2011，57(2):207－215.。