信赖域方法概论

非线性优化中的信赖域方法及其应用

摘要

信赖域方法是非线性优化的一类重要的数值计算方法它在近二十年来受到了非线性优化研究界非常的重视。特别是最近几年，一直是非线性优化的研究热点。目前，信赖域方法已经和传统的线收索方法并列为非线性规划的两类主要数值方法。

关键词：信赖域法非线性优化约束条件

引言

非线性最优化是20世纪50年代发展起来的，它讨论非线性决策问题的最佳选择之特性，构造寻求最佳解的计算方法，研究这些计算方法的理论性质及实际计算表现。随着电子计算机的发展和应用，非线性最优化理论和方法有了很大发展。目前，它已成为运筹学的一个重要分支，并且在自然科学，工程技术，经济管理，系统工程，特别是“优化设计”等诸多领域得到广泛的应用，成为一门十分活跃的学科。

非线性优化的传统方法几乎都是线搜索类型的方法，即每次迭代时产生一搜索方向，然后在搜索方向上进行精确的或不精确的一维搜索，以得到下一个迭代点。信赖域方法是一类很新的方法，它和线搜索法并列为目前求解非线性规划的两类主要的数值方法。信赖域方法思想新颖，算法可靠，具有很强的收敛性，它不仅能很快地解决良态问题 ,而且也能有效地求解病态(ill-conditioned)的优化问题。因而对信赖域方法的研究是近20年来非线性规划领域的一个重要的研究方向，是当今寻求如何构造新的优化计算方法的主要途径。

信赖域方法的研究起源于Powell 1970 年的工作，他提出了一个求解无约束优化问题的算法，该算法在每次迭代时强制性地要求新的迭代点与当前的迭代点之间的距离不超过某一控制量。引入控制步长是因为传统的线搜索方法常常由于步长过大而导致算法失败，特别是当问题是病态时尤为如此。控制步长实质上等价于在以当前迭代点为中心的一个邻域内对一个近似于原问题的简单模型求极值。这种技巧可理解为只在一个邻域内对近似模型信赖，所以此邻域被称为信赖域(trust region)。利用这一技巧的方法也就被称为信赖域法。信赖域的大小通过迭代逐步调节。一般来说,如果在当前迭代模型较好地逼近原问题，则信赖域可扩大，否则信赖域应缩小。后来，人们发现信赖域方法的基本技巧在一定意义下等价于十分著名的求解非线性最小二乘问题的Levenberg -

2Marquadt方法。

一、算法理论

信赖域方法与线搜索技术一样，也是优化算法中的一种保证全局收敛的重要技术。它们的功能都是在优化算法中求出每次迭代的位移，从而确定新的迭代点.所不同的是: 线搜索技术是先产生位移方向(亦称为搜索方向)，然后确定位移的长度(亦称为搜索步长)。而信赖域技术则是直接确定位移，产生新的迭代点。

信赖域方法的基本思想是:首先给定一个所谓的“信赖域半径”作为位移长度的上界，并以当前迭代点为中心以此“上界”为半径确定一个称之为“信赖域”的闭球区域。然后,通过求解这个区域内的“信赖域子问题”(目标函数的二次近似模型)的最优点来确定“候选位移”。若候选位移能使目标函数值有充分的下降量，则接受该候选位移作为新的位移,并保持或扩大信赖域半径，继续新的迭代。否则，说明二次模型与目标函数的近似度不够理想,需要缩小信赖域半径，再通过求解新的信赖域内的子问题得到新的候选位移。如此重复下去，直到满足迭代终止条件。

信赖域方法解决无约束线性规划的基本算法结构：

f(x)R x ∈min

设k x 是第k 次迭代点，记)f(x f k k =，)f(x g k k ∇=，k B 是Hesse 阵)f(x k 2∇的第k 次近似，则第k 次迭代步的信赖域子问题具有如下形式：

,2

1g (d)min T k d B d d q k T k += k d t s ∆≤..

其中k ∆是信赖域半径，是任一种向量范数，通常取2-范数或∞-范数， 定义k f ∆为f 在第k 步的实际下降量：

),d f(x f Δf k k k k +=-

定义k q ∆对应的预测下降量：

()().-0k k k k d q q q =∆

定义他们的比值为：

k

k k q f r ∆∆= 一般的，我们有0>∆k q 。因此，若0

二、信赖域方法的初期发展

1975 年，Powell 给出了信赖域法的第一个收敛性结果，他在仅假定目标函数连续可微，且近似海色阵满足 ‖B k ‖ ≤c (1 + ∑ k k =1 ‖si ‖) 的条件下证明了无约束优化的信赖域法的超线性收敛性. Powell 还在B k 是由PSB 公式产生时 ,证明了信赖域法的超线性收敛性. 1984 年，Powell 又在 ‖B k ‖ ≤ck 的假定下证明了收敛性,他只要求新点是一下降点，收敛是弱意义下的，即inf ‖gk ‖→0 ( k →+ ∞ )。在要求新点是一足够下降点和其他假定下，Shultz GA ，Byrd R H 和

Schnabel R B于1985年证明了在强收敛意义下的全局收敛性。

1982年，国际著名优化专家Fletcher R提出了用信赖域法求解复合非光滑优化(composite nonsmooth optimization) 问题，他给出了一个模型算法，并在模型二次函数的海色矩阵一致有界的假定下证明了该算法的全局收敛性。

关于非光滑优化的信赖域方法的收敛性研究，我国优化专家袁亚湘研究员得到了一系列在国际上多次被引用的结果，他在仅要求近似海色阵满足‖B k ‖ ≤ ck 的假定下证明了一大类非光滑优化的信赖域方法的全局收敛性。此外，他在1984 年构造出一个极大极小问题，指出一类非光滑优化的信赖域方法无论B k 怎样选取也仅有线性收敛速度。为了克服这一类似于Marotos效应的现象，须对算法进行修正。其中方法之一是基于Fletcher R提出的二阶校正步信赖域法。该方法基本上和它的模型信赖域算法一样，只是在一些迭代中需另外求解一个二阶校正子问题。关于有二阶校正步的信赖域方法的超线性收敛性的证明由袁亚湘于1985年给出，并且他还指出，如果Lagrange乘子的估计较好，则该方法还是二次收敛的。

以上所述的关于无约束优化的信赖域方法的研究工作都是基石性的。有关这方面的其他研究工作都是它们的推广或更进一步的研究。信赖域方法应用到约束优化的一个明显困难是线性化的约束在信赖域区域内可能无解。于是不可能像线搜索方法那样在线性化约束的可行域内找到新的迭代点。对于这一困难，目前有2种处理方法。第1种是将线性化约束条件的约束函数值项都乘上一个属于(0 ,1)区间上的参数，它实际上是将每一个线性化约束的可行域向当前迭代点平移。这种技巧在线搜索方法逐步二次规划(SQP) 方法中早已用来处理线性化约束不相容的情况。第2 种办法是将所有的线性化约束之误差的平方和当作一个约束，使得该平方和不超过某一容许量。

约束优化的信赖域方法另一重要因素是价值函数(merit function) 的选取。价值函数是用来判别一个试探点是否被接受，通常是某种形式的罚函数。在文献所述的方法中，价值函数是L 1精确罚函数。利用L 1 精确罚函数的优点在于可容易地证明算法的全局收敛性。由于L 1精确罚函数是非光滑的，Maratos 效应可能发生，故不能保证算法超线性收敛性。为此，Byrd R H等人在1987 年提出的算法中，当试探步不能接受时就计算一个二阶校正步，这样就能保证方法的超线性收敛性。另外，在1986 年，袁亚湘和Powell合作。构造了利用Fletcher R光滑罚函数作为价值函数的信赖域方法。这是第一个利用光滑价值函数的信赖域方法. 利用光滑罚函数的优点是Maratos效应不可能出现，从而比较容易得到超线性收敛结果。美中不足的是，计算光滑函数的导数时需要目标函数和约束函数的二阶导数。为了克服这一困难，袁亚湘又提出了价值函数预估下降量的一种特别的近似计算公式，避免了计算任何二阶导数，而且还能保证算法的全局收敛性和局部超线性收敛性。

1991年，袁亚湘和Nocedal J合作，首创性地提出了用信赖域方法和传统的线搜索方法相结合来构造新的计算方法，并依此给出了一个利用信赖域以及回溯(back2tracking) 技巧的求解无约束优化的算法。这是综合了两大类方法之优点的一个大胆尝试。另外，他在1993年还提出了利用L ∞精确罚函数处理约束优化的信赖域方法。在该方法中，袁亚湘给出了一个简单的很有技巧性的调节罚因子的公式，从而保证了算法的收敛性。同时，他还证明了在渐近情况下这个方法和SQR方法的等价性。