带约束的非线性优化问题解法小结

(1)

带约束的非线性优化问题解法小结

考虑形式如下的非线性最优化问题(NLP):

min f(x)

「g j (x )“ j

I st 彳 g j (x)=O j L

其 中， ^(x 1,x 2...x n )^ R n

， f : R n > R ， g j :R n > R(j I L) ， I 二｛1,2,…m ｝， L ={m 1,m 2...m p}。

上述问题(1)是非线性约束优化问题的最一般模型，它在军事、经济、工程、管理以 及生产工程自动化等方面都有重要的作用。 非线性规划作为一个独立的学科是在上世纪 50年 代才开始形成的。到70年代，这门学科开始处于兴旺发展时期。在国际上，这方面的专门性 研究机构、刊物以及书籍犹如雨后春笋般地出现，国际会议召开的次数大大增加。在我国， 随着电子计算机日益广泛地应用，非线性规划的理论和方法也逐渐地引起很多部门的重视。

关于非线性规划理论和应用方面的学术交流活动也日益频繁，我国的科学工作者在这一领域 也取得了可喜的成绩。

到目前为止，还没有特别有效的方法直接得到最优解，人们普遍采用迭代的方法求解： 首先选择一个初始点，利用当前迭代点的或已产生的迭代点的信息，产生下一个迭代点，一 步一步逼近最优解，进而得到一个迭代点列，这样便构成求解( 1)的迭代算法。

利用间接法求解最优化问题的途径一般有：一是利用目标函数和约束条件构造增广目标 函数，借此将约束最优化问题转化为无约束最优化问题，然后利用求解无约束最优化问题的 方法间接求解新目标函数的局部最优解或稳定点，如人们所熟悉的惩罚函数法和乘子法；另 一种途径是在可行域内使目标函数下降的迭代点法，如可行点法。此外，近些年来形成的序 列二次规划算法和信赖域法也引起了人们极大的关注。在文献［1］中，提出了很多解决非线性 规划的算法。下面将这些算法以及近年来在此基础上改进的算法简单介绍一下。

1. 序列二次规划法

序列二次规划法，简称SQ 方法.亦称约束变尺度法。这类方法最早从1963年 Wilson 的研 究开始，70年代由Har 与Powell 做了奠基性的工作，经过二十几年的发展，目前已形成了一个 理论上比较完整，计算上可行的WE 方法。它是目前公认的求解约束非线性优化问题的最有效 方法之一，得到广泛的重视及应用。但这种方法也有其不足之处，即其迭代过程中的每一步 都需要求解一个或多个二次规划的子问题。一般地，由于二次子规划的求解难以利用原问题 的稀疏性、对称性等良好特性，随着问题规模的扩大，其计算工作量和所需存贮量是非常大 的。因此，目前的序列二次规划方法一般只适用于中小型问题。另外，由于大型二次规划问 题的求解通常使用迭代法，所需解的精度越高，花费的时间就越多，稳定性也越差，相对线 性方程组的求解理论来说，二次规划的求解方法是不完善的，这就严重影响了序列二次规划 算法的效率。

针对上述问题，近年来国际上，特别是国内部分研究工作者［2,3,4,5,6］开展了序列线性 方程组(Seque ntial Systems of Lin ear Equatio ns ，简记SSLE)算法的研究，试图用若干同 系数线性方程组代替二次子规划以求得迭代方向，在保证与序列二次规划算法具有相同收敛 性质的情况下，大大减少了每步的计算工作量，提高算法的稳定性。从目前己有结果来看， 该类算法是有效的，具有很大的潜力，值得开展进一步的研究工作。下面分别就问题(1)的SQP

算法和SSL 算法作一介绍

1.1 . SQ 算法

在国内外研究学者的共同努力下，SQ 算法的研究工作已经十分丰富，大量文献不断问世，

不少成果[7,8,9,10,11]相继出现。它的一个重要优点就是：如果沿着二次规划子问题的解方 向搜索最终能得到步长为1，那么算法就是超线性收敛的.下面给出一般的SQ 算法的基本步骤

[1] .

步一：给定初始点x o • R n

，选取正定矩阵B o ,令k = 0. 步三：令X k %二兀“d k (九-0).

步四：修正B k ，使B k d 正定，令^k 1，返回步三.

1.2. SSLE 算法

SSL 算法是近年来发展起来的新算法，该算法的基本思想是 ：将序列二次规划方法中的

一个或多个二次子规划用一个或多个线性方程组来取代，在保持算法具有快速收敛性质的同 时，能充分利用求解线性方程组的一些优点，寻求一些求解非线性最优化问题的新算法。此 类算法每一步迭代只需求解几个系数矩阵相同的线性方程组，即只需做一次 LU 分解，因此每 一次迭代的计算量要比现有的SQ 算法少得多.数值实验表明，该算法具有迭代时间少，存贮 量

小，数值稳定且收敛速度快等优点，特别对大规模非线性规划问题的求解较为有效[12] o 在 与实际相关的许多优化问题中，通常要求算法每一次迭代产生的点都是可行点[13,2,14,15]， 而一般来说，SQ 算法产生的点是不可行的，因此SSLEf 法对于求解这类实际问题更具有重要 意义。由于SSLEf 法是近年来发展起来的新算法，与SQ 算法最新成果相比还有许多工作有待 进一步研究.

2. 信赖域算法

信赖域方法是一类很新的方法，它和线搜索法并列为目前求解非线性规划问题的两类主 要数

值方法.信赖域方法思想新颖，算法可靠，具有很强的收敛性 [16][17][18]. 它不仅能很 快地解决良态问题，而且也能有效地求解病态 (ill-conditioned) 的优化问题.因而对信赖域 方法的研究是近二十年来非线性规划领域的一个重要的研究方向，是当今寻求如何构造新的 优化计算方法的主要途径.

信赖域方法的研究起源于Powell 1970年的工作[19]，信赖域的大小是通过迭代逐步调节 的.

一般来说，如果在当前迭代模型较好地通近原问题， 则信核城可扩大，否则信赖域应缩小. 1982年,国际著名优化专家R.Fletcher 提出了用信赖域法求解复合非光滑优化问题[20].1986 年，袁亚湘和Powell 合作，构造了利用R.Flet.che ：光滑罚函数[18]作为价值函数的信赖域方 法[21].这是第一个利用光滑价值函数的信赖域方法.1991年，袁亚湘和J.Nocedal 合作，首创 性地提出了用信赖域方法和传统的线搜索方法相结合来构造新的计算方法，并依次给出了一 个利用信赖域以及回溯(back-tracking) 技巧的求解无约束优化的算法[22].这是综合了两大

类方法之优点的一个大胆试探.另外，他在1993年还提出了利用L_精确罚函数处理约束优化的 信赖域方法[23].数学工作者们还提出了另外几种类型的方法，比如 ：曲线搜索信赖域算法

min 步二:求解子规划Q(X k ,Bj(即

st

i f (x k )T d -d T

B k d 2 g j (xQ '、g j (xQ T d 乞0, j I )，得到d k . g j (xj i g j (xQ T

d =0, j • L