解无约束优化问题移动渐近线算法

s.t. hi ( x) 0, i 1,L , m;
(1.1.1)
g j ( x) 0, j 1,L , p.
Tn
其中， x ( x,1x 2 ,L , xn )R ，为 n 维向量。在实际问题中也常常把变量 x1 ， x2 ，L ， xn 叫
做决策变 量。 f ( x) ， hi ( x) ( i 1,L , m )， g j ( x) ( j 1,L , p )为 x 的函数 。 s.t. 为 英文“subject
（保密的学位论文在解密后适用本承诺书）
作者签名： 日 期：
南京航空 航天大 学硕士 论文
第一章 绪论
1.1 最优化概况
追求最优 目标是 人类的 理想， 最优化 算法就 是从众 多可能 方案 中选择 最佳者 ，以达 到最优 目标的科 学。随 着现代 化生产 的发展 和科学 技术的 进步， 最优 化理论 和方法 日益受 到人们 的重
iv
承诺书
本人声明所呈交的硕士学位论文是本人在导师指导下进 行的研究工作及取得的研究成果。除了文中特别加以标注和致 谢的地方外，论文中不包含其他人已经发表或撰写过的研究成 果，也不包含为获得南京航空航天大学或其他教育机构的学位 或证书而使用过的材料。
本人授权南京航空航天大学可以将学位论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。
i
解无约束 优化问 题的移 动渐近 线算法
AB STRACT
The method of moving asymptotes (MMA) is proposed especially for solving structure optimization in engineering. With a mov ing asymptotes function (MA function), the original problem can be translated into a sub-problem which is simple, strict convex and separable. The original problem is solved by solving the couples of the sub -problems. MMA is used in solving unconstrained optimization problems in th is thesis. There is a new MA function in the thesis, which is used to produce many sub-problems. Then we get descending direction which can be used as line search direction. At last the new method is produced and the proof of its global convergence is given. Fro m theory analysis and numerica l tests we can see that the method can be applied for solving the large-scale problems and it might give a well theoretic and arith met ic foundation for MMA.
线性函数 ，则称 问题 (1.1.1)为非 线性规 划。
另外，对于某些特殊类型的 f ( x) ， hi ( x) 和 g j ( x) 而言，还有一些特殊类型的优化问题。
如目标函 数为二 次函数 ，而约 束函数 全部是 线性函 数的优 化问 题称为 二次规 划。本 文主要 考虑 不含有约 束条件 的、目 标函数 为非线 性函数 的优化 问题。
1.2 移动渐近线算法概况
随着研究 的深入 和优化 技术的 广泛应 用，问 题( 1. 1. 1) 变得越 来越复 杂，这 种复杂 性一方 面
表现在 f ( x) ， hi ( x) 和 g j ( x) 的计算复杂性，另一方面表现在自变量个数 n 的不断增大。在解
决这些新 问题的 时候， 一些经 典的优 化算法 不再适 用，这 就迫 切需要 新的算 法产生 。 工程上经 常出现 的结构 优化问 题表现 出这样 的特点 ：目标 函数 的计算 量通常 比较大 ，但是
论文第一 章是绪 论。第 二章介 绍了移 动渐近 线算法 及其改 进， 结合了 信赖域 技术或 线搜索 技术的移 动渐近 线算法 。第三 章提出 了一个 新的移 动渐近 线函 数，分 析了函 数中参 数对逼 近的 影响，从 而给出 了两种 选取策 略。在 此基础 上给出 了使用 单调 和非单 调线搜 索技术 的解大 规模 无约束优 化问题 的算法 。第四 章证明 了所提 出的算 法的整 体收 敛性。 第五章 给出所 提出的 算法 与共轭梯 度法数 值比较 试验的 结果， 结果表 明该算 法适合 解大 规模问 题。 关键词： 移动渐 近线算 法，移 动渐近 线函数 ，大规 模问题 ，无 约束优 化问题 ，非单 调线搜 索
Chapter One is general introduction. In Chapter Two, the basic theory of MMA and its promotion which is combined with trust region and line search technology is in troduced. In Chapter Three, we give a new MA function, analy ze the effect of the parameters in the sub -problem and give two kinds of selection. The new method with monotone and non -monotone line search is produced to solve large-scale unconstrained optimization problems. In Chapter Four, the proof of the global convergence is given. In Chapter Five, the results of numerical test of the method and the comparison with conjugate gradient show the new method might be capable of processing some large -scale p ro b lems .
称为无约 束优化 问题， 否则称 为约束 优化问 题。
也 可 以 根 据 目 标 函 数 和 约 束 函 数 的 类 型 分 类 。 若 f ( x) 、 hi ( x) ( i 1,L , m ) ， g j ( x) ( j 1,L , p )都是线性函数，则最优化问题(1.1.1)称为线性规划。若其中至少有一个为非
其梯度是可求的。已经有许多针对该类问题的算法，见文献[1]~[4]。移动渐近线 (以下简称 MMA)
1
解无约束 优化问 题的移 动渐近 线算法 算法就是 在这些 算法的 基础上 提出的 。
文献[5]首次提出了 MMA 算法。在文献[5]中，用一个移动渐近线函数(以下简称 MA 函数) 去逼近( 1. 1. 1)中的 目标函 数，这 个渐近 线函数 具有可 分性、 凸性等 良好性 质，由 此产生 了一个 较为简单的 MMA 子问题，通过解这一系列子问题最终求得原问题的解。但是文献[5]的子问题 不是严格 凸的， 这就无 法保证 找到子 问题的 唯一全 局最优 解， 另外算 法的全 局收敛 性也无 法保 证。文献[6]在文献[5]基础上对 MMA 算法及 MA 函数进行了改进，提出了一个适用范围更广的 MMA 算法，给出了几个具有可分性及严格凸性的 MA 函数，并且给出了算法全局收敛性的证 明，最后 用其来 解一个 大规模 非线性 约束优 化问题 ，取得 了很 好的数 值试验 结果。 文献[ 7] 首次 把信赖域技术与 MMA 算法相结合，给出了一种新的 MA 函数选取方法，并将新算法应用于求 解界约束结构优化问题，取得了良好的效果。文献[8]将线搜索技术与 MMA 算法相结合，用来 求解不等式约束的优化问题，并给出了算法全局收敛性的证明。文献 [9]使用结合了信赖域和线 搜索技术的 MMA 算法解无约束优化问题，当信赖域技术失败时便使用线搜索技术求下一个迭 代点，并将算法应用于大规模问题，取得了良好的数值试验结果。另外，还有许多针对 MMA 算法的研究工作，具体请见参考文献[10]~[17]。而且，随着 MMA 研究的深入以及工程对解结 构优化问题的需求的不断增加，MMA 算法开始出现在各种软件包中，详见文献[18]。众多的研 究结果表明了 MMA 算法是一种十分有效的解结构优化问题的算法。经过 MA 函数的逼近，我 们减少了计算复杂原函数的次数，而用较为简单的 MA 函数代替；其次，子问题有很好的性质， 使用一些 经典的 算法可 以很快 求出子 问题的 解，如 投影梯 度法 、对偶 方法等 ，详见 文献[ 19]~ [20]。
ii
解无约束 优化问 题的移 动渐近 线算法
图、表清单
表 1.解小规模问题算法 3.1 与 CG 算法比较 ............................................................................ 23 表 2.解较大规模问题算法 3.1 与 CG 算法比较 ........................................................................ 24 表 3.解大规模问题算法 3.1 与 CG 算法比较 ............................................................................ 25 表 4.解小规模问题算法 3.1 与算法 3.2 比较............................................................................. 27 表 5.解较大规模问题算法 3.1 与算法 3.2 比较......................................................................... 28 表 6.解大规模问题算法 3.1 与算法 3.2 比较............................................................................. 29
to”的缩写，表示 受限制 于。
求极小值的函数 f ( x) 称为目标函数， hi ( x) ( i 1,L , m )， g j ( x) ( j 1,L , p )称为约束
函数，其 中 hi ( x) 0 称为等 式约束 ，而 g j ( x) 0 称为 不等式 约束。 根据(1.1.1)中有 无约束 函数 可分为有约束的优化问题和无约束的优化问题。在(1.1.1)中，若 m 0 ， p 0 ，即最优化问题
Key words: Methods of moving asymptotes (MMA), moving asymptotes function (MA Function), large-scale problems, unconstrained optimizat ion problems, non -monotone line search
南京航空 航天大 学硕士 论文
摘要
移动渐近 线算法 是一类 解结构 优化问 题的有 效算法 。通过 一个 移动渐 近线函 数，产 生一系 列简单的 、可分 的、且 严格凸 的子问 题。通 过解这 一系列 子问 题逐步 获得原 问题的 解。本 文将 移动渐近 线算法 用于解 无约束 优化问 题，在 构造子 问题的 过程 中，本 文利用 一个新 的移动 渐近 线函数， 产生若 干个可 分的子 问题， 并获得 下降搜 索方向 ，然 后采用 线搜索 获得步 长，最 后给 出算法的 整体收 敛性证 明和数 值试验 。理论 与数值 结果表 明， 此算法 适合解 大规模 的无约 束优 化问题， 有可能 为移动 渐近线 算法解 大规模 约束优 化问题 提供 一个好 的基础 。
视。最优 化技术 的应用 范围非 常广博 ，现在 它已渗 透到生 产、 管理、 商业、 军事、 决策等 各领 域，近二 、三十 年来随 着电子 计算机 的普遍 应用更 是得到 了迅 猛发展 ，已经 广泛应 用于国 民经
济各个部 门和科 学技术 的各个 领域。

最优化问 题一般 的数学 模型为
min f ( x)