改进的移动渐近线算法求解无约束优化问题
移动渐近线法 参数
移动渐近线法参数
移动渐近线法（Moving Asymptotes Method，MMA）是一种常用的非线性优化算法，可用于解决各种工程问题和科学问题。
它是一种
通过不断移动约束的渐近线来求解非线性优化问题的方法。
该方法最
早由Svanberg在20世纪80年代提出，在它出现之前，求解复杂的
非线性优化问题是非常困难的。
介绍MMA算法
MMA算法的基本思想是在每次迭代中调整伸缩参数，以使目标函数
随着迭代步骤的增加而逐渐优化。
该算法将约束条件表示为渐进线的
形式，利用不断移动这些渐进线的方法来求解问题。
在MMA算法中，约束条件被看作是一组渐进线，这些线以递减的方式彼此靠近，接近
到一定程度时问题解决了。
优点和缺点
MMA算法是一种有效的非线性优化方法，具有以下优点：
1. 可以处理复杂的非线性问题。
2. 随着迭代步骤的增加，求解的精度逐渐提高。
3. 该方法具有快速的求解速度，可以用于处理大型优化问题。
然而，MMA算法也存在一些缺点：
1. 对于某些类型的问题，该算法可能会陷入局部最小值。
2. 当目标函数变化过于剧烈或约束条件变化过于剧烈时，该算法可能会失效。
总结
移动渐近线法是一种常用的非线性优化方法，可用于解决各种复杂的工程和科学问题。
它基于不断移动约束条件的渐近线的方法，通过调整伸缩参数以优化目标函数。
虽然该方法具有一些缺点，但它仍然是一种非常有效的求解算法。
在实际应用中，我们可以根据自己的问题和需求选择合适的优化算法。
无约束优化方法
无约束优化方法1. 最速下降法（Gradient Descent Method）最速下降法是一种基于梯度信息的迭代优化算法。
其基本思想是从任意初始点开始，沿着目标函数的梯度方向进行迭代，直到达到收敛条件。
最速下降法的迭代更新公式如下：x_{k+1}=x_k-t_k*∇f(x_k)其中，x_k是第k次迭代的解向量，t_k是第k次迭代的步长（也称为学习率），∇f(x_k)是目标函数在x_k处的梯度向量。
最速下降法的步骤如下：1）选取初始点x_0。
2）计算目标函数的梯度∇f(x_k)。
3）计算步长t_k。
4）更新解向量x_{k+1}。
5）判断迭代终止条件，如果满足则停止迭代；否则返回第2步。
最速下降法的优点是易于实现和理解，收敛性较好。
然而，最速下降法存在的问题是收敛速度较慢，特别是对于目标函数呈现狭长或弯曲形状的情况下。
这导致了在高维优化问题中，最速下降法的性能较差。
2. 牛顿法（Newton's Method）牛顿法是一种基于二阶导数信息的迭代优化算法。
它使用目标函数的一阶和二阶导数信息构造一个二次近似模型，然后求解该模型的最小值。
牛顿法的迭代更新公式如下：x_{k+1}=x_k-H_k^{-1}*∇f(x_k)其中，H_k是目标函数在x_k处的海森矩阵，∇f(x_k)是目标函数在x_k处的梯度向量。
牛顿法的步骤如下：1）选取初始点x_0。
2)计算目标函数的梯度∇f(x_k)和海森矩阵H_k。
3）计算更新方向H_k^{-1}*∇f(x_k)。
4）更新解向量x_{k+1}。
5）判断迭代终止条件，如果满足则停止迭代；否则返回第2步。
牛顿法的优点是收敛速度快，尤其是在目标函数曲率大的地方。
然而，牛顿法也存在一些问题。
首先，计算海森矩阵需要大量的计算资源，特别是在高维空间中。
其次，当海森矩阵不可逆或近似不可逆时，牛顿法可能会失效。
综上所述，最速下降法和牛顿法是两种常用的无约束优化方法。
最速下降法简单易实现，但收敛速度较慢；牛顿法收敛速度快，但计算量大且可能遇到海森矩阵不可逆的问题。
无约束优化问题
(2) 令 xt+1 = xt + dt;
(3) 若达到收敛条件 (如 D(xt+1, xt) < 2 或 |g(xt+1) − g(xt)| < 2), 则停止迭代, 返回 x∗ = xt+1; 否则置 t = t + 1 转 (1).
当函数 g 是非二次的, Hessian 矩阵很可能是非正定的. 这时, 我们可能无法从 Htd = −∇gt 中解出 dt, 或者即便能求出来, 也不能保证 dt 是一个下降方向. 因此, 为了在梯度不为 零的点 xt 找到一个下降方向, 我们可以强迫 Htd = −∇gt 中的 Ht 恒取正定阵, 这样总能得 到下降方向. 其中一种常用的方法是采用 Gt = Ht + Et, 其中 Et 为一个对角阵. 这样的一个 矩阵可通过强迫矩阵的Cholesky分解而得到.
λ>0
g(xt
+
λdt);
(3) 取 xt+1 = xt + λtdt;
(4) 若达到收敛条件, 则停止迭代, 返回 x∗ = xt+1; 否则置 t = t + 1 转 (2).
此算法的特点是: (1) 简单易行, 用一次函数作为目标函数 g(x) 的近似; (2) 不管初始点 如何选取, 保证每次迭代均使目标函数减少; (3) 收敛速度慢, 因为相邻两次迭代的搜索方向 正交. 下面来看一个简单的例子来说明该方法的操作过程.
对于 logistic 回归的广义线性模型, 它是由属于指数分布族的 Binomial 分布而得到的. 此 时响应的分布为 yi|xi ∼ BIN(πi, mi), i = 1, . . . , n, 且相互独立. 则对于第 i 个观测,
无约束最优化问题的直接方法
x 2 x1方向可能有利于函数
值下降，因此下一步沿x2 x1 O
方向进行模式搜索。
y(2) y(3) x(2)
y(1) e1
即令 y1 x2 ( x2 x1 )。
如何判断模式搜索是否有效？ 以 y1 为起点进行下一轮轴向搜索，所得的点仍记为yn1。
如果 f ( yn1 ) f ( x2 ),表明此次模式搜索成功，令
(4) 模式搜索：令 xk1 yn1 , y1 xk1 ( xk1 xk )。
令 k : k 1, j 1,转（2）。
(5) 如果 ,停止，得到点x(k) ；否则，令 : , y1 xk , xk1 xk 。
令 k : k 1, j 1,转（Байду номын сангаас）。
将轴向搜索和模式搜索中的固定步长改为用一维搜索确定步长， 算法仍然收敛。
例1. 用模式搜索法求解问题
min
f ( x) x12 x22 。
取初始点x1 (1,1)T ,初始步长 0.25，加速因子 1,
率 0.2。
缩减
解 : 第1轮迭代： 令 y1 x1 (1,1)T , 则 f ( y1 ) 2。
f ( y1 e1 ) 2.5625 f ( y1 ), f ( y1 e1 ) 1.5625 f ( y1 ),
原始 Powell 法步骤：
(1) 给定初始点x0 , n个线性无关的方向： d (1,1) , d (1, 2) , , d (1, n) 。 允许误差 0，令 k 1。
(2) 令 x(k,0) xk1 ,从 x(k,0) 出发，依次沿方向 d ( k ,1) , d ( k , 2) , , d ( k , n) 进行搜索，即令
e2 x3 yn1。 仿上继续进行迭代。
第二章无约束优化问题的算法.
课程名称优化理论与方法编写时间：20 年月日
课程名称优化理论与方法编写时间：20 年月日
课程名称优化理论与方法编写时间：20 年月日
课程名称优化理论与方法编写时间：20 年月日
课程名称优化理论与方法编写时间：20 年月日
课程名称优化理论与方法编写时间：20 年月日
课程名称优化理论与方法编写时间：20 年月日
课程名称优化理论与方法编写时间：20 年月日
课程名称优化理论与方法编写时间：20 年月日
课程名称优化理论与方法编写时间：20 年月日
课程名称优化理论与方法编写时间：20 年月日
课程名称优化理论与方法编写时间：20 年月日
课程名称优化理论与方法编写时间：20 年月日
课程名称优化理论与方法编写时间：20 年月日
课程名称优化理论与方法编写时间：20 年月日
课程名称优化理论与方法编写时间：20 年月日
课程名称优化理论与方法编写时间：20 年月日
课程名称优化理论与方法编写时间：20 年月日
课程名称优化理论与方法编写时间：20 年月日。
求解非线性无约束优化问题的两种方法的分析
垫墼兰￡望叁兰堑圭兰垒篁塞１第一章预备知识§１．１共轭梯度方法§１．１．１引言共轭梯度法足最优化中最常用的方法之一。
它具有算法简便，存储需求小等优点，十分适合于大规模优化问题．在石油勘探，大气模拟，航天航空等领域出现的特大规模的优化问题是常常利用共轭梯度法求解。
在所有需要计算导数的优化方法中，最速下降是最简单的，但它速度太慢。
拟牛顿方法收敛速度很快，被广泛认为是非线性规划的最有效的方法。
但拟牛顿法需要存储矩阵以及通过求解线性方程组来计算搜索方向，这对于求解诸如上述问题等一些大规模问题几乎是不太可能办到的，共轭梯度法在算法的简便性，所需存储量等方面均与最速下降法差别不大，而收敛速度比最速下降法要快。
非线性共轭梯度法的收敛性分析的早期工作主要由Ｆｌｅｔｃｈｅｒ，Ｐｏｗｅｌｌ，Ｂｅａｌｅ等学者给出的，近年来，Ｎｏｃｅｄａｌ，Ｇｉｌｂｅｒｔ，Ｎａｚａｒｅｔｈ等学者在收敛性方面得到了不少的结果，使得共轭梯度法的研究由又热了起来．我国的学者也在共轭梯度法的理论研究中也取得了一定的成绩。
例如中科院应用数学所的韩继业，戴口等．§１．１．２共轭方向法共轭梯度法最本质的是共轭性质，共轭性是正交的一种推广。
定义１．１．２．１：设Ｗ∈咿×ｎ对称正定，ｄｌ，ｄ２，…，ｄ。
是咿中的一组非零向量，如果盯Ａｄｊ＝０，（ｉ≠Ｊ）．（１．１）则称ｄ１，ｄ２，…，ｄ。
是相互Ａ一共轭。
显然可见，如果ｄｌ，ｄ２，…，ｄ。
相互Ａ一共轭，则它们是线性无关的。
设Ｊ是单位阵则知，一共轭就是正交。
一般共轭方向法步骤如下：算法１．１．２．１：（一般共轭方向法）给出∞＋的初始点Ｘｌ，步ｌ：计算ｇｌ＝ｇ（Ｘ１）．步２：计算ｄｌ，使（ｆ｛’９ｌ＜０．步３：令女＝１．步４：计算口ｋ和Ｘｋ＋１，使得ｆ（ｘｋ－Ｆ‘１ｋｄｋ）。
Ｉ。
ｊ１１，‰十“呶），Ｘｋ＋１＝Ｘｋ＋ｖ。
ｋｄｋ．步５：计算以＋ｌ使得ｄ矗１Ｇｄｊ＝０，Ｊ＝１，２，…ｋ．步６：令ｋ：＝ｋ＋１，转步４．共轭方向法的一个基本性质是：只要执行精确线性搜索，就能得到二次终止性，这就足下面的共轭方向法基本定理。
无约束最优化问题的求解算法和应用
无约束最优化问题的求解算法和应用随着科技的发展和应用领域的扩大，无约束最优化问题已经越来越成为一种关注的研究领域。
在现实生活中，无约束最优化问题的求解可以应用在多个方面，比如金融、医学、机械工程等等。
然而，在实际应用中，我们往往需要利用已经发展的优秀算法进行求解。
本文将会介绍无约束最优化问题的求解算法及其应用。
一、无约束最优化问题的概念无约束最优化问题指的是在一定的条件下，通过调整某些变量来最大或最小化指定的目标函数。
这些变量的调整需遵守一定的限制条件，并且通过各种数值分析方法，比如数值解析和计算机数值算法等技术来求解这样的问题。
无约束最优化问题的数学形式一般为：$$ \min_{x \in \mathbb{R}^n} f(x) $$其中，$x \in \mathbb{R}^n$ 是 $n$ 维空间中的一个向量，$f(x)$ 则是目标函数，该函数需要满足一定的条件，比如连续、可微、凸等等。
当函数连续、可微的情况下，就能有效地应用求导法来求解这个问题。
二、基于梯度下降的算法在求解无约束最优化问题时，最常用的算法就是基于梯度下降的算法。
该算法通过沿着负梯度的方向一步步得逼近全局极小值。
算法的主要流程如下：1、初始化变量$x$，比如$x=0$;2、计算目标函数$ f(x)$ 的梯度 $\nabla f(x)$;3、计算下降方向 $p$，$p=-\nabla f(x)$;4、选择步长 $\alpha$，更新$x$ $x_{k+1} = x_{k} + \alpha p$;5、重复执行步骤2-4 进行更新，直到满足一定的终止条件为止。
这种方法的收敛性非常好，同时也比较容易实现。
在实际应用中，通常会将其与其他迭代方法组合使用，比如牛顿、拟牛顿等方法来提升其求解精度。
三、基于共轭梯度的算法基于梯度下降的算法虽然求解精度较好，但是当求解目标函数具有高度弱凸性质时，算法的收敛速度会相对较慢。
为了克服这类问题，研究人员往往会采用共轭梯度法。
无约束优化方法
梯度法：
x k 1 x k a k f ( x k )( k 0 , 1 , 2 ,)
牛顿法： x k 1 x k [ 2 f ( x k ) ] 1 f ( x k ) ( k 0 , 1 , 2 , )
进行一维搜索，其终点 x k 1 与始点 x k 的梯度值差
gk1 gk 与 d k 的共轭方向 d j 正交。
3.共轭梯度法
• 共轭梯度法是共轭方向法中的一种，该方法中 每一个共轭向量都是依赖于迭代点处的负梯度 而构造出来。
• 从xk出发，沿负梯度方向作一维搜索:
dk f(xk)
x k 1 x k k d k( k 0 , 1 , 2 ,)
各元素均为常数。因此，无论从任何点出发，只 需一步就可找到极小点。
例4－2 求目标函数 f(x)x1 225x2 2 的极小点。 解 取初始点 x0 [2,2]T
1 x1x02f(x0)1f(x0)2 20 2
1 014000 0 50
经过一次迭代即求得极小点 x0 0
函数极小值 f (x) 0
从牛顿法迭代公式的推演中可以看到，迭代点 的位置是按照极值条件确定的，其中并未含有沿下 降方向搜寻的概念。因此对于非二次函数，如果采 用上述牛顿迭代公式，有时会使函数值上升 。
为最速下降方向仅仅是指某点的一个局部性质。 • （3）梯度法相邻两次搜索方向的正交性，决定了迭代
全过程的搜索路线呈锯齿状，在远离极小点时逼近速度 较快，而在接近极小点时逼近速度较慢。 • （4）梯度法的收敛速度与目标函数的性质密切相关。 对于等值线(面)为同心圆（球）的目标函数，一次搜索 即可达到极小点。
3、判断 f xk1 是否满足，若满足则打印 x k 1
无约束优化方法总结
第四章 无约束优化方法第一节 概述1为什么要研究无约束优化问题?（1）有些实际问题，其数学模型本身就是一个无约束优化问题。
（2）通过熟悉它的解法可以为研究约束优化问题打下良好的基础。
（3）约束优化问题的求解可以通过一系列无约束优化方法来达到。
所以无约束优化问题的解法是优化设计方法的基本组成部分，也是优化方法的基础。
2各种无约束优化方法的区别在于确定其搜索方向0d 的方法不同。
根据构成搜索方向所使用的信息性质的不同，无约束优化方法可以分为两类。
一：间接法——要使用导数的无约束优化方法，如梯度法、（阻尼）牛顿法、变尺度法、共轭梯度法等。
二：直接法——只利用目标函数值的无约束优化问题，如坐标轮换法、鲍威尔法单纯形法等。
第二节 最速下降法（梯度法） 1基本思想：函数的负梯度方向是函数值在该点下降最快的方向。
将n 维问题转化为一系列沿负梯度方向用一维搜索方法寻优的问题，利用负梯度作为搜索方向，故称最速下降法或梯度法。
2梯度法的特点：（1）理论明确，程序简单，对初始点要求不严格。
（2）对一般函数而言，梯度法的收敛速度并不快，因为最速下降方向仅仅是指某点的一个局部性质。
（3）梯度法相邻两次搜索方向的正交性，决定了迭代全过程的搜索路线呈锯齿状，在远离极小点时逼近速度较快，而在接近极小点时逼近速度较慢。
（4）梯度法的收敛速度与目标函数的性质密切相关。
对于等值线(面)为同心圆（球）的目标函数，一次搜索即可达到极小点。
3选用原则及条件：一般与其他算法配合，在迭代开始时使用。
第三节 牛顿型方法 1基本思想：在xk 邻域内用一个二次函数)(x ϕ来近似代替原目标函数，并将)(x ϕ的极小点作为对目标函数)(x f 求优的下一个迭代点1+k x 。
经多次迭代，使之逼近目标函数)(x f 的极小点。
2牛顿型方法的特点：（1） 初始点应选在X *附近，有一定难度；（2） 若迭代点的海赛矩阵为奇异，则无法求逆矩阵，不能构造牛顿法方向； （3） 不仅要计算梯度，还要求海赛矩阵及其逆矩阵，计算量和存储量大。
求解无约束优化问题及非线性方程组的共轭梯度法
求解无约束优化问题及非线性方程组的共轭梯度法求解无约束优化问题及非线性方程组的共轭梯度法一、引言无约束优化问题和非线性方程组是数学和工程领域中常见的问题。
它们的解决对于优化模型的求解以及工程实际问题的解决具有重要意义。
本文将介绍一种常用的求解无约束优化问题和非线性方程组的方法——共轭梯度法，包括算法原理、步骤和性能分析等。
二、共轭梯度法的算法原理共轭梯度法是一种迭代法，它通过计算一系列共轭方向，逐步接近于最优解。
具体而言，共轭梯度法的算法原理如下：（1）初始化。
选择一个起始值x0，设置迭代精度ε，取初始共轭方向d0=g0=-∇f(x0)，其中g0为梯度的初始值。
（2）迭代过程。
从k=1开始，根据共轭方向的性质，可以得到更新公式xk=xk-1+αkdk，其中αk为步长，dk为共轭方向。
通过下面的迭代公式可以计算共轭方向dk：di=(-gi)+βidi-1βi=(gi，gi)/(gi-1，gi-1)其中gi为第i次迭代的梯度。
（3）收敛判断。
如果满足||gk||<ε，则停止迭代计算，得到近似解。
否则，继续迭代。
三、共轭梯度法的步骤根据共轭梯度法的算法原理，可以得到具体的步骤如下：（1）初始化。
选择起始点x0，设置迭代精度ε，取初始共轭方向d0=g0=-∇f(x0)，其中g0为梯度的初始值。
（2）循环迭代。
从k=1开始，计算步长αk，更新公式xk=xk-1+αkdk，计算新的梯度gk，计算共轭方向dk。
（3）收敛判断。
如果满足||gk||<ε，则停止迭代。
（4）输出结果。
输出近似解xk。
四、共轭梯度法的性能分析共轭梯度法在求解无约束优化问题和非线性方程组时具有一些优良的性能特点：（1）收敛性。
共轭梯度法在理想情况下可以在n步内达到最优解，其中n为问题的维度。
（2）存储要求小。
共轭梯度法只需要存储上一次迭代的结果，存储量较小。
（3）不需要二阶导数信息。
与牛顿法等方法相比，共轭梯度法不需要二阶导数信息，计算速度更快。
无约束优化问题的求解方法
无约束优化问题的求解方法无约束优化问题是指在不考虑任何限制条件下，通过调整自变量来寻找函数的最大值或最小值的问题。
在数学和工程领域中，无约束优化问题是一个重要的研究方向，其解决方法也非常丰富和多样。
下面将介绍几种常用的无约束优化问题求解方法。
一、梯度下降法梯度下降法是一种基于一阶导数信息的优化算法。
其基本思想是通过不断迭代地朝着函数的负梯度方向进行搜索，从而找到函数的极小值点。
具体来说，梯度下降法的迭代公式如下：x_(x+1)=x_x−x∇x(x_x)，其中x_x代表第x次迭代的自变量的取值，x称为学习率，∇x(x_x)是函数x(x_x)在点x_x处的梯度。
梯度下降法是求解无约束优化问题的常用方法，具有易于实现和收敛性等优点。
但是，梯度下降法有时可能会陷入局部最优解，因此需要进行多次尝试或采用改进的算法。
二、共轭梯度法共轭梯度法是一种基于二阶导数信息的优化算法。
其基本原理是通过逆Hessian矩阵的乘法来更新自变量的取值，从而加速搜索速度。
具体来说，共轭梯度法的迭代公式如下：x_(x+1)=x_x−x_x,x∇x(x_x)，x_x,x=x∇x(x_x)+x_x,x−1共轭梯度法具有高效、迭代次数少、不需要存储Hessian矩阵等优点。
然而，共轭梯度法也存在一些问题，如对于某些特定的函数可能会陷入收敛困难、对于非二次函数可能收敛速度较慢等。
三、拟牛顿法拟牛顿法是一种综合利用一阶和二阶导数信息的优化算法。
其基本思想是通过利用函数在当前点处的一阶导数和二阶导数近似值来构造一个局部的二次模型，从而求解优化问题。
拟牛顿法的迭代公式如下：x_(x+1)=x_x−(x_x)^−1∇x(x_x)，x_x是拟牛顿法的Hessian矩阵近似值。
拟牛顿法具有利用了二阶导数信息、不需要进行二阶导数计算、有较好的全局收敛性等优点。
但是，拟牛顿法也存在一些问题，如需要存储和更新Hessian矩阵近似值、对于非光滑函数可能无法收敛等。
无约束优化算法
无约束优化算法无约束优化算法问题，是指优化问题的可行集为，无约束的标准形式为：∙最优性条件∙极小值点的一阶必要条件设为连续可微函数，如果为局部极小值点，则为驻点，即梯度。
∙极小值的二阶必要条件设为二阶连续可微函数，如果为局部极小值点，则为驻点，即梯度，二阶半正定。
∙极小值点的二阶充分条件设为二阶连续可微函数，如果梯度，二阶正定，则为的局部极小值点，。
以上三个定理为搜索最优点以及判断一个点是否为最优点的基本依据。
经典的优化算法的停止条件为，例如在程序中，即在导数范数小于某特定误差限时停止。
误差限较大，则算法迭代次数减少，计算时间缩短，但解得质量降低；误差限较小，则算法迭代次数增加，计算时间增加，但解的质量提高；误差限一般为，可以根据实际情况设定合适的误差限。
当然，还有极小值点的二阶必要条件与极小值点的二阶充分条件，对的判断，由于目标函数比较复杂，二阶导数矩阵的计算量极大，所以一般算法都在迭代过程中对进行修正，得到，在修正的过程中始终保持的正定性，以此方法解决极小值点的二阶条件问题。
一、最速下降法(1) 算法原理最速下降法是早期的优化算法，其理论根据函数的一阶泰勒展开：由得到根据下降要求故实际中要求根据上式选取合适的，得。
最速下降法取。
由于近似的有：取，则由知：最速下降法有全局收敛性，并且是线性收敛的，算法比较简单。
一般来说，在实际计算中，最速下降法在开始迭代时效果较好，有时能很快地找到最优解得附近，但是当局继续迭代时，常常发生扭摆现象，以致不能达到最优解。
(2) 算法步骤给定控制误差。
步骤1：取初始点，令步骤2：计算。
步骤3：若，则，停止计算；否则，令，由一维搜索步长，使得步骤4：令，，转步骤2。
二、黄金分割法(1) 算法思想通过不断缩小区间的长度来搜索目标函数的极小值点,且是按照可行域全长的0.618(及0.382)选取新点,而不断更新区间进行的.(2) 算法流程步骤ε>.设函数发f(x),初始区间为[a,b],0步骤1：取两点x1,x2(x1<x2),x2=a+0.618(b-a),x1=a+b-x2或x1=a+0.382(b-a),x2=a+b-x1 计算f(x1),f(x2);步骤2: 若f(x1)<f(x2);则去掉[x2,b],则a=a,b=x2,x2=x1,x1=a+b-x2,步骤3: 若f(x1)>f(x2);则去掉[a,x1],则a=x1,b=b,x1=x2,x2=a+b-x1,步骤4: 若f(x1)=f(x2);则去掉[a,x1]和[x2,b],则a=x1,b=x2,重复步骤1.步骤5: 在每一次缩小区间时,判断|b-a|≤ε是否成立,若成立则结束.三、共轭梯度法(1) 算法思想共轭梯度法的基本思想是把共轭性与最速下降方法相结合，利用已知点处的梯度构造一组共轭方向，并沿这组方向进行搜素，求出目标函数的极小点。
单目标多变量无约束优化问题的典型优化算法
单目标多变量无约束优化问题在工程和科学领域中广泛存在，求解这类问题需要采用有效的优化算法。
本文将介绍几种典型的优化算法，包括梯度下降法、牛顿法、拟牛顿法、粒子裙算法和遗传算法等，以帮助读者更好地理解和应用这些算法。
一、梯度下降法梯度下降法是一种常用的优化算法，通过不断沿着目标函数的负梯度方向更新参数，以最小化目标函数。
其具体步骤如下：1. 初始化参数向量x和学习率α；2. 计算目标函数的梯度g=∇f(x)；3. 更新参数向量：x=x-αg；4. 重复步骤2和步骤3，直到收敛或达到迭代次数。
梯度下降法的优点是简单易用，但也存在收敛速度慢、易陷入局部最优解等缺点。
二、牛顿法牛顿法是一种快速收敛的优化算法，其基本思想是利用目标函数的二阶导数信息加速收敛。
牛顿法的步骤如下：1. 初始化参数向量x；2. 计算目标函数的梯度g=∇f(x)和海森矩阵H=∇²f(x)；3. 更新参数向量：x=x-(H^-1)g；4. 重复步骤2和步骤3，直到收敛或达到迭代次数。
牛顿法具有快速收敛的优点，但也存在计算海森矩阵复杂、可能导致矩阵奇异等缺点。
三、拟牛顿法拟牛顿法是对牛顿法的改进，通过估计目标函数的海森矩阵来避免直接计算。
拟牛顿法的步骤如下：1. 初始化参数向量x和拟海森矩阵G；2. 计算目标函数的梯度g=∇f(x)；3. 更新参数向量：x=x-Gg；4. 更新拟海森矩阵G；5. 重复步骤2至步骤4，直到收敛或达到迭代次数。
拟牛顿法克服了牛顿法中计算海森矩阵的困难，同时具有较快的收敛速度。
四、粒子裙算法粒子裙算法是一种基于裙体智能的优化算法，模拟了鸟裙觅食的行为。
其基本思想是通过不断更新粒子的位置和速度来搜索最优解。
粒子裙算法的具体步骤如下：1. 初始化粒子的位置和速度；2. 计算目标函数值，并更新个体最优位置和全局最优位置；3. 根据个体最优位置和全局最优位置更新粒子的速度和位置；4. 重复步骤2和步骤3，直到满足停止条件。
解无约束优化问题移动渐近线算法
s.t. hi ( x) 0, i 1,L , m;
(1.1.1)
g j ( x) 0, j 1,L , p.
Tn
其中， x ( x,1x 2 ,L , xn )R ，为 n 维向量。在实际问题中也常常把变量 x1 ， x2 ，L ， xn 叫
做决策变 量。 f ( x) ， hi ( x) ( i 1,L , m )， g j ( x) ( j 1,L , p )为 x 的函数 。 s.t. 为 英文“subject
（保密的学位论文在解密后适用本承诺书）
作者签名： 日 期：
南京航空 航天大 学硕士 论文
第一章 绪论
1.1 最优化概况
追求最优 目标是 人类的 理想， 最优化 算法就 是从众 多可能 方案 中选择 最佳者 ，以达 到最优 目标的科 学。随 着现代 化生产 的发展 和科学 技术的 进步， 最优 化理论 和方法 日益受 到人们 的重
iv
承诺书
本人声明所呈交的硕士学位论文是本人在导师指导下进 行的研究工作及取得的研究成果。除了文中特别加以标注和致 谢的地方外，论文中不包含其他人已经发表或撰写过的研究成 果，也不包含为获得南京航空航天大学或其他教育机构的学位 或证书而使用过的材料。
本人授权南京航空航天大学可以将学位论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。
i
解无约束 优化问 题的移 动渐近 线算法
AB STRACT
The method of moving asymptotes (MMA) is proposed especially for solving structure optimization in engineering. With a mov ing asymptotes function (MA function), the original problem can be translated into a sub-problem which is simple, strict convex and separable. The original problem is solved by solving the couples of the sub -problems. MMA is used in solving unconstrained optimization problems in th is thesis. There is a new MA function in the thesis, which is used to produce many sub-problems. Then we get descending direction which can be used as line search direction. At last the new method is produced and the proof of its global convergence is given. Fro m theory analysis and numerica l tests we can see that the method can be applied for solving the large-scale problems and it might give a well theoretic and arith met ic foundation for MMA.
求解不等式约束优化问题的移动渐近线算法
求解不等式约束优化问题的移动渐近线算法下载提示：该文档是本店铺精心编制而成的，希望大家下载后，能够帮助大家解决实际问题。
文档下载后可定制修改，请根据实际需要进行调整和使用，谢谢！本店铺为大家提供各种类型的实用资料，如教育随笔、日记赏析、句子摘抄、古诗大全、经典美文、话题作文、工作总结、词语解析、文案摘录、其他资料等等，想了解不同资料格式和写法，敬请关注！Download tips: This document is carefully compiled by this editor. I hope that after you download it, it can help you solve practical problems. The document can be customized and modified after downloading, please adjust and use it according to actual needs, thank you! In addition, this shop provides you with various types of practical materials, such as educational essays, diary appreciation, sentence excerpts, ancient poems, classic articles, topic composition, work summary, word parsing, copy excerpts, other materials and so on, want to know different data formats and writing methods, please pay attention!不等式约束优化问题是指在一定的约束条件下，寻找使得目标函数值最优的变量取值。
求解无约束最优化问题的一个新的拟牛顿方法.
４数值试验………………………………………………………………。３６ 总 结……………………………………………………………………………………．４ｌ 致 谢………………………………………………………………………………………４２ 参考文献…………………………………………………………………。４３
１绪论……………………………………………………………………………………………………………………。ｌ
１．１研究背景和意义……………………………………………………………………１ １．２求解无约束最优化问题的几种基本方法的简介………………………………１
１．２．１最速下降法简介……………………………………………………………．．１ １．２．２牛顿法简介…………………………………………………………………一２ １．２．３共轭梯度法简介……………………………………………………………．．３ １．２．４拟牛顿法简介…………………………………………………………………３ １．３拟牛顿法的研究近况简介……………………………………………………．６ １．４本文的主要内容………………………………………………………………．９
１．２．２牛顿法简介
牛顿法【１，２１主要是把目标模型函数取定为目标函数的二次泰勒展开式，并把这个目 标模型函数的极小点序列的极限值作为目标函数ｆ（ｘ）的最优值的近似值。
假设函数厂（ｘ）是二次连续可微的，ｘ∈Ｒ”，其海森矩阵Ｖ２ｆ（ｘ）ＰｅＪＥｆｇ的，则把ｆ（ｘ）
在ｘ。处二次泰勒展开可以得到：
厂Ｇ）＝厂Ｇ。）＋夥Ｇ。）７’瓯＋ｉ１ Ｄ。ＴＶ２厂Ｇ。声。， 二
一种解无约束优化问题的新移动渐近线算法
一种解无约束优化问题的新移动渐近线算法胡平;贾朝辉;倪勤【摘要】This paper aims to introduce a new algorithm of moving asymptotes for unconstrained optimization problems. The principle of the proposed algorithm is to construct a moving asymptotes function in each iteration. Based on this construction, the original problem can be transformed into a simple, separable and strictly convex sub-problem. We obtain the descending direction by solving this sub-problem and carry out the search step by virtue of the line search technique. The concrete selection of the parameters is examined. Further, we prove that the algorithm is global convergent. The numerical results show that the algorithm is effective and can be used to deal with some large-scale unconstrained optimization problems.%对无约束优化问题,本文提出了一种新的移动渐近线算法.在每次迭代过程中,我们构造一个原问题的移动渐近线函数,由此建立一个简单可分、严格凸的子问题,通过求解子问题获得下降搜索方向,再用线搜索取得搜索步长.文中讨论了算法的参数取值原则,并证明了算法的全局收敛性.数值试验结果表明算法是有效的、适合解大规模的无约束优化问题.【期刊名称】《工程数学学报》【年(卷),期】2012(029)003【总页数】9页(P366-374)【关键词】无约束优化问题;移动渐近线算法;移动渐近线函数;可分凸规划【作者】胡平;贾朝辉;倪勤【作者单位】淮阴工学院数理学院,江苏淮安223003;南京航空航天大学理学院,南京210016;南京航空航天大学理学院,南京210016【正文语种】中文【中图分类】O221.21 引言本文考虑无约束优化问题其中函数f(x)梯度g=∇f(x)是可求的．求解问题(1)的优化算法已有很多[1]，但是问题(1)的规模一般较大，计算比较复杂．如果使用普通的优化算法求解，则在每一次迭代确定函数的下降方向时需要矩阵向量乘法运算，运算量较大．因此，本文采用移动渐近线算法(method of moving asymptotes,简称MMA法)[2]和线搜索技术相结合，通过求解MMA子问题得到一个下降搜索方向sk=(sk1,sk2,···,skn)T，下降方向的计算量是O(n)．然后使用线搜索技术确定步长αk，得到下一次迭代点MMA法是Svanberg[2]在1987年针对约束优化问题首次提出的，用移动渐近线函数(简称MA函数)逼近原问题中的目标和约束函数，从而产生一系列子问题．通过解这些子问题，最终求得约束优化问题的最优解．文献[3]将MMA法改进应用于无约束优化问题(1)．在当前迭代点xk处，构造如下的子问题其中是信赖域半径，并且．子问题(3)是一个严格凸且可分的无约束优化问题，故可容易求得它的全局唯一最优解sk．这个算法理论结果和初步数值结果是不错的．本文在文献[3]的基础上，对移动渐近线(简记MA)函数进行了深入的研究，构造了一个含参数的新MA函数，并形成新MA子问题．这个子问题同样是严格凸且可分的，同时不需更新信赖域半径．在此基础上，获得了一个解无约束优化问题的新MMA算法．论文讨论了参数的选取准则，证明了新算法的全局收敛性，并给出了数值试验结果．本文分4节．第2节提出了一个新的MA函数，并形成了一个新的MA子问题．第3节给出了新MMA算法，证明此算法的全局收敛性．在第4节对新算法进行了数值试验．2 新MA子问题我们先设计问题(1)在第k步迭代点xk处的求搜索方向sk的新子问题为其中MA函数为且τ>0,c1>0,0<c2<1．这里分别称为渐近线的上界和下界，即<，从而经过计算有上述构造子问题的初始思想来自文献[3]，即第i个分量逼近函数用的组合来构造．在此基础上，我们对进行了合理的限制，给定了参数κi的选择原则为由(9),(10),(12)和(13)知．由(11)直接计算得,i=1,2,···,n．因此子问题(5)是原问题在xk点的一阶近似，且是严格凸的．需要指出的是，在(7)中令时，取；当时，取；这时(7)化为(4)，因此(7)可看成是(4)的推广．所形成的子问题(5)可等价地变为n个可分的一维约束子问题引理1 若参数κi的选择满足(13)，则n个子问题(14)的最优解为其中证明由(12)和(13)知，所以ϕi(si)在αi≤ si≤ βi内是严格凸函数，因而(14)存在唯一最优解．如果，则可知在αi≤ si≤ βi内都是大于等于0的，所以(14)的最小值在si= αi处取到；如果，则可知在αi≤ si≤ βi内都是小于等于0的，所以(14)的最小值在si=βi处取到；如果ϕ′i(αi)<0并且ϕ′i(βi)>0，则可知在αi≤ si≤βi内ϕ′i(si)=0有根，解得综合得(15)和(16)．证毕在子问题(5)中有许多参数是未定的，这些参数会对算法的收敛性产生影响，并且在实际的计算过程中，参数的选择会对算法的收敛速度产生影响，因此要讨论子问题(5)中参数的选取策略．为了选取(7)中合适的参数κi，我们给出如下的引理．引理2 假设f(x)在定义域内连续可微，且存在正数M，使得在定义域内有∥∇2f(x)∥≤M，则在迭代点xk ，有其中．证明对任意的x∈Rn，我们有由(7)直接计算可知由(9)知，当δi=1(εi=0)时，则s，且同理，当εi= −1(δi=0)时，亦有将上述结果和(19)代入(18)得依(8)，令，则由(17)可得由此，可以得到子问题(5)中参数的选取策略为：1) 当时，令ηi=K；当时，令；2) 选取其中δi,εi由(9)定义．容易发现，如果，则；如果，则．这表明所选取的κi满足(13)，从而保证子问题是凸的．3 新MMA算法及收敛性根据前面讨论知，可以求出子问题(5)的最优解sk．由此可以给出如下解无约束优化问题(1)的新MMA算法．算法1步骤1 给定初始迭代点x0，令k=0，根据上节中的参数选取策略选取c1,τ,ηi,K,ε>0,0<c2<1；步骤2 计算梯度gk，如果∥gk∥<ε，则停止；否则转步骤3；步骤3 计算搜索方向．更新移动渐近线aki和bki，使之满足(8)，由(9)确定上、下界αi和βi据(20)等参数的选取策略，使用(7)中的MA函数构造子问题(5)，并使用引理1中的(15)求得子问题的解，令其为sk；步骤4 确定线搜索步长αk；步骤4.1 选取初始值．给定,0<ℓ<µ<1，取α=1；步骤4.2 检查条件．如果αk满足则令αk=α，转步骤5．否则，转步骤4.3；步骤4.3 缩短步长．令α=ωα,ω∈[ℓ,µ]，转步骤4.2；步骤5 令xk+1=xk+αksk,k=k+1，转步骤2．在算法1的收敛性证明之前，我们需要讨论参数选取的合理性和搜索方向的下降性．引理3 设算法1产生的点列为{xk},κi根据(20)选取．如果∥gk∥≥ ε>0，则可以找到K>1，使得|κi|≤ K∥gk∥．证明由(20)知令，则引理得证．证毕引理4 对任意初始点x0，定义水平集为L={x∈Rn|f(x)≤f(x0)}．设f(x)在L上有界，且∇f(x)在L上满足Lipschitz条件．记，其中由(15)定义．如果∥gk∥≥ε>0，则存在一个常数ε1>0，使得证明因为f(x)在L上有界，且∇f(x)在L上满足Lipschitz条件，则可知在L上存在正数N，使得∥gk∥≤N．如果，由(15),(16)，有．又因为，所以可知在[αi,βi]内是单调递增的，所以，即．再由(8)与(9)可得如果，由(15),(16)，有．同理可以推得，再由(8)与(9)可得如果，并且，则此时有由(13)知所以由(8)与(9)可得综合上述三种情况，我们有由(5)与(9)知，|si|≤c1，所以存在正数Q，使得∥sk∥≤Q，又由∥gk∥≥ε>0，令得从而引理4得证．证毕由引理4，我们很易获得算法的全局收敛性．定理1 对任意初始点x0，定义水平集为L={x∈Rn|f(x)≤f(x0)}．设f(x)在L上有界，且∇f(x)在L上满足Lipschitz条件，则对于任给的ε>0，对由MMA算法产生的点列{xk}，必然存在某个k，有∥gk∥<ε．证明由引理4和文献[1]中定理2.5.7可推得上述结论．证毕可见，当目标函数是凸函数时，MMA算法具有全局收敛性，因而我们可以考虑使用该算法来解大规模无约束优化问题．4 数值试验在本节中，我们对算法1进行数值试验，分为两部分．试验部分1 将算法1与文献[3]中的MMA算法(以下简称为OMMA算法)、共轭梯度算法(以下简称为CG算法)进行比较．算法运行在PC机上，操作系统是Windows7，编译器为C++6.0．算法1中的参数确定为：c1=2,c2=0.5,τ=100,κ=2,µ=22，其他参数根据选取策略确定．终止条件为∥gk∥<ε=10−4，或者如果算法的迭代次数超过2000，也会强制算法结束．在线搜索中，选取ρ=0.003,ω=0.5．同时为了便于比较，算法1与CG算法采用同样的子程序进行线搜索．OMMA算法与CG算法的结束条件与算法1相同．我们同时列出了算法的迭代次数fn和运行时间ft以便于比较．选取的问题维数为1000,5000 10000．测试函数选自文献[3]，具体如下：TP1.Extended Three Exponential Terms FunctionTP2.EG2 Function(CUTE)TP3.Extended Himmelbau FunctionTP4.ARWHEAD Function(CUTE)对上述四个问题的求解情况见表1．由表1可以看出，对于问题TP1，算法1的运行效果略优于OMMA算法、CG算法．对于问题TP2，算法1有着明显的优越性．对于问题TP3、TP4，算法1与OMMA算法的迭代次数较为相近，但算法1的运行时间比OMMA算法的少许多，且两种MMA算法都优于CG算法．表1:新的MMA算法与OMMA算法、CG算法比较注：∗表示在迭代次数达到2000次时仍无法找到最优解．测试函数维数算法1(fn/ft) OMMA算法(fn/ft) CG算法(fn/ft)1000 10/0.031 11/0.409 22/0.046 TP1 5000 10/0.20311/3.500 22/0.204 10000 10/0.422 11/26.203 22/0.422 1000 17/0.047 26/1.172 ∗/∗TP2 5000 17/0.250 27/11.047 ∗/∗10000 17/0.50036/56.656 ∗/∗1000 3/0.000 4/0.281 30/0.016 TP3 5000 3/0.016 4/2.453 30/0.110 10000 3/0.016 4/14.530 30/0.281 1000 2/0.000 5/0.1570118/0.235 TP4 5000 2/0.015 5/1.5630 95/0.781 10000 2/0.015 5/9.4060 108/2.094由表1我们还可以看出，用算法1解此4个算例时，迭代次数不一定随问题的维数增加而上升．由此可以推断，对于较大规模的问题，新的MMA算法在多数情况下可以取得较好的效果和较高的效率．对于问题TP1，如果仅将参数µ=22改为µ=21与µ=23，其它参数不变，则算法1的迭代次数分别为15、60，可见算法1的运行效果对参数的选取较敏感．如何适当选取参数，以减少迭代次数，这是需要我们继续研究的问题．试验部分2 我们主要考虑算法1用于多极值问题时的运行效果．考虑如下的多峰值函数：TP5.多极值函数此函数为多峰值二维函数，有3个局部极小值点，其中全局最小值点f(0,0)=0．对于算法1中的参数τ与µ，我们各取100、150、200进行测试，其他参数与要求同试验部分1．具体结果见表2．表2: 新的MMA算法针对多极值问题TP5的运行结果注：表中所有试验运行时间太短，无法统计，故忽略．τ值µ值迭代次数(fn) 极小值点极小值备注100 42 [1.74756,0.873775] 0.298638 极小100 150 47 [2.17654 e-5,-9.01518 e-6] 1.22496 e-9 全局最小200 19 [2.11389 e-5,-8.45770 e-6] 1.14402 e-9 全局最小100 76 [1.74756,0.873775] 0.298638 极小150 150 21 [-1.94549 e-5,8.07114 e-6] 9.79151 e-10 全局最小200 16 [-1.47888 e-5,-1.12189 e-6] 4.22086 e-10 全局最小100 18 [1.74755,0.873764] 0.298638 极小200 150 23 [2.25678 e-5,-9.34649 e-6] 1.3169 e-9 全局最小200 17 [1.97164 e-5,-3.40304 e-6] 8.56148 e-10 全局最小由表2可以看出，新的MMA算法可以找到多极值问题TP5的全局最小点．TP5仅2维问题，但是迭代的次数不少，可见新的MMA算法在解小规模优化问题时不占优势．综上，经过5个算例的测试可以知道，本文给出的算法1可以用于解大规模无约束优化问题．经过算法的比较可知，算法1是一种有效算法．算法1的运行效果对参数c,τ,µ的选取较敏感，如何适当选取这些参数，以减少迭代次数，求得全局最优解，这是需要我们继续研究的问题．5 结束语本文针对无约束优化问题，构造一个新的移动渐近线函数，由此建立一个新的移动渐近线子问题，并讨论了子问题中参数的选取策略，由于子问题具有可分性，故可求出子问题的解析最优解，然后将此最优解作为原问题的一个下降方向进行线搜索，这就是新的MMA算法．我们证明了该算法的全局收敛性，并对该算法进行数值试验，通过计算结果进行比较可以看到，新的MMA算法是一种有效算法，适合求解大规模无约束优化问题，有可能求得全局最优解，新的MMA算法可应用于大型工程计算．在移动渐近线算法中，移动渐近线函数的选取对于算法的收敛性以及算法的迭代次数都有十分重要的影响，如何根据不同的原函数选取适当的移动渐近线函数，以提高算法的效率？新的算法只适合于解无约束优化问题，如何将该算法推广到解有约束的优化问题？新算法参数选择的条件较强，如何弱化？这些问题都有待于我们进一步研究．参考文献：[1]袁亚湘，孙文瑜.最优化理论与方法[M].北京：科学出版社，1997 Yuan YX,Sun W Y.Optimization Theory and Methods[M].Beijing:Science Press,1997 [2]Svanberg K.The method of moving asymptotes—a new method for structural optimization[J].International Journal for Numerical Methods in Engineering,1987,24(2):359-373[3]Wang H,Ni Q.A new method of moving asymptotes for large scale unconstrained optimization[J].Applied Mathematics andComputation,2008,203(1):62-71。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ＡＮ Ｉ Ｍ ＰＲｏＶＥＤ Ｍ ＥＴＨｏＤ ｏＦ Ｍ ｏⅧ
Ｇ ＡＳ ＹＭ Ｐ ＴｏＴＥＳ ＦｏＲ
ＵＮＣｏＮＳ ＴＲＡＩ ＮＥＤ ｏＰＴＩ ＭＩ ＺＡＴＩ ｏＮ
ＷＡＮＧ Ａｉ — ｘ ｉ ａ ｎ ｇ
（ Ｃ ｈ ａ ｎ ｇ ｚ ｈ ｏ ｕ Ｏ ｐ ｅ ｎ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ ， ｃ ｈ ａ ｎ ｇ ０ ｕ ， Ｊ ｉ ａ ｎ ｇ ｓ ｕ ２ １ ３ ０ ０ １ ， Ｃ ｈ ｉ ｎ ａ ）
Ｋｅ ｙ ｗｏ ｒ ｄ ｓ ： ｍｅ ｈｏ ｔ ｄ ｏ ｆ ｍｏ ｖ ｉ ｎ ｇ ａ ｓ ｍ ｐ ｙ ｔ ｏ ｔ ｅ ｓ ； ｔ ｒ ｕ ｓ ｔ ｒ ｅ ｇ ｉ ｏ ｎ ； ｉｌ ｆ ｔ ｅ ｒ ； ｕ ｎ ｃ ｏ ｎ ｓ ｒ ｔ ａ ｉ ｎ ｅ ｄ ｏ ｐ ｔ ｍ ｉ ｉ ｚ ａ ｔ ｉ ｏ ｎ
第３ ４卷第 ６期 ２ ０ １ ３年 ｌ １ 月
Ｖ ｏ １ ． ３ ４ Ｎｏ ． ６ Ｎｏ ｖ ． ２ ０ １ ３
井冈山大学学报（ 自 然科学版）
Ｊ ｏ ｕ ｒ ｎ ａ ｌ ｏ ｆ Ｊ ｉ ｎ ｇ ｇ ａ ｎ ｇ ｓ ｈ ａ ｎ Ｕｎ ｉ ｖ ｅ ｍｉ ｔ ｙ （ Ｎａ ｔ ｕ ｒ ａ ｌ Ｓ ｃ ｉ ｅ ｎ ｃ ｅ ） １ ６
井 冈山大学学报（ 自然科学版）
１ ７
（ ） ＝
ｃ ＆ 一 ８ ｉ＋ 者一 詈
（ ＋ 一 其
很大的发展。Ｚ ｉ ｌ ｌ ｏ ｂ ｅ ｒ构造并证明了非线性约束条
件下的移动渐近线的全局收敛算法 。 】 。 倪勤利用信 赖域方法，证明了简单界约束下的移动渐近线的全 局收敛性质【 ４ 】 。 王海军分别提出了无约束优化问题， 线性 等式约束优化 问题和线性不等式约束优化 问 题的移动渐近线算法【 ５ 】 。
文章编号：１ ６ ７ ４ — ８ ０ ８ ５ （ ２ ０ １ ３ ） ０ ６ — ０ ０ １ ６ — ０ ５
改进 的移 动渐近线算法 求解 无约 束优化 问题
王爱祥
（ 常 州开放 大 学，江 苏 ，常州 ２ １ ３ ０ ０ １ ）
摘
要：对 于求解无约束优化 问题 ，提 出一个改进 的移动渐近线方法 。基于信赖域方法和滤子技巧，该方法 的全
（ １ ・ １ ）
约束优化 问题
ｍ ｉ ｎ ｆ （ ｘ ）
多 的改进 ，参考 文［ ９ ． １ ｌ 】 。
其 中 厂是 尺 上二 次连续 可微 函数 。
自从 移 动 渐 近 线 方 法 （ ｍｅ ｈｏ ｔ ｄ ｏ ｆ ｍｏ ｖ ｉ ｎ ｇ
２ 移 动渐 近线 算法的子 问题
然 而 ，利用 信赖 域方 法 构造全 局 收敛 的移动 渐
Hale Waihona Puke １ 引言 我 们 考 虑 利 用 移 动 渐 近 线 模 型求 解 如 下 的 无
近 线算 法并 没有 彻底研 究 。算法 过程 中 ，在 接 受试 验 点 时 ，严格 要求 目标 值下 降 。因此 ，本文 利用 滤 子 技 巧 ，改进 了移 动渐 近线 算法 。滤 子技 巧首先 被 Ｆ ｌ ｅ ｔ ｃ ｈ ｅ ｒ 和文 Ｌ ｅ ｙ ｆ ｅ ｒ 在文 ［ ８ ］ 中提 出， 之 后也 有 了很
Ａｂ ｓ ｔ ｒ ａ ｃ ｔ ： Ａｎ ｉ ｍｐ ｒ ｏ ｖ ｅ ｄ ｍｅ ｔ ｈ ｏ ｄ ｏ ｆ ｍｏ ｖ ｉ ｎ ｇ ａ ｓ ｙ ｍｐ ｔ ｏ ｔ ｅ ｓ ｆ ｏ ｒ ｓ ｏ ｌ ｖ ｉ ｎ ｇ ｕ ｎ ｃ ｏ ｎ ｓ ｒａ ｔ ｉ ｎ ｅ ｄ ｎ ｏ ｎ ｌ ｉ ｎ ｅ ａ ｒ ｏ ｐ ｔ ｉ ｍｉ ｚ ａ ｔ ｉ ｏ ｎ ｐ ｒ ｏ ｂ ｌ ｅ ｍｓ ｉ ｓ ｉ ｎ ｔ ｒ ｏ ｄ ｕ ｃ ｅ ｄ ． Ｂａ ｓ ｅ ｄ ｏ ｎ ｔ ｈ ｅ ｔ ｒ ｕ ｓ ｔ ｒ ｅ ｇ ｉ ｏ ｎ ｍｅ ｈｏ ｔ ｄ ａ ｎ ｄ ｉ ｆ ｌ ｔ ｅ ｒ ｔ ｅ ｃ ｈ ｎ ｉ ｑ ｕ ｅ ， ｈｅ ｔ ｍｅ ｈｏ ｔ ｄ ｏ ｆ ｍｏ ｖ ｉ ｎ ｇ ａ ｓ ｍ ｐ ｙ ｔ ｏ ｔ ｅ ｓ ｉ ｓ ｓ ｈ ｏ ｗｎ ｔ ｏ ｂ ｅ ｇ ｌ ｏ ｂ ａ ｌ ｌ ｙ ｃ ｏ ｎ ｖ ｅ ｒ ｇ ｅ ｎ ｔ ． Ｎｕ ｍｅ ｉｃ ｒ ａ ｌ ｒ ｅ ｓ ｕ ｌ ｔ ｓ ａ ｒ ｅ ａ ｌ ｓ ｏ ｓ ｈ ｏ ｎ ｗ ｈａ ｔ ｔ ｈｅ ｔ ａ ｌ ｇ ｏ ｉｔ ｒ ｈ ｍ ｉ ｓ ｅ ｆｅ ｃ ｔ ｉ ｖ ｅ ．
Ａｆ ， ｉ＝ ｌ ， ２， …，
其 中△ ， △ ， …， Ａ 是信赖域半径，
收 稿 日期 ：２ ０ １ ３ ＂ － ０ ３ 一 ｌ １ ；修 改 日期 ：２ ０ １ ３ — ０ ７ — １ ２ 作 者简 介 ：王 爱祥（ １ ９ ８ ４ 一 ） ，江 苏兴 化人 ，助 教 ，硕士 ，主 要从 事计 算数 学研 究（ Ｅ — ｍ ａ ｉ ｌ ： ｗ ａ ｘ ８ ４ ＠１ ６ ３ ． ｃ ｏ ｍ） ．
在 每步 迭代 中，我们 考虑 子 问题 （ ） ＝ ） ＋
．
ａ ｓ ｍ ｐ ｙ ｔ ｏ ｔ ｅ ｓ ）首先 被 Ｓ ｖ ａ ｎ ｂ ｅ ｒ ｇ在文 ［ １ 】 中提 出之后 ， 这 种方 法就 引起 了很 多学 者 的研究 兴趣 ，也 得到 了 （ ） （ ２ ・ ）
局收敛性得到证明。数值 结果也说明了算 法的有效 性。 关键 词：移动渐近 线； 信 赖域；滤子；无约束优化
中图分类号：０ ２ ４ ２ ． ２ 文献标识码：Ａ ＤＯＩ ： １ ０ ． ３ ９ ６ ９ ／ ｊ ． ｉ ｓ ｓ ｎ ． １ ６ ７ ４ — ８ ０ ８ ５ ． ２ ０ １ ３ ． ０ ５ ． ０ ０ ４