机械优化设计方法总结

优化算法的总结

一、总结优化设计算法（一维，多维无约束，多维有约束）的特点、使用条件及选择方法的原则。

1.1 一维搜索方法

1.1.1 黄金分割法

特点：简单，有效，成熟的一维直接搜索方法，应用广泛。可以把区间缩小的任意长度。

使用条件：适用于[a,b]区间上

使用原则：黄金分割点的内分点选取必须遵循每次区间缩短都取相等区间缩短率的原则。

1.2.2二次插值法

特点：收敛速度较黄金分割法快，可靠性不如黄金分割法，初始点的选择影响收敛效果。不可能一次就达到函数的最优解，必须重复多次，向最优值逐渐逼近。

原则：首先要选择一个初始步长，用外推法确定极值点存在的区间，然后用二次差值法求极值点的近似值。

1.2无约束多维优化方法

1.2.1 最速下降法

特点：1）最速下降法是求解无约束多元函数极值问题的古老算法之一；2）最速下降法理论明确，方法简单，概念清楚，每迭代一次除需进行一维搜索外，只需计算函数的一阶偏导数，计算量小；3）

对初始点的要求较低，初始迭代效果较好，前后两步迭代的搜索方向相互正交，在极值点附近收敛很慢。

选用原则及条件：一般与其他算法配合，在迭代开始时使用。1.2.2共轭梯度法

特点：1）仅需计算函数的一阶偏导数，编程容易，准备工作量比牛顿法小，收敛速度远超过梯度法，但有效性比DFP(变尺度)法差；2）使用一阶倒数的算法，所用公式结构简单，并且所需的储存量少。3）收敛速度很快，有超线性的手链速度。

使用条件：适用于维数较高(50维以上)、一阶偏导数易求的优化问题。

使用原则：共轭梯度法在第一个搜索方向取负梯度方向，而其余各步的搜索方向将负梯度偏转一个角度，即对负梯度进行修正，实质上是对最速下降法的改进。在n次迭代后如果没有达到收敛精度，则通常以重置负梯度方向开始，直到满足精度为止。

1.2.3 牛顿法

特点：牛顿法对初始点要求不严格，具有二次收敛性，最优点附近的收敛速度极快，对于正定二次函数的寻优，迭代一次即可达到极小点；当初始点选的合适的时候，是目前算法中收敛的最快的一种（尤其对二次函数）。

使用条件：缺点是要求目标函数必须有一阶、二阶偏导数及海森矩阵非奇异且正定或负定，需要计算一阶、二阶偏导数及海森矩阵的逆阵，程序复杂、计算量大。

使用条件：该方法适用于目标函数具有一阶、二阶偏导数，海森矩阵非奇异，维数不太高的场合。

1.2.4 坐标轮换法

特点：坐标轮换法是最简单的直接优化方法之一，方法易懂，程序简单，无需求导，计算费用低。但可靠性差、效率低，当目标函数等值线具有脊线形态时可能失败。该方法适用于目标函数导数不存在或不易求得、维数较低(一般，l≤5)的情况。从坐标轮换法的迭代过程可以看出其探索路线较长，而且显然是问题的维数愈多求最优解得效率愈低。

使用条件：对设计变量少的最优化问题有效，对设计变量较多的问题则不太适用。

1.2.5 变尺度法

特点：DFP综合了梯度法和牛顿法的优点，对初始点要求不高，不必计算二阶偏导数矩阵及其逆阵，收敛速度快、效果好；缺点是需计算一阶偏导数，且由于舍入误差和一维搜索的不精确等原因，数值稳定性仍不够理想，有时因计算误差引起变尺度矩阵奇异而导致计算失败。

使用条件：Broyden、Fletcher、Gold—tein、Shanno等于1970年提出了更具数值稳定性的BFGS变尺度法，适用于求解维数较高(10具有一阶偏导数的无约束优化问题，被认为是目前最成功的变尺度法。

1.2.6鲍威尔法

特点：该方法直接利用函数值逐次构造共轭方向，并在改进的算法中增加了判断原方向组是否需要替换和哪个方向需要替换，保证了共轭方向的生成，具有二次收敛性，收敛速度快，可靠性好，但编程较复杂。是直接搜索法中最为有效的算法之一。

使用条件：适用于维数较高的优化问题。

1.3 多维有约束优化方法

1.3.1随机方向搜索法

特点：简单、方便，对目标函数性态无特殊要求，收敛较快，但计算精度不高，对严重非线性问题一般只能提供较近似的最优解。

使用原则：适用于中小型无约束或有约束优化问题。

1.3.2 复合型法

特点：具有单纯型法的特点，适合于求解n<20的规划问题，但不能求解有等式约束的问题。对目标函数和约束函数无特殊要求，不必计算目标函数的梯度和二阶导数矩阵，方法简单、实用可靠、应用较广，有一定的收敛精度，但收敛速度一般。

使用条件：不适于变量较多(n>15)和有等式约束的优化，是求解非线性优化的有效方法之一，在优化设计中得到广泛应用。

1.3.3 可行方向法

特点：1）可行方向法是用梯度去求解约束优化设计问题的一种有代表性的直接搜索方法。2）收敛速度快，效果较好，但程序比较复杂。

使用条件：适用于大中型约束优化设计问题的求解。

1.3.4 惩罚函数法

特点：1）将有约束问题转化为无约束问题，对大中型问题的求解均较适合，计算效果较好；2）基本构思简单，课求解等式约束，不等式约束以及两种约束兼有的优化问题。3）罚函数法又可分为内点法、外点法和混合法。内点法能给出一系列逐步改进的可行设计方案，但其初始点为严格的可行内点，初始惩罚因子、递减系数往往需试算才能确定，对收敛速度和迭代成败影响较大。外点法克服了内点法的一些缺点，且其初始点可任选。混合法在一定程度上综合了内点法和外点法的优点，其初始点可任选，可处理多个变量和多个函数，能解决具有等式和不等式约束的优化问题。

使用条件：适用于中、小型非线性的约束优化。

使用原则：应用罚函数法时，首先应取适当小的初始惩罚因子，再根据运算结果进行调整，此外，其递增系数也不宜选得过大。