五种最优化方法

五种最优化方法

1.最优化方法概述

1.1最优化问题的分类

1）无约束和有约束条件；

2）确定性和随机性最优问题（变量是否确定）；

3）线性优化与非线性优化（目标函数和约束条件是否线性）；

4）静态规划和动态规划（解是否随时间变化）。

1.2最优化问题的一般形式（有约束条件）：

式中f(X)称为目标函数(或求它的极小，或求它的极大)，si(X)称为不等式约束，hj(X)称为等式约束。化过程就是优选X，使目标函数达到最优值。

2.牛顿法

2.1简介

1）解决的是无约束非线性规划问题；

2）是求解函数极值的一种方法；

3）是一种函数逼近法。

2.2原理和步骤

3.最速下降法（梯度法）

3.1最速下降法简介

1）解决的是无约束非线性规划问题；

2）是求解函数极值的一种方法；

3）沿函数在该点处目标函数下降最快的方向作为搜索方向；

3.2最速下降法算法原理和步骤

4.模式搜索法(步长加速法)

4.1简介

1）解决的是无约束非线性规划问题；

2）不需要求目标函数的导数，所以在解决不可导的函数或者求导异常麻烦的函数的优化问题时非常有效。

3）模式搜索法每一次迭代都是交替进行轴向移动和模式移动。轴向移动的目的是探测有利的下降方向，而模式移动的目的则是沿着有利方向加速移动。

4.2模式搜索法步骤

5.评价函数法

5.1简介

评价函数法是求解多目标优化问题中的一种主要方法。在许多实际问题中，衡量一个方案的好坏标准往往不止一个，多目标最优化的数学描述如下：

min(f_1(x),f_2(x),...,f_k(x))

s.t.g(x)<=0

传统的多目标优化方法本质是将多目标优化中的各分目标函数，经处理或数学变换，转变成一个单目标函数，然后采用单目标优化技术求解。常用的方法有“线性加权和法”、“极大极小法”、“理想点法”。选取其中一种线性加权求合法介绍。

5.2线性加权求合法

6.遗传算法

智能优化方法是通过计算机学习和存贮大量的输入-输出模式映射关系，进而达到优化的一种方法，主要有人工神经网络法，遗传算法和模拟退火法等。

6.1遗传算法基本概念

1.个体与种群

个体就是模拟生物个体而对问题中的对象（一般就是问题的解）的一种称呼。

种群就是模拟生物种群而由若干个体组成的群体,它一般是整个搜索空间的一个很小的子集。

2.适应度与适应度函数

适应度就是借鉴生物个体对环境的适应程度,而对问题中的个体对象所设计的表征其优劣的一种测度。

适应度函数就是问题中的全体个体与其适应度之间的一个对应关系。该函数就是遗传算法中指导搜索的评价函数。

6.2遗传算法基本流程

的就是对一定数量个体组成的生物种群进行选择、交叉、变异等遗传操作,最终求得最优解或近似最优解。

遗传算法步骤

步1在搜索空间U上定义一个适应度函数f(x)，给定种群规模N，交叉率Pc和变异率Pm，代数T；

步2随机产生U中的N个个体s1,s2,…,sN，组成初始种群S={s1,s2,…,sN}，置代数计数器t=1；

步3计算S中每个个体的适应度f()；

步4若终止条件满足，则取S中适应度最大的个体作为所求结果，算法结束。

步5负责继续进行选择、交叉、变异等遗传操作，重复以上步骤，直到达到最优结果。