五种最优化方法

五种最优化方法

1.最优化方法概述

1.1最优化问题的分类

1）无约束和有约束条件；

2）确定性和随机性最优问题（变量是否确定）；

3）线性优化与非线性优化（目标函数和约束条件是否线性）；

4）静态规划和动态规划（解是否随时间变化）。

1.2最优化问题的一般形式（有约束条件）：

min f（X）

XeΩ

h√X）= OJ = U1 L

s.t

S i（X）≥ OJ = l9‰u,m

式中f（X）称为目标函数（或求它的极小，或求它的极大），Si（X）称为不等式约束，hj（X）称为等式约束。化过程就是优选X ,使目标函数达到最优值。

2.牛顿法

2.1简介

1）解决的是无约束非线性规划问题；

2）是求解函数极值的一种方法；

3）是一种函数逼近法。

2.2原理和步骤

■1：顿法的直本思想显*在扱小点附近用-阶T吓1小多顶式近似［3标函数［'、宀进而求出极小点的估计值，

老億问题

min FWHElRl < 9i 3. 1 }

令

祕Jr） = /（√i,） +/（J iit Xx-J ut） +y∕（j't,K4T-J01 }' .

耳令

√（+f > - ∕t d时）+ j f*

得到啊2的肛.E L记作工"小侧

在点√*j WiE./ P*r h因此可用函数刊幻的极小点作为目标函数丿（』）的极小点的估计•如里「J⅛ /-r）的极小点的个估计，那么利⅛9,312）⅛可且得到极小点.的•个进吵的估讣.这样*利用迭代公式（乩3・2）可以得到个洋列U 可以证明"⅛定条件F・这个序列收敛于冋题（9飞”门的⅛⅛优解，而且是2级收敛

3.最速下降法（梯度法）

3.1最速下降法简介

1）解决的是无约束非线性规划问题；

2）是求解函数极值的一种方法：

3）沿函数在该点处目标函数下降最快的方向作为搜索方向;

3.2最速下降法算法原理和步骤

≡F 降法的迭代公式是 九是从严出发沿方向

屮进彳f 一维搜索的步长，即Ju 满足

f{x kk, + A⅝J l *') = mnf(x Ik) +M") a

计算步骤如下; ∏) ⅛⅛⅜1⅛ jr ^∈^，允许误差 e>0τKI = L （2）计算搜索方向d 出—V/（X It ））.

⑶若L F I! ≤,则停止计算;否则,从厂出发,沿进行一维搜索,求秸,使

f(x J ÷λ⅛rf k )= Ininy(X^ +λtf J

、、

(4)令严山=χ,i, Mal t ≡⅛^A + l ,转步骤(2).

4•模式搜索法（步长加速法）

4.1简介

1） 解决的是无约束非线性规划问题； 2） 不需要求目标函数的导数，所以在解决不可导的函数或者求导异常麻烦的函 数的优化问题时非常有效。

3） 模式搜索法每一次迭代都是交替进行轴向移动和模式移动。

轴向移动的目的 是探测有利的

下降方向，而 模式移动的目的则是沿着有利方向加速移动。

4.2模式搜索法步骤 (10. L 10) 其中旷是从屮咄发的搜索方向,

处的量速下睫方I 治 E∣J

(IOaJl)

这里取在点

S模式搜索法

(A)轴向移动用y表示

•每次轴侖移动的开⅛⅛点称为参耆点

♦心•…给定的初始魚.—初抬秦考点X^= >

A Vb广…第盘+1次轴向移动揩束时所得到的点,丈=IZ…

• ⅛ ∕<^∙ι> < f(Xi^闻从点Jt屮出发作按式瘪动一轴侖#多动匱功模式移动

■否碰*判断界否有骯V £( £夬给定的允许慢总)？若有・选代终止；轴向移动失叱找到近似漲优解

I若无，且斗利=岭*则嵋短步i⅛.仍从点打岀发进行下•次轴向移弧

■若无大耐从点岭岀发用步长击进行下枚轴闵移动

5.评价函数法

5.1简介

评价函数法是求解多目标优化问题中的一种主要方法。在许多实际问题中，

衡量一个方案的好坏标准往往不止一个，多目标最优化的数学描述如下：

min (f_1(x),f_2(x),...,f_k(x)) s.t. g(x)<=0

传统的多目标优化方法本质是将多目标优化中的各分目标函数, 经处理或数

学变换，转变成一个单目标函数，然后采用单目标优化技术求解。常用的方法有

“线性加权和法”、“极大极小法”、“理想点法”。选取其中一种线性加权求合法介绍。

5.2线性加权求合法

6.遗传算法

智能优化方法是通过计算机学习和存贮大量的输入-输出模式映射关系，进

而达到优化的一种方法，主要有人工神经网络法，遗传算法和模拟退火法等。

6.1遗传算法基本概念

1.个体与种群

个体就是模拟生物个体而对问题中的对象 (一般就是问题的解)的一种称呼' 种群就是模拟生物种群而由若干个体组成的群体，它一般是整个搜索空间的一个很小的子集。

2.适应度与适应度函数

适应度就是借鉴生物个体对环境的适应程度，而对问题中的个体对象所设计的表征其优劣的一种测度。

适应度函数就是问题中的全体个体与其适应度之间的一个对应关系。该函数就是遗传算法中指导搜索的评价函数

6.2 遗传算法基本流程

计算适应度

遗传算法的中心思想就是对一定数量个体组成的生物种群进行选择、交叉、

变异等遗传操作，最终求得最优解或近似最优解。

遗传算法步骤

步1在搜索空间U上定义一个适应度函数f(x)，给定种群规模N,交叉率PC 和变异率Pm代数T；

步2随机产生U中的N个个体s1, s2, , , SN组成初始种群S={s1, s2,,, sN},置代数计数器t=1 ；

步3计算S中每个个体的适应度f()；

步4若终止条件满足，则取S中适应度最大的个体作为所求结果，算法结束。

步5负责继续进行选择、交叉、变异等遗传操作，重复以上步骤，直到达到最优结果