五种最优化方法

五种最优化方法
1.最优化方法概述
1.1最优化问题的分类
1）无约束和有约束条件；
2）确定性和随机性最优问题（变量是否确定）；
3）线性优化与非线性优化（目标函数和约束条件是否线性）；
4）静态规划和动态规划（解是否随时间变化）。

1.2最优化问题的一般形式（有约束条件）：
min f（X）
XeΩ
h√X）= OJ = U1 L
s.t
S i（X）≥ OJ = l9‰u,m
式中f（X）称为目标函数（或求它的极小，或求它的极大），Si（X）称为不等式约束，hj（X）称为等式约束。

化过程就是优选X ,使目标函数达到最优值。

2.牛顿法
2.1简介
1）解决的是无约束非线性规划问题；
2）是求解函数极值的一种方法；
3）是一种函数逼近法。

2.2原理和步骤
■1：顿法的直本思想显*在扱小点附近用-阶T吓1小多顶式近似［3标函数［'、宀进而求出极小点的估计值，
老億问题
min FWHElRl < 9i 3. 1 }
令
祕Jr） = /（√i,） +/（J iit Xx-J ut） +y∕（j't,K4T-J01 }' .
耳令
√（+f > - ∕t d时）+ j f*<J tn X J-- FN、= O
得到啊2的肛.E L记作工"小侧
在点√*j WiE./ P*r h因此可用函数刊幻的极小点作为目标函数丿（』）的极小点的估计•如里「J⅛ /-r）的极小点的个估计，那么利⅛9,312）⅛可且得到极小点.的•个进吵的估讣.这样*利用迭代公式（乩3・2）可以得到个洋列U 可以证明"⅛定条件F・这个序列收敛于冋题（9飞”门的⅛⅛优解，而且是2级收敛
3.最速下降法（梯度法）
3.1最速下降法简介
1）解决的是无约束非线性规划问题；
2）是求解函数极值的一种方法：
3）沿函数在该点处目标函数下降最快的方向作为搜索方向;
3.2最速下降法算法原理和步骤
≡F 降法的迭代公式是 九是从严出发沿方向
屮进彳f 一维搜索的步长，即Ju 满足
f{x kk, + A⅝J l *') = mnf(x Ik) +M") a
计算步骤如下; ∏) ⅛⅛⅜1⅛ jr ^∈^，允许误差 e>0τKI = L （2）计算搜索方向d 出—V/（X It ））.
⑶若L F I! ≤,则停止计算;否则,从厂出发,沿进行一维搜索,求秸,使
f(x J ÷λ⅛rf k )= Ininy(X^ +λtf J
、、
(4)令严山=χ,i, Mal t ≡⅛^A + l ,转步骤(2).
4•模式搜索法（步长加速法）
4.1简介
1） 解决的是无约束非线性规划问题； 2） 不需要求目标函数的导数，所以在解决不可导的函数或者求导异常麻烦的函 数的优化问题时非常有效。

3） 模式搜索法每一次迭代都是交替进行轴向移动和模式移动。

轴向移动的目的 是探测有利的
下降方向，而 模式移动的目的则是沿着有利方向加速移动。

4.2模式搜索法步骤 (10. L 10) 其中旷是从屮咄发的搜索方向,
处的量速下睫方I 治 E∣J
(IOaJl)
这里取在点
S模式搜索法
(A)轴向移动用y表示
•每次轴侖移动的开⅛⅛点称为参耆点
♦心•…给定的初始魚.—初抬秦考点X^= >
A Vb广…第盘+1次轴向移动揩束时所得到的点,丈=IZ…
• ⅛ ∕<^∙ι> < f(Xi^闻从点Jt屮出发作按式瘪动一轴侖#多动匱功模式移动
■否碰*判断界否有骯V £( £夬给定的允许慢总)？若有・选代终止；轴向移动失叱找到近似漲优解
I若无，且斗利=岭*则嵋短步i⅛.仍从点打岀发进行下•次轴向移弧
■若无大耐从点岭岀发用步长击进行下枚轴闵移动
5.评价函数法
5.1简介
评价函数法是求解多目标优化问题中的一种主要方法。

在许多实际问题中，
衡量一个方案的好坏标准往往不止一个，多目标最优化的数学描述如下：
min (f_1(x),f_2(x),...,f_k(x)) s.t. g(x)<=0
传统的多目标优化方法本质是将多目标优化中的各分目标函数, 经处理或数
学变换，转变成一个单目标函数，然后采用单目标优化技术求解。

常用的方法有
“线性加权和法”、“极大极小法”、“理想点法”。

选取其中一种线性加权求合法介绍。

5.2线性加权求合法
6.遗传算法
智能优化方法是通过计算机学习和存贮大量的输入-输出模式映射关系，进
而达到优化的一种方法，主要有人工神经网络法，遗传算法和模拟退火法等。

6.1遗传算法基本概念
1.个体与种群
个体就是模拟生物个体而对问题中的对象 (一般就是问题的解)的一种称呼' 种群就是模拟生物种群而由若干个体组成的群体，它一般是整个搜索空间的一个很小的子集。

2.适应度与适应度函数
适应度就是借鉴生物个体对环境的适应程度，而对问题中的个体对象所设计的表征其优劣的一种测度。

适应度函数就是问题中的全体个体与其适应度之间的一个对应关系。

该函数就是遗传算法中指导搜索的评价函数
6.2 遗传算法基本流程
计算适应度
遗传算法的中心思想就是对一定数量个体组成的生物种群进行选择、交叉、
变异等遗传操作，最终求得最优解或近似最优解。

遗传算法步骤
步1在搜索空间U上定义一个适应度函数f(x)，给定种群规模N,交叉率PC 和变异率Pm代数T；
步2随机产生U中的N个个体s1, s2, , , SN组成初始种群S={s1, s2,,, sN},置代数计数器t=1 ；
步3计算S中每个个体的适应度f()；
步4若终止条件满足，则取S中适应度最大的个体作为所求结果，算法结束。

步5负责继续进行选择、交叉、变异等遗传操作，重复以上步骤，直到达到最优结果。