优选直接搜索数值解法

2 进退法
进退法的程序框图
3 黄金分割法
3.1 黄金分割法的特点和步骤
黄金分割法的基本思路：通过不断缩小单峰区间 的长度来搜索目标函数的极小点，且是按可行 域全长的黄金点——0.618选取两个新点，更 新区间，这种寻优方法比任意取两点的消去法 效果更好，寻优区间缩短的速度更快。
3 黄金分割法
3 黄金分割法
8 单纯形算法
单纯形算法的基本过程：
（1）构造单纯形、计算函数值 首先，以初始点X0为一点，沿某一方向按一定初
始步长h取另外两个点，构造一个三角形，即二 维单纯形HGL。然后，计算各顶点的函数值。
7 步长加速法
可是，脊线方向却是到达最优点的有利方向。因 此，遵循脊线方向爬山的方法正是步长加速法 的基本思想。
下面以二维为例，具体介绍这一方法的计算过程。
7 步长加速法
计算过程：
7 步长加速法
7 步长加速法
步长加速法编程容易、又可靠，但需要做大量的 函数值的计算。主要缺点是：这种方法不能根 据实际情况改变搜索方向，因而，收敛速度慢
xa=0,xb=1,xc=2 则有：f(xa)=7,f(xb)=13, f(xc)=35 按极小点公式有：
验证：由df(x)/dx=0 有 16x-2=0, x*=0.125
4 二次插值法
4 二次插值法
例：求minf(x)=ex-5x 解：1)先按从求函数导数获得极值的方法有：
可得：
λ*=0.609
2)再按二次插值法求解 取 λa=0, λb=1, λc=2
则有：f(0)=e-5=-2.282,f(1)=e2-10=-2.611,
f(2)=5.086由此可计算出λ0=0.531
而原函数的λ*=0.609，现用二次插值法一步迭 代的结果为0.531，精度不高，还有11％的误 差，故还应继续进行迭代
6 坐标轮换法
迭代公式：Xk+α*S=Xk+1 式中 S——搜索方向的单位向量；
α——步长，是个标量
一维问题的方法可以拓展到多维问题： 多维问题的计算程序：
（1）给出初始点 X0 [ x10 , x20 , , xn0 ]T及精度ε
6 坐标轮换法
7 步长加速法
坐标轮换法寻优时，当目标函数出现了“脊线”， 本来沿脊线方向一步或较少步数可达最优，但 因坐标轮换法总是沿平行于坐标轴方向搜索， 不能沿脊线前进方向搜索，所以会浪费很多时 间。并且，若从X0前进一步，恰好搜索到脊线 上的X点，便会无法继续向前搜索，因而不能 或很难找到最优点。
公式：
5 有理插值法
（5）若 x x0 1,则停机，x* x0
6 坐标轮换法
坐标轮换法是一种最古老的多维搜索转一维搜索 的算法。它的迭代过程是沿不同的坐标方向轮 流地进行搜索。设初始点为X0,先只改变一个 变量，保持其它变量为常数，进行一维寻优， 得到第一个最优点X1；再换一个变量，同样进 行一维搜索，得到第二个最优点X2。如此继续 下去，逐步逼近。像“爬山”一样，一步一步 地爬上顶峰。
优选直接搜索数值解法
1 绪论
无约束最优化问题的经典解法中，都必须求其函 数的导数。但是很多实际问题往往难以求出目 标函数f(X)关于X的偏导数。这时就放弃求偏 导的方法，而直接从分析目标函数f(X)的特征、 信息出发，构造一种逐次使目标函数值下降 （或上升）的搜索方法。
1 绪论
搜索方法是迭代算法中的一种。它由搜索方向 S(k)和步长因子αk构成每一次迭代的修正量， 为决定其算法的好坏的重要因素。各种算法的 区别在于确定S(k)与αk的不同，尤其是搜索方 向。
5 有理插值法
在某些情况下，当目标函数连续可导、存在极值 点时，用0.618法迭代计算量大，而用二次、 三次多项式去插值也不太合适，这时可采用有 理插值法。
所谓有理插值法，就是用一个有理函数（有限连 分数形式）去拟和原目标函数，从而找出函数 的驻点、导数的近似值的一种最优化的计算方 法。
5 有理插值法
8 单纯形算法
单纯形算法作为直接搜索的数值解法之一，是利 用单纯形的顶点，计算其函数值，按一定的规 则进行探测性搜索。通过对搜索区内单纯形顶 点的函数值进行直接比较，可以判断目标函数 的变化趋势，确定有利的搜索方向和步长。
此方法的核心是在选择新的较好的单纯形顶点的 过程中，包含有反射、扩展、压缩三种类型的 过程。
有限连分数的基本概念： 设a0为实数，a1,a2,…,an均为大于、等于1的实
数，把分数：
成为有限连分数。由于这种写法很占篇幅，故常 用符号：
表示。
5 有理插值法
例如：
5 有理插值法
（1）计算有理插值函数的公式
5 有理插值法
则有：
由这个迭代形式，要把xi与ai计算出来
5 有理插值法
（2）计算驻点f’(x)=0的公式
黄金分割法有如下特点： （1）每次选取的λ1、λ2两点为对称点； （2）舍去两端任一段后，保留下来的λ在新区
间仍占有着相应的位置； （3）舍去两端任一段，新区间的长度为原区间
长度的0.618倍。 （4）迭代n次以后，区间长度成为0.618nL.
3 黄金分割法
4 二次插值法
4 二次插值法
例：求f(x)=8x2-2x+7的极小点 解：在寻优区间[0,2]中间取点1，即取
2 进退法
进退法可用来搜索最优点和搜索最优区间。 搜索最优点的具体过程：从某点x0出发，步长取为h,
比较两点函数值。 （1）若f(x0)>f(x0+h)，则搜索成功；于是，下一步取
步长为2h;若第k步的步长为nh,并搜索成功，那么， 第K＋1步的步长就是2nh。 （2）若f(x0)≤f(x0+h)，则搜索失败；于是，退回到 x0之后，再后退并按(nh)/4或(nh)/3步长搜索，直到 步长小于ε，停止搜索。
1 绪论ห้องสมุดไป่ตู้
搜索方法主要分成两类： （1）直接搜索法——只需要进行函数值的计算
与比较来确定最优化的方向和步长。 （2）间接搜索法——需要利用函数的一阶、二
阶导数及偏导数矩阵来确定最优方向和最优步 长。
2 进退法
进退法的基本思想是，每次搜索都要改变搜索的 步长。对于求极小值问题，如果在第K次迭代 沿某方向搜索成功，则函数值一定下降，下一 步仍可按该方向搜索，而且可大步向前搜索； 如果在第K次迭代沿某方向搜索失败，则函数 值上升，应退回原地，下一步便按其相反方向， 即向后退小步搜索。