运筹学一维搜索
第三章 一维搜索法
0
x1 x2
x3
3-1 确定初始区间的进退法
探测初始空间的进退法步骤: 探测初始空间的进退法步骤 (1)给定初始点 x0 ,初始步长 h ,令 x1 = x0 ,记: f1 = f ( x1 ) 给定初始点 初始步长 令 记 (2)产生新的探测点 x2 = x1 + h ，记 f 2 = f ( x2 ) 产生新的探测点 (3)比较函数值 f1 和 f 2 的大小 确定向前或向后探测的策略 比较函数值 的大小,确定向前或向后探测的策略 则加大步长,令 若: f1 > f 2 则加大步长 令 h = 2h ,转(4)向前探测 转 向前探测 (4)产生新的探测点 x3 = x0 + h ,令 f 3 = f ( x3 ) 产生新的探测点 令 (5)比较函数值 f 2 和 f 3 的大小 比较函数值 则调转方向,令 若: f1 < f 2 则调转方向 令 h = − h ,转(4)向后探测 转 向后探测
3-1 确定初始区间的进退法
f (x ) f ( x1 )
f ( x2 )
f ( x1 ) > f ( x2 ) > f ( x3 )
极小点在右端点的
f (x3 ) (x
x
x3 右侧
0
x1
x2 x3
3-1 确定初始区间的进退法
f (x ) f ( x1 ) f ( x2 )
f ( x3 )
f ( x1 ) < f ( x2 ) < f ( x3 )
h=-h；x2=x0+h；f2=f(x2)； ； ； ； End
3-2 黄金分割法
一维搜索试探方法的基本思想： 一维搜索试探方法的基本思想：在确定了搜索区间的 前提下，不断缩小搜索区间， 前提下，不断缩小搜索区间，同时保持搜索区间内函数值 “大-小-大”的走势，直到区间的宽度小于预定的精度。 小 大 的走势，直到区间的宽度小于预定的精度。 黄金分割法基本思想： 黄金分割法基本思想 ： 在搜索区间内插入两个黄金分 割点，将区间分成三段。利用函数的单谷性质，通过函数值 割点，将区间分成三段。利用函数的单谷性质， 大小的比较，删去其中一段。 大小的比较，删去其中一段。在保留下来的区间上作同样的 处置，如此往复送代，使搜索区间缩小到精度范围内， 处置，如此往复送代，使搜索区间缩小到精度范围内，得到 极小点的近似解。 极小点的近似解。
第三章 一维搜索方法
直 接 法
假定在搜索区间[a, b]内任取两点a1和b1，且a1 b1， 并计算f (a1 )和f (b1 )，可能出现三种情况：
1. f (a1 ) f (b1 )，由于函数的单峰性， 极小点一定在[a, b1 ]内； 2. f (a1 ) f (b1 )，极小点一定在[a1 , b]内； 3. f (a1 ) f (b1 )，极小点一定在[a1 , b1 ]内。
第二节 搜索区间的确定与区间消去法原理
确定搜索区间的外推法的程序流程图：
3 1.用进退法确定函数 f ( x) 3x 3 8 x 9的一维优化初始区间 , 给定 初始点x1 0, 初始进退距h0 0.1.
解：
k
1 2 3 4
h
0.1 0.2 0.4 0.8
x1
0 0.1 0.2 0.4
确定搜索区间的外推法的基本步骤：
3.若y1 y2，则试探方法错误，需要反向，即令h0 h0， 并且将1和 2交换，同时交换y1和y2，在程序中，如果用 替换，则另一个函数值就没有了，所以加入 3和y3做中间 变量，即： 3 1 , y3 y1；1 2 , y1 y2； 2 3 , y2 y3。然后得到新的1和 2后，用新 2的向前推出
第三章 一维搜索方法
第三节 一维搜索的试探法 黄金分割法（0.618法）：
计算步骤：
4）进行迭代终止条件检验，检查区间是否缩短到足够小和 y2 y1 ba 函数值是否收敛到足够近，即 和 ，如果 b y2 不满足条件，则转到第3）步；满足条件则继续执行下一步。 1 5）输出最优解x (a b)和最优函数值y* f ( x* )。 2
而另一个试验点可按下式1 b (b a )算出，它的函数值 为y1 f (1 )； 若y1 y2，则极小点必在区间[1 , b]内，即[1 , b]为新区间，则
第四章一维搜索法(完整资料).doc
【最新整理，下载后即可编辑】第四章 一维搜索法由第一章关于求解最优化问题概述中我们知道，从已知迭代点n k R X ∈出发按照基本迭代公式k k k k P t X X +=+1来求解最优化问题，其关键在于如何构造一个搜索方向n k R P ∈和确定一个步长1R t k ∈，使下一迭代点1+k X 处的目标函数值下降，即)()(1k k X f X f <+．现在我们来讨论，当搜索方向k P 已经确定的情况下，如何来确定步长k t ？步长因子的选取有多种方法，如取步长为常数，但这样选取的步长并不最好，如何选取最好步长呢？实际计算通常采用一维搜索来确定最优步长． 对无约束最优化问题)(min X f nR X ∈，当已知迭代点kX 和下降方向k P 时，要确定适当的步长k t 使=+)(1k X f)(k k k P t X f +比)(k X f 有所下降，即相当于对于参变量t 的函数)()(k k tP X f t +=ϕ要在区间],0[∞+上选取k t t =使)()(1k k X f X f <+，即)0()()()(ϕϕ=<+=k k k k k X f P t X f t ．由于这种从已知点k X 出发，沿某一下降的探索方向k P 来确定步长k t 的问题，实质上是单变量函数()t ϕ关于变量t 的一维搜索选取问题，故通常叫做一维搜索．按这种方法确定的步长k t 又称为最优步长，这种方法的优点是，它使目标函数值在搜索方向上下降得最多．今后为了简便起见，我们用记号)(1k k k P X ls X ，=+ （4.1）表示从点k X 出发沿k P 方向对目标函数)(X f 作直线搜索所得到的极小点是1+k X ．其中l 和s 分别是Linear search （直线搜索）两词的词首．在目标函数)(X f 已确定的条件下（4.1）等价于如下两式：⎪⎩⎪⎨⎧+==+=++kk k k tk k t k k k P t X X t tP X f P t X f 1)(min )(min )(，ϕ 下面进一步解释迭代点k k k k P t X X +=+1的空间位置．容易证明，若从k X 出发，沿k P 方向进行一维搜索得极小点k k k k P t X X +=+1，则该点1+=k X X 处的梯度方向)(1+∇k X f 与搜索方向k P 之间应满足0)(1=∇+k T k P X f ．(4.2)事实上，设)()(k k tP X f t +=ϕ，对t 求导有k T k k P tP X f t )()(+∇='ϕ．令0)('=t ϕ，即0)(=+∇k T k k P tP X f ，所以0)(1=∇+k T k P X f ．式（4.2）的几何意义是明显的．从某一点k X 出发沿k P 方向对目标函数)(X f 作直线搜索，所得到的极小点为1+k X ．式（4.2）指出，梯度)(1+∇k X f 必与搜索方向k P 正交．又因为)(1+∇k X f 与目标函数过点1+k X 的等值面)()(1+=k X f X f 正交，所以进一步看到，搜索方向k P 与这个等值面在点1+k X 处相切（如图4.1所示）．§4.1 搜索区间及其确定方法一、搜索区间设一维最优化问题为)(min max0t t t ϕ≤≤． （4.3）为了求解问题（4.3），我们引入如下的搜索区间概念．定义4.1 设])0[)(0[max **11t t t R R ，，，：∈∞+∈→ϕ，并且 )(min )(max0*t t t t ϕϕ≤≤=，若存在闭区间])0[])([0[][max t b a b a ，，，，⊂∞+⊂使][*b a t ，∈，则称][b a ，是问题（4.3）的搜索区间．简言之，一个一维最优化问题的搜索区间，就是包含该问题最优解的一个闭区间．通常，在进行一维搜索时，一般要先确定出问题的一个搜索区间，然后在此区间中进行搜索求解． 二、加步探索法下面，介绍一个确定问题(4.3)的搜索区间的简单方法．这个方法的思想是：先选定一个初始点])0[)(0[max 00t t t ，或，∈⊂∞+∈和初始步长00>h ．然后，沿着t 轴的正方向探索前进一个步长，得到新点00h t +．若目标函数在新点处的值是下降了，即)()(000t h t ϕϕ<+，则下一步就从新点00h t +出发加大步长，再向前探索．若目标函数在新点处的 函数值上升，即)()(000t h t ϕϕ>+，图4.1则下一步仍以0t 为出发点以原步长开始向t 轴的负方向同样探索．当达到目标函数上升的点时，就停止探索，这时便得到问题（4.3）的一个搜索区间．这种以加大步长进行探索来寻找探索区间的方法叫做加步探索法．加步探索法算法的计算步骤：(1) 选取初始数据．选取初始点])0[)(0[max 00t t t ，或，∈⊂∞+∈，计算)(00t ϕϕ=．给出初始步长00>h ，加步系数1α>，令0=k ． (2) 比较目标函数值．令k k k h t t +=+1，计算)(11++=k k t ϕϕ，若k k ϕϕ<+1，转(3)．否则转(4)．(3)加大探索步长．令k k h h α=+1，同时，令k t t =，1+=k k t t ，1k k ϕϕ+=，1k k =+，转(2)．（4） 反向探索．若0=k ，转换探索方向，令1,+=-=k k k t t h h ，转（2）．否则，停止迭代，令11min{}max{}k k a t t b t t ++==，，，输出][b a ，． 加步探索法算法的流程图如图4.2所示。
《一维搜索方法》课件
02
线性搜索
线性搜索的定义
线性搜索是一种基本的搜索算法，它 从列表的第一个元素开始，逐个检查 每个元素，直到找到目标元素或遍历 完整个列表。
在线性搜索过程中，我们假设列表中 的元素是按顺序排列的，并且我们不 知道目标元素的确切位置，只知道它 存在于列表中。
线性搜索的步骤
初始化
选择一个起始位置，通常为列表的第一个元素。
抛物线搜索的步骤
3. 比较中间元素与目标值
2. 计算当前区间的中间元 素。
1. 初始化当前搜索区间为 整个数组。
01
03 02
抛物线搜索的步骤
01 如果中间元素等于目标值，返回该位置。
02
如果目标值小于中间元素，将左半部分区 间作为新的当前区间。
03
如果目标值大于中间元素，将右半部分区 间作为新的当前区间。
04
4. 重复步骤2和3，直到找到目标值或当前 区间为空。
抛物线搜索的时间复杂度
最坏情况下，抛物线搜索的时间复杂度为O(n)，其中n为数 组长度。
平均情况下，由于每次比较都可以将搜索区间缩小一半，因 此时间复杂度为O(log n)。
THANKS
THANK YOU FOR YOUR WATCHING
的单峰函数。
一维搜索方法的重要性
解决实际问题
一维搜索方法广泛应用于各种实 际问题中，如参数优化、函数逼 近、插值等。
算法基础
一维搜索方法是许多算法的基础 ，如梯度下降法、牛顿法等都需 要用到一维搜索方法来寻找迭代 步长。
理论分析
一维搜索方法在数学分析中也有 重要应用，如中值定理、单调函 数性质等都需要用到一维搜索方 法。
常用的一维搜索方法
线性搜索
一维搜索
非线性规划非线性规划问题是比线性规划问题更一般的数学规划问题，它的目标函数或约束函数中至少含有一个非线性函数，非线性规划就是研究非线性规划问题的有关理论和方法的学科。
非线性规划是运筹学的一个重要分支，它在军事、经济、工程、管理以及最优设计等方面都有着广泛的应用。
本部分介绍无约束非线性规划和约束非线性规划的基本理论和方法。
第三章 无约束优化方法无约束非线性规划问题是指可行域是整个决策空间的非线性规划问题。
本章首先分析无约束非线性规划问题的一阶和二阶最优性条件，包括必要条件和充分条件，然后讨论一维搜索问题，最后介绍无约束优化的求解方法，包括最速下降法，Newton 法共轭梯度法和拟Newton 法等。
补充：最优性条件现在考虑无约束非线性规划问题)(min x xf (UNP)其中决策变量n R ∈x ，目标函数1:R R f n →。
我们先引进下降方向的概念，并研究其充分条件，由此建立(UNP)的一阶和二阶最优性条件。
补.1 下降方向定义补.1 设函数1:R R f n →，n R ∈x ，nR ∈s 是非零方向。
若存在δ>0，使()(f f λ+<x s x ，(0,)λδ∀∈则称s 是f 在x 处的下降方向。
注补.1 设*x 是(UNP)的局部最优解，则f 在*x 处不存在下降方向。
定理补.1 设)(x f 在x 处可微，nR ∈s 是非零方向。
若()Tf ∇x s <0，则s 是f 在x 处的下降方向。
证明：对任意的λ>0，因为)(x f 在x 处可微，故由)(x f 在x 处的一阶Taylor 展开式知，()()()()()[()()/]T T f f f o f f o λλλλλλ+=+∇+=+∇+x s x x s x x s (补.1)根据条件()Tf ∇x s <0和0()lim0o λλλ→=知，存在δ>0，使()()0T o f λλ∇+<x s ，(0,)λδ∀∈代入(补.1)并由λ>0得到，()(f f λ+<x s x ，(0,)λδ∀∈由此知s 是f 在x 处的下降方向。
常用一维搜索算法
常用一维搜索算法常用一维算法一维算法是解决一维问题的常用方法。
一维算法主要通过在一维数据集中查找目标元素来解决问题。
以下是一些常用的一维算法：1. 线性（Linear Search）：线性算法是一种最简单的算法，也是最基本的一维算法。
它从头到尾依次检查数据集中的每个元素，直到找到目标元素或遍历完整个数据集。
线性算法的时间复杂度为O(n)。
2. 二分（Binary Search）：二分算法是一种高效的算法，但它要求数据集必须是有序的。
算法通过将数据集分成两半，并与目标元素进行比较，从而确定目标元素在哪个半部分中。
然后，它将重复这个过程，直到找到目标元素或数据集被划分为一个元素。
二分算法的时间复杂度为O(log n)。
3. 插值（Interpolation Search）：插值算法是改进的二分算法，它根据目标元素与数据集中元素的相对位置来确定的起始位置。
它使用目标元素与数据集首尾元素之间的比例来估计目标元素的位置。
插值算法在数据集分布均匀的情况下具有较好的性能。
4. 斐波那契（Fibonacci Search）：斐波那契算法基于斐波那契数列来确定的起始位置。
它通过比较目标元素与斐波那契数列中的元素来确定的范围，并将数据集划分成两部分。
然后，它在适当的部分中重复这个过程，直到找到目标元素。
斐波那契算法的时间复杂度为O(log n)。
5. 插入（Interpolation Search）：插入算法是一种改进的线性算法，它使用了数据集中元素的顺序信息来提高效率。
与线性算法一样，它从头到尾依次检查数据集中的每个元素，但是当元素不满足条件时，它会根据元素的顺序信息来确定的方向，从而减少的次数。
6. 哈希（Hash Search）：哈希算法使用哈希函数将数据集中的元素映射到哈希表中的索引。
然后，它通过查找哈希表中的索引来确定目标元素的位置。
哈希算法通常具有很高的效率，但是它需要额外的内存空间来存储哈希表。
上述算法是一维问题的常用解决方法。
1 一维搜索的搜索区间
第六章 一维搜索
一维搜索的搜索区间与进退法 0.618法和 法和Fibonacci法 法和 法 函数逼近法 非精确一维搜索
一维搜索的搜索区间与进退法
一维最优化是多维最优化的基础， 一维最优化是多维最优化的基础，求解一维最优化问题的基 如何确定搜索区间． 本思想是一维搜索，而一维搜索的重点是如何确定搜索区间 本思想是一维搜索，而一维搜索的重点是如何确定搜索区间．
一般地，线性搜索算法分成两个阶段： 一般地，线性搜索算法分成两个阶段：
第一阶段: 第一阶பைடு நூலகம்:确定包含理想的步长因子
如何确定一个包含极小点的搜索区间？ 如何确定一个包含极小点的搜索区间？ 一个包含极小点的搜索区间
P142 定义6.1.1 定义6.1.1
（或问题最优解）的搜索区间； 或问题最优解） 搜索区间
第二部分
一维搜索
第六章 一维搜索
第六章 一维搜索 (One-Dimensional Search)
一维搜索不仅是求解一维非线性最优化问题的 一维搜索不仅是求解一维非线性最优化问题的 不仅是求解一维非线性最优化问题 基本算法，而且是多维非线性最优化算法 多维非线性最优化算法的重要 基本算法，而且是多维非线性最优化算法的重要 组成部分， 组成部分，它的选择是否恰当直接影响到一些 算法的计算效果. 算法的计算效果
记 ϕ(λ) = f ( xk + λdk ).
则 (6.1.2)式等价于 式等价于
一维搜索的搜索区间与进退法
一维搜索的概念
根据步长选取的不同原则，一维搜索分为两种类型： 根据步长选取的不同原则，一维搜索分为两种类型：
(1) 最优一维搜索 精确一维搜索 最优一维搜索(精确一维搜索 精确一维搜索)
运筹与优化—一维搜索
(k )表示第k次迭代时最优步长因子
需要解决哪些问题？
二、一维搜索概述
0，非极值
二、一维搜索概述
2. 一维问题的解析法 存在哪些问题？
Page 16
实际的问题中，函数可能是不连续或者不可微的。 需要解复杂的方程组，对于很多情况，通过导数为零 求解析的求出极值点，是做不到的。 高维情况下极值点的分布就比一维的情况复杂了许多， 当变量个数继续增加的时候，极值点的个数会成几何倍 增加。
运输量与路程乘积之和为最小。
mn
mn
目标函数为 min
zijdij
zij ( xi p j )2 ( yi q j )2 ,
i1 j1
i1 j1
一、非线性规化基本概念 Page 5
1.引入
约束条件为
（1）每个仓库向各市场提供的货物量之和不能超过它的
存储容量。
n
zij ai , i 1,2,, m
Page 10
x2
6
3 2
0
23
最优解 x* = ( 3，3 )T
最优级解即为最小圆的半径：
f(x)=(x1－2)2 +(x2－2)2 = 2
6
x1
一、非线性规化基本概念
3. 图解法 例： 用图解法求解 min f(x)=(x1 - 2)2 +(x2 - 2)2 s.t. h(x)= x1 + x2 - 6 ≤ 0
二、一维搜索概述
Page 17
3. 数值法（搜索法） 一维搜索定义
• 数值迭代过程中，任何一次迭代，总是从某个已知点 X (k)
出发，沿着给定的方向d (k（) 用某种优化方法确定）搜索
第三章 一维搜索
(
)
（1.5）
---------最优一维搜索或精确一维搜索， k ---最优步长因子
如果选取 k ，使下降量 f (xk ) f (xk kd k ) 0 是可接受 --------可接受一维搜索，或不精确一维搜索
定 理 若 目 标 函 数 f (x) 具 有 连 续 的 偏 导 数 ， 并 设
搜索区间.
算法步骤：
1） 选取初始点 x R ，初始步长 h 0 及精度 0, 计算
1 (x) ； 2） 计算 2 (x h) ； 3） 若 2 1 （此时称搜索成功，下一步搜索就大步前
进），令 x x h, 1 2, h 2h ，转 2）；若 2 1 （此时称 搜索失败，下一步搜索就小步退步），判别 | h | ? 若 | h | ,
设已迭代到点 xk 处，则下一次迭代会出现以下两种情况之一： （1） 从 xk 出发沿任何方向移动，目标函数不再下降；
（2） 从 xk 出发至少存在一个方向使目标函数 f (x) 有所下 降 . 这 时 ， 从 中 选 取 一 个 下 降 方 向 dk ， 即 dk 满 足 f (xk )T d k 0 ，然后在直线 x xk d k 上适当的确定一个新点 xk1 xk kd k ，使得 f (xk1) f (xk kd k ) f (xk ) ，此时就说完成 了第 k 1次迭代.
停止迭代，
x
x*
；否则令
h
h 4
，转
2）.
缺点：效率较低，h 选择要适当，初始步长不能选得太小。但
改造之后用于求搜索区间比较有效。
基本思想：从一点出发，按一定的步长，试图确定出函数值呈
现“高---低---高”的三个点.一个方向不成功，就退回来沿相反
运筹学及其应用第八章 无约束条件下函数的寻优方法
方法1：任一单变量函数寻优法
方法2：微分法
用 二 阶 泰 勒 公 式 在X (k)的 f ( X (k) )领 域 内 展 开 ，
f ( X (k ) f ( X (k ) )) f ( X (k ) ) T f ( X (k) )f ( X (k ) )
1 T f ( X (k) )H ( X (k) )f ( X (k) ) ( ),
适用：各变量之间本质上无联系 或沿坐标轴方向搜索比较容易的特殊结构
14
例：用变量轮换法求解 1
min f ( X ) x12 x22 x32 初始点为 X (1) 2
1 1 1
解:
X
(1)
e1
2
0
2 ,
3 0 3
2
令( ) 0, 可得最佳步长
k
T
T f ( X (k ) )f ( X (k ) ) f ( X (k ) )H ( X (k ) )f ( X (k ) )
16
最速下降法的计算步骤： （1） 给定初始点 X (1) ，允许误差 0 ，置 k 0 。 （2） 计算搜索方向 d (k) = f ( X (k ) ) 。 （3） 若 d (k) ，则停止计算；否则，确定最佳步长k 。 （4） X (k1) X (k) k d (k) ，置 k k 1，转第（2）
解 易于验证 f (x) 是单峰函数，且[-1，1]
为极小值所在区间。 按上面的计算步骤，经 6 次迭代后，
b7 a7 0.111 0.16 ，满足精度要求，极小
点 所 在 区 间 为 [0.168 ,0.279 ] ， 取 x 1 (0.168 0.279 ) 0.23 。实际上，问题
第三章-一维搜索方法
数值解法基本思路：
先确定 k 所在的搜索区间，然后根据区间消去法原理 不断缩小此区间，从而获得 k 的数值近似解。
一维搜索一般分为两大步骤： (1)确定初始搜索区间[a，b]，该区间应是包括一维函数 极小点在内的单谷区间。 (2)在单谷区间[a,b]内通过缩小区间寻找极小点。
x2 a 0.618(b a), y2 f (x2 )
否 ba
是
x 0.5(a b)
止
f f (x)
b x2, x2 x1, y2 y1 x1 a 0.382(b a), y1 f (x1)
f
也可采用迭代次数是否大于或等于 k 作终止准则。
y1 y2 x a x1 x2 b
当方向 d k 给定，求最佳步长 k 就是求一元函数
f x k1 f xk kd k k
的极值问题。这一过程被称为一维搜索。
第三章 一维搜索方法
f (x (k+1) ) = min. f (x (k) + α S (k) ) = f (x (k) + α(k) S ( k) )
一维搜索是优化搜索方法的基础。
第三章 一维搜索方法
求解一元函数 a 的极小点 a* ，可用解析法。 f x ad f x adTf x 1 ad T G ad
2
f x dTf x 1 2dTGd
2
上式求α的极值，即求α导数为零。
dTf x *dTGd 0
则
*
dTf x
d T Gd
第三章 一维搜索方法
5
-1.386 -1.111 -0.940 -0.665
完整版一维搜索方法
f (? 1 ) f (? 2 )
o
?1 ?2
?
6
2) 若f1≤ f2 ，如下图所示, 则作后退计算。 令 h=-h, 将α1、 f1与α2、 f2对调，转入第3)步。
f (? )
f (? 2 )
f (? 1)
o
?1 ?2 ?
7
3)计算第3个试点α3 ＝α2+h, 计算函数值f3＝f(α3), 并 比较f2 和 f3 ，有如下两种情况 :
1
? 一维优化一般可分为两大步骤： ?确定初始搜索区间[a,b]; 该区间应为包含一维优化目标函数的极小点在内的单 峰区间。 ?在搜索区间[a,b]内寻找极小点。
优化算法的基本迭代公式：
X k?1 ? X k ? ? k S k , k ? 0, 1, 2,?
当迭代初始点 Xk 及搜索方向Sk 确定后，迭代所得的新点 Xk?1 取
作代换： α1 ＝α2 ， f1＝f2； α2 ＝α3 ， f2 ＝ f3。 继续计算
α3 （即步骤 3) ）；如此重复该过程，总能找到相继3试点 的函数值符合“大－小－大” 变化的要求。左端点为a,
右端点为b，从而找到了搜索区间[a, b]。
f (? )
f (? 1) f (? 2 )
f (? 3 )
a＝min( α1 ,α3 ), b=max ( α1 ,α3 )
h=2h, α3＝ α2+h, 计算f(α3)
N
作代换 α1 =α2 ， α2 =α3 ， f(α1)= f(α2) ， f(α2)= f( α3) ， α3＝ α2+h, 计算f(α3)
结束
10
? 进退法确定搜索区间的步骤：
2. 方法二 (1) 给定初始点α0和初始步长h0; (2) 令α1 ＝α0, h=h0， α2 ＝α1+h, 得： 两试点α1 ，α2 ，计算 f1 ＝f(α1), f2 ＝f(α2);
3.一维搜索方法
P(x)的系数确定与极小点的计算
a1
x22
x
2 3
f1
x
2 3
x12 f2
x12 x22 f3
x1 x2 x2 x3 x3 x1
a2
x2 x3 f1 x3 x1 f2 x1 x2 f3 x1 x2 x2 x3 x3 x1
x
a1
1 x22 x32 f1
x32 x12 f2
x12 x22 f3
2a2 2 x2 x3 f1 x3 x1 f2 x1 x2 f3
9
一维搜索方法的分类
• 为了每次缩短区间，只需要在区间内再插入一点并计 算其函数值。然而，对于插入点的位置，是可以用不 同的方法来确定的。
• 黄金分割法 • 一类称作解析法或函数逼近法：构造一个插值函数来
逼近原来函数，用插值函数的极小点作为区间的插入 点
– 牛顿法、二次插值法等
10
一维搜索的试探方法 黄金分割法
f (x)
(a) f a0
f a0 a a0
1 2
f
a0 a
a0 2
• 然后以二次函数的极小点作为极小点的一个新近似点，根据极值 必要条件
对a求偏导 (a1) 0
f a0 f a0 a1 a0 0
ak 1
ak
f ak f ak
k
0, 1, 2,
依此继续可得 牛顿法迭代公式
a1
a0
f a0 f a0
17
• 是最常用的一维搜索试探方法，又称作0.618法 • 适用于区间上的任何单谷函数求极小值问题
– 对函数除要求“单谷”外不作其他要求，甚至可以 不连续
• 基本思路：在搜索区间内适当插入两点，并计算其函 数值。将区间分成三段。应用函数的单谷性质，通过 函数值大小的比较，删去其中一段，使搜索区间得以 缩短。然后再在保留下来的区间上作同样的处置，如 此迭代下去，使搜索区间无限缩小，从而得到极小点 的数值近似解。
一维搜索方法
一维搜索方法：（方法比较）“成功—失败”法、二分法、0.618法（黄金分割法）、牛顿法、二次插值法、D.S.C法、Powell法、D.S.C—Powell组合法。
1、“成功—失败”法：主要思想：从一点出发，按一定的步长搜索新点，若成功，加大步长继续搜索，否则，缩短步长小步后退。
此方法可以求最优解所在区间，称为“搜索区间”。
2、二分法：主要思想：区间[a,b]的中间值x0，判断f（x）的导数在三个点处的值，舍去一部分区间再求f(x)的极小值。
3、0.618法：等比例收缩原则，每次留下来的区间长度是上次留下来的区间长度的w倍。
以及对称原则、去坏留好原则。
W=0.6184、牛顿法：基本思想：在极小值点附近用目标函数的二阶泰勒多项式近似代替目标函数，从而求得目标函数的极小值点的近似值。
5、二次插值法：牛顿法是在x k附近的目标函数用泰勒多项式近似代替，而此法是将f(x)用二次插值多项式p(x)近似代替。
把p(x)的极小值点作为f(x)极小值点的代替，从来求得函数的极小值。
6、D.S.C法：主要思想：利用成功—失败法寻找靠近极小值点的三点，进行二次插值。
优点是：收敛速度快，且不要求函数可微。
7、Powell法：基本思想：在搜索方向开始得到三点x0,x1,x2后，作二次插值，求得最小值x，在四点中去坏留好，在余下的三点中再作二次插值……8、D.S.C—Powell组合法：几种方法比较：D.S.C—Powell组合法是非常好的一种方法，它比任何一个单个方法都好D.S.C—Powell组合法与0.618法比较：D.S.C—Powell法中函数值的计算要比黄金分割法少得多，一般来讲它优于黄金分割法。
但：D.S.C—Powell法不一定能收敛到最优解。
最速下降法与修正牛顿法：对于正定二次函数，牛顿法一步可以求得最优解，对于非二次函数，牛顿法并不能保证有限次求得其最优解，但由于目标函数在极小值的附近近似于二次函数，故当初始点靠近极小值时，牛顿法收敛的速度比较快。
04第三章 第四节一维搜索
现在分析该法是如何进行寻优的：设已知单峰函数 f(t) 的 峰点t*（最小点）处在t =[a，b]区间（见图a） 在区间 [a ， b]中，任取两点 a1、 b1且 a1<b1 ，并计算 f(a1)和 f(b1)，则可出现下列结果： 1）f(a1) <f(b1)，则t*必在区间[a，b1]中，如图(a)所示。
（二）黄金分割法（0.618法） 1、0.618数字的由来：
L1 x11 L2 x12 x21 x22 L3 r1 r2 r3
如f(x11)>f(x12),则[L2,r2]=[x11,r1] x11=L1+(1- 1 )(r1-L1) x12=L1+ 1(r1-L1 ) 如f(x21)>f(x22),则[L3,r3]=[x21,r2] x21=L2+(1- 2 )(r2-L2 ) x22=L2+ 2(r2-L2 ) 要使x12=x21 =?
f(b) f(a) f(x1 ) f(x2 )
则x*必在[x1,b]内。
a x1
x*x2
b
因而应舍去[a, x1]，保 留[x1,b]并继续在[x1,b] 内任选一点，再对比决 定新一轮区间的取舍。
§3.4 一维搜索
一、基本概念
二、一维搜索原理
三、“成功-失败”法 四、斐波那契法（Fibonacci）与黄金 分割法（0.618法） 五、切线法（牛顿法）
n 1 ln / ln 1 2.1ln
③按0.618法则在[a,b]内取对称的两点：
左点： x1 a (1 )(b a) 右点： x2 a (b a)
④决定[a,b]内取舍区间
已知点 函数值
a<x1<x2< b f(a)>f(x1)<f(x2)>f(b)
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
记为t2
如此继续下去可得到t*的一个近似值序列：
t k 1
' (t k ) tk "(tk )
Newton切线法迭代 公式
28
说明
(1) 这种方法一旦好用收敛速度是很高的，达2阶
(2) 这种方法要用到二阶导数，对于多维问题就意味着 要计算海色阵，而这一般是很难求的。 (3) 这种方法初始点的选取要适当，否则得到的点 序列就会是发散的。
比如若有上述的两头大中间小的点的话， 则[t1,t2]就是一个极小区间。
8
一维搜索的一般算法框架
首先定出一个极小区间 (确定极小区间的方法就称为划界) 然后不断缩小该区间的长度， 直至长度充分小时， 则取区间中任一点(比如中点或端点) 作为(t)的一个近似极小点， 也可根据在某点处其导数的绝对值充分小来确定
32
14
算法步骤
(1) 计算c=(a+b)/2,计算’（c）
(2) 若’(c)=0,则c即为所求，停止；否则 若’（c）<0 (t*在c与b之间故可以将a、c之间这一段抛弃) 令a:=c，返回(1) 若’（c）>0 (t*在a与c之间故可以将 c、b之间这一段抛弃) 令b:=c，返回(1) 每次得到一个新的搜索区间，长度 是原来区间的一半 (3) 继续上述过程，直到区间已经足够小。 在这个足够小的区间中任意取一点 （比如它的两个端点、中点等）作为最优解的近似
(3) 臵 k:=k+1，返回(2)
25
3.
Newton切线法 函数(t)极小区间为[a,b],该函数有连续的 二阶偏导数，寻找‘(t)=0的t*
假设事先给定t*的一个近似值t0， 将‘(t)在t0处Taylor展开得： „(t) ≈ „(t0)+ “(t0)(t-t0)
臵t:= t*代入 „(t*) ≈ „(t0)+ “(t0)(t*-t0)
a
t1 t2 b
a t1
t2 b 16
性质应用
可通过比较极小区间内任意两点的大小 以将区间缩小为[a,t2]或[t1,b]。而且，通过继续在 这小区间内取值以比较对应函数值的大小可以将 这小区间继续缩小，从而可达任意小。
17
缩小区间的方法的限制条件 (1) 使[a,t2]或[t1,b]被留下的机会相等 即：选取试验点t1,t2时应使得t2-a=b-t1 从而[a,t2]=[t1,b]两个区间长度相等 事实上，满足这个要求的 t1,t2取法无穷，比如在离a 有x那么远的地方取为t1， 那么，在离b也有x那么远 的地方取为t2即可. a t1 t2 b
19
a
t1
t2
b
a
t1
t2 b
t1 a
t2
b
20
黄金分割法算法推导 设求解区间为[ak ， bk]，在[ak ， bk]内选取的试探点为λk ， μk， λk <μk 1. 计算f(λk )和f(μk),分如下两种情形： (1)若 f(λk )≤f(μk+1= μk
t 0
这种方法称为一维搜索、直线搜索、精确线搜索
( one_dimension search ,exact linear search )
3
精确线搜索的性质(步长因子tk的极小化原则)
f ( x( k 1) )与d ( k )正交,即 f ( x( k 1) )T d ( k ) 0
t
反设t1、t2之间无极小点t*， 则意味着t1,t2在t*的同一边 则对t1,t3,t2三点根据单谷函数的定义， 它们必不能满足已知条件(如图示)
t*
t1t
3
t
t1
t*
t2
7
t
2.1
搜索区间
若在单谷函数(t)的定义域内有两个点t1、t2, 使得t1<t*<t2,则称[t1,t2]为(t)的一个搜索区间 (极小区间、不确定区间)
23
类似，对于情形2
ak λk ak+1
μk
bk bk+1
[ak ， bk]缩小后的区间为[ak +1， bk+1] =［ λk ，bk ］ (1) λk+1 = μk (2) λk= ak +0.382(bk –ak )
μk = ak +0.618(bk –ak )
24
黄金分割法的计算步骤 (1)对区间[a，b]= [a1 ， b1]中取两点： λ1 =a1 +0.382(b1 – a1 ), μ1 = a1 +0.618(b1 – a1 ) 令 k=1
Proof
令 (t ) f ( x ( k ) td ( k ) ),
则 （t ) f ( x ( k ) td ( k ) )T d ( k )
而t k为 (t )的极小点， 故 (t k ) 0, 亦即：
f ( x( k ) t k d ( k ) )T d ( k ) 0
f ( x( k 1) )T d ( k ) 0
搜索过程图示 ▽f(x(k+1)) x(k+1) · ·(k) x d(k) x(k+2) (k+1) d · ▽f(x(k+2))
4
步长因子tk的确定，即求一元函数(t)的极小， 即确定xk沿方向pk走多远。这是一个局部问题 由于,一个函数在一个局部范围内显然只有一个极小解 所以,我们不妨设函数(t)是一个单谷函数。 本章求解的问题： min (t), :R1R1, 为单谷函数
9
常用的划界方法 (1)任取一初始点t0，取步长h0>0, (2) 计算(t0), (t0+h0) 若(t0)>(t0+h0):则令t1=t0+h0, h1=h0 (>1一般取2) (3) 继续计算并比较 (t1)>(t1+h1)，则令t2=t1+h1， h2=h1 如此继续下去直到出现函数值的增大，(tk)<(tk+hk) 这时取a=tk-1,b=tk+hk [a,b]即为极小区间 (因为它们之间有一点t3，从而形成两头大中间小)
ak λk ak+1
μk bk bk+1
λk= ak +(1-α)(bk –ak )
bk-λk=α(bk –ak)
μk = ak +α(bk –ak )
22
4. λk作为[ak+1 ， bk+1]两个试探点λk+1 ， μk+1
中的一个(即长度比率α取适当的值 )
λk= ak +(1-α)(bk –ak )
2
不同的确定下降方向d(k)的方法构成不同的无约束最优 化算法。在确定了下降方向后，可根据‚充分下降‛的要求， 沿这个方向找到使目标函数取极小的点，这样就使目标函数 值在这个方向上下降的最多，从而确定步长因子tk。
选取tk,使
f ( x k t k d ( k ) ) min f ( x k td ( k ) )
18
(2) 每次区间总是缩小相同的比例(类似于平 分法中总是以相同的比例1/2缩小区间一样) 即若由[a，b]缩小为[a‟,b‟]时它们的长度之比为， 则由[a‟,b‟]缩小为[a”,b”]时它们的长度之比仍为。
(3) 在每次缩小区间后总有一个已经计算过的点落 在这个区间内，所以有理由希望该点在下次继续缩 小区间时能被用到，从而减少缩小区间所需计算量
(2) 若 bk – ak<ε，停止计算，输出结果。
否则计算并比较 若 (λk ) ≤(μk )，则 ak+1 = ak bk+1= μk μk+1= λk λk+1 = ak +0.382(bk – ak ) 若 (λk )>(μk )，则
ak+1 = λk bk+1= bk λk+1= μk μk+1= ak +0.618(bk – ak )
μk = ak +α(bk –ak ) μk+1 = ak+1 +α(bk+1 –ak+1 )
=ak +α(μk –ak ) = ak +α2(bk–ak ) α2 = 1-α
5 1 0.618 2
λk= ak +0.382(bk –ak )
μk = ak +0.618(bk –ak )
μk+1 = λk
若已知三点t1<t3<t2处的函数值满足 (t1)> (t3)< (t2)(两头大中间小)， 则在t1、t2之间必有(t)的一个极小点
条件：(t3)< (t2) 定义：(t3)> (t2)
Proof
(反设法)
t3 条件：(t1)>(t3) 定义：(t1)<(t3)
t2
t*
(2)若 f(λk ) >f(μk) ，则 ak λk μk bk
ak+1= λ k,， bk+1= bk
21
以下以情形(1)为例进行讨论 2.[ak ， bk]试探点λk ， μk位臵对等 μk –ak= bk-λk
3.每次区间长度收缩比相等
bk+1-ak+1 =α(bk –ak) μk - ak =α(bk –ak)
12
t4
t3 t2 t (t ) 0 1
t0+h0
t
13
2.2 几种有效的一维搜索算法
1.平分法(二分法、对分法) 假设函数 (t）在极小区间上[a,b]有连续的 一阶导数’(t)，且’(t)有明显的表达式 ‟
a a b t