4 一维搜索法

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
f ( X k + t k Pk ) = min f ( X k + tPk ) = min ϕ (t ) t t X k +1 = X k + t k Pk
若从 X k 出发,沿方向进行一维搜索得极小点 X k +1 = X k + t k Pk 出发, ,则该点处的梯度方向 ∇f ( X k +1 )与搜索方向 Pk 之间应满足
t* = 1 (a + b) 2
1 2

(5) 打印 t *,结束. 结束. 说明: 说明:由于每次迭代都取区间 中点,使区间长度缩短一半, 中点,使区间长度缩短一半, 故名曰对分法或二分法。 故名曰对分法或二分法。
4.3 Newton切线法 切线法
第 四 章 一 维 搜 索
基本原理 b 设ϕ : R1 → R1 在已获得的搜索区间 [ a, ] 内具有连续二阶 导数, 导数,求
a = min{t, +1}, b = max{t, +1} tk tk
第 四 章 一 维 搜 索
注意:在加步探索法中, 注意:在加步探索法中,一 般建议α = 2 .若能估计问题 的最优解的大体位置的话, 的最优解的大体位置的话, 初始点要尽量取接近于问题 的最优解. 的最优解.在具体运用加步 探索法时, 探索法时,有时还要考虑一 些细节问题.例如, 些细节问题.例如,当探索 得到新点处的目标函数值和 出发点处相同时, 出发点处相同时,以及初始 步长应如何选取等, 步长应如何选取等,都需作 适当处理. 适当处理.
加步探索法算法的计算步骤: 加步探索法算法的计算步骤:
第 四 章 一 维 搜 索
+ (1) 选取初始数据.选取初始点 t 0 ∈ [0, ∞)(或t 0 ∈⊂ [0,t max ]) , 选取初始数据. 计算 ϕ0 = ϕ (t0 ) .给出初始步长 h0 > 0 ,加步系数 α > 1 , 令k = 0 .
要在区间 [0, + ∞] 上选取 t = t k 使 f ( X k +1 ) <
f (X k )
,即
ϕ (t k ) = f ( X k + t k Pk ) < f ( X k ) = ϕ (0)
上面的分析, 上面的分析,实质上是单变量函数 ϕ (t ) 关于变量 t 的 一维搜索选取问题,故通常叫做一维搜索 一维搜索. 一维搜索选取问题,故通常叫做一维搜索.按这种方 最优步长, 又称为最优步长 这种方法的优点是, 法确定的步长 t k 又称为最优步长,这种方法的优点是, 它使目标函数值在搜索方向上下降得最多. 它使目标函数值在搜索方向上下降得最多.
为了简便起见, 为了简便起见,我们用记号
X k +1 = ls ( X k,Pk ) (4.1) ) 表示从点 X k 出发沿 Pk 方向对目标函数 f (X ) 作直线搜索所 得到的极小点是 X k +1 .
第 四 章 一 维 搜 索
确定的条件下( )等价于如下两式: 在目标函数 f (X ) 确定的条件下(4.1)等价于如下两式:
(1) 确定初始搜索区间 [a, b] ,要 求 ϕ '(a) < 0,ϕ '(b) > 0 . (2) 选定 t 0 . (3) 计算 t = t0 − ϕ '(t0 ) / ϕ "(t0 ) . (4) 若 | t − t 0 |≥ ε ,则 t 0 = t ,转 );否则转 (3);否则转(5). );否则转( ). (5) 打印 t,ϕ (t ) ,结束. 结束.
1 1
定理4.1说明, 定理 说明,经过函数值的 说明 比较可以把单谷区间缩短为一 个较小的单谷区间.换句话说, 个较小的单谷区间.换句话说, 利用这个定理可以把搜索区间 无限缩小, 无限缩小,从而求出极小 以下介绍的几种, 点.以下介绍的几种,一维搜 索方法都是利用这个定理通过 不断地缩短搜索区间的长度, 不断地缩短搜索区间的长度, 来求得一维最优化问题的近似 最优解. 最优解.
a ≤t ≤b
min ϕ (t )
b 上可微, b 同理, 同理,因为ϕ (t ) 在 [ a, ] 上可微,故 ϕ (t ) 在 [ a, ] 上有最小 值,令ϕ ′(t ) = 0 . b 中经过k次迭代已求得方程 不妨设在区间[ a, ] 中经过 次迭代已求得方程 ϕ ′(t ) = 0 的一个近似根 t k .过 (t k , ϕ ′(t k )) 作曲线 y = ϕ ′(t ) 的切线, 的切线, 其方程是 y − ϕ ′(t k ) = ϕ ′′(t k )(t − t k ) (4.4)
ϕ (t * ) = min ϕ (t )
0 ≤ t ≤ t max
b + b b 若存在闭区间 [a, ] ⊂ [0, ∞)([a, ] ⊂ [0,t max ]) 使 t * ∈ [a, ] ,则 b 是问题( 称 [ a, ]是问题(4.3)的搜索区间. ) 搜索区间.
简言之,一个一维最优化问题的搜索区间, 简言之,一个一维最优化问题的搜索区间,就是包含该 问题最优解的一个闭区间.通常,在进行一维搜索时, 问题最优解的一个闭区间.通常,在进行一维搜索时, 一般要先确定出问题的一个搜索区间, 一般要先确定出问题的一个搜索区间,然后在此区间中 进行搜索求解. 进行搜索求解.
ϕ (t0 + h0 ) < ϕ (t0 )
则下一步就从新点 t 0 + h0 出发加大步长,再向前探 出发加大步长, 函数值上升, 索.若目标函数在新点处的 函数值上升,即
ϕ (t 0 + h0 ) > ϕ (t 0 )
则下一步仍以 t 0 为出发点以原步长开始向轴的负方向 同样探索.当达到目标函数上升的点时,就停止探索, 同样探索.当达到目标函数上升的点时,就停止探索, 这时便得到一个搜索区间. 这时便得到一个搜索区间.
(2) 比较目标函数值.令 t k +1 = t k + hk ,计算 ϕ k +1 = ϕ (tk +1 ) , 比较目标函数值. 若ϕ k +1 < ϕ k ,转(3).否则转 .否则转(4). (3)加大探索步长.令 hk +1 = αhk ,同时,令 t = tk , tk = t k +1 , 加大探索步长. 同时, 加大探索步长 k = k +1 ,转(2). . 转换探索方向, (4) 反向探索.若 k = 0 ,转换探索方向,令 hk = −hk , ) 反向探索. t = t k +1 ,转(2).否则,停止迭代,令 ).否则 ).否则,停止迭代, 输出. 输出.
对无约束最优化问题
min f ( X ) n
X ∈R
第 四 章 一 维 搜 索
当已知迭代点 X k 和下降方向 Pk 时,要确定适当的步长 t k 使 f ( X k +1 ) = f ( X k + t k Pk ) 比 f ( X k ) 所下降,即相当于对于 所下降, 参变量 t 的函数
ϕ (t ) = f ( X k + tPk )
下面介绍确定问题搜索区间的法—加步探索法 下面介绍确定问题搜索区间的法 加步探索法
第 四 章 一 维 搜 索
先选定一个初始点和初始步长.然后, 先选定一个初始点和初始步长.然后,沿着轴的正方 向探索前进一个步长,得到新点. 向探索前进一个步长,得到新点.若目标函数在新点 处的值是下降了, 处的值是下降了,即
第一章 Matlab概述 概述
★搜索区间及其确定方法 ★对分法 ★Newton切线法 切线法 ★黄金分割法 ★抛物线插值法
第 四 章 一 维 搜 索
由第一章关于求解优化问题的迭代法知道, 由第一章关于求解优化问题的迭代法知道,从已 知迭代点出发按照基本迭代公式 X k +1 = X k + t k Pk 来求解 最优化问题, 最优化问题,其关键在于如何构造一个搜索方向和确 定一个步长,使下一迭代点处的目标函数值下降, 定一个步长,使下一迭代点处的目标函数值下降, 即.现在我们来讨论,当搜索方向已经确定的情况下, 现在我们来讨论,当搜索方向已经确定的情况下, 如何来确定步长?步长因子的选取有多种方法, 如何来确定步长?步长因子的选取有多种方法,如取 步长为常数,但这样选取的步长并不最好, 步长为常数,但这样选取的步长并不最好,如何选取 最好步长呢? 最好步长呢?实际计算通常采用一维搜索来确定最优 步长. 步长.
∇f ( X k +1 ) T Pk = 0
(4.2)
原因:作直线搜索,搜 原因:作直线搜索, 索方向和梯度方向刚好 正交。 正交。
4.1 搜索区间及其确定方法 设一维最优化问题为
第 四 章 一 维 搜 索
0≤t ≤t max
min ϕ (t )
(4.3) )
下面引入如下的搜索区间概念. 下面引入如下的搜索区间概念 1 1 * * t + t 定义4.1 设 ϕ:R → R , ∈ [0, ∞)(t ∈ [0,max ]) ,并且 定义
迭代步骤
ϕ 表达式, 已知ϕ (t ) , ′(t ) 表达式,终止限ε .
第 四 章 一 维 搜 索
(1) 确定初始搜索区间 [a, b] ,要 求 ϕ '(a) < 0,ϕ '(b) > 0 . (2) 计算 [a, b] 的中点 c = (a + b) . (3) 若 ϕ ′(c) < 0 ,则 a = c ,转(4); ; 若 ϕ ′(c) = 0 ,则 t * = c,转(5); ; 若 ϕ ′(c) > 0 ,则 b = c ,转(4). . (4) ,则 转(5);否则转 . ;否则转(2). 若 | a − b |< ε
4.2 对分法 基本原理
第 四 章 一 维 搜 索
min ϕ (t )
确定一个有限搜索区间 [ a, ] b
a ≤t ≤b
min ϕ (t )
b 设 ϕ:R1 → R1 在已获得的搜索区间 [ a, ] 内具有连续的 一阶导数. 一阶导数.
因为可导
连续
有最小值
令 ϕ ′(t ) = 0,总可求得极小点 t *.
然后用这条切线与横轴交点的横 坐标 t k +1 作为根的新的近似 ,令 令 y = 0 可解出 ϕ ′(t k ) t k +1 = t k − 切线法迭代公式 ϕ ′′(t k ) —Newton切线法迭代公式
迭代步骤
第 四 章 一 维 搜 索
ϕ 表达式, 已知ϕ (t ) , ′(t ) Hale Waihona Puke Baidu达式,终止限ε .
有关说明 如果初始点选得适当, 切线法收敛速度很快, 如果初始点选得适当, Newton切线法收敛速度很快, 切线法收敛速度很快 通常只需几次迭代就可以得到满足一般精度要求的结 但其也有缺点. 果,但其也有缺点. 第一,需要求二阶导数.若是多维优化, 第一,需要求二阶导数.若是多维优化,还要涉及 Hesse矩阵. 矩阵. 矩阵 第二,当曲线有较复杂的弯曲时,这种方法也往往失 第二,当曲线有较复杂的弯曲时, 效. 第三,即使曲线比较正常,初始点的选取也必须适当. 第三,即使曲线比较正常,初始点的选取也必须适当.
t 上是单减函数; 不妨设ϕ (t ) 在 (a,* )上是单减函数; * b 上是单增函数. 在 (t , )上是单增函数.则
ϕ t 当 t ∈ (a,* ) 时, ′(t ) < 0 ,故 ϕ ′(a) < 0;
b 当 t ∈ (t *,) 时, ′(t ) > 0 ,故 ϕ ′(b) > 0 ; ϕ
单谷区间与单谷函数
第 四 章 一 维 搜 索
b 定义4.2 设 ϕ:R 1 → R1 ,闭区间 [a, ] ⊂ R .若存在 定义 * b t * 上严格递减, b 点 t * ∈ [a, ],使得 ϕ (t ) 在 [a, ]上严格递减,在 [t , ]上 b 严格递增, 单谷区间, 严格递增,则称 [ a, ] 是函数ϕ (t ) 的单谷区间, ϕ (t ) 是 [ a, ]上单谷函数. b 单谷函数.
1
对单谷区间和单谷函数的理解 (1)图形特征; )图形特征; (2)连续形; )连续形; (3)单谷区间一定是搜索区间。 )单谷区间一定是搜索区间。
单谷区间和单谷函数有如下有用的性质: 单谷区间和单谷函数有如下有用的性质:
第 四 章 一 维 搜 索
[ b 定理4.1 设 ϕ:R → R ,a, ] 是 ϕ (t )的单谷区间,任取 的单谷区间, 定理 t1,2 ∈ [a,] 并且 t 2 < t1. t b t1 的单谷区间. (1)若有ϕ (t 2 ) ≤ ϕ (t1 ) ,则 [a, ] 是 ϕ (t ) 的单谷区间. ) b 的单谷区间. (2)若有ϕ (t 2 ) ≥ ϕ (t1 ) ,则 [t 2, ] 是 ϕ (t ) 的单谷区间. ) 证明略
相关文档
最新文档