第三节 一维搜索方法

第1步 第2步
第3步 第4步
第5步
确定单谷区间[a,b]， 确定单谷区间[a,b]，给定最后区间精度 ε > 0 ; [a,b] 计算最初两个探索点 t 1 = a + 0.382(b − a ) = b − 0.618( b − a ) t 2 = a + 0.618(b − a ) 并计算 ϕ 1 = ϕ ( t 1 ) ， ϕ 2 = ϕ ( t 2 ) ； 若 ϕ 1 ≤ ϕ 2 ，转第 4 步。否则转第 5 步； 停止迭代， 若 t 2 − a ≤ ε ，停止迭代，输出 t 1 。否则令 b := t 2 ， t 2 := t 1 ， t 1 := b − 0.618(b − a ) ， ϕ 2 := ϕ 1 ，计算 ϕ 1 = ϕ ( t 1 ) ，转第 3 步； 停止迭代， 若 b − t 1 ≤ ε ，停止迭代，输出 t 2 。否则令 a := t 1 ， t 1 := t 2 ， t 2 := a + 0.618(b − a ) ， ϕ 1 := ϕ 2 ，计算 ϕ 2 = ϕ ( t 2 ) ，转第 3 步。
ϕ (tk ) ≥ ϕ (0) + m2tkϕ ′(0)
之下的点， （4.3.10）式所限定的 tk 是使 ϕ (tk ) 位于直线 y = ϕ (0) + m1ϕ ′(0)t 之下的点， 4.3.10） 用 以 控 制 tk 不 太 大 ； 4.3.11 ） 用 于 限 定 tk 使 ϕ (tk ) 位 于 直 线 （
min ϕ (t ) = ∫ arctan xdx
0 t
解答
Newton法 Newton法-算法分析
• 从任意初始点开始的 Newton法产生的点列 ， 从任意初始点开始的Newton 法产生的点列 Newton 法产生的点列， 一般来说不一定收敛， 即使收敛， 一般来说不一定收敛 ， 即使收敛 ， 其极限 的极小点， 点也不一定是ϕ (t ) 的极小点，只能保证它是 ϕ (t ) 的驻点。但当初始点充分接近 t * 时，可 的驻点。 以证明Newton法是收敛的。 Newton法是收敛的 以证明Newton法是收敛的。
k
取定 0 < m < 1 < M ，用以下两个式子限定 tk 不太大也不太小：
ϕ (tk ) ≤ ϕ (0) + mtkϕ ′(0)
ϕ ( Mtk ) > ϕ (0) + mMtkϕ ′(0)
(4.3.1) (4.3.2)
1. 0.618法 0.618法
• 0.618法——思想 0.618法——思想
第一步： 插入 t1 , t2使 [ a, t2 ][t1 , b ] 等长度，令 第一步： 等长度，
w=
t2 − a b − t1 = ⇒ t1 = a + (1 − w)(b − a), t2 = a + w(b − a) b−a b−a
• 例4.3.3 用Goldstein法求解 Goldstein法求解 min ϕ (t ) = t 3 − 2t + 1
t ≥0
t0 取= 2, m1 = 0.2, m2 = 0.7, α = 2
解答
4.Armijo法 4.Armijo法
• Armijo法 法
ϕ (0)
y = ϕ (t )
tk
Mt
0.618法例题 0.618法例题
• 例4.3.1 用0.618法求解
min ϕ (t ) = t 3 − 2t + 1
ϕ (t ) 的单谷区间为[0,3]，= 0.5 ε
t ≥0
解答
0.618法算法分析 0.618法算法分析
• 在0.618法中每次迭代搜索区间按常比例缩 618法中每次迭代搜索区间按常比例缩 小 ， 所以要使给定的单谷区间减少到所要 求的区间精度， 求的区间精度 ， 需要的迭代次数是可以预 估的。 估的 。 另外若每次每次迭代按不同比例缩 小搜索区间， 小搜索区间 ， 但仍要求每次迭代只计算一 个函数值， 个函数值 ， 且希望在搜索点个数相同的情 况下使最终的搜索区间的长度最小， 况下使最终的搜索区间的长度最小 ， 按此 要求设计的方法是Fibonacci Fibonacci法 要求设计的方法是Fibonacci法
第三节 一维搜索方法
目标函数为单变量的非线性规划问题称为一维搜索问 目标函数为单变量的非线性规划问题称为一维搜索问 线性搜索问题) 题(或线性搜索问题)，其数学模型为 min ϕ (t) ，
t ≥0 ( 0≤ t ≤ t max )
其中 t ∈ R 。
精确一维搜索方法： 0.618法 Newton法 精确一维搜索方法： 0.618法，Newton法 非精确一维搜索方法： Goldstein法 Armijo法 非精确一维搜索方法： Goldstein法，Armijo法
Newton法步骤 Newton法步骤
Newton 法步骤 第 1 步 给定初始点 t1 ， ε > 0, k := 1 ； 停止迭代， 否则， 停止， 第 2 步 如果 ϕ ′(tk ) < ε ，停止迭代，输出 t k .否则，当 ϕ ′′(tk ) = 0 时，停止， 解题失败；当 ϕ ′′(tk ) ≠ 0 时，转下一步； 转下一步； 解题失败；
第二步： 第二步： 使区间缩小同样的比例 w ，不妨设新区间为 [ a, t2 ] 设插入 t1′ , t2′ ，则
2 t2′ − a t2 − t1′ t1′ = a + w(b − a ) − w (b − a ) w= = ⇒ t 2 − a t2 − a t2′ = a + w2 (b − a )
ak +1 := t k , bk +1 := bk
若 bk +1 < +∞ ，进行第 4 步；否则，令 t k +1 := αt k , k := k + 1 ，转第 2 步； 否则， 第 4 步 取 t k +1 :=
ak +1 + bk +1 ，令 k := k + 1 ，转第 2 步。 2
Goldstein法 Goldstein法-例题
y = ϕ (0) + m2ϕ ′(0)t
之上的点， 不太小. 之上的点，用以控制 tk 不太小.
Goldstein法 Goldstein法-步骤
第 1 步 给定满足 0 < m1 < m2 < 1 的正数 m1 ,m2 ，增大探索点系数 α > 1 ； ）。令 初始探索点 t 0 ∈ (0,+∞) （或 (0, t max ] ）。令 a0 := 0, b0 := +∞ （或 t max ）， k := 0 = 第 2 步 计算 ϕ (t k ) 否则， 若 ϕ (t k ) ≤ ϕ (0) + m1 t kϕ ′(0) ，进行第 3 步；否则，令 ak +1 := ak Leabharlann Baidu bk +1 := t k 转第 4 步； 停止迭代， 否则， 第 3 步 若 ϕ (t k ) ≥ ϕ (0) + m2 t kϕ ′(0) ，停止迭代，输出 t k 。否则，令
ϕ ′(tk ) 停止迭代， 第 3 步 计算 tk +1 = tk − ，如果 tk +1 − t k < ε ，停止迭代，输出 tk +1 ， ϕ ′′(tk )
否则 k
:= k + 1 ，转至第 2 步；
Newton法 Newton法-例题
• 例4.3.2 用Newton法求函数的最优解 Newton法求函数的最优解
3. Goldstein法 Goldstein法
• Goldstein法 法
a
b
c
d
Goldstein法思想 Goldstein法思想
预先指定两个数 m1 , m2 满足 0 < m1 < m2 < 1 ，用一下两个式子限定 tk
ϕ (tk ) ≤ ϕ (0) + m1tkϕ ′(0)
（4.3.10） 4.3.10） （4.3.11） 4.3.11）
若令 t1′ = t1 ，则有 w = 1 ；若令 t2′ = t1 ，则有 w = 0.618 以后类似迭代
0.618法步骤 0.618法步骤
称为在[a,b]上是单谷 [a,b]上是单谷的 函数 ϕ (t ) 称为在[a,b]上是单谷的，如果存在一个 t * ∈ [a , b] ，使得 ϕ (t ) 在 [a , t * ] 上严格递减，且在 [t * , b] 上严格递增。区间[a,b]称为 ϕ (t ) 的单谷区间。 上严格递减， 上严格递增。区间[a,b] [a,b]称为 单谷区间。
2. Newton法 Newton法
• Newton法思想 Newton法思想
是二次可微的， 考虑一维搜索问题 min ϕ ( t ) ，其中 ϕ (t ) 是二次可微的，且 ϕ ′′( t ) ≠ 0 。 法的基本思想是： Newton 法的基本思想是：用 ϕ (t ) 在探索点 tk 处的二阶泰勒 展开式 g (t ) 来替代 ϕ (t ) ，然后用 g (t ) 的最小点作为新的探 据此，可得： 索点 tk +1 .据此，可得： ϕ ′(tk ) tk +1 = tk − ϕ ′′(tk +1 ) 然后按照上式进行迭代计算， 开始时给定一个初始点 t1 ，然后按照上式进行迭代计算， 终止迭代， 的最小点的近似。 当 ϕ ′(tk ) < ε 时，终止迭代， tk 为 ϕ (t ) 的最小点的近似。