最速下降法原理及例题实例

−1 1
=
G
αk
=
g1d1 + g2d2 3d12 + d22 − 2d1d2
[ ] [ ] 取 X (1) = (0, 0)T ，则 ∇f ( X (1) ) = −2, 0 T ，所以 d (1) = −∇f ( X (1) ) = 2, 0 T ，
因此
α1
=
22 3× 22
=
1 3
[ ] [ ] X (2) = X (1) + α1d (1) =
=
1 + 4x1 + 2x2 −1+ 2x1 + 2x2
∂(x2 )
∇f
(X
(1) )
=
1 −1
令搜索方向 d (1)
=
−∇f
(X
(1) )
=
−1 1
再从
X
(1) 出发，沿
d (1) 方向作一维寻优，令
步长变量为 λ
，最优步长为 λ1 ，则有
X
(1)
+
λd (1)
=
0 0
+
λ
−1 1
min f ( X ) = (x1 − 2)4 + (x1 − 2x2 )2
其中 X = (x1, x2 )T ，要求选取初始点 X 0 = (0, 3)T ，终止误差 ε = 0.1.
解：因
∇f ( X ) = [4(x1 − 2)3 + 2(x1 − 2x2 ), −4(x1 − 2x2 )]T
∇f (x∗ ) = 0源自(二)最速下降法的基本思想和迭代步骤
最速下降法又称为梯度法，是 1847 年由著名数学家 Cauchy 给出的。他是解析法中最古老的一 种，其他解析方法或是它的变形，或是受它的启发而得到的，因此它是最优化方法的基础。
设无约束问题中的目标函数 f : Rn → R1 一阶连续可微。 最速下降法的基本思想是：从当前点 xk 出发，取函数 f (x) 在点 xk 处下降最快的方向作为我 们的搜索方向 pk .由 f (x) 的 Taylor 展式知
=
−λ λ
故 f (x) = f ( X (1) + λd (1) ) = (−λ) − λ + 2(−λ)2 + 2(−λ)λ + λ2 = λ 2 − 2λ = ϕ1(λ)
令ϕ1' (λ) = 2λ − 2 = 0 可得 λ1 = 1
X
(2)
=
X
(1)
+ λ1d (1)
=
0 0
+
−1 1
∇f ( X k )
50.12 1.47 0.93 0.33 0.36 0.14 0.17 0.09
tk
X k +1
0.06 (2.70,1.51)T 0.24 (2.52,1.20)T 0.11 (2.43,1.25)T 0.31 (2.37,1.16)T 0.12 (2.33,1.18)T 0.36 (2.30,1.14)T 0.13 (2.28,1.15)T
f (xk ) − f ( xk + tpk ) = −t∇f (xk )T pk + o‖( tpk‖) 略去 t 的高阶无穷小项不计，可见取 pk = −∇f (xk ) 时，函数值下降得最多。于是，我们可以构造
出最速下降法的迭代步骤。
解无约束问题的的最速下降法计算步骤
第 1 步 选取初始点 x0 ，给定终止误差ε > 0 ，令 k := 0 ； 第 2 步 计算 ∇f (xk ) ，若‖∇f ( xk )‖≤ ε ，停止迭代.输出 xk .否则进行第三步； 第 3 步 取 pk = −∇f (xk ) ；
最速下降法原理以及其算法的实现
最速下降法又称为梯度法，是 1847 年由著名数学家 Cauchy 给出的，它是解析法中最古老 的一种，其他解析方法或是它的变形，或是受它的启发而得到的，因此它是最优化方法的基础。 作为一种基本的算法，他在最优化方法中占有重要地位。其优点是工作量少，存储变量较少， 初始点要求不高；缺点是收敛慢，效率不高，有时达不到最优解。非线性规划研究的对象是非 线性函数的数值最优化问题。它的理论和方法渗透到许多方面，特别是在军事、经济、管理、
例3 用最速下降法求解无约束问题
min
f
(x)
=
3 2
x12
+
1 2
x22
−
x1x2
−
2x1
取 X (1) = (0, 0)T ，ε = 10−2 。
解：计算目标函数的梯度和 Hesse 阵
∇f
(
X
)
=
3x1 − x2 − x2 − x1
2
=
g1 g2
，
∇2
f
(
X
)
=
3 −1
[ ] [ ] 设 d (k) = d1, d2 T ， ∇f ( X (k) ) = g1, g2 T 得到精确一维搜索步长
=
−1 1
求出 X (2) 点之后，与
上类似地，进行第二次迭代：
∇f
(
X
(2)
)
=
−1 −1
令 d (2)
=
−∇f
(X
(2) )
=
1 1
令步长变量为 λ ，最优步长为 λ2 ，则有
X
(2)
+ λd (2)
=
−1 1
+
λ
1 1
=
λ λ
−1 +1
故
f (x) = f ( X (2) + λd (2) ) = (λ −1) − (λ +1) + 2(λ −1)2 + 2(λ −1)(λ +1) + (λ +1)2 = 5λ2 − 2λ −1 = ϕ2 (λ)
令
ϕ
' 2
(λ
)
=
10λ
−
2
=
0
可得
λ2
=
1 5
X
(3)
=
X
(2)
+
λ2d (2)
=
−1 1
+
1 5
1 1
=
−0.8 1.2
∇f
(
X
(3)
)
=
0.2 −0.2
此时所达到的精度 ∇f ( X (3) )
≈ 0.2828
本题最优解
X∗
=
−1 1.5
，
f
(X∗)
=
−1, 25
例 2 用最速下降法求解无约束非线性规划问题：
生产过程自动化、工程设计和产品优化设计等方面都有着重要的应用。而最速下降法正是 n 元 函数的无约束非线性规划问题 min f (x) 的一种重要解析法，研究最速下降法原理及其算法实
现对我们有着极其重要的意义。
一、最速下降法基本原理
(一)无约束问题的最优性条件
无约束问题的最优解所要满足的必要条件和充分条件是我们设计算法的依据，为此我们有以下 几个定理。
点可以是极小点；也可以是极大点；甚至也可能既不是极小点也不是极大点，此时称它为函数 f 的 鞍点。以上定理告诉我们， x∗ 是无约束问题的的局部最优解的必要条件是： x∗ 是其目标函数 f 的
驻点。 现给出无约束问题局部最优解的充分条件。
定理 3 设 f : Rn → R1 在点 x∗ ∈ Rn 处的 Hesse 矩阵 ∇2 f (x∗ ) 存在。若 ∇f (x∗ ) = 0 ，并且 ∇2 f (x∗ ) 正定
f (Xk)
52.00 0.34 0.09 0.04 0.02 0.01 0.009 0.007
表 1-1
∇f ( X k )
(−44, 24)T (0.73,1.28)T (0.80, −0.48)T (0.18, 0.28)T (0.30, −0.20)T (0.08, 0.12)T (0.15, −0.08)T (0.05, 0.08)T
x(2) O xg(4) x(3)
图 1-3 因此，在实用中常将最速下降法和其他方法联合应用，在前期使用最速下降法，而在接近极小 点时，可改用收敛较快的其他方法。
则
∇f (X 0 ) = (−44, 24)T
∇f (X 0) = 50.12 > ε
求单变量极小化问题：
p0 = −∇f (X 0 ) = (44, −24)T
min f (x0 + tp0 ) = min f (44t, 3 − 24t)
t≥0
t≥0
= min(44t − 2)4 + (92t − 6)2 t≥0
此时的 f (xk − t∇f (xk )) 已成为步长 t 的一元函数，故可用任何一种一维寻优法求出 tk ，即
f (xk +1) =
f (xk
−
tk
∇f
(
xk
))
=
min t
f (xk
− t∇f (xk ))
方法二：微分法
因为
tf (xk − t∇f (xk )) = ϕ(t)
所以，一些简单情况下，可令
则 x∗ 是无约束问题的严格局部最优解。
一般而言，无约束问题的目标函数的驻点不一定是无约束问题的最优解。但对于其目标函数是 凸函数的无约束凸规划，下面定理证明了，它的目标函数的驻点就是它的整体最优解。
定理 4 设 f : Rn → R1 ， x∗ ∈ Rn ， f 是 Rn 上的可微凸函数。若有
则 x∗ 是无约束问题的整体最优解。
0, 0 T + 1 3
2, 0 T
=