最优化之最速下降法.

LOGO
• 由式
d k f xk
T
得，
即新点xk+1处的梯度是正交的，也就是说，迭代点列所走
的路线是锯齿型的，故收敛速度是很慢的。
f xk 1 f xk 0
2018/10/8
步长因子
LOGO
• 步4中，步长因子 k 的确定即可以采用精确线搜索又可以采用非精 确线搜索。 • 采用精确线搜索时
T gk d k g k d k cos
其中 为gk与dk的夹角。要使得变化率最小，只有当cos值为-1时， 才能达到，也即dk应取得负梯度方向。
J (a ) J ( a )
J (a )
ak
a
最速下降法的步骤
• 1.选取初始点 x R n 0
• 2. 计算
，容许误差
LOGO
x (2)
O
x (4) x (3)
2018/10/8
LOGO
谢谢各位
最优化—最速下降法
主讲人：王俊俊
最速下降法
LOGO
最速下降法的由来
最速下降法的方向选择
最速下降法的算法步骤
最速下降法的实例
最速下降法的由来
源自文库
LOGO LOGO
考虑无约束问题
min f x, x R
n
其中，函数法f(x)具有一阶连续偏导数。
人们在处理这类问题时，总希望从某一点出发，选择 一个目标函数值下降最快的方向，以利于尽快达到极小点， 基于此种愿望，早在1847年法国数学家Cauchy提出了最速 下降法。后来，Curry等人作了进一步研究，得出现在众 所周知的一种最基本算法。
输出：
xmin xk
否
结束
matlab仿真实例
LOGO
2018/10/8
matlab仿真实例
LOGO
2018/10/8
最速下降法的优缺点
LOGO
• 由于沿负梯度方向目标函数的最速下降性，很容易使人们误认为负梯 度方向是最理想的搜索方向，最速下降法是一种理想的极小化方法。 必须指出的是，某点的负梯度方向，通常只是在该点附近才具有这种 最速下降的性质。在一般情况下，当用最速下降法寻找极小点时，其 搜索路径呈直角锯齿状，在开头几步，目标函数下降较快；但在接近 极小点时，收敛速度长久不理想了。特别适当目标函数的等值线为比 较扁平的椭圆时，收敛就更慢了。优点是：程序简单，计算量小；并 且对初始点没有特别的要求。
最速下降法的由来
• 其主要思想
LOGO
每次沿负梯度方向进行搜索
●
x*
x k 1
等值线(面)
●
xk
●
f ( xk )
2018/10/8
最速下降法的方向选择
LOGO LOGO
最速下降法用负梯度为方向
d k f xk
作为搜索方向。设 f(x) 在XK附近连续可微，dk为搜索方向向量，
0 1 。令k:=1.
gk ，停算，输出X 作为近 k g k f xk 。若
似最优解。
• 3.取方向dk=-gk。
• 4.由线搜索技术确定步长因子 。 k
• 5.令
xk 1 : xk k dk , k : k 1,
， 转步长1。
2018/10/8
2018/10/8
程序图
开始
LOGO
求k 使其满足
给定初始点， x0 E ， n 0
min f ( x k p k ) f ( x k k p k )
0
k : 0
令
计算
pk f ( xk )
是
xk 1 xk k pk
p
k
2018/10/8
g k f xk
.由泰勒展开式得
T f xk dk f xk gk dk , 0,
那么目标函数 f(x)在Xk处沿方向dk下降的变化率为
最速下降法的方向选择
LOGO LOGO
lim
0
T f xk d k f x k g k d k lim 0
f xk k d k lim f xk d k
0
那么 k 应该满足
' x d T f x k d k k f x k k d k d k 0 d
由此我们可以求出步长因子。
2018/10/8
LOGO
• 函数 f（x1,x2）=(1-x2)^2+100*(x2-x1^2)^2,它叫罗森布罗克方程。
2018/10/8
罗森布罗克方程的三维图
LOGO
• 它的全局最优点位于一个长长的、狭窄的、抛物线形状的、扁平的“山谷” 中。找到“山谷”并不难，难的是收敛到全局最优解（全局最优解在 (1,1) 处）。