最速下降法ppt
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
LOGO
• 它的全局最优点位于一个长长的、狭窄的、抛物线形状的、扁平的“山谷” 中。找到“山谷”并不难,难的是收敛到全局最优解(全局最优解在 (1,1) 处)。
开始
给定初始点, x0 E,n 0
程序图
LOGO
求k 使其满足
min
0
f
(xk
pk
)
f
(xk
k
pk
)
k : 0 计算 pk f (xk )
f
xk
dk
f
xk
g
T k
dk
,
0,
那么目标函数 f(x)在Xk处沿方向dk下降的变化率为
最速下降法的方向选择
LLOOGGOO
lim lim f xk dk f xk
g
T k
d
k
0
0
g
T k
d
k
gk
dk cos
其中 为gk与dk的夹角。要使得变化率最小,只有当cos值为-1时, 才能达到,也即dk应取得负梯度方向。
最速下降法的由来
•其主要思想
每次沿负梯度方向进行搜索
LOGO
x*
●
x● k
x ● k 1
f ( xk )
等值线(面)
最速下降法的方向选择
LLOOGGOO
最速下降法用负梯度为方向
dk f xk
作为搜索方向。设 f(x) 在XK附近连续可微,dk为搜索方向向量,wenku.baidu.com
gk f xk .由泰勒展开式得
xk1 : xk k dk , k : k 1,
•由式 dk f xk 得,
LOGO
f xk 1T f xk 0
即新点xk+1处的梯度是正交的,也就是说,迭代点列所走
的路线是锯齿型的,故收敛速度是很慢的。
步长因子
LOGO
•步4中,步长因子 的k 确定即可以采用精确线搜索又可以采用非精确 线搜索。
x(2) O x(4) x(3)
LOGO
谢谢各位
LOGO
感谢您的阅读! 为 了 便于学习和使用, 本文档下载后内容可 随意修改调整及打印。
学习永远不晚。 JinTai College
•采用精确线搜索时
f
xk
kdk
lim 0
f
xk
dk
那么 k 应该满足
'x
d d
f xk
dk k
f
xk
k dk T dk
0
由此我们可以求出步长因子。
LOGO
• 函数 f(x1,x2)=(1-x2)^2+100*(x2-x1^2)^2,它叫罗森布罗克方程。
罗森布罗克方程的三维图
令
xk1 xk k pk
是
pk
否
输出: xmin xk
结束
matlab仿真实例
LOGO
matlab仿真实例
LOGO
最速下降法的优缺点
LOGO
• 由于沿负梯度方向目标函数的最速下降性,很容易使人们误认为负梯 度方向是最理想的搜索方向,最速下降法是一种理想的极小化方法。 必须指出的是,某点的负梯度方向,通常只是在该点附近才具有这种 最速下降的性质。在一般情况下,当用最速下降法寻找极小点时,其 搜索路径呈直角锯齿状,在开头几步,目标函数下降较快;但在接近 极小点时,收敛速度长久不理想了。特别适当目标函数的等值线为比 较扁平的椭圆时,收敛就更慢了。优点是:程序简单,计算量小;并 且对初始点没有特别的要求。
最优化—最速下降法
主讲人:王俊俊
最速下降法
最速下降法的由来 最速下降法的方向选择
最速下降法的算法步骤
最速下降法的实例
LOGO
最速下降法的由来
LLOOGGOO
考虑无约束问题
min f x, x Rn
其中,函数法f(x)具有一阶连续偏导数。
人们在处理这类问题时,总希望从某一点出发,选择 一个目标函数值下降最快的方向,以利于尽快达到极小点, 基于此种愿望,早在1847年法国数学家Cauchy提出了最速 下降法。后来,Curry等人作了进一步研究,得出现在众 所周知的一种最基本算法。
J (a) J(a)
J(a)
ak
a
最速下降法的步骤
LOGO
• 1.选取初始点 x0 Rn ,容许误差 0 1 。令k:=1.
• 2. 计算 gk f xk 。若 gk ,停算,输出Xk作为近 似最优解。
• 3.取方向dk=-gk。
• 4.由线搜索技术确定步长因子 k 。
• 5.令
, 转步长1。