四常用无约束最优化方法(精品PPT)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
在基本迭代公式 X k1 X k tk Pk 中，每次迭代搜索 Pk 方向取为目标函数 f (X )的负梯度方向，即Pk f (X k ) ，
而每次迭代的步长 tk取为最优步长，由此所确定的算法
称为最速下降法．
Company Logo
为了求解问题（4.1），如图4.1所示，假定我们已经迭
k k 代了 次，获得了第
无约束优化方法是优化技术中极为重要和基本的内容之 一．它不仅可以直接用来求解无约束优化问题，而且很多约 束优化问题也常将其转化为无约束优化问题，然后用无约束 优化方法来求解．另外，有些无约束优化方法只需略加处理， 即可用于求解约束优化问题．
Company Logo
无约束优化理论发展较早，比较成熟，方法也很多，新的 方法还在陆续出现．把这些方法归纳起来可以分成两大类： 一类是仅用计算函数值所得到的信息来确定搜索方向，通常 称它为直接搜索法，简称为直接法，另一类需要计算函数的 一阶或二阶导数值所得到的信息来确定搜索方向，这一类方 法称为间接法（或解析法）．直接法不涉及导数和Hesse矩阵， 适应性强，但收敛速度一般较慢；间接法收敛速度一般较快， 但需计算梯度，甚至需要计算Hesse矩阵．一般的经验是，在 可能求得目标函数导数的情况下还是尽可能使用间接方法； 相反，在不可能求得目标函数的导数或根本不存在导数的情 况下，当然就应该使用直接法．
个迭代点
X
k
．现在从
X
出发，可
k
选择的下降方向很多，一个非常自然的想法是沿最速下降方
向（即负梯度方向）进行搜索应该是有利的，至少在 X k 邻
近的范围内是这样．因此，取搜索方向为
Pk f (X k ) ．
．
图4.1
Company Logo
为了使目标函数在搜索方向上获得最多的下降，沿 Pk 进行
一维搜索，由此得到第k
f f (X) g g(X )
H准则满足
Y
X，f
X0 X f0 f g0 g
结束
Company Logo
将最速下降法应用于正定二次函数
可以推出显式迭代公式．
f (X ) 1 X T AX bT X c （4.4） 2
k 设第
次迭代点为
X
，我们来求
k
X
k
的表达式．对式
1
(4.4)关于求 X 梯度，有
（3）用终止准则检测是否满足：若满足，则打印最优
解 X k 1 ，f ( X k1 ) ，结束；否则，置 k k 1，转
（2）．
，
最速下降法算法流程如图4.2所示．
Company Logo
最速下降法算 法流程如图所 示．
图4.2ห้องสมุดไป่ตู้
开始 选定X0
f0 f (X0) g0 g(X0)
X ls(X 0 ,g0 )
其中X
是初始点，由计算者任意选定．当
0
f (X ) 满足一定的条
件时，由式（4.3）所产生的点列{X k } 必收敛于f (X ) 的极小
点 X* ．
Company Logo
以后为书写方便，记 g(X ) f (X ) ．因
此，g( X k ) f ( X k ) ．在不发生混淆时， 再记 gk g(X k ) f (X．k )
Company Logo
二、最速下降法迭代步骤
已知目标函数 f (X )及其梯度 g(X )，终止限 1、 2 和 3 ． （1）选定初始点 X 0 ，计算 f0 f ( X 0 ) ，g0 g(X 0 ) ；
置k 0 ．
（2）作直线搜索：X k1 ls( X k , gk ) ；计算
f k 1 f ( X k 1 ) ， g k 1 g ( X k 1 ) ．
（4.5），式（4.6）和式（4.7）可得
[ A( X k tk gk ) b]T gk 0
或
[gk tk Ag k ]T gk 0
．
由此解出
tk
g
T k
gk
g
T k
A gk
，
代入式（4.7）中得到
这就是最速下降法用于二X次k1函数X的k 显 式ggkT迭kTAg代gkk公g式k ．.（4.8）
Company Logo
§4.1 最速下降法
对于问题（4.1）为了求其最优解，按最优化算法的基
本思想是从一个给定的初始点
X
出发，通过基本迭代公
0
式 X k1 X k tk Pk，按照特定的算法产生一串
点列{X k } ，如果点列收敛，则该点列的极限点为问题
（4.1）的最优解．
一、最速下降法基本原理
Company Logo
例4.1 试用最速下降法求函数 f (x1, x2 ) x12 4x22
1个迭代点
X
k
，即
1
X k1 X k tk f ( X k ) ，
其中步长因子 tk 按下式确定
也可记为
f
(Xk
tkf
(Xk
))
min
t
f
(Xk
tf
(Xk
))
，
X k1 ls( X k , f ( X k )) ． （4.3）
显然，令k 0, 1, 2, 就可以得到一个点列 X0, X1, X2 ，
第四章 常用无约束最优化方法
4.1
最速下降法
4.2
Newton 法
4.3
修正Newton法
4.4
共轭方向法
4.5
共轭梯度法
4.6
变尺度法
4.7
坐标轮换法
4.8
单纯形法
Company Logo
第四章 常用无约束最优化法
本章开始讨论多维无约束最优化问题
min f (X ) （4.1） 其中 f：R n R1 ．这个问题的求解是指，在Rn中找一
点X * ，使得对于任意的 X Rn 都有 f ( X * ) f ( X )（4.2）
成立．点 X *就是问题（4.1）的全局最优点．但是，大多数
最优化方法只能求到局部最优点，即在 R n中找到一点 X *，
使得式（4.2)在 X * 的某个领域中成立．
Company Logo
这个矛盾对于实际问题来讲一般容易解决，因为根据问题 的实际意义多半可以直接判定用优化方法求出的局部最优解 是否为全局最优解．但在理论上这是个比较复杂的问题，本 书不涉及．
g( X ) AX b ，(4.5)
因此，
gk g( X k ) AX k b．(4.6)
现在从X k 出发沿 g k 作直线搜索以确定 X k1 ，于是
X k1 X k tk gk ， (4.7) 其中tk 是最优步长因子．
Company Logo
又因式（4.2），有 g( X k1 )T gk 0 ，再利用式
而每次迭代的步长 tk取为最优步长，由此所确定的算法
称为最速下降法．
Company Logo
为了求解问题（4.1），如图4.1所示，假定我们已经迭
k k 代了 次，获得了第
无约束优化方法是优化技术中极为重要和基本的内容之 一．它不仅可以直接用来求解无约束优化问题，而且很多约 束优化问题也常将其转化为无约束优化问题，然后用无约束 优化方法来求解．另外，有些无约束优化方法只需略加处理， 即可用于求解约束优化问题．
Company Logo
无约束优化理论发展较早，比较成熟，方法也很多，新的 方法还在陆续出现．把这些方法归纳起来可以分成两大类： 一类是仅用计算函数值所得到的信息来确定搜索方向，通常 称它为直接搜索法，简称为直接法，另一类需要计算函数的 一阶或二阶导数值所得到的信息来确定搜索方向，这一类方 法称为间接法（或解析法）．直接法不涉及导数和Hesse矩阵， 适应性强，但收敛速度一般较慢；间接法收敛速度一般较快， 但需计算梯度，甚至需要计算Hesse矩阵．一般的经验是，在 可能求得目标函数导数的情况下还是尽可能使用间接方法； 相反，在不可能求得目标函数的导数或根本不存在导数的情 况下，当然就应该使用直接法．
个迭代点
X
k
．现在从
X
出发，可
k
选择的下降方向很多，一个非常自然的想法是沿最速下降方
向（即负梯度方向）进行搜索应该是有利的，至少在 X k 邻
近的范围内是这样．因此，取搜索方向为
Pk f (X k ) ．
．
图4.1
Company Logo
为了使目标函数在搜索方向上获得最多的下降，沿 Pk 进行
一维搜索，由此得到第k
f f (X) g g(X )
H准则满足
Y
X，f
X0 X f0 f g0 g
结束
Company Logo
将最速下降法应用于正定二次函数
可以推出显式迭代公式．
f (X ) 1 X T AX bT X c （4.4） 2
k 设第
次迭代点为
X
，我们来求
k
X
k
的表达式．对式
1
(4.4)关于求 X 梯度，有
（3）用终止准则检测是否满足：若满足，则打印最优
解 X k 1 ，f ( X k1 ) ，结束；否则，置 k k 1，转
（2）．
，
最速下降法算法流程如图4.2所示．
Company Logo
最速下降法算 法流程如图所 示．
图4.2ห้องสมุดไป่ตู้
开始 选定X0
f0 f (X0) g0 g(X0)
X ls(X 0 ,g0 )
其中X
是初始点，由计算者任意选定．当
0
f (X ) 满足一定的条
件时，由式（4.3）所产生的点列{X k } 必收敛于f (X ) 的极小
点 X* ．
Company Logo
以后为书写方便，记 g(X ) f (X ) ．因
此，g( X k ) f ( X k ) ．在不发生混淆时， 再记 gk g(X k ) f (X．k )
Company Logo
二、最速下降法迭代步骤
已知目标函数 f (X )及其梯度 g(X )，终止限 1、 2 和 3 ． （1）选定初始点 X 0 ，计算 f0 f ( X 0 ) ，g0 g(X 0 ) ；
置k 0 ．
（2）作直线搜索：X k1 ls( X k , gk ) ；计算
f k 1 f ( X k 1 ) ， g k 1 g ( X k 1 ) ．
（4.5），式（4.6）和式（4.7）可得
[ A( X k tk gk ) b]T gk 0
或
[gk tk Ag k ]T gk 0
．
由此解出
tk
g
T k
gk
g
T k
A gk
，
代入式（4.7）中得到
这就是最速下降法用于二X次k1函数X的k 显 式ggkT迭kTAg代gkk公g式k ．.（4.8）
Company Logo
§4.1 最速下降法
对于问题（4.1）为了求其最优解，按最优化算法的基
本思想是从一个给定的初始点
X
出发，通过基本迭代公
0
式 X k1 X k tk Pk，按照特定的算法产生一串
点列{X k } ，如果点列收敛，则该点列的极限点为问题
（4.1）的最优解．
一、最速下降法基本原理
Company Logo
例4.1 试用最速下降法求函数 f (x1, x2 ) x12 4x22
1个迭代点
X
k
，即
1
X k1 X k tk f ( X k ) ，
其中步长因子 tk 按下式确定
也可记为
f
(Xk
tkf
(Xk
))
min
t
f
(Xk
tf
(Xk
))
，
X k1 ls( X k , f ( X k )) ． （4.3）
显然，令k 0, 1, 2, 就可以得到一个点列 X0, X1, X2 ，
第四章 常用无约束最优化方法
4.1
最速下降法
4.2
Newton 法
4.3
修正Newton法
4.4
共轭方向法
4.5
共轭梯度法
4.6
变尺度法
4.7
坐标轮换法
4.8
单纯形法
Company Logo
第四章 常用无约束最优化法
本章开始讨论多维无约束最优化问题
min f (X ) （4.1） 其中 f：R n R1 ．这个问题的求解是指，在Rn中找一
点X * ，使得对于任意的 X Rn 都有 f ( X * ) f ( X )（4.2）
成立．点 X *就是问题（4.1）的全局最优点．但是，大多数
最优化方法只能求到局部最优点，即在 R n中找到一点 X *，
使得式（4.2)在 X * 的某个领域中成立．
Company Logo
这个矛盾对于实际问题来讲一般容易解决，因为根据问题 的实际意义多半可以直接判定用优化方法求出的局部最优解 是否为全局最优解．但在理论上这是个比较复杂的问题，本 书不涉及．
g( X ) AX b ，(4.5)
因此，
gk g( X k ) AX k b．(4.6)
现在从X k 出发沿 g k 作直线搜索以确定 X k1 ，于是
X k1 X k tk gk ， (4.7) 其中tk 是最优步长因子．
Company Logo
又因式（4.2），有 g( X k1 )T gk 0 ，再利用式