(06)第四章-无约束优化方法(坐标轮换法)
合集下载
《无约束优化方法》PPT课件
进行一维搜索，其终点 x k 1 与始点 x k 的梯度值差
gk1 gk 与 d k 的共轭方向 d j 正交。
精选ppt
18
图4-9 共轭梯度法的几何说明
精选ppt
精选ppt
20
精选ppt
21
精选ppt
22
精选ppt
23
精选ppt
24
第六节变尺度法
变尺度法的基本思想：
前面讨论的梯度法和牛顿法，它们的迭代公式可以看作下列 公式的特例。
3
第二节 最速下降法
优化设计追求目标函数值最小，若搜索方向取该点的负梯度 方向，使函数值在该点附近的范围内下降最快。
按此规律不断走步，形成以下迭代算法：
xk1xkak f xk
以负梯度方向为搜索方向，所以称最速下降法或梯度法。
搜索方向确定为负梯度方向，还需确定步长因子a k
即求一维搜索的最佳步长，既有
xk 1xkkH f xk
变尺度法是对牛顿法的修正，它不是计算二阶导数的矩阵和 它的逆矩阵，而是设法构造一个对称正定矩阵H来代替Hesse 矩阵的逆矩阵。并在迭代过程中，使其逐渐逼近H-1 。
由于对称矩阵H在迭代过程中是不断修正改变的，它对于一 般尺度的梯度起到改变尺度的作用，因此H又称变尺度矩阵。
数值法
可以处理复杂函数及没有数学表达式 的优化设计问题
xk1xk akdk
搜索方向问题是无约束优化方法的关键。
各种无约束优化方法的区别：确定搜索方向的方法不同。
利用目标函数的一阶或二阶导数
无约束优化方法分类 （最速下降法、共轭梯度法、牛顿法）
利用目标函数值
（精坐选标ppt轮换法、鲍威尔等）
2
精选ppt
gk1 gk 与 d k 的共轭方向 d j 正交。
精选ppt
18
图4-9 共轭梯度法的几何说明
精选ppt
精选ppt
20
精选ppt
21
精选ppt
22
精选ppt
23
精选ppt
24
第六节变尺度法
变尺度法的基本思想：
前面讨论的梯度法和牛顿法，它们的迭代公式可以看作下列 公式的特例。
3
第二节 最速下降法
优化设计追求目标函数值最小，若搜索方向取该点的负梯度 方向，使函数值在该点附近的范围内下降最快。
按此规律不断走步，形成以下迭代算法：
xk1xkak f xk
以负梯度方向为搜索方向，所以称最速下降法或梯度法。
搜索方向确定为负梯度方向，还需确定步长因子a k
即求一维搜索的最佳步长，既有
xk 1xkkH f xk
变尺度法是对牛顿法的修正，它不是计算二阶导数的矩阵和 它的逆矩阵，而是设法构造一个对称正定矩阵H来代替Hesse 矩阵的逆矩阵。并在迭代过程中，使其逐渐逼近H-1 。
由于对称矩阵H在迭代过程中是不断修正改变的，它对于一 般尺度的梯度起到改变尺度的作用，因此H又称变尺度矩阵。
数值法
可以处理复杂函数及没有数学表达式 的优化设计问题
xk1xk akdk
搜索方向问题是无约束优化方法的关键。
各种无约束优化方法的区别：确定搜索方向的方法不同。
利用目标函数的一阶或二阶导数
无约束优化方法分类 （最速下降法、共轭梯度法、牛顿法）
利用目标函数值
（精坐选标ppt轮换法、鲍威尔等）
2
精选ppt
第四章常用的无约束优化方法
教学重点
1．鲍威尔法 2．梯度法 3．牛顿法
2
机械优化设计
概述
一、无约束优化方法的数学模型 有约束优化问题模型
L min F ( X * ) = F ( x1，x2， ，xn ), X ∈ R n D : g j ( X ) ≥ 0 j = 1,2,L, m hk ( X ) = 0 k = 1, 2,L, l
12
机械优化设计
一、Powell基本算法 Powell基本算法 1）开始采用坐标轴方向； 开始采用坐标轴方向； 2）每轮迭代产生一个新方向取代原来的第一 方向， 轮迭代后可产生n个彼此共轭的方向； 方向，n轮迭代后可产生n个彼此共轭的方向； 若目标函数为正定二次函数， 3）若目标函数为正定二次函数，n轮结束后 即可到达最优点。 即可到达最优点。
r (k ) r (k ) r (k ) r (k ) r (k ) r (k ) S 1 , S 2 , . . . , S m -1 , S m + 1 , . . . , S n , S n + 1 ,
22
第k+1环的方向组为：
机械优化设计
给定X 给定 0,Si=ei i=1,2,…n, ε
Powell 修正算法
K=0 i=1 方向搜索得一维最优点X 自Xi-1始，沿Si方向搜索得一维最优点 i
N
若powell法中不 需要换向，则 是否仍为共轭 方向法？ 检查两次前后 sn+1是否对函数 的海塞矩阵共 轭即可。
Y
i< n Xn-X0 ≤ε
i=i+1
Y
输出X*=Xn 输出 F*=F（X*） （ ）
x2
x2
o
x1
(2)等值线为如图脊线时--无效 (2)等值线为如图脊线时--无效 -o
无约束常用优化方法
步长 ，作前进（或后退）试探．如试探成功（目
标函数值有所减小），则按步长序列
，加
大步长（注意每次加大步长都是由初始点算起），直
至试探失败（目标函数值比前一次的有所增加）时，
则取其前一次的步长作为沿这个坐标轴方向搜索的最
优步长，并计算出该方向上的终止点，而后以这个终
止点为始点再进行下一坐标轴方向的搜索，并重复上
处
显然 是二次函数，并且还是正定二次函数，所以 是凸函数且存在唯一全局极小点．为求此极小点，令
即可解得
即
（5.9）
对照基本迭代公式,易知，式（5.9）中的搜索方向
步长因子
方向
是直指点 处近似二次函数
的极小点的方向．此时称此方向为从点 出发的
Newton方向．从初始点开始，每一轮从当前迭代点出发，
沿Newton方向并取步长 的算法称为Newton法．
另外，共轭梯度法不要求精确的直线搜 索．但是，不精确的直线搜索可能导致迭代 出来的向量不再共轭，从而降低方法的效 能．克服的办法是，重设初始点，即把经过 n次迭代得到的Xn作为初始点重新迭代．
五、坐标轮换法
在坐标轮换法中，沿各个坐标轴方向进行一维搜索
时，常选用最优步长法或加速步长法．加速步长法从
初始点出发，沿搜索（坐标轴）方向先取一个较小的
三、共轭方向法
1、概念
通常，我们把从任意点
出发，依次沿某组共轭
方向进行一维搜索的求解最优化问题的方法，叫做共
轭方向法．
2、特点
• 一般地，在n维空间中可以找出n个互相共轭的方向，对于n元正 定二次函数，从任意初始点出发，顺次沿这n个共轭方向最多作n 次直线搜索就可以求得目标函数的极小点．这就是共轭方向法的 算法形成的基本思想．
(06)第四章-无约束优化方法(坐标轮换法)
《机械优化设计》
第四章 无约束优化方法 §4-7 坐标轮换法
§4-3 坐标轮换法
间接法：梯度法；牛顿法；变尺度法 共同点：求导数 直接法：直接用函数值 搜索方向如何定？
坐标轮换法的基本思想：
把n维无约束优化问题转化为一系列一维优化问题来求 解，即沿着n个坐标轴方向e1,e2……en顺次进行一维搜索， 每n次搜索记为一轮，轮换迭代，求解极值点。 基本迭代格式：
(1) T x = [0 0] ε = 0.1 初始点 0 的最优解。迭代精度 ，
z
课后练习题： 用坐标轮换法求目标函数（迭代两轮）
f ( x ) = x12 + 16 x 22 + 10 x1 x 2
(1) T x = [4 3] ε = 0.1 初始点 0 的最优解。迭代精度 ，
算法特点：
1）不需对目标函数求导，方法简单； 2）收敛速度通常较低（其有效性取决于目标 函数的性态），仅适于低维的情况。
x
(k ) i
=x
(k ) i −1
+α e
(k ) i i
(k = 1,2,3"; i = 1,2," n)
收敛准则：
(k ) x0( k ) − xn ≤ε
图4-12 坐标轮换法的基本原理示意图
计算步骤：
1）对于n个变量的函数，若在第k轮沿着第i个坐标 方向进行搜索，其迭代公式为： k k k i i −1 i i k 2）求最优搜索步长 α
x = x +α e
i
3）本轮所有方向搜索完毕，判断迭代终止条件：
x −x
k n
k 0
≤ε
k n
4）满足上式：
x =x
∗
第四章 无约束优化方法 §4-7 坐标轮换法
§4-3 坐标轮换法
间接法：梯度法；牛顿法；变尺度法 共同点：求导数 直接法：直接用函数值 搜索方向如何定？
坐标轮换法的基本思想：
把n维无约束优化问题转化为一系列一维优化问题来求 解，即沿着n个坐标轴方向e1,e2……en顺次进行一维搜索， 每n次搜索记为一轮，轮换迭代，求解极值点。 基本迭代格式：
(1) T x = [0 0] ε = 0.1 初始点 0 的最优解。迭代精度 ，
z
课后练习题： 用坐标轮换法求目标函数（迭代两轮）
f ( x ) = x12 + 16 x 22 + 10 x1 x 2
(1) T x = [4 3] ε = 0.1 初始点 0 的最优解。迭代精度 ，
算法特点：
1）不需对目标函数求导，方法简单； 2）收敛速度通常较低（其有效性取决于目标 函数的性态），仅适于低维的情况。
x
(k ) i
=x
(k ) i −1
+α e
(k ) i i
(k = 1,2,3"; i = 1,2," n)
收敛准则：
(k ) x0( k ) − xn ≤ε
图4-12 坐标轮换法的基本原理示意图
计算步骤：
1）对于n个变量的函数，若在第k轮沿着第i个坐标 方向进行搜索，其迭代公式为： k k k i i −1 i i k 2）求最优搜索步长 α
x = x +α e
i
3）本轮所有方向搜索完毕，判断迭代终止条件：
x −x
k n
k 0
≤ε
k n
4）满足上式：
x =x
∗
第4章无约束优化方法
，
它表示沿着方向dk做一维搜索， 它的终点xk+1与始点xk的梯度之差
与dk的共轭方向dj正交。
4.5 共轭梯度法
共轭梯度法递推公式：
2 || g || d k 1 g k 1 k 1 2 d k || g k ||
，
(k 0,1, 2,
, n 1)
4.5 共轭梯度法
共轭梯度法步骤：
4.5 共轭方向及共轭方向法
2 1 0 例：求G= 1 2 1的一组共轭向量系d 0、d 1、d 2。 0 1 2
，
d
i 1
vi 1 i 1,r d
r 0
i
r
i 1, j
(d j )T Gvi 1 j T (d ) Gd j
d
0 T
Gd 1 0
4.5 共轭方向及共轭方向法
•共轭方向
设G是n n对称正定矩阵，若n维空间中有m个非零向量d 0、d1、 、d m 1 满足 (d i )T Gd j 0
，
(i, j 0,1,
, m 1) (i j )
则称d 0、d1、 、d m 1对G共轭，或称它们是G的共轭方向。
第四章
4.1 4.2 4.3 4.4 4.5 4.6 4.7
无约束优化方法
概述 最速下降法 牛顿型方法 变尺度法 共轭方向及共轭方向法
共轭梯度法
鲍威尔方法
4.1 概述
数值解法：是利用已有的信息，通过计算点一步
一步地直接移动，逐步逼近最后达到最优点。
xk 1 xk k d k (k 0,1, )
4）收敛速度与目标函数值的性质有关，对等值 线是同心圆的目标函数来说，经过一次迭代就可 以达到极值点。
它表示沿着方向dk做一维搜索， 它的终点xk+1与始点xk的梯度之差
与dk的共轭方向dj正交。
4.5 共轭梯度法
共轭梯度法递推公式：
2 || g || d k 1 g k 1 k 1 2 d k || g k ||
，
(k 0,1, 2,
, n 1)
4.5 共轭梯度法
共轭梯度法步骤：
4.5 共轭方向及共轭方向法
2 1 0 例：求G= 1 2 1的一组共轭向量系d 0、d 1、d 2。 0 1 2
，
d
i 1
vi 1 i 1,r d
r 0
i
r
i 1, j
(d j )T Gvi 1 j T (d ) Gd j
d
0 T
Gd 1 0
4.5 共轭方向及共轭方向法
•共轭方向
设G是n n对称正定矩阵，若n维空间中有m个非零向量d 0、d1、 、d m 1 满足 (d i )T Gd j 0
，
(i, j 0,1,
, m 1) (i j )
则称d 0、d1、 、d m 1对G共轭，或称它们是G的共轭方向。
第四章
4.1 4.2 4.3 4.4 4.5 4.6 4.7
无约束优化方法
概述 最速下降法 牛顿型方法 变尺度法 共轭方向及共轭方向法
共轭梯度法
鲍威尔方法
4.1 概述
数值解法：是利用已有的信息，通过计算点一步
一步地直接移动，逐步逼近最后达到最优点。
xk 1 xk k d k (k 0,1, )
4）收敛速度与目标函数值的性质有关，对等值 线是同心圆的目标函数来说，经过一次迭代就可 以达到极值点。
第4章 无约束优化方法
求
令
4 S 0 f X 0 2
0 则有 X 1 X 0 0 S 0 1 0 4 1 2 1 2
1 4
0
f X 1 1 4 0 2 1 2 0 2 1 4 0 1 2 0 4 1 4 0 f 0
因
5
还需继续迭代
（2）第二次迭代 同理有
1 1 1 f X , S 2 2 2 1 2 1 2 1 1 X X 1 S 1 0.5 2 0.5 2 1
4.2.3 变尺度法
基本思想： （1） 用简单矩阵代替二阶导数矩阵的逆矩阵 （2) 用坐标变换简化目标函数 引入矩阵变换U，令 X X k UY 代入式泰勒展开式得
T 1 T T 2 k k Y Y U f X UY f X UY f X k 2
2 f X k
S 2 f X k f X k
1
由此构成的算法称基本牛顿法，Sk 称牛顿方向。
分析可知： ⑴ 对于正定二次函数，Xk+1是精确极小点，方向 Sk 是直指函数的极小点。 ⑵ 用基本牛顿法求解正定二次函数时，无论从哪个初始 点出发，计算所得牛顿方向直指极小点，而且步长等于1。 ⑶ 对于一般非线性函数，点Xk+1只是原函数的一个近似极 小点。故将此点作为下一个迭代Xk+1。 ⑷ 但是对于非正定函数，由上式得到 的点Xk+1，不能始终保持函数的下降性，
1 0 0
第四章 无约束方法详解
[tt,ff]=opt_step_quad(xk1',dirk, th,epsx,epsf,maxiter); xk1=xk1+tt*dirk'; end xk0=xk1; xn=xk1; fn=ffx(xn); aa=norm(dir); if(aa<1e-30) aa=1e-30; end end
xn ]T
使目标函数 f ( x) min
min f ( x) x Rn
目前已研究出很多种无约束优化方法，它们的 主要不同点在于构造搜索方向上的差别。
（1）间接法（导数法）——确定搜索方向时用到一 阶或（和）二阶导数的方法。如梯度法、（阻尼） 牛顿法、变尺度法、共轭梯度法等。
（2）直接法——其搜索方向直接取定或由计算目标 函数值所得的信息来确定；即不使用导数信息，如 坐标轮换法、鲍威尔法等。
2020/9/23
5
无约束优化直接解法
坐标轮换法 鲍维尔（Powell）法 鲍维尔（Powell）修正算法
2020/9/23
6
§4-2 坐标轮换法（无约束优化直接解法）
一）搜索方向
依次沿n个正交坐标轴的方向搜索：
ee12
[1 [0
0 1
... ...
0]T 0]T
...
en [0 0 ... 1]T
坐标轮换法的Matlab程序由三部分组成。第一部分为坐标 轮换法计算函数coordinat(xk0,th,epsx, epsf,maxiter)，函数引用 变量说明见程序注释。最优步长采用二次插值法计算，函数名 为opt_step_quad(xk0,dir0, th,TolX, TolFun,maxiter)，该函数调 用区间搜索函数opt_range_serach(xk0,dir0,th)得出二次差值需 要的三个坐标点，区间搜索函数采用进退法。 第二部分为用户应用程序； 第三部分为定义目标函数，调用方式为fn=ffx(x)。 下面是坐标轮换法的Matlab计算程序：
四常用无约束最优化方法(精品PPT)
（3）用终止准则检测是否满足：若满足，则打印最优
解 X k 1 ，f ( X k1 ) ，结束；否则，置 k k 1，转
（2）．
，
最速下降法算法流程如图4.2所示．
Company Logo
最速下降法算 法流程如图所 示．
图4.2
开始 选定X0
f0 f (X0) g0 g(X0)
X ls(X 0 ,g0 )
Company Logo
§4.1 最速下降法
对于问题（4.1）为了求其最优解，按最优化算法的基
本思想是从一个给定的初始点
X
出发，通过基本迭代公
0
式 X k1 X k tk Pk，按照特定的算法产生一串
点列{X k } ，如果点列收敛，则该点列的极限点为问题
（4.1）的最优解．
一、最速下降法基本原理
1个迭代点
X
k
，即
1
X k1 X k tk f ( X k ) ，
其中步长因子 tk 按下式确定
也可记为
fin
t
f
(Xk
tf
(Xk
))
，
X k1 ls( X k , f ( X k )) ． （4.3）
显然，令k 0, 1, 2, 就可以得到一个点列 X0, X1, X2 ，
g( X ) AX b ，(4.5)
因此，
gk g( X k ) AX k b．(4.6)
现在从X k 出发沿 g k 作直线搜索以确定 X k1 ，于是
X k1 X k tk gk ， (4.7) 其中tk 是最优步长因子．
Company Logo
又因式（4.2），有 g( X k1 )T gk 0 ，再利用式
解 X k 1 ，f ( X k1 ) ，结束；否则，置 k k 1，转
（2）．
，
最速下降法算法流程如图4.2所示．
Company Logo
最速下降法算 法流程如图所 示．
图4.2
开始 选定X0
f0 f (X0) g0 g(X0)
X ls(X 0 ,g0 )
Company Logo
§4.1 最速下降法
对于问题（4.1）为了求其最优解，按最优化算法的基
本思想是从一个给定的初始点
X
出发，通过基本迭代公
0
式 X k1 X k tk Pk，按照特定的算法产生一串
点列{X k } ，如果点列收敛，则该点列的极限点为问题
（4.1）的最优解．
一、最速下降法基本原理
1个迭代点
X
k
，即
1
X k1 X k tk f ( X k ) ，
其中步长因子 tk 按下式确定
也可记为
fin
t
f
(Xk
tf
(Xk
))
，
X k1 ls( X k , f ( X k )) ． （4.3）
显然，令k 0, 1, 2, 就可以得到一个点列 X0, X1, X2 ，
g( X ) AX b ，(4.5)
因此，
gk g( X k ) AX k b．(4.6)
现在从X k 出发沿 g k 作直线搜索以确定 X k1 ，于是
X k1 X k tk gk ， (4.7) 其中tk 是最优步长因子．
Company Logo
又因式（4.2），有 g( X k1 )T gk 0 ，再利用式
《机械优化设计方法》第4章 无约束优化方法 (上课课件)
4.1.4 梯度法讨论
梯度法的收敛速度与设计变量的尺度关系很 大。对一般函数，梯度法的收敛速度较慢。 但对等值线为同心圆的目标函数，一次搜索 即可达到极小点。 若能通过点的坐标变换，改善目标函数的性 态，就可提高梯度法的收敛速度。
4.2 牛顿性方法
4.2 牛顿型方法
4.2.1 牛顿法的基本思想
1 * T * * f (X) f (X ) X X H ( X ) X X 2
*
结论：任意形式的目标函数在极值点附近的特 性，都近似于一个二次函数。 故以正定二元二次函数为例说明共轭方向对于 构造一种有效的最优化算法的重要性。
1 T T T f ( X ) X HX B X C , X x1 , x2 2
4.3.2共轭方向的产生
2 0 S f ( X ) e S 1 e0 0 S 0 e0 T S0 0 2 0 S f (X)S 0 T
S
k 1
e i s
k i 0
k
k
i
2 i S f (X) e k i T 2 i S f ( X ) e S 0 i i i T 2 i i o S f (X)S 2 i S f (X) e S k 1 ek T Si i 2 i i 0 S f (X)S k i T
若f(X)是二次函数，则X*就是f(X)的极小点；
否则只是一个近似点，需进一步迭代。
4.2.2牛顿法的迭代公式及迭代过程
故牛顿法的迭代公式为：
X k 1 X k [ H ( X K )]1 f ( X K ) k 1 k k X X S k k 1 k S [ H ( X )] f ( X )
最新第4章无约束优化方法PPT课件
机械优化设计19第四章第四章无约束优化方法无约束优化方法第四节第四节共轭方向及共轭方向法共轭方向及共轭方向法??共轭方向的形成共轭方向的形成??格拉姆格拉姆斯密特向量系共轭化的方法斯密特向量系共轭化的方法20第四章第四章无约束优化方法无约束优化方法第四节第四节共轭方向及共轭方向法共轭方向及共轭方向法10g1221第四章第四章无约束优化方法无约束优化方法第五节第五节共轭梯度法共轭梯度法共轭梯度法
第机四械章优化设无计约束优化方法
第七节 坐标轮换法
基本思想：
每次仅对多元函数的一个变量沿其坐标轴进行 一维探索，其余各变量均固定不动，并依次轮换进行一
，
维探索的坐标轴，完成第一轮探索后再重新进行第二轮 探索，直到找到目标函数在全域上的最小点为止。
目的：将一个多维的无约束最优化问题，转化为一系
列的一维问题来求解。
第机四械章优化设无计约束优化方法
第六节 变尺度法（拟牛顿法）
DFP算法：
例 ： 用 D F P 算 法 求 fx 1 ,x 2 x 1 2 2 x 2 2 4 x 1 2 x 1 x 2
，
的 极 值 解 。
H k 1 H k E k H k s s k T k s y k T k H y k k T y H ky k k T y H kk (k 0 ,1 ,2 , )
设法构造出一个对称正定矩阵 来H 代k 替 ，并 在迭G代( x过k )程1 中使 逐渐逼近 H,那k 么就简化G了(牛xk )顿1 法的计算，并且保持了牛顿法收敛快的优点。
变尺度法的
迭代公式：
x k 1 x k k H k fx k ( k 0 ,1 ,2)
第机四械优章化设无计约束优化方法
3)沿方向d k作，一维搜索得xk 1 xk k d k ; 4)判断收敛：若满足 f ( x(k 1) ) , 则令x* xk 1，f ( x* ) f ( xk 1),
第机四械章优化设无计约束优化方法
第七节 坐标轮换法
基本思想：
每次仅对多元函数的一个变量沿其坐标轴进行 一维探索，其余各变量均固定不动，并依次轮换进行一
，
维探索的坐标轴，完成第一轮探索后再重新进行第二轮 探索，直到找到目标函数在全域上的最小点为止。
目的：将一个多维的无约束最优化问题，转化为一系
列的一维问题来求解。
第机四械章优化设无计约束优化方法
第六节 变尺度法（拟牛顿法）
DFP算法：
例 ： 用 D F P 算 法 求 fx 1 ,x 2 x 1 2 2 x 2 2 4 x 1 2 x 1 x 2
，
的 极 值 解 。
H k 1 H k E k H k s s k T k s y k T k H y k k T y H ky k k T y H kk (k 0 ,1 ,2 , )
设法构造出一个对称正定矩阵 来H 代k 替 ，并 在迭G代( x过k )程1 中使 逐渐逼近 H,那k 么就简化G了(牛xk )顿1 法的计算，并且保持了牛顿法收敛快的优点。
变尺度法的
迭代公式：
x k 1 x k k H k fx k ( k 0 ,1 ,2)
第机四械优章化设无计约束优化方法
3)沿方向d k作，一维搜索得xk 1 xk k d k ; 4)判断收敛：若满足 f ( x(k 1) ) , 则令x* xk 1，f ( x* ) f ( xk 1),
第四章 无约束优化方法
小值，计算将失败。 如图所示为一个三维优化问题的示例，设第一环中
各1矢=0量，必则在新该生平方面向内与，e使2 、搜e索3共局面限，于随二后维的空各间环，方不向能组得中到，
最优解。
x3S1x1 1=0Fra bibliotek2e2
x2
3e3
鲍威尔基本算法的退化
二、鲍威尔修正算法
在某环已经取得的n+1各方向中，选取n个线性无关 的并且共轭程度尽可能高的方向作为下一环的基本方向组
组矢量式，中，1(Sk) 1、(k)、2S(k2)(k、) 、• ••••、• 、nS(k)n为(k)为个第方k向环的基最本优方步向长。 表次示搜为索若将S在2在(第k) 降、k环维S的3的(k优)空、化间•搜进• 索•行、过，程S无n中(k法)的出得线现到性n1组维(k)合空=0，间，以的则后函方的数向各极Sk
故得最优解
梯度法
优化设计是追求目标函数值最小，因此，自然可以设想 从某点出发，其搜索方向取该点的负梯度方向，使函数值在 该点附近下降最快。这种方法也称为最速下降法。
一、基本原理
梯度法的迭代公式为：
x(k+1)=x(k)-(k)g(k) 其中g(k)是函数F(x)在迭代点x(k)处的梯度f(x(k)) ， (k)一
对于n维优化问题，如果只利用函数值求最优值的解法，称 为直接搜索法；
解析法的收敛速率较高，直接法的可靠性较高。
本章介绍的坐标轮换法和鲍威尔法属于直接法；梯度法、 共轭梯度法、牛顿法和变尺度法属于解析法
无约束优化方法算法的基本过程是:
从选定的某初始点x(k)出发，沿着以一定规律产生的 搜索方向S(k) ,取适当的步长a(k) ,逐次搜寻函数值下降的 新迭代点x(k+1),使之逐步逼近最优点x* 。可以把初始点 x(k) 、搜索方向S(k) 、迭代步长a(k) 称为优化方法算法的 三要素。其中以搜索方向S(k)更为突出和重要，它从根本 上决定着一个算法的成败、收敛速率的快慢等。所以， 一个算法的搜索方向成为该优化方法的基本标志，分析、 确定搜索方向S(k)是研究优化方法的最根本的任务之一。
各1矢=0量，必则在新该生平方面向内与，e使2 、搜e索3共局面限，于随二后维的空各间环，方不向能组得中到，
最优解。
x3S1x1 1=0Fra bibliotek2e2
x2
3e3
鲍威尔基本算法的退化
二、鲍威尔修正算法
在某环已经取得的n+1各方向中，选取n个线性无关 的并且共轭程度尽可能高的方向作为下一环的基本方向组
组矢量式，中，1(Sk) 1、(k)、2S(k2)(k、) 、• ••••、• 、nS(k)n为(k)为个第方k向环的基最本优方步向长。 表次示搜为索若将S在2在(第k) 降、k环维S的3的(k优)空、化间•搜进• 索•行、过，程S无n中(k法)的出得线现到性n1组维(k)合空=0，间，以的则后函方的数向各极Sk
故得最优解
梯度法
优化设计是追求目标函数值最小，因此，自然可以设想 从某点出发，其搜索方向取该点的负梯度方向，使函数值在 该点附近下降最快。这种方法也称为最速下降法。
一、基本原理
梯度法的迭代公式为：
x(k+1)=x(k)-(k)g(k) 其中g(k)是函数F(x)在迭代点x(k)处的梯度f(x(k)) ， (k)一
对于n维优化问题，如果只利用函数值求最优值的解法，称 为直接搜索法；
解析法的收敛速率较高，直接法的可靠性较高。
本章介绍的坐标轮换法和鲍威尔法属于直接法；梯度法、 共轭梯度法、牛顿法和变尺度法属于解析法
无约束优化方法算法的基本过程是:
从选定的某初始点x(k)出发，沿着以一定规律产生的 搜索方向S(k) ,取适当的步长a(k) ,逐次搜寻函数值下降的 新迭代点x(k+1),使之逐步逼近最优点x* 。可以把初始点 x(k) 、搜索方向S(k) 、迭代步长a(k) 称为优化方法算法的 三要素。其中以搜索方向S(k)更为突出和重要，它从根本 上决定着一个算法的成败、收敛速率的快慢等。所以， 一个算法的搜索方向成为该优化方法的基本标志，分析、 确定搜索方向S(k)是研究优化方法的最根本的任务之一。
机械优化设计第四节无约束--坐标轮换法3-5解析
5
7.954 , 5.978 T 0.035 7.989 , 5.978T 0.018 7.989 , 5.996 T 0.04
计算第五轮的有
(5) (5)
x2 x0 (7.989 7.954)2 (5.996 5.978)2 0.0394
近似优化解为：
* (5) 7.989 x x2 5.996
*
f * f (x ) 8.000093
2.4、共轭方向法
1、共轭方向
坐标轮换法的收敛速度很慢，原因在于其搜索方向总是
平行于坐标轴，不适应函数变化情况如图所示若把一轮的起
点 与末点 (1)
(1)
x1
x2
连起来形成 一个新的搜索方向
S2
,
S2 与
S1 有何关系。
如图所示，设给定两个平行方向 S1 ,从两个任意初始点分别
)
e
i
否
in
是
(k) (k)
xn x0
否
是
k k 1
(0)
(k)
x xn
*
*
x x f f (x )
出口
特点： 简单易行，但由于它只能轮流沿几个坐标
方向前进，因而效率低下，特别是维数较高n>10 或目标函数性质不好的情况下收敛速度慢。本方 法的收敛效率在很大程度上取决于目标函数等值 线的形状。当椭圆簇的长短轴与坐标轴斜交，迭 代次数将大大增加，收敛速度很缓慢。目标函数
S2
*
x
S1
x
2
x1
S1
如图所示，同心椭圆簇具有 这样一个特点，就是二条任 意平行线的切点的连线必通 过椭圆族的中心。
沿这两个平行方向进行一维搜索求得极小点
第四节无约束--坐标轮换法3-5
S
1 1
x2
1
x
S1
共轭方向的定义： 设A 为 n n阶实对称正定矩阵,而 S1 S 2为 n n R 中的两个非零向量，如果满足S1 T AS 22 0 维空间 则称向量 S1 S 2 关于对称正定矩阵A 是共轭的或
S1 , S 2 关于A 共轭
共轭方向的性质 1)设 A为 n n 阶实对称正定矩阵, S1 S 2 S n 为对A共轭的n个非零向量，则这n个向量是 线形无关的
由于两平行方向 S1为等值线的切线,其切点分别为
1 2
x, x
故方向
1 2
S1
应垂直于 x
1
2
,
x
处的梯度方向.
即有
x, x
为目标函数 f ( x)在 S1 方向的极小点
1
所以在 两点目标函数的梯度 f ( x )
f ( x )
2
都与 矢量
S1 正交即有
* * 1 * T T S1 f ( x ) S1 f ( x ) 2 f ( x ) x x 0 2 * * 2 * T T S1 f ( x ) S1 f ( x ) 2 f ( x ) x x 0 1
e 0, 1, 0
' 得到 x 且将前一次一维搜索的极小点作为本次一维搜 索的起始点，依次进行一维搜索后，完成一轮 ' 计算，若未收敛则以前一次的末点 x n 为起始 点，进行下一轮的循环，如此一轮一轮迭代下 去，直到满足收敛准则，逼近最优点为止。 2.迭代计算步骤 (1) (0) 1)取初始点 x 作为第一轮的起点 x x x 迭代终止 精度 置 个坐标轴方向矢量为单位坐标矢量
4.无约束优化方法
- 1
- 轾 f (X k ) 犏 f (X k ) 蜒 臌 臌
T
轾2
? f (X k )
0
轾 f (X k ) 蜒 臌
T
轾 2 f (X ) - 1 ? f (X ) k k 犏 臌
0
阻尼牛顿法
• 需对上述牛顿法进行改进，引入数学规 划法的搜索概念，提出所谓“阻尼牛顿 法”
2011-3-18
16
a1 SiT AS1 + a2 SiT AS 2 + L + ai SiT ASi + L + am SiT AS m = 0 a1 SiT AS1 + a2 SiT AS 2 + L + ai SiT ASi + L + am SiT AS m = 0
ai = 0
彼此关于A共轭的向量线性无关
1 0 0 0 0 1 0 0 e1 = 0 , e2 = 0 , e3 = 1 , L en = 0 M M M M 0 0 0 1
第四章 无约束优化方法
1. 概述 2. 最速下降法 3. 牛顿型方法 梯度法及共轭梯度法; 4. 梯度法及共轭梯度法; DFP变尺度法 变尺度法. 5. DFP变尺度法. 坐标轮换法; 6. 坐标轮换法; 鲍威尔法; 7. 鲍威尔法;
2011-3-18 1
1.概述
• 有些实际问题，其数学模型本身就是一 个无约束优化问题可以按无约束问题来 处理 • 通过熟悉无约束优化问题的解法可以为 研究约束优化问题打下良好的基础 • 约束优化问题的求解可以通过一系列无 约束优化方法来达到
- 轾 f (X k ) 犏 f (X k ) 蜒 臌 臌
T
轾2
? f (X k )
0
轾 f (X k ) 蜒 臌
T
轾 2 f (X ) - 1 ? f (X ) k k 犏 臌
0
阻尼牛顿法
• 需对上述牛顿法进行改进，引入数学规 划法的搜索概念，提出所谓“阻尼牛顿 法”
2011-3-18
16
a1 SiT AS1 + a2 SiT AS 2 + L + ai SiT ASi + L + am SiT AS m = 0 a1 SiT AS1 + a2 SiT AS 2 + L + ai SiT ASi + L + am SiT AS m = 0
ai = 0
彼此关于A共轭的向量线性无关
1 0 0 0 0 1 0 0 e1 = 0 , e2 = 0 , e3 = 1 , L en = 0 M M M M 0 0 0 1
第四章 无约束优化方法
1. 概述 2. 最速下降法 3. 牛顿型方法 梯度法及共轭梯度法; 4. 梯度法及共轭梯度法; DFP变尺度法 变尺度法. 5. DFP变尺度法. 坐标轮换法; 6. 坐标轮换法; 鲍威尔法; 7. 鲍威尔法;
2011-3-18 1
1.概述
• 有些实际问题，其数学模型本身就是一 个无约束优化问题可以按无约束问题来 处理 • 通过熟悉无约束优化问题的解法可以为 研究约束优化问题打下良好的基础 • 约束优化问题的求解可以通过一系列无 约束优化方法来达到
四章无约束优化方法
xk 1
f xk akf
xk
min
f
x k
akf
xk
min
T
f xk akf xk f xk 0
f
xk 1
T
f
xk
0
d k1 T d k 0
由此可知，在最速下降法中，相邻两个迭代点上旳函数 梯度相互垂直。而搜索方向就是负梯度方向，所以相邻 两个搜索方向相互垂直。
X X
(1) 1
(0) 2
X (0) 1
X (0) 2
X (1) 1
X (1) 2
X X
(2) 1
(2) 2
图4－12 坐标轮换法原理图（动画演示）
2. 搜索方向与步长旳拟定
• （1）搜索方向旳拟定
对于第k轮第i次旳计算
xik
xk i 1
aik dik
第k轮第I次旳迭代方向，它轮番取n维坐标旳单位向量。
假如按最速下降法，选择负梯度方向为搜索方向，会产生 锯齿现象。 为防止锯齿旳发生，取下一次旳迭代搜索方向直接指向极 小点，假如选定这么旳搜索方向，对于二元二次函数只需 进行两次直线搜索就能够求到极小点。
x1 x0 a0
x* x1 a1d1
d1 应满足什么条件？
数值法
能够处理复杂函数及没有数学体现式 旳优化设计问题
xk1 xk ak d k
搜索方向问题是无约束优化措施旳关键。
多种无约束优化措施旳区别：拟定搜索方向旳措施不同。
利用目旳函数旳一阶或二阶导数
无约束优化措施分类 （最速下降法、共轭梯度法、牛顿法）
利用目的函数值 （坐标轮换法、鲍威尔等）
第二节 最速下降法
则在新旳坐标系中，函数旳二次项变为
第四章无约束优化方法
F (X
(1) )
0
结论: 两个平行方向的极小点构成
即 S1T AS2 0
的新方向与原方向相互共轭 即S1与S2对A共轭
也即对于二维正定二次函数只要分别沿两个共轭方向寻优 14 即可找到最优点.
❖ 与此类似，可以推出对于n维正定二次函数，共轭方向的一 个十分重要的极为有用的性质：从任意初始点出发，依次沿 n个线性无关的与A共轭的方向S1，S2，…Sn各进行一维搜 索，那么总能在第n步或n步之前就能达到n维正定二次函数 的极小点；并且这个性质与所有的n个方向的次序无关。简 言之，用共轭方向法对于二次函数从理论上来讲，n步就可 达到极小点。因而说共轭方向法具有有限步收敛的特性。通 常称具有这种性质的算法为二次收敛算法。
第K+1环的方向组仍用老方向组
S1(k1),
S2(k 1) ,
... ...
S (k 1) n1
S (k 1) n
S1(k),
S2(k) ,
... ...
S(k) n1
,
S(k) n
初始点:
当F2 < F3时, 当F2≥F3时,
X (k 1) 0
X (k) n
X X (k 1)
(k)
0
n 1
F ( X ) 2 x12 x22 x1x127
4.2.1 鲍威尔基本算法（共轭方向的原始构成）
18
4.2.1 鲍威尔基本算法
x3
任取一初始点 X(0)→ X0(1)
第 第一环: e1, e2, e3 → S1 一 第二环: e2, e3 , S1 → S2 轮 第三环: e3 , S1 , S2 →S3
补上新增的方向
初始点:
X (k 1) 0
无约束优化之坐标轮换法
无约束优化方法——坐标轮换法一.基本原理坐标轮换法是每次允许一个变量变化，其余变量保持不变，即沿坐标方向轮流进行搜索的寻优方法。
它把多变量的优化问题轮流的转化成单变量的优化问题，因此又称变量轮换法。
在搜索的过程中可以不需要目标函数的导数，只需目标函数值信息。
它比利用目标函数导数建立搜索方向的方法简单的多。
以二元函数飞f（x1,x2）为例说明坐标轮换法的寻优过程。
从初始点x00出发，沿第一个坐标方向搜索，即d10=e1得x10=x00+a01*d01按照一维搜索方法确定最佳步长因子a01满足minf(x00+a*d01),然后从x01出发沿d02=e2方向搜索得x02=x01+a02*d02,其中步长因子a02满足minf(x01+a*d02),x02为一轮（k=0）的终点。
检验始、终点之间的距离是否满足精度要求，即判断||x02-x00||<e的条件是否满足。
若满足则x*=x02,否则令x10=x02,重新一次沿坐标方向进行下一轮的搜索。
对于n个变量的函数，若在第k 轮沿第i个坐标方向dki进行搜索，其迭代公式为xki=xk(i-1)+aki+dki(k=0,1,2…,i=0,1,2…n)其中搜索方向取坐标方向，即dki=ei(i=1,…n)。
若||xkn-x00||<e,则x*=xkn,否则x(k+1)0=xkn,进行下一轮搜索，一直到满足精度为止。
注：上述xki中，其中k为上标，i为下标二．例题及程序1.用坐标轮换法求f(1x,2x)=10(1x+2x-5)^2+(1x-2x)^2极小值2.程序(1)function y=f(x)y=10*(x(1)+x(2)-5)^2+(x(1)-x(2))^2; ………………………..%定义f文件(2)d1=e1;syms a1;x1=x0+a1*d1;y1=f(x1);z1=diff(y1,a1);subs(z1);a1=solve(z1);%求沿e1方向最佳步长x1=x0+a1*d1;d2=e2;syms a2;x2=x1+a2*d2;y2=f(x2);z2=diff(y2,a2);subs(z2);a2=solve(z2);%求沿e2方向最佳步长x2=x1+a2*d2;m=x2-x0;m=double(m);t=norm(m); ……….%定义f2文件(3)x0=[0;0];e=0.001;e1=[1;0];e2=[0;1];f2; ………………%定义f3文件(4)f3;while (t>=e)x0=x2;f2;endx2=double(x2);xo=x2;xo…………………%定义f4文件三．程序框图四．计算结果及说明运用MATLAB运算结果如上所示，运算结果比较精确，跟课本上用鲍威尔方法计算结果比较相近。
04 无约束优化方法
F 1A C
向上的极小点，而非原函数的 -2 -1
0
1
2
3
x1
极小点。
解决办法：阻尼牛顿法。
7
二.阻尼牛顿法
1.迭代公式
沿牛顿方向-[H(X(k))]-1f(X(k))作一维搜索,迭代公式：
X (k1) X (k ) k [H ( X (k ) )]1f ( X (k ) )
其中λ k使
f ( X (k ) k s(k ) ) min f ( X (k ) k s(k ) )
S1
1 0 ,S2
0 1
正交不共轭
19
2.正定二次函数的特点
(1)正定二次二元函数的等值线是椭圆线簇,椭圆线簇的中心
即目标函数的极值点。
(2)过同心椭圆线簇中心作任意直线,此直线与诸椭圆交点处
的切线相互平行。
反之过两平行线与椭圆切点X(a)和
x2
X(b)的连线必通过椭圆的中心。因此
只要沿方向X(a)—X(b)进行一维搜索，
1、坐标轮换法具有程序简单，易于掌握的优点，但它的计
算效率较低，因此它虽然步步在登高，但相当于沿两个垂直方
向在爬山，路途迂迴曲折，收敛很慢，因此它适用于维数较低
(一般n<10)的目标函数求优。
2、有“脊线”的目标函数等值线的情形,沿坐标轴方向函数值
不一定下降。
脊线
x2
A
p
0
x1
13
五、练习 用最优步长法求解 f (X)=(x1-2)4+(x1-2x2)2的极小点。 初始点X(0)=[0,3]T，要求迭代一轮。 请注意沿坐标轴移动的方向。
22
二、迭代过程
以二维问题为例： ① X(0)
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
《机械优化设计》
第四章 无约束优化方法 §4-7 坐标轮换法
§4-3 坐标轮换法
间接法：梯度法；牛顿法；变尺度法 共同点：求导数 直接法：直接用函数值 搜索方向如何定？
坐标轮换法的基本思想：
把n维无约束优化问题转化为一系列一维优化问题来求 解，即沿着n个坐标轴方向e1,e2……en顺次进行一维搜索， 每n次搜索记为一轮，轮换迭代，求解极值点。 基本迭代格式：
如:(1)等值线为椭圆,且长短轴分别平行于坐标轴时 --高效
X0
x2
X*
x2
o
x1
o
(2)等值线为如图脊线时 --无效 (3)一般情况 --低效
x1
(1) T x = [0 0] ε = 0.1 初始点 0 的最优解。迭代精度 ，
z
课后练习题： 用坐标轮换法求目标函数（迭代两轮）
f ( x ) = x12 + 16 x 22 + 10 x1 x 2
(1) T x = [4 3] ε = 0.1 初始点 0 的最优解。迭代精度 ，
算法特点：
1）不需对目标函数求导，方法简单； 2）收敛速度通常较低（其有效性取决于目标 函数的性态），仅适于低维的情况。
x
(k ) i
=x
(k ) i −1
+α e
(k ) i i
(k = 1,2,3"; i = 1,2," n)
收敛准则：
(k ) x0( k ) − xn ≤ε
图4-12 坐标轮换法的基本原理示意图
计算步骤：
1）对于n个变量的函数，若在第k轮沿着第i个坐标 方向进行搜索，其迭代公式为： k k k i i −1 i i k 2）求最优搜索步长 α
x = x +α e
i
3）本轮所有方向搜索完毕，判断迭代终止条件：
x −x
k n
k 0
≤ε
k n
4）满足上式：
x =x
∗Leabharlann 否则，进行下一轮迭代。图4-13 坐标轮换法 程序框图
z
例题： 用坐标轮换法求目标函数
（迭代两轮）
f ( x ) = x12 + x 22 − x1 x 2 − 4 x1 − 10 x 2 + 60
第四章 无约束优化方法 §4-7 坐标轮换法
§4-3 坐标轮换法
间接法：梯度法；牛顿法；变尺度法 共同点：求导数 直接法：直接用函数值 搜索方向如何定？
坐标轮换法的基本思想：
把n维无约束优化问题转化为一系列一维优化问题来求 解，即沿着n个坐标轴方向e1,e2……en顺次进行一维搜索， 每n次搜索记为一轮，轮换迭代，求解极值点。 基本迭代格式：
如:(1)等值线为椭圆,且长短轴分别平行于坐标轴时 --高效
X0
x2
X*
x2
o
x1
o
(2)等值线为如图脊线时 --无效 (3)一般情况 --低效
x1
(1) T x = [0 0] ε = 0.1 初始点 0 的最优解。迭代精度 ，
z
课后练习题： 用坐标轮换法求目标函数（迭代两轮）
f ( x ) = x12 + 16 x 22 + 10 x1 x 2
(1) T x = [4 3] ε = 0.1 初始点 0 的最优解。迭代精度 ，
算法特点：
1）不需对目标函数求导，方法简单； 2）收敛速度通常较低（其有效性取决于目标 函数的性态），仅适于低维的情况。
x
(k ) i
=x
(k ) i −1
+α e
(k ) i i
(k = 1,2,3"; i = 1,2," n)
收敛准则：
(k ) x0( k ) − xn ≤ε
图4-12 坐标轮换法的基本原理示意图
计算步骤：
1）对于n个变量的函数，若在第k轮沿着第i个坐标 方向进行搜索，其迭代公式为： k k k i i −1 i i k 2）求最优搜索步长 α
x = x +α e
i
3）本轮所有方向搜索完毕，判断迭代终止条件：
x −x
k n
k 0
≤ε
k n
4）满足上式：
x =x
∗Leabharlann 否则，进行下一轮迭代。图4-13 坐标轮换法 程序框图
z
例题： 用坐标轮换法求目标函数
（迭代两轮）
f ( x ) = x12 + x 22 − x1 x 2 − 4 x1 − 10 x 2 + 60