第四章 无约束优化方法
合集下载
(05)第四章-无约束优化方法(梯度法-牛顿法和变尺度法)
第四章
第四章
无约束优化问题标准形式：
无约束优化问题标准形式：
§
§
§
§
§
§
图最速下降法的收敛过程
αα
2
2
例4－1 求目标函数
取初始点
[2,2]
=
x
例4－2 求目标函数解取初始点[2,2]
=x
算出一维搜索最佳步长
§
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
梯度法的特点
x
给定0,ε
一般迭代式：
§4.3
§4.3
§4.3
§4.3
α0
d 0
x
x 1
x*
1
α1d 1
1()
f −∇x d 1
4-4 共轭方向法
假设目标函数f (x ) 在极值点附近的二次近似函数为
沿某个下降方向
如果能够选定这样的搜索方向，那么对于二
α
0d0
x0x1x*
1
α
1
d1
1
()
f
−∇x d
1。
第四章常用的无约束优化方法
教学重点
1．鲍威尔法 2．梯度法 3．牛顿法
2
机械优化设计
概述
一、无约束优化方法的数学模型 有约束优化问题模型
L min F ( X * ) = F ( x1，x2， ，xn ), X ∈ R n D : g j ( X ) ≥ 0 j = 1,2,L, m hk ( X ) = 0 k = 1, 2,L, l
12
机械优化设计
一、Powell基本算法 Powell基本算法 1）开始采用坐标轴方向； 开始采用坐标轴方向； 2）每轮迭代产生一个新方向取代原来的第一 方向， 轮迭代后可产生n个彼此共轭的方向； 方向，n轮迭代后可产生n个彼此共轭的方向； 若目标函数为正定二次函数， 3）若目标函数为正定二次函数，n轮结束后 即可到达最优点。 即可到达最优点。
r (k ) r (k ) r (k ) r (k ) r (k ) r (k ) S 1 , S 2 , . . . , S m -1 , S m + 1 , . . . , S n , S n + 1 ,
22
第k+1环的方向组为：
机械优化设计
给定X 给定 0,Si=ei i=1,2,…n, ε
Powell 修正算法
K=0 i=1 方向搜索得一维最优点X 自Xi-1始，沿Si方向搜索得一维最优点 i
N
若powell法中不 需要换向，则 是否仍为共轭 方向法？ 检查两次前后 sn+1是否对函数 的海塞矩阵共 轭即可。
Y
i< n Xn-X0 ≤ε
i=i+1
Y
输出X*=Xn 输出 F*=F（X*） （ ）
x2
x2
o
x1
(2)等值线为如图脊线时--无效 (2)等值线为如图脊线时--无效 -o
第四章 无约束优化设计
f (X )
在点
(k ) T
X (k )
处展开成二次近似式：
(k )
) f ( X
)
X X
对上式求梯度，并设 得： 令： 有：
( k 1)
X ( k 1)
1 (k ) T 2 X X f ( X (k ) ) X X (k ) 2
是函数的极小点
f ( X ( k 1) ) f ( X ( k ) ) 2 f ( X ( k ) ) X ( k 1) X ( k ) 0
f ( X
( 0)
4 ) 2
S
( 0)
f ( X
( 0)
4 ) 2 X
( 0)
新的迭代点与函数值:
X
(1)
aS
( 0)
1 4a 1 2a
f ( X (1) ) (1 4a) 2 2(1 2a) 2 2(1 4a)(1 2a) 4(1 4a) Φ(a)
4-2
X
(1)
牛顿法
( 0)
（4）沿搜索方向作一维搜索：
X
( 0)
aS
1 3 1 3a a 1 1 1 a
f ( X (1) ) (1 3a) 2 2(1 a) 2 2(1 3a)(1 a) 4(1 3a) Φ(a)
X * X ( k 1) , f ( X * ) f ( X ( k 1) )
k 否则，令： k 1 转（2）继续迭代。
4-2
牛顿法
例题：用牛顿法求解无约束优化问题，已知：X (0) 1,1T 0.1
第4章 无约束优化方法
4-2 牛顿法及其改进
基本思想 ：
在Xk邻域内用一个二次函数 ( x ) 来近似代替原目 标函数，并将 ( x )的极小点作为对目标函数 f ( x )求 优的下一个迭代点 x k 1 。经多次迭代，使之逼近目 标函数 f ( x )的极小点。 牛顿法是求函数极值的最古老算法之一。
f ( X ) ( X ) f ( X k ) f ( X k )T ( X X k ) 1 ( X X k )T 2 f ( X k )( X X k ) 2
前途是光明的，道路是曲折的！
开始
给定
X 0 ,
k 0
s k f ( X k )
X k 1 X k k s k
k k k : min f ( X s ) k
k k 1
是
X k 1 X k
否
X * X k 1
结束
例4－1求目标函数
0
1. 基本思想
变量的尺度变换是放大或缩小各个坐标。通过尺 度变换可以把函数的偏心程度降到最低限度。
2 2 f ( X ) x 25 x 例如在用最速下降法求 1 2
设 X k 1为 ( X )的极小点 ( X k 1 ) 0
f ( X k ) 2 f ( X k )( X k 1 X k ) 0
X k 1 X k [2 f ( X k )]1 f ( X k ) (k 0,1,2, )
这就是多元函数求极值的牛顿法迭代公式。 对于二次函数 ，海赛矩阵H是一个常矩阵，其中 各元素均为常数。因此，无论从任何点出发，只 需一步就可找到极小点。
用直接法寻找极小点时，不必求函数的导数，只要 计算目标函数值。这类方法较适用于解决变量个数较少 的（n ≤20）问题，一般情况下比间接法效率低。 间接法除要计算目标函数值外，还要计算目标函数 的梯度，有的还要计算其海赛矩阵。
(06)第四章-无约束优化方法(坐标轮换法)
《机械优化设计》
第四章 无约束优化方法 §4-7 坐标轮换法
§4-3 坐标轮换法
间接法：梯度法；牛顿法；变尺度法 共同点：求导数 直接法：直接用函数值 搜索方向如何定？
坐标轮换法的基本思想：
把n维无约束优化问题转化为一系列一维优化问题来求 解，即沿着n个坐标轴方向e1,e2……en顺次进行一维搜索， 每n次搜索记为一轮，轮换迭代，求解极值点。 基本迭代格式：
(1) T x = [0 0] ε = 0.1 初始点 0 的最优解。迭代精度 ，
z
课后练习题： 用坐标轮换法求目标函数（迭代两轮）
f ( x ) = x12 + 16 x 22 + 10 x1 x 2
(1) T x = [4 3] ε = 0.1 初始点 0 的最优解。迭代精度 ，
算法特点：
1）不需对目标函数求导，方法简单； 2）收敛速度通常较低（其有效性取决于目标 函数的性态），仅适于低维的情况。
x
(k ) i
=x
(k ) i −1
+α e
(k ) i i
(k = 1,2,3"; i = 1,2," n)
收敛准则：
(k ) x0( k ) − xn ≤ε
图4-12 坐标轮换法的基本原理示意图
计算步骤：
1）对于n个变量的函数，若在第k轮沿着第i个坐标 方向进行搜索，其迭代公式为： k k k i i −1 i i k 2）求最优搜索步长 α
x = x +α e
i
3）本轮所有方向搜索完毕，判断迭代终止条件：
x −x
k n
k 0
≤ε
k n
4）满足上式：
x =x
∗
第四章 无约束优化方法 §4-7 坐标轮换法
§4-3 坐标轮换法
间接法：梯度法；牛顿法；变尺度法 共同点：求导数 直接法：直接用函数值 搜索方向如何定？
坐标轮换法的基本思想：
把n维无约束优化问题转化为一系列一维优化问题来求 解，即沿着n个坐标轴方向e1,e2……en顺次进行一维搜索， 每n次搜索记为一轮，轮换迭代，求解极值点。 基本迭代格式：
(1) T x = [0 0] ε = 0.1 初始点 0 的最优解。迭代精度 ，
z
课后练习题： 用坐标轮换法求目标函数（迭代两轮）
f ( x ) = x12 + 16 x 22 + 10 x1 x 2
(1) T x = [4 3] ε = 0.1 初始点 0 的最优解。迭代精度 ，
算法特点：
1）不需对目标函数求导，方法简单； 2）收敛速度通常较低（其有效性取决于目标 函数的性态），仅适于低维的情况。
x
(k ) i
=x
(k ) i −1
+α e
(k ) i i
(k = 1,2,3"; i = 1,2," n)
收敛准则：
(k ) x0( k ) − xn ≤ε
图4-12 坐标轮换法的基本原理示意图
计算步骤：
1）对于n个变量的函数，若在第k轮沿着第i个坐标 方向进行搜索，其迭代公式为： k k k i i −1 i i k 2）求最优搜索步长 α
x = x +α e
i
3）本轮所有方向搜索完毕，判断迭代终止条件：
x −x
k n
k 0
≤ε
k n
4）满足上式：
x =x
∗
第4章无约束优化方法
，
它表示沿着方向dk做一维搜索， 它的终点xk+1与始点xk的梯度之差
与dk的共轭方向dj正交。
4.5 共轭梯度法
共轭梯度法递推公式：
2 || g || d k 1 g k 1 k 1 2 d k || g k ||
，
(k 0,1, 2,
, n 1)
4.5 共轭梯度法
共轭梯度法步骤：
4.5 共轭方向及共轭方向法
2 1 0 例：求G= 1 2 1的一组共轭向量系d 0、d 1、d 2。 0 1 2
，
d
i 1
vi 1 i 1,r d
r 0
i
r
i 1, j
(d j )T Gvi 1 j T (d ) Gd j
d
0 T
Gd 1 0
4.5 共轭方向及共轭方向法
•共轭方向
设G是n n对称正定矩阵，若n维空间中有m个非零向量d 0、d1、 、d m 1 满足 (d i )T Gd j 0
，
(i, j 0,1,
, m 1) (i j )
则称d 0、d1、 、d m 1对G共轭，或称它们是G的共轭方向。
第四章
4.1 4.2 4.3 4.4 4.5 4.6 4.7
无约束优化方法
概述 最速下降法 牛顿型方法 变尺度法 共轭方向及共轭方向法
共轭梯度法
鲍威尔方法
4.1 概述
数值解法：是利用已有的信息，通过计算点一步
一步地直接移动，逐步逼近最后达到最优点。
xk 1 xk k d k (k 0,1, )
4）收敛速度与目标函数值的性质有关，对等值 线是同心圆的目标函数来说，经过一次迭代就可 以达到极值点。
它表示沿着方向dk做一维搜索， 它的终点xk+1与始点xk的梯度之差
与dk的共轭方向dj正交。
4.5 共轭梯度法
共轭梯度法递推公式：
2 || g || d k 1 g k 1 k 1 2 d k || g k ||
，
(k 0,1, 2,
, n 1)
4.5 共轭梯度法
共轭梯度法步骤：
4.5 共轭方向及共轭方向法
2 1 0 例：求G= 1 2 1的一组共轭向量系d 0、d 1、d 2。 0 1 2
，
d
i 1
vi 1 i 1,r d
r 0
i
r
i 1, j
(d j )T Gvi 1 j T (d ) Gd j
d
0 T
Gd 1 0
4.5 共轭方向及共轭方向法
•共轭方向
设G是n n对称正定矩阵，若n维空间中有m个非零向量d 0、d1、 、d m 1 满足 (d i )T Gd j 0
，
(i, j 0,1,
, m 1) (i j )
则称d 0、d1、 、d m 1对G共轭，或称它们是G的共轭方向。
第四章
4.1 4.2 4.3 4.4 4.5 4.6 4.7
无约束优化方法
概述 最速下降法 牛顿型方法 变尺度法 共轭方向及共轭方向法
共轭梯度法
鲍威尔方法
4.1 概述
数值解法：是利用已有的信息，通过计算点一步
一步地直接移动，逐步逼近最后达到最优点。
xk 1 xk k d k (k 0,1, )
4）收敛速度与目标函数值的性质有关，对等值 线是同心圆的目标函数来说，经过一次迭代就可 以达到极值点。
无约束优化方法
为了使目旳函数值沿搜索方向 f (xk ) 能够取得最大旳
下降值，其步长因子
应取一维搜索旳最佳步长。即有
k
f
( xk1)
f [xk
akf
( xk )]
min a
f [xk
af
( xk )]
min， ( ) a
根据一元函数极值旳必要条件和多元复合函数求导公式，得
'( ) f [ xk kf ( xk )] T f ( xk ) 0
第四章 无约束优化措施
第一节 概 述
数值解法：是从给定旳初始点x0出发，沿某一搜索方向d0
进行搜索。拟定最佳步长α，使函数值沿d0方向下降最大。 依此方式按下述公式不断进行，形成迭代旳下降算法。
x，k1 xk k d k (k 0,1, )
1）选择迭代方向即探索方向； 2）在拟定旳方向上选择合适步长迈步进行探索。 多种无约束优化措施旳区别就在于拟定其搜索方向dk旳措 施不同。所以搜索方向旳构成问题是无约束优化措施旳关键。
4）若 | xk1 xk | ，则停止迭代，
得最优解x* xk1;
否则，k k 1,转到第二步。
第四章 无约束优化措施
第二节 最速下降法
例：用最速下降法求目标函数 ，
f (x) x12 25x22
的极小点。
xk1 xk kf (xk )(k 0,1, )
第四章 无约束优化措施
解 取初始点 x0 [2,2]T f ( x0 ) 104
第四章 无约束优化措施
第四节 共轭方向及共轭方向法 •共轭方向旳形成
•格拉姆-斯密特向量系共轭化旳措施
i
d i1
vi1
，
dr i 1, r
第4章 无约束优化方法
求
令
4 S 0 f X 0 2
0 则有 X 1 X 0 0 S 0 1 0 4 1 2 1 2
1 4
0
f X 1 1 4 0 2 1 2 0 2 1 4 0 1 2 0 4 1 4 0 f 0
因
5
还需继续迭代
（2）第二次迭代 同理有
1 1 1 f X , S 2 2 2 1 2 1 2 1 1 X X 1 S 1 0.5 2 0.5 2 1
4.2.3 变尺度法
基本思想： （1） 用简单矩阵代替二阶导数矩阵的逆矩阵 （2) 用坐标变换简化目标函数 引入矩阵变换U，令 X X k UY 代入式泰勒展开式得
T 1 T T 2 k k Y Y U f X UY f X UY f X k 2
2 f X k
S 2 f X k f X k
1
由此构成的算法称基本牛顿法，Sk 称牛顿方向。
分析可知： ⑴ 对于正定二次函数，Xk+1是精确极小点，方向 Sk 是直指函数的极小点。 ⑵ 用基本牛顿法求解正定二次函数时，无论从哪个初始 点出发，计算所得牛顿方向直指极小点，而且步长等于1。 ⑶ 对于一般非线性函数，点Xk+1只是原函数的一个近似极 小点。故将此点作为下一个迭代Xk+1。 ⑷ 但是对于非正定函数，由上式得到 的点Xk+1，不能始终保持函数的下降性，
1 0 0
最优化方法_chapter4 无约束最优化方法
预备知识
本章开始讨论多维无约束最优化问题：
min f(X) 其中 f:Rn→R1．这个问题的求解是指在Rn中找一点X*， 使得对于任意的X∈Rn 都有，f(X*)≤f(X) ，成立，则点X* 就是问题的全局最优点。但是，大多数最优化方法只能求 到局部最优点，即在Rn中找到一点X*，使得f(X*)≤f(X)在 X*的某个领域中成立． 这个矛盾对于实际问题一般容易解决．根据问题的实 际意义多半可以判定用优化方法求出的局部最优解是否为 全局最优解．而在理论上这是个比较复杂的问题，本教材 不涉及．
✓ 有些无约束优化方法只需略加处理，即可用于求解约束 优化问题．
预备知识
无约束优化理论发展较早，比较成熟，方法也很 多，新的方法还在陆续出现．把这些方法归纳起来可 以分成两大类：
✓ 一类是仅用计算函数值所得到的信息来确定搜索方向， 通常称它为直接搜索法，简称为直接法
✓ 另一类需要计算函数的一阶或二阶导数值所得到的信息 来确定搜索方向，这一类方法称为间接法（解析法）
解：应沿由热变冷变化最剧烈(变化率最大)的地方 （即梯度方向）爬行。
设函数z=f (x,y)在点P(x,y)的某一邻域U(P)内有定义。
自点P引射线l。设x轴正向到射线l的转角为θ，并设
Pˊ(x+∆x,y+∆y) 为l上的另一点且Pˊ∈U(P)．
考虑：limρ→0 (f(x+∆x,y+∆y)－f(x,y))/ρ。若此极限存在
特别是对于等值线（面）具有狭长深谷形状的函数， 收敛速度更慢．其原因是由于每次迭代后下一次搜索方 向总是与前一次搜索方向相互垂直，如此继续下去就产 生所谓的锯齿现象．
即从直观上看，在远离极小点的地方每次迭代可能 使目标函数有较大的下降，但是在接近极小点的地方， 由于锯齿现象，从而导致每次迭代行进距离缩短，因而 收敛速度不快.
四章无约束优化方法
xk 1
f xk akf
xk
min
f
x k
akf
xk
min
T
f xk akf xk f xk 0
f
xk 1
T
f
xk
0
d k1 T d k 0
由此可知，在最速下降法中，相邻两个迭代点上旳函数 梯度相互垂直。而搜索方向就是负梯度方向，所以相邻 两个搜索方向相互垂直。
X X
(1) 1
(0) 2
X (0) 1
X (0) 2
X (1) 1
X (1) 2
X X
(2) 1
(2) 2
图4－12 坐标轮换法原理图（动画演示）
2. 搜索方向与步长旳拟定
• （1）搜索方向旳拟定
对于第k轮第i次旳计算
xik
xk i 1
aik dik
第k轮第I次旳迭代方向，它轮番取n维坐标旳单位向量。
假如按最速下降法，选择负梯度方向为搜索方向，会产生 锯齿现象。 为防止锯齿旳发生，取下一次旳迭代搜索方向直接指向极 小点，假如选定这么旳搜索方向，对于二元二次函数只需 进行两次直线搜索就能够求到极小点。
x1 x0 a0
x* x1 a1d1
d1 应满足什么条件？
数值法
能够处理复杂函数及没有数学体现式 旳优化设计问题
xk1 xk ak d k
搜索方向问题是无约束优化措施旳关键。
多种无约束优化措施旳区别：拟定搜索方向旳措施不同。
利用目旳函数旳一阶或二阶导数
无约束优化措施分类 （最速下降法、共轭梯度法、牛顿法）
利用目的函数值 （坐标轮换法、鲍威尔等）
第二节 最速下降法
则在新旳坐标系中，函数旳二次项变为
(08)第四章-无约束优化方法-总结
无约束优化方法
——间接法总结
1、梯度法
方向负梯度用到一阶导数
适合于精度不高或用于复杂函数寻找一个好的初始点2、牛顿法
用到一阶导数和海赛矩阵，具有二次收敛性
要求海赛矩阵非奇异，且维数不宜太高
3、共轭梯度法
用到一阶导数，具有二次收敛性
4、变尺度法
收敛快，效果好，被认为是目前最有效的无约束优化方法。
适用于维数较高，具有一阶偏导数的目标函数
无约束优化方法
——直接法总结
1、坐标轮换法
计算效率较低
适合维数较低，目标函数无导数或导数较难求得2、Powell法
具有二次收敛性，收敛速度较快，可靠性高，被认为是直接法中最有效的方法之一
无约束优化上机
Powell 法优化设计程序——
与一维搜索黄金分割法组合
题目：编程求解函数
的极小点x *。
2212
112
()242f x x x x x =+−−x 初始点x 0=[1,1]T ，迭代精度。
0.001ε=。
最新第4章无约束优化方法PPT课件
机械优化设计19第四章第四章无约束优化方法无约束优化方法第四节第四节共轭方向及共轭方向法共轭方向及共轭方向法??共轭方向的形成共轭方向的形成??格拉姆格拉姆斯密特向量系共轭化的方法斯密特向量系共轭化的方法20第四章第四章无约束优化方法无约束优化方法第四节第四节共轭方向及共轭方向法共轭方向及共轭方向法10g1221第四章第四章无约束优化方法无约束优化方法第五节第五节共轭梯度法共轭梯度法共轭梯度法
第机四械章优化设无计约束优化方法
第七节 坐标轮换法
基本思想：
每次仅对多元函数的一个变量沿其坐标轴进行 一维探索，其余各变量均固定不动，并依次轮换进行一
，
维探索的坐标轴，完成第一轮探索后再重新进行第二轮 探索，直到找到目标函数在全域上的最小点为止。
目的：将一个多维的无约束最优化问题，转化为一系
列的一维问题来求解。
第机四械章优化设无计约束优化方法
第六节 变尺度法（拟牛顿法）
DFP算法：
例 ： 用 D F P 算 法 求 fx 1 ,x 2 x 1 2 2 x 2 2 4 x 1 2 x 1 x 2
，
的 极 值 解 。
H k 1 H k E k H k s s k T k s y k T k H y k k T y H ky k k T y H kk (k 0 ,1 ,2 , )
设法构造出一个对称正定矩阵 来H 代k 替 ，并 在迭G代( x过k )程1 中使 逐渐逼近 H,那k 么就简化G了(牛xk )顿1 法的计算，并且保持了牛顿法收敛快的优点。
变尺度法的
迭代公式：
x k 1 x k k H k fx k ( k 0 ,1 ,2)
第机四械优章化设无计约束优化方法
3)沿方向d k作，一维搜索得xk 1 xk k d k ; 4)判断收敛：若满足 f ( x(k 1) ) , 则令x* xk 1，f ( x* ) f ( xk 1),
第机四械章优化设无计约束优化方法
第七节 坐标轮换法
基本思想：
每次仅对多元函数的一个变量沿其坐标轴进行 一维探索，其余各变量均固定不动，并依次轮换进行一
，
维探索的坐标轴，完成第一轮探索后再重新进行第二轮 探索，直到找到目标函数在全域上的最小点为止。
目的：将一个多维的无约束最优化问题，转化为一系
列的一维问题来求解。
第机四械章优化设无计约束优化方法
第六节 变尺度法（拟牛顿法）
DFP算法：
例 ： 用 D F P 算 法 求 fx 1 ,x 2 x 1 2 2 x 2 2 4 x 1 2 x 1 x 2
，
的 极 值 解 。
H k 1 H k E k H k s s k T k s y k T k H y k k T y H ky k k T y H kk (k 0 ,1 ,2 , )
设法构造出一个对称正定矩阵 来H 代k 替 ，并 在迭G代( x过k )程1 中使 逐渐逼近 H,那k 么就简化G了(牛xk )顿1 法的计算，并且保持了牛顿法收敛快的优点。
变尺度法的
迭代公式：
x k 1 x k k H k fx k ( k 0 ,1 ,2)
第机四械优章化设无计约束优化方法
3)沿方向d k作，一维搜索得xk 1 xk k d k ; 4)判断收敛：若满足 f ( x(k 1) ) , 则令x* xk 1，f ( x* ) f ( xk 1),
第四章 无约束优化方法
小值，计算将失败。 如图所示为一个三维优化问题的示例，设第一环中
各1矢=0量，必则在新该生平方面向内与，e使2 、搜e索3共局面限，于随二后维的空各间环，方不向能组得中到，
最优解。
x3S1x1 1=0Fra bibliotek2e2
x2
3e3
鲍威尔基本算法的退化
二、鲍威尔修正算法
在某环已经取得的n+1各方向中，选取n个线性无关 的并且共轭程度尽可能高的方向作为下一环的基本方向组
组矢量式，中，1(Sk) 1、(k)、2S(k2)(k、) 、• ••••、• 、nS(k)n为(k)为个第方k向环的基最本优方步向长。 表次示搜为索若将S在2在(第k) 降、k环维S的3的(k优)空、化间•搜进• 索•行、过，程S无n中(k法)的出得线现到性n1组维(k)合空=0，间，以的则后函方的数向各极Sk
故得最优解
梯度法
优化设计是追求目标函数值最小，因此，自然可以设想 从某点出发，其搜索方向取该点的负梯度方向，使函数值在 该点附近下降最快。这种方法也称为最速下降法。
一、基本原理
梯度法的迭代公式为：
x(k+1)=x(k)-(k)g(k) 其中g(k)是函数F(x)在迭代点x(k)处的梯度f(x(k)) ， (k)一
对于n维优化问题，如果只利用函数值求最优值的解法，称 为直接搜索法；
解析法的收敛速率较高，直接法的可靠性较高。
本章介绍的坐标轮换法和鲍威尔法属于直接法；梯度法、 共轭梯度法、牛顿法和变尺度法属于解析法
无约束优化方法算法的基本过程是:
从选定的某初始点x(k)出发，沿着以一定规律产生的 搜索方向S(k) ,取适当的步长a(k) ,逐次搜寻函数值下降的 新迭代点x(k+1),使之逐步逼近最优点x* 。可以把初始点 x(k) 、搜索方向S(k) 、迭代步长a(k) 称为优化方法算法的 三要素。其中以搜索方向S(k)更为突出和重要，它从根本 上决定着一个算法的成败、收敛速率的快慢等。所以， 一个算法的搜索方向成为该优化方法的基本标志，分析、 确定搜索方向S(k)是研究优化方法的最根本的任务之一。
各1矢=0量，必则在新该生平方面向内与，e使2 、搜e索3共局面限，于随二后维的空各间环，方不向能组得中到，
最优解。
x3S1x1 1=0Fra bibliotek2e2
x2
3e3
鲍威尔基本算法的退化
二、鲍威尔修正算法
在某环已经取得的n+1各方向中，选取n个线性无关 的并且共轭程度尽可能高的方向作为下一环的基本方向组
组矢量式，中，1(Sk) 1、(k)、2S(k2)(k、) 、• ••••、• 、nS(k)n为(k)为个第方k向环的基最本优方步向长。 表次示搜为索若将S在2在(第k) 降、k环维S的3的(k优)空、化间•搜进• 索•行、过，程S无n中(k法)的出得线现到性n1组维(k)合空=0，间，以的则后函方的数向各极Sk
故得最优解
梯度法
优化设计是追求目标函数值最小，因此，自然可以设想 从某点出发，其搜索方向取该点的负梯度方向，使函数值在 该点附近下降最快。这种方法也称为最速下降法。
一、基本原理
梯度法的迭代公式为：
x(k+1)=x(k)-(k)g(k) 其中g(k)是函数F(x)在迭代点x(k)处的梯度f(x(k)) ， (k)一
对于n维优化问题，如果只利用函数值求最优值的解法，称 为直接搜索法；
解析法的收敛速率较高，直接法的可靠性较高。
本章介绍的坐标轮换法和鲍威尔法属于直接法；梯度法、 共轭梯度法、牛顿法和变尺度法属于解析法
无约束优化方法算法的基本过程是:
从选定的某初始点x(k)出发，沿着以一定规律产生的 搜索方向S(k) ,取适当的步长a(k) ,逐次搜寻函数值下降的 新迭代点x(k+1),使之逐步逼近最优点x* 。可以把初始点 x(k) 、搜索方向S(k) 、迭代步长a(k) 称为优化方法算法的 三要素。其中以搜索方向S(k)更为突出和重要，它从根本 上决定着一个算法的成败、收敛速率的快慢等。所以， 一个算法的搜索方向成为该优化方法的基本标志，分析、 确定搜索方向S(k)是研究优化方法的最根本的任务之一。
第四章无约束优化方法
F (X
(1) )
0
结论: 两个平行方向的极小点构成
即 S1T AS2 0
的新方向与原方向相互共轭 即S1与S2对A共轭
也即对于二维正定二次函数只要分别沿两个共轭方向寻优 14 即可找到最优点.
❖ 与此类似，可以推出对于n维正定二次函数，共轭方向的一 个十分重要的极为有用的性质：从任意初始点出发，依次沿 n个线性无关的与A共轭的方向S1，S2，…Sn各进行一维搜 索，那么总能在第n步或n步之前就能达到n维正定二次函数 的极小点；并且这个性质与所有的n个方向的次序无关。简 言之，用共轭方向法对于二次函数从理论上来讲，n步就可 达到极小点。因而说共轭方向法具有有限步收敛的特性。通 常称具有这种性质的算法为二次收敛算法。
第K+1环的方向组仍用老方向组
S1(k1),
S2(k 1) ,
... ...
S (k 1) n1
S (k 1) n
S1(k),
S2(k) ,
... ...
S(k) n1
,
S(k) n
初始点:
当F2 < F3时, 当F2≥F3时,
X (k 1) 0
X (k) n
X X (k 1)
(k)
0
n 1
F ( X ) 2 x12 x22 x1x127
4.2.1 鲍威尔基本算法（共轭方向的原始构成）
18
4.2.1 鲍威尔基本算法
x3
任取一初始点 X(0)→ X0(1)
第 第一环: e1, e2, e3 → S1 一 第二环: e2, e3 , S1 → S2 轮 第三环: e3 , S1 , S2 →S3
补上新增的方向
初始点:
X (k 1) 0
运筹学-无约束最优化方法
§4 共轭方向法
对于简单的二次函数
任给一个初始向量x(0),沿着方向e1=(1,0,· · · ,0)T 进行搜索,即求解下面问题
min f1 (a1 ) ( x ( 0 ) a1e1 b)T ( x ( 0 ) a1e1 b)
a1
1 T 1 T x x b x c ( x b)T ( x b) c bT b 2 2
13
2.2 收敛性 1 整体收敛性 定理 2.1 设f(x)具有一阶连续偏导数,给定 x0∈Rn,假定水平集L={x∈Rn|f(x)≤f(x0)}0)=0; 或者(ii)
14
2 用于二次函数时的收敛速度
* T * * *
6
考虑无约束优化问题：
min f ( x ) n
xR
假设函数 f ( x ) 是一阶（或二阶）连续可微函数。
无约束最优化方法： 1.最速下降法 2.Newton法 3.共轭方向法和共轭梯度法 4.拟Newton法 DFP算法 Broyden族拟Newton法
7
若 z f ( x, y )在点M 0 ( x0, y0 )可微，则f ( x, y ) 在点M 0沿任一方向l 的方向导数都存在，且 z l
26
共轭方向法
将此过程进行下去有
x ( k ) (b 1,
(1) , bk , xk 1 , (1) T , xn ) .
x(k)是函数在{x(0) +a1e1+a2e2+· · · +akek,a1,a2· · · ,ak∈R} 中的极小点. 进行n步后有 x( n) (b 1, b2 , , bn )T b.
若Gk正定,则qk(x)有唯一极小点,该极小点即为 Newton法取的xk+1. 显然 0 qk ( xk 1 ) Gk ( xk 1 xk ) gk Newton迭代公式为
无约束优化方法(最速下降法_牛顿法)
第四章 无约束优化方法——最速下降法，牛顿型方法概述在求解目标函数的极小值的过程中，若对设计变量的取值范围不加限制，则称这种最优化问题为无约束优化问题。
尽管对于机械的优化设计问题，多数是有约束的，无约束最优化方法仍然是最优化设计的基本组成部分。
因为约束最优化问题可以通过对约束条件的处理，转化为无约束最优化问题来求解。
为什么要研究无约束优化问题?（1）有些实际问题，其数学模型本身就是一个无约束优化问题。
（2）通过熟悉它的解法可以为研究约束优化问题打下良好的基础。
（3）约束优化问题的求解可以通过一系列无约束优化方法来达到。
所以无约束优化问题的解法是优化设计方法的基本组成部分，也是优化方法的基础。
根据构成搜索方向所使用的信息性质的不同，无约束优化方法可以分为两类。
一：间接法——要使用导数的无约束优化方法，如梯度法、（阻尼）牛顿法、变尺度法、共轭梯度法等。
二：直接法——只利用目标函数值的无约束优化问题，如坐标轮换法、鲍威尔法单纯形法等。
无约束优化问题的一般形式可描述为：求n 维设计变量 []12Tn n X x x x R =∈使目标函数 ()min f X ⇒目前已研究出很多种无约束优化方法，它们的主要不同点在于构造搜索方向上的差别。
无约束优化问题的求解： 1、解析法可以利用无约束优化问题的极值条件求得。
即将求目标函数的极值问题变成求方程0)(min *=X f的解。
也就是求Ｘ＊使其满足解上述方程组，求得驻点后，再根据极值点所需满足的充分条件来判定是否为极小值点。
但上式是一个含有ｎ个未知量，ｎ个方程的方程组，在实际问题中一般是非线性的，很难用解析法求解，要用数值计算的方法。
由第二章的讲述我们知道，优化问题的一般解法是数值迭代的方法。
因此，与其用数值方法求解非线性方程组，还不如用数值迭代的方法直接求解无约束极值问题。
2、数值方法数值迭代法的基本思想是从一个初始点)0(X出发，按照一个可行的搜索方向)0(d搜索，确定最佳的步长0α使函数值沿)0(d 方向下降最大，得到)1(X 点。
4.无约束优化方法
- 1
- 轾 f (X k ) 犏 f (X k ) 蜒 臌 臌
T
轾2
? f (X k )
0
轾 f (X k ) 蜒 臌
T
轾 2 f (X ) - 1 ? f (X ) k k 犏 臌
0
阻尼牛顿法
• 需对上述牛顿法进行改进，引入数学规 划法的搜索概念，提出所谓“阻尼牛顿 法”
2011-3-18
16
a1 SiT AS1 + a2 SiT AS 2 + L + ai SiT ASi + L + am SiT AS m = 0 a1 SiT AS1 + a2 SiT AS 2 + L + ai SiT ASi + L + am SiT AS m = 0
ai = 0
彼此关于A共轭的向量线性无关
1 0 0 0 0 1 0 0 e1 = 0 , e2 = 0 , e3 = 1 , L en = 0 M M M M 0 0 0 1
第四章 无约束优化方法
1. 概述 2. 最速下降法 3. 牛顿型方法 梯度法及共轭梯度法; 4. 梯度法及共轭梯度法; DFP变尺度法 变尺度法. 5. DFP变尺度法. 坐标轮换法; 6. 坐标轮换法; 鲍威尔法; 7. 鲍威尔法;
2011-3-18 1
1.概述
• 有些实际问题，其数学模型本身就是一 个无约束优化问题可以按无约束问题来 处理 • 通过熟悉无约束优化问题的解法可以为 研究约束优化问题打下良好的基础 • 约束优化问题的求解可以通过一系列无 约束优化方法来达到
- 轾 f (X k ) 犏 f (X k ) 蜒 臌 臌
T
轾2
? f (X k )
0
轾 f (X k ) 蜒 臌
T
轾 2 f (X ) - 1 ? f (X ) k k 犏 臌
0
阻尼牛顿法
• 需对上述牛顿法进行改进，引入数学规 划法的搜索概念，提出所谓“阻尼牛顿 法”
2011-3-18
16
a1 SiT AS1 + a2 SiT AS 2 + L + ai SiT ASi + L + am SiT AS m = 0 a1 SiT AS1 + a2 SiT AS 2 + L + ai SiT ASi + L + am SiT AS m = 0
ai = 0
彼此关于A共轭的向量线性无关
1 0 0 0 0 1 0 0 e1 = 0 , e2 = 0 , e3 = 1 , L en = 0 M M M M 0 0 0 1
第四章 无约束优化方法
1. 概述 2. 最速下降法 3. 牛顿型方法 梯度法及共轭梯度法; 4. 梯度法及共轭梯度法; DFP变尺度法 变尺度法. 5. DFP变尺度法. 坐标轮换法; 6. 坐标轮换法; 鲍威尔法; 7. 鲍威尔法;
2011-3-18 1
1.概述
• 有些实际问题，其数学模型本身就是一 个无约束优化问题可以按无约束问题来 处理 • 通过熟悉无约束优化问题的解法可以为 研究约束优化问题打下良好的基础 • 约束优化问题的求解可以通过一系列无 约束优化方法来达到
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
(k 0,1, 2, )
第四章 无约束优化方法
第三节 牛顿型法
阻尼牛顿法的迭代步骤：
1）给定初始点x 0 , 收敛精度，置k 0; 2）计算f ( x k )、G ( x k )和G ( x k ) 1， 得到d k G ( x k ) 1 f x k ； 3）求x k 1 x k k d k，其中， k 是沿着 d k 进行一维搜索的最佳步长； 4）检查收敛精度。若 | x k 1 x k | ， 则停止迭代，得最优解x* x k 1 ; 否则，k k 1, 转到第二步继续进行 搜索。
第四章 无约束优化方法
第三节 牛顿型法 牛顿型法的基本思想：
利用二次曲线来逐点近似原目标函数，以二次曲线的极
， 小点来近似原目标函数的极小点并逐渐逼近该点。
基本牛顿法的迭代公式：
x k 1 x k d k (k 0,1, 2 )
d k G ( x k )1 f x k
1
( y1 ) 0
经变换后，只需一次迭代，就可找到最优解。 ， 这是因为经过尺度变换：
y1 x1 y2 5 x2
等值线由椭圆变成圆。
第四章 无约束优化方法
第二节 最速下法 最速下降法的特点：
1）对初始搜索点无严格要求；
， 2）收敛速度不快；
3）相邻两次迭代搜索方向互相垂直，在远离极值点处 收敛快，在靠近极值点处收敛慢； 4）收敛速度与目标函数值的性质有关，对等值线是同 心圆的目标函数来说，经过一次迭代就可以达到极值点。
x
k 1
x k f ( x )(k 0,1, )
k k
第四章 无约束优化方法
解 取初始点 x 0 [2,2]T 则初始点处函数值及梯 度分别为
，
f ( x 0 ) 104 2 x1 4 f ( x ) 50 x2 x0 100
，
代入x k 1 x k ak d k 得到新的迭代点； 4）若 | x k 1 x k | ，则停止迭代， 得最优解x* x k 1 ; 否则，k k 1, 转到第二步。
第四章 无约束优化方法
第二节 最速下降法
2 2 例：用最速下降法求目标函数 f ( x ) x 25 x 1 2 的极小点。 ，
第四章 无约束优化方法
第一节 概
在x k 1 x k k d k中，d k 是第k 1次 搜索或迭代方向，称为搜索或迭代方向 ，它是根据数学原理由目标函数和约束
， 条件的局部信息状态形成的。确定 d k的
述
方法很多，相应地，确定使f(x k k d k ) 取极值的 k = *的方法也是不同的，具 体方法已在第三章“一维搜索方法”中 进行了讨论。 d k 和 k的形成和确定方法不同就派 生出不同的n维无约束优化问题的数值解 法。
第四章 无约束优化方法
第三节 牛顿型法
基本牛顿法的迭代公式：
，
x k 1 x k d k (k 0,1, 2 )
d k G ( x k )1 f x k
例：用基本牛顿法求解下列无约束优化问题， 已知x 0 [1,1]T , 0.1。
2 min f ( x) x12 2 x2 2 x1 x2 4 x1
第四章 无约束优化方法
第一节 概 述
无约束优化方法可以分成两类：
• • 一类是利用目标函数的一阶或二阶导数的无约束优化方
，
法（如最速下降法、共轭梯度法、牛顿法及变尺度法）； 另一类只利用目标函数的无约束优化方法（如坐标轮换 法、单形替换法及鲍威尔法等）。
第四章 无约束优化方法
第二节 最速下降法
定义：
x x a1d
* 1
1
d
0 T
Gd 1 0
第四章 无约束优化方法
第四节 共轭方向及共轭方向法 •共轭方向
设G是n n对称正定矩阵，若n维空间中有m个非零向量d 0、d1、 、d m 1 满足 (d i )T Gd，j 0 (i, j 0,1, , m 1) (i j ) 则称d 0、d1、 、d m 1对G共轭，或称它们是G的共轭方向。
第四章 无约束优化方法
（ 4）对于多维无约束问题来说，古典极值理论中令一阶 导数为零，但要求二阶可微，且要判断海赛矩阵为正定 才能求得极小点，这种方法有理论意义，但无实用价值。 和一维问题一样，若多元函数 F(X)不可微，亦无法求解。 ， 但古典极值理论是无约束优化方法发展的基础。
第四章 无约束优化方法
最速下降法就是采用使目标函数值下降得最快的负梯 k ) 作为探索方向，来求目标函数的极小值的 度方向 f ( x， 方法，又称为梯度法。
最速下降法 的迭代公式
xk 1 xk k f ( xk )(k 0,1, )
第四章 无约束优化方法
第二节 最速下降法
为了使目标函数值沿搜索方向 f ( x ) 能够获得最大的 下降值，其步长因子 k应取一维搜索的最佳步长。即有
第四章 无约束优化方法
第四节 共轭方向及共轭方向法 •共轭方向
以二元函数为例： f x
1 T x Gx bT x c 2 我们任意选择一个初始点 x0点， ，
沿着某个下降方向d0作一维搜索
x1 x0 a0d 0 [f ( x1 )]T d 0 0
在下一次迭代时，选择搜索方d1指向极小点x*，
第四章 无约束优化方法
第二节 最速下降法 最速下降法的迭代步骤：
1）给定初始点x 0和收敛精度，置k 0； 2）计算梯度，并构造搜索方向d k f ( x k ); 3）用一维搜索的方法求解
k k min f x a d 得最佳步长ak， k min
k
k k f ( x k 1 ) f [ x k ak f ( x k )] min f [ x a f ( x )] a
min ( ) a
，
根据一元函数极值的必要条件和多元复合函数求导公式，得
'( ) f [ x k f ( x )] f ( x ) 0
第四章 无约束优化方法
第三节 牛顿型法
基本牛顿法的迭代公式：
，
x k 1 x k d k (k 0,1, 2 )
d k G ( x k )1 f x k
阻尼牛顿法的迭代公式： d k G ( x k ) 1 f x k
x k 1 x k k d k
k k T k
[f ( x )] f ( x ) 0
k 1 T k
(d ) d 0
k 1 T k
第四章 无约束优化方法
第二节 最速下降法
在最速下降法中，相邻两个
迭代点上的函数梯度相互垂直。 ， 而搜索方向就是负梯度方向，因 此相邻两个搜索方向互相垂直。 这就是说在迭代点向函数极小点 靠近的过程，走的是曲折的路线。 形成“之”字形的锯齿现象，而 且越接近极小点锯齿越细。 图4-2 最速下降法的搜索路径
，
第四章 无约束优化方法
第三节 牛顿型法
阻尼牛顿法的迭代公式： d k G ( x k ) 1 f x k
，
x k 1 x k k d k
(k 0,1, 2, )
例：用阻尼牛顿法求解下列无约束优化问题， 已知x 0 [1,1]T , 0.1。
2 min f ( x) x12 2 x2 2 x1 x2 4 x1
第一节 概 述
xn ]T
无约束优化问题是： 求n维设计变量
x [ x1 x2 使目标函数 f ( x ) min min f ( x) x Rn
，
对于无约束优化问题的求解，可以直接应用第二章的 极值条件来确定极值点位置。这就是把求函数极值的问 题变成求解方程 f 0
这是一个含有n个未知量，n个方程的方程组，并且一般是非线性的。对于 非线性方程组，一般是很难用解析方法求解的，需要采用数值计算方法逐 步求出非线性联立方程组的解。
y1=x1,
则函数f(X)变为：
0
，
y2=5x2
( y1 , y2 ) y y
2 1
T
2 2
其等值线由椭圆变成一簇同心圆。
T
仍从 x [2,2] 即 y [2,10] 出发进行最速下降法寻优。 此时：
0
( y 0 ) 104
2 y1 4 ( y ) 2 y2 y0 20
第四章 无约束优化方法
第一节 概 述
第1章所列举的机械优化设计问题，都是在一定的限制条件下追 求某一指标为最小，它们都属于约束优化问题。工程问题大都如此。
为什么要研究无约束优化问题?
， （1）有些实际问题，其数学模型本身就是一个无约束优化问题。
（2）通过熟悉它的解法可以为研究约束优化问题打下良好的基础。 （3）约束优化问题的求解可以通过一系列无约束优化方法来达到。 所以无约束优化问题的解法是优化设计方法的基本组成部分，也是 优化方法的基础。
第四章 无约束优化方法
第一节 概 述
数值解法：是从给定的初始点x0出发，沿某一搜索方向d0
进行搜索。确定最佳步长α，使函数值沿d0方向下降最大。 依此方式按下述公式不断进行，形成迭代的下降算法。
xk 1 xk k d k (k 0,1, )
，
1）选择迭代方向即探索方向； 2）在确定的方向上选择适当步长迈步进行探索。 各种无约束优化方法的区别就在于确定其搜索方向 dk 的方 法不同。所以搜索方向的构成问题是无约束优化方法的关键。
•正交
当G=I（单位矩阵）时，有(d i )T d j 0 (i j )， 即向量d0、d1、 、d m1互相正交。