第四章 无约束优化方法
合集下载
(05)第四章-无约束优化方法(梯度法-牛顿法和变尺度法)
第四章
第四章
无约束优化问题标准形式：
无约束优化问题标准形式：
§
§
§
§
§
§
图最速下降法的收敛过程
αα
2
2
例4－1 求目标函数
取初始点
[2,2]
=
x
例4－2 求目标函数解取初始点[2,2]
=x
算出一维搜索最佳步长
§
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
梯度法的特点
x
给定0,ε
一般迭代式：
§4.3
§4.3
§4.3
§4.3
α0
d 0
x
x 1
x*
1
α1d 1
1()
f −∇x d 1
4-4 共轭方向法
假设目标函数f (x ) 在极值点附近的二次近似函数为
沿某个下降方向
如果能够选定这样的搜索方向，那么对于二
α
0d0
x0x1x*
1
α
1
d1
1
()
f
−∇x d
1。
第四章常用的无约束优化方法
教学重点
1．鲍威尔法 2．梯度法 3．牛顿法
2
机械优化设计
概述
一、无约束优化方法的数学模型 有约束优化问题模型
L min F ( X * ) = F ( x1，x2， ，xn ), X ∈ R n D : g j ( X ) ≥ 0 j = 1,2,L, m hk ( X ) = 0 k = 1, 2,L, l
12
机械优化设计
一、Powell基本算法 Powell基本算法 1）开始采用坐标轴方向； 开始采用坐标轴方向； 2）每轮迭代产生一个新方向取代原来的第一 方向， 轮迭代后可产生n个彼此共轭的方向； 方向，n轮迭代后可产生n个彼此共轭的方向； 若目标函数为正定二次函数， 3）若目标函数为正定二次函数，n轮结束后 即可到达最优点。 即可到达最优点。
r (k ) r (k ) r (k ) r (k ) r (k ) r (k ) S 1 , S 2 , . . . , S m -1 , S m + 1 , . . . , S n , S n + 1 ,
22
第k+1环的方向组为：
机械优化设计
给定X 给定 0,Si=ei i=1,2,…n, ε
Powell 修正算法
K=0 i=1 方向搜索得一维最优点X 自Xi-1始，沿Si方向搜索得一维最优点 i
N
若powell法中不 需要换向，则 是否仍为共轭 方向法？ 检查两次前后 sn+1是否对函数 的海塞矩阵共 轭即可。
Y
i< n Xn-X0 ≤ε
i=i+1
Y
输出X*=Xn 输出 F*=F（X*） （ ）
x2
x2
o
x1
(2)等值线为如图脊线时--无效 (2)等值线为如图脊线时--无效 -o
第四章 无约束优化设计
f (X )
在点
(k ) T
X (k )
处展开成二次近似式：
(k )
) f ( X
)
X X
对上式求梯度，并设 得： 令： 有：
( k 1)
X ( k 1)
1 (k ) T 2 X X f ( X (k ) ) X X (k ) 2
是函数的极小点
f ( X ( k 1) ) f ( X ( k ) ) 2 f ( X ( k ) ) X ( k 1) X ( k ) 0
f ( X
( 0)
4 ) 2
S
( 0)
f ( X
( 0)
4 ) 2 X
( 0)
新的迭代点与函数值:
X
(1)
aS
( 0)
1 4a 1 2a
f ( X (1) ) (1 4a) 2 2(1 2a) 2 2(1 4a)(1 2a) 4(1 4a) Φ(a)
4-2
X
(1)
牛顿法
( 0)
（4）沿搜索方向作一维搜索：
X
( 0)
aS
1 3 1 3a a 1 1 1 a
f ( X (1) ) (1 3a) 2 2(1 a) 2 2(1 3a)(1 a) 4(1 3a) Φ(a)
X * X ( k 1) , f ( X * ) f ( X ( k 1) )
k 否则，令： k 1 转（2）继续迭代。
4-2
牛顿法
例题：用牛顿法求解无约束优化问题，已知：X (0) 1,1T 0.1
无约束优化方法
为了使目旳函数值沿搜索方向 f (xk ) 能够取得最大旳
下降值，其步长因子
应取一维搜索旳最佳步长。即有
k
f
( xk1)
f [xk
akf
( xk )]
min a
f [xk
af
( xk )]
min， ( ) a
根据一元函数极值旳必要条件和多元复合函数求导公式，得
'( ) f [ xk kf ( xk )] T f ( xk ) 0
第四章 无约束优化措施
第一节 概 述
数值解法：是从给定旳初始点x0出发，沿某一搜索方向d0
进行搜索。拟定最佳步长α，使函数值沿d0方向下降最大。 依此方式按下述公式不断进行，形成迭代旳下降算法。
x，k1 xk k d k (k 0,1, )
1）选择迭代方向即探索方向； 2）在拟定旳方向上选择合适步长迈步进行探索。 多种无约束优化措施旳区别就在于拟定其搜索方向dk旳措 施不同。所以搜索方向旳构成问题是无约束优化措施旳关键。
4）若 | xk1 xk | ，则停止迭代，
得最优解x* xk1;
否则，k k 1,转到第二步。
第四章 无约束优化措施
第二节 最速下降法
例：用最速下降法求目标函数 ，
f (x) x12 25x22
的极小点。
xk1 xk kf (xk )(k 0,1, )
第四章 无约束优化措施
解 取初始点 x0 [2,2]T f ( x0 ) 104
第四章 无约束优化措施
第四节 共轭方向及共轭方向法 •共轭方向旳形成
•格拉姆-斯密特向量系共轭化旳措施
i
d i1
vi1
，
dr i 1, r
05工程优化 第4章-1无约束最优化方法
1 d = f x , 2
1
2+ x + d = ， 1/2+2
1 1
2
( )=f x1 + d 1 =f 2+ ,1/2+2
= 2+ 2 1/2+2 2 2+ 1/2+2 4 2+ ,
k
k
x k +1.
(4) 检查得到的新点 x k +1是否为极小点或近似极小点。 若是，则停止迭代。 否则，令 k : k 1，转(2)继续进行迭代。 在以上步骤中，选取步长可选用精确一维搜索或者非精确一 维搜索， 下降方向的选取正是下面我们要介绍的，下降方向选取的不 同，得到不同的算法。
最速下降法
( )=f x 2 + d 2 =f 5/2+2 ,3/2
= 5/2+2 2 3/2 2 5/2+2 3/2 4 5/2+2
2 2
=10 2 5 27/4 令 0= ' ( ) 20 5,
3 2 2
5/2 2 3 f x3 1/2 , x =x +2 d = +1/4 = ， 1 3/2 1 5/4
继续迭代可得到函数的近似最优解。
得 2 =1/4,
最速下降法的收敛性分析
无约束优化的最优性条件----一阶必要条件
定理(一阶必要条件) 设 f : R n R ，若 x 为 f ( x ) 的局部极小点，且在 N ( x*)
内连续可微，则
f ( x* ) 0.
1
2+ x + d = ， 1/2+2
1 1
2
( )=f x1 + d 1 =f 2+ ,1/2+2
= 2+ 2 1/2+2 2 2+ 1/2+2 4 2+ ,
k
k
x k +1.
(4) 检查得到的新点 x k +1是否为极小点或近似极小点。 若是，则停止迭代。 否则，令 k : k 1，转(2)继续进行迭代。 在以上步骤中，选取步长可选用精确一维搜索或者非精确一 维搜索， 下降方向的选取正是下面我们要介绍的，下降方向选取的不 同，得到不同的算法。
最速下降法
( )=f x 2 + d 2 =f 5/2+2 ,3/2
= 5/2+2 2 3/2 2 5/2+2 3/2 4 5/2+2
2 2
=10 2 5 27/4 令 0= ' ( ) 20 5,
3 2 2
5/2 2 3 f x3 1/2 , x =x +2 d = +1/4 = ， 1 3/2 1 5/4
继续迭代可得到函数的近似最优解。
得 2 =1/4,
最速下降法的收敛性分析
无约束优化的最优性条件----一阶必要条件
定理(一阶必要条件) 设 f : R n R ，若 x 为 f ( x ) 的局部极小点，且在 N ( x*)
内连续可微，则
f ( x* ) 0.
第4章 无约束优化方法
求
令
4 S 0 f X 0 2
0 则有 X 1 X 0 0 S 0 1 0 4 1 2 1 2
1 4
0
f X 1 1 4 0 2 1 2 0 2 1 4 0 1 2 0 4 1 4 0 f 0
因
5
还需继续迭代
（2）第二次迭代 同理有
1 1 1 f X , S 2 2 2 1 2 1 2 1 1 X X 1 S 1 0.5 2 0.5 2 1
4.2.3 变尺度法
基本思想： （1） 用简单矩阵代替二阶导数矩阵的逆矩阵 （2) 用坐标变换简化目标函数 引入矩阵变换U，令 X X k UY 代入式泰勒展开式得
T 1 T T 2 k k Y Y U f X UY f X UY f X k 2
2 f X k
S 2 f X k f X k
1
由此构成的算法称基本牛顿法，Sk 称牛顿方向。
分析可知： ⑴ 对于正定二次函数，Xk+1是精确极小点，方向 Sk 是直指函数的极小点。 ⑵ 用基本牛顿法求解正定二次函数时，无论从哪个初始 点出发，计算所得牛顿方向直指极小点，而且步长等于1。 ⑶ 对于一般非线性函数，点Xk+1只是原函数的一个近似极 小点。故将此点作为下一个迭代Xk+1。 ⑷ 但是对于非正定函数，由上式得到 的点Xk+1，不能始终保持函数的下降性，
1 0 0
04 无约束优化方法
F 1A C
向上的极小点，而非原函数的 -2 -1
0
1
2
3
x1
极小点。
解决办法：阻尼牛顿法。
7
二.阻尼牛顿法
1.迭代公式
沿牛顿方向-[H(X(k))]-1f(X(k))作一维搜索,迭代公式：
X (k1) X (k ) k [H ( X (k ) )]1f ( X (k ) )
其中λ k使
f ( X (k ) k s(k ) ) min f ( X (k ) k s(k ) )
S1
1 0 ,S2
0 1
正交不共轭
19
2.正定二次函数的特点
(1)正定二次二元函数的等值线是椭圆线簇,椭圆线簇的中心
即目标函数的极值点。
(2)过同心椭圆线簇中心作任意直线,此直线与诸椭圆交点处
的切线相互平行。
反之过两平行线与椭圆切点X(a)和
x2
X(b)的连线必通过椭圆的中心。因此
只要沿方向X(a)—X(b)进行一维搜索，
1、坐标轮换法具有程序简单，易于掌握的优点，但它的计
算效率较低，因此它虽然步步在登高，但相当于沿两个垂直方
向在爬山，路途迂迴曲折，收敛很慢，因此它适用于维数较低
(一般n<10)的目标函数求优。
2、有“脊线”的目标函数等值线的情形,沿坐标轴方向函数值
不一定下降。
脊线
x2
A
p
0
x1
13
五、练习 用最优步长法求解 f (X)=(x1-2)4+(x1-2x2)2的极小点。 初始点X(0)=[0,3]T，要求迭代一轮。 请注意沿坐标轴移动的方向。
22
二、迭代过程
以二维问题为例： ① X(0)
第四章 无约束方法详解
[tt,ff]=opt_step_quad(xk1',dirk, th,epsx,epsf,maxiter); xk1=xk1+tt*dirk'; end xk0=xk1; xn=xk1; fn=ffx(xn); aa=norm(dir); if(aa<1e-30) aa=1e-30; end end
xn ]T
使目标函数 f ( x) min
min f ( x) x Rn
目前已研究出很多种无约束优化方法，它们的 主要不同点在于构造搜索方向上的差别。
（1）间接法（导数法）——确定搜索方向时用到一 阶或（和）二阶导数的方法。如梯度法、（阻尼） 牛顿法、变尺度法、共轭梯度法等。
（2）直接法——其搜索方向直接取定或由计算目标 函数值所得的信息来确定；即不使用导数信息，如 坐标轮换法、鲍威尔法等。
2020/9/23
5
无约束优化直接解法
坐标轮换法 鲍维尔（Powell）法 鲍维尔（Powell）修正算法
2020/9/23
6
§4-2 坐标轮换法（无约束优化直接解法）
一）搜索方向
依次沿n个正交坐标轴的方向搜索：
ee12
[1 [0
0 1
... ...
0]T 0]T
...
en [0 0 ... 1]T
坐标轮换法的Matlab程序由三部分组成。第一部分为坐标 轮换法计算函数coordinat(xk0,th,epsx, epsf,maxiter)，函数引用 变量说明见程序注释。最优步长采用二次插值法计算，函数名 为opt_step_quad(xk0,dir0, th,TolX, TolFun,maxiter)，该函数调 用区间搜索函数opt_range_serach(xk0,dir0,th)得出二次差值需 要的三个坐标点，区间搜索函数采用进退法。 第二部分为用户应用程序； 第三部分为定义目标函数，调用方式为fn=ffx(x)。 下面是坐标轮换法的Matlab计算程序：
最优化方法_chapter4 无约束最优化方法
预备知识
本章开始讨论多维无约束最优化问题：
min f(X) 其中 f:Rn→R1．这个问题的求解是指在Rn中找一点X*， 使得对于任意的X∈Rn 都有，f(X*)≤f(X) ，成立，则点X* 就是问题的全局最优点。但是，大多数最优化方法只能求 到局部最优点，即在Rn中找到一点X*，使得f(X*)≤f(X)在 X*的某个领域中成立． 这个矛盾对于实际问题一般容易解决．根据问题的实 际意义多半可以判定用优化方法求出的局部最优解是否为 全局最优解．而在理论上这是个比较复杂的问题，本教材 不涉及．
✓ 有些无约束优化方法只需略加处理，即可用于求解约束 优化问题．
预备知识
无约束优化理论发展较早，比较成熟，方法也很 多，新的方法还在陆续出现．把这些方法归纳起来可 以分成两大类：
✓ 一类是仅用计算函数值所得到的信息来确定搜索方向， 通常称它为直接搜索法，简称为直接法
✓ 另一类需要计算函数的一阶或二阶导数值所得到的信息 来确定搜索方向，这一类方法称为间接法（解析法）
解：应沿由热变冷变化最剧烈(变化率最大)的地方 （即梯度方向）爬行。
设函数z=f (x,y)在点P(x,y)的某一邻域U(P)内有定义。
自点P引射线l。设x轴正向到射线l的转角为θ，并设
Pˊ(x+∆x,y+∆y) 为l上的另一点且Pˊ∈U(P)．
考虑：limρ→0 (f(x+∆x,y+∆y)－f(x,y))/ρ。若此极限存在
特别是对于等值线（面）具有狭长深谷形状的函数， 收敛速度更慢．其原因是由于每次迭代后下一次搜索方 向总是与前一次搜索方向相互垂直，如此继续下去就产 生所谓的锯齿现象．
即从直观上看，在远离极小点的地方每次迭代可能 使目标函数有较大的下降，但是在接近极小点的地方， 由于锯齿现象，从而导致每次迭代行进距离缩短，因而 收敛速度不快.
四章无约束优化方法
xk 1
f xk akf
xk
min
f
x k
akf
xk
min
T
f xk akf xk f xk 0
f
xk 1
T
f
xk
0
d k1 T d k 0
由此可知，在最速下降法中，相邻两个迭代点上旳函数 梯度相互垂直。而搜索方向就是负梯度方向，所以相邻 两个搜索方向相互垂直。
X X
(1) 1
(0) 2
X (0) 1
X (0) 2
X (1) 1
X (1) 2
X X
(2) 1
(2) 2
图4－12 坐标轮换法原理图（动画演示）
2. 搜索方向与步长旳拟定
• （1）搜索方向旳拟定
对于第k轮第i次旳计算
xik
xk i 1
aik dik
第k轮第I次旳迭代方向，它轮番取n维坐标旳单位向量。
假如按最速下降法，选择负梯度方向为搜索方向，会产生 锯齿现象。 为防止锯齿旳发生，取下一次旳迭代搜索方向直接指向极 小点，假如选定这么旳搜索方向，对于二元二次函数只需 进行两次直线搜索就能够求到极小点。
x1 x0 a0
x* x1 a1d1
d1 应满足什么条件？
数值法
能够处理复杂函数及没有数学体现式 旳优化设计问题
xk1 xk ak d k
搜索方向问题是无约束优化措施旳关键。
多种无约束优化措施旳区别：拟定搜索方向旳措施不同。
利用目旳函数旳一阶或二阶导数
无约束优化措施分类 （最速下降法、共轭梯度法、牛顿法）
利用目的函数值 （坐标轮换法、鲍威尔等）
第二节 最速下降法
则在新旳坐标系中，函数旳二次项变为
(08)第四章-无约束优化方法-总结
无约束优化方法
——间接法总结
1、梯度法
方向负梯度用到一阶导数
适合于精度不高或用于复杂函数寻找一个好的初始点2、牛顿法
用到一阶导数和海赛矩阵，具有二次收敛性
要求海赛矩阵非奇异，且维数不宜太高
3、共轭梯度法
用到一阶导数，具有二次收敛性
4、变尺度法
收敛快，效果好，被认为是目前最有效的无约束优化方法。
适用于维数较高，具有一阶偏导数的目标函数
无约束优化方法
——直接法总结
1、坐标轮换法
计算效率较低
适合维数较低，目标函数无导数或导数较难求得2、Powell法
具有二次收敛性，收敛速度较快，可靠性高，被认为是直接法中最有效的方法之一
无约束优化上机
Powell 法优化设计程序——
与一维搜索黄金分割法组合
题目：编程求解函数
的极小点x *。
2212
112
()242f x x x x x =+−−x 初始点x 0=[1,1]T ，迭代精度。
0.001ε=。
第4章 优化设计(无约束优化-直接法)
F3 F1 1 ( F1 2 F2 F3 )( F1 F2 ) (mk ) ( F1 F3 ) 2 2
(k ) 2 m
(4-43)
同时成立，则表明方向S 与原方向组线性无关，因此可将新方向 (k ) S ( k )作为下一轮的迭代方向，并去掉方向 S m 而构成第k+1轮迭代的 搜索方向组； 否则，仍用原来的方向组进行第k+1轮迭代。 (k ) F1 f ( X 0 ) —— 为第 k 轮起始点函数值； 上式中： (k ) F2 f ( X n ) —— 为第 k 轮方向组一维搜索终点函数值； (k ) (k ) (k ) (k ) X —— 为 对 Xn 的映射点函数值； 0 F3 f (2 X n X 0 ) k ) —— 为第 k 轮方向组中沿诸方向一维搜索所得的各函 (m (k )。 数值下降量中之最大者，其相对应的方向记为 S m
•
若共轭方向不好，则不用它作为下一 轮的迭代方向，而仍采用原来的一组迭 代方向； • 若共轭方向好，则可用它替换前轮迭 代中使目标函数值下降最多的一个方向， 而不一定是替换第一个迭代方向。 这样得到的方向组，其收敛性更好。
修正鲍威尔法对于是否用新的方向来替换原方向组的某一方向 的判别条件为： 在第 k 轮搜索中，若
进行第二轮迭代时， 去掉第一个方向 S1(1) e1 ，将方向 S (1) 作为最 末一个迭代方向， 即从 X (1) X 0(2) 出发，依次沿着方向 S S e 及 S (2) S (1) X (1) X (1)
(2) 1 (1) 2 2
2
2
0
进行一维搜索，得到极小点： X1(2) 、X 2(2) ； ( 2) X2 然后利用 X 0(2) 、 构成另一个迭代方向 (2) (2) S (2) X 2 X0 即 S ( 2) 并沿此方向搜索得到 X (2) 。
(k ) 2 m
(4-43)
同时成立，则表明方向S 与原方向组线性无关，因此可将新方向 (k ) S ( k )作为下一轮的迭代方向，并去掉方向 S m 而构成第k+1轮迭代的 搜索方向组； 否则，仍用原来的方向组进行第k+1轮迭代。 (k ) F1 f ( X 0 ) —— 为第 k 轮起始点函数值； 上式中： (k ) F2 f ( X n ) —— 为第 k 轮方向组一维搜索终点函数值； (k ) (k ) (k ) (k ) X —— 为 对 Xn 的映射点函数值； 0 F3 f (2 X n X 0 ) k ) —— 为第 k 轮方向组中沿诸方向一维搜索所得的各函 (m (k )。 数值下降量中之最大者，其相对应的方向记为 S m
•
若共轭方向不好，则不用它作为下一 轮的迭代方向，而仍采用原来的一组迭 代方向； • 若共轭方向好，则可用它替换前轮迭 代中使目标函数值下降最多的一个方向， 而不一定是替换第一个迭代方向。 这样得到的方向组，其收敛性更好。
修正鲍威尔法对于是否用新的方向来替换原方向组的某一方向 的判别条件为： 在第 k 轮搜索中，若
进行第二轮迭代时， 去掉第一个方向 S1(1) e1 ，将方向 S (1) 作为最 末一个迭代方向， 即从 X (1) X 0(2) 出发，依次沿着方向 S S e 及 S (2) S (1) X (1) X (1)
(2) 1 (1) 2 2
2
2
0
进行一维搜索，得到极小点： X1(2) 、X 2(2) ； ( 2) X2 然后利用 X 0(2) 、 构成另一个迭代方向 (2) (2) S (2) X 2 X0 即 S ( 2) 并沿此方向搜索得到 X (2) 。
第四章 无约束优化方法
小值，计算将失败。 如图所示为一个三维优化问题的示例，设第一环中
各1矢=0量，必则在新该生平方面向内与，e使2 、搜e索3共局面限，于随二后维的空各间环，方不向能组得中到，
最优解。
x3S1x1 1=0Fra bibliotek2e2
x2
3e3
鲍威尔基本算法的退化
二、鲍威尔修正算法
在某环已经取得的n+1各方向中，选取n个线性无关 的并且共轭程度尽可能高的方向作为下一环的基本方向组
组矢量式，中，1(Sk) 1、(k)、2S(k2)(k、) 、• ••••、• 、nS(k)n为(k)为个第方k向环的基最本优方步向长。 表次示搜为索若将S在2在(第k) 降、k环维S的3的(k优)空、化间•搜进• 索•行、过，程S无n中(k法)的出得线现到性n1组维(k)合空=0，间，以的则后函方的数向各极Sk
故得最优解
梯度法
优化设计是追求目标函数值最小，因此，自然可以设想 从某点出发，其搜索方向取该点的负梯度方向，使函数值在 该点附近下降最快。这种方法也称为最速下降法。
一、基本原理
梯度法的迭代公式为：
x(k+1)=x(k)-(k)g(k) 其中g(k)是函数F(x)在迭代点x(k)处的梯度f(x(k)) ， (k)一
对于n维优化问题，如果只利用函数值求最优值的解法，称 为直接搜索法；
解析法的收敛速率较高，直接法的可靠性较高。
本章介绍的坐标轮换法和鲍威尔法属于直接法；梯度法、 共轭梯度法、牛顿法和变尺度法属于解析法
无约束优化方法算法的基本过程是:
从选定的某初始点x(k)出发，沿着以一定规律产生的 搜索方向S(k) ,取适当的步长a(k) ,逐次搜寻函数值下降的 新迭代点x(k+1),使之逐步逼近最优点x* 。可以把初始点 x(k) 、搜索方向S(k) 、迭代步长a(k) 称为优化方法算法的 三要素。其中以搜索方向S(k)更为突出和重要，它从根本 上决定着一个算法的成败、收敛速率的快慢等。所以， 一个算法的搜索方向成为该优化方法的基本标志，分析、 确定搜索方向S(k)是研究优化方法的最根本的任务之一。
各1矢=0量，必则在新该生平方面向内与，e使2 、搜e索3共局面限，于随二后维的空各间环，方不向能组得中到，
最优解。
x3S1x1 1=0Fra bibliotek2e2
x2
3e3
鲍威尔基本算法的退化
二、鲍威尔修正算法
在某环已经取得的n+1各方向中，选取n个线性无关 的并且共轭程度尽可能高的方向作为下一环的基本方向组
组矢量式，中，1(Sk) 1、(k)、2S(k2)(k、) 、• ••••、• 、nS(k)n为(k)为个第方k向环的基最本优方步向长。 表次示搜为索若将S在2在(第k) 降、k环维S的3的(k优)空、化间•搜进• 索•行、过，程S无n中(k法)的出得线现到性n1组维(k)合空=0，间，以的则后函方的数向各极Sk
故得最优解
梯度法
优化设计是追求目标函数值最小，因此，自然可以设想 从某点出发，其搜索方向取该点的负梯度方向，使函数值在 该点附近下降最快。这种方法也称为最速下降法。
一、基本原理
梯度法的迭代公式为：
x(k+1)=x(k)-(k)g(k) 其中g(k)是函数F(x)在迭代点x(k)处的梯度f(x(k)) ， (k)一
对于n维优化问题，如果只利用函数值求最优值的解法，称 为直接搜索法；
解析法的收敛速率较高，直接法的可靠性较高。
本章介绍的坐标轮换法和鲍威尔法属于直接法；梯度法、 共轭梯度法、牛顿法和变尺度法属于解析法
无约束优化方法算法的基本过程是:
从选定的某初始点x(k)出发，沿着以一定规律产生的 搜索方向S(k) ,取适当的步长a(k) ,逐次搜寻函数值下降的 新迭代点x(k+1),使之逐步逼近最优点x* 。可以把初始点 x(k) 、搜索方向S(k) 、迭代步长a(k) 称为优化方法算法的 三要素。其中以搜索方向S(k)更为突出和重要，它从根本 上决定着一个算法的成败、收敛速率的快慢等。所以， 一个算法的搜索方向成为该优化方法的基本标志，分析、 确定搜索方向S(k)是研究优化方法的最根本的任务之一。
第四章无约束优化方法
F (X
(1) )
0
结论: 两个平行方向的极小点构成
即 S1T AS2 0
的新方向与原方向相互共轭 即S1与S2对A共轭
也即对于二维正定二次函数只要分别沿两个共轭方向寻优 14 即可找到最优点.
❖ 与此类似，可以推出对于n维正定二次函数，共轭方向的一 个十分重要的极为有用的性质：从任意初始点出发，依次沿 n个线性无关的与A共轭的方向S1，S2，…Sn各进行一维搜 索，那么总能在第n步或n步之前就能达到n维正定二次函数 的极小点；并且这个性质与所有的n个方向的次序无关。简 言之，用共轭方向法对于二次函数从理论上来讲，n步就可 达到极小点。因而说共轭方向法具有有限步收敛的特性。通 常称具有这种性质的算法为二次收敛算法。
第K+1环的方向组仍用老方向组
S1(k1),
S2(k 1) ,
... ...
S (k 1) n1
S (k 1) n
S1(k),
S2(k) ,
... ...
S(k) n1
,
S(k) n
初始点:
当F2 < F3时, 当F2≥F3时,
X (k 1) 0
X (k) n
X X (k 1)
(k)
0
n 1
F ( X ) 2 x12 x22 x1x127
4.2.1 鲍威尔基本算法（共轭方向的原始构成）
18
4.2.1 鲍威尔基本算法
x3
任取一初始点 X(0)→ X0(1)
第 第一环: e1, e2, e3 → S1 一 第二环: e2, e3 , S1 → S2 轮 第三环: e3 , S1 , S2 →S3
补上新增的方向
初始点:
X (k 1) 0
4.无约束优化方法
- 1
- 轾 f (X k ) 犏 f (X k ) 蜒 臌 臌
T
轾2
? f (X k )
0
轾 f (X k ) 蜒 臌
T
轾 2 f (X ) - 1 ? f (X ) k k 犏 臌
0
阻尼牛顿法
• 需对上述牛顿法进行改进，引入数学规 划法的搜索概念，提出所谓“阻尼牛顿 法”
2011-3-18
16
a1 SiT AS1 + a2 SiT AS 2 + L + ai SiT ASi + L + am SiT AS m = 0 a1 SiT AS1 + a2 SiT AS 2 + L + ai SiT ASi + L + am SiT AS m = 0
ai = 0
彼此关于A共轭的向量线性无关
1 0 0 0 0 1 0 0 e1 = 0 , e2 = 0 , e3 = 1 , L en = 0 M M M M 0 0 0 1
第四章 无约束优化方法
1. 概述 2. 最速下降法 3. 牛顿型方法 梯度法及共轭梯度法; 4. 梯度法及共轭梯度法; DFP变尺度法 变尺度法. 5. DFP变尺度法. 坐标轮换法; 6. 坐标轮换法; 鲍威尔法; 7. 鲍威尔法;
2011-3-18 1
1.概述
• 有些实际问题，其数学模型本身就是一 个无约束优化问题可以按无约束问题来 处理 • 通过熟悉无约束优化问题的解法可以为 研究约束优化问题打下良好的基础 • 约束优化问题的求解可以通过一系列无 约束优化方法来达到
- 轾 f (X k ) 犏 f (X k ) 蜒 臌 臌
T
轾2
? f (X k )
0
轾 f (X k ) 蜒 臌
T
轾 2 f (X ) - 1 ? f (X ) k k 犏 臌
0
阻尼牛顿法
• 需对上述牛顿法进行改进，引入数学规 划法的搜索概念，提出所谓“阻尼牛顿 法”
2011-3-18
16
a1 SiT AS1 + a2 SiT AS 2 + L + ai SiT ASi + L + am SiT AS m = 0 a1 SiT AS1 + a2 SiT AS 2 + L + ai SiT ASi + L + am SiT AS m = 0
ai = 0
彼此关于A共轭的向量线性无关
1 0 0 0 0 1 0 0 e1 = 0 , e2 = 0 , e3 = 1 , L en = 0 M M M M 0 0 0 1
第四章 无约束优化方法
1. 概述 2. 最速下降法 3. 牛顿型方法 梯度法及共轭梯度法; 4. 梯度法及共轭梯度法; DFP变尺度法 变尺度法. 5. DFP变尺度法. 坐标轮换法; 6. 坐标轮换法; 鲍威尔法; 7. 鲍威尔法;
2011-3-18 1
1.概述
• 有些实际问题，其数学模型本身就是一 个无约束优化问题可以按无约束问题来 处理 • 通过熟悉无约束优化问题的解法可以为 研究约束优化问题打下良好的基础 • 约束优化问题的求解可以通过一系列无 约束优化方法来达到
无约束优化方法(最速下降法_牛顿法)
第四章 无约束优化方法——最速下降法，牛顿型方法概述在求解目标函数的极小值的过程中，假如对设计变量的取值X 围不加限制，如此称这种最优化问题为无约束优化问题。
尽管对于机械的优化设计问题，多数是有约束的，无约束最优化方法仍然是最优化设计的根本组成局部。
因为约束最优化问题可以通过对约束条件的处理，转化为无约束最优化问题来求解。
为什么要研究无约束优化问题?〔1〕有些实际问题，其数学模型本身就是一个无约束优化问题。
〔2〕通过熟悉它的解法可以为研究约束优化问题打下良好的根底。
〔3〕约束优化问题的求解可以通过一系列无约束优化方法来达到。
所以无约束优化问题的解法是优化设计方法的根本组成局部，也是优化方法的根底。
根据构成搜索方向所使用的信息性质的不同，无约束优化方法可以分为两类。
一：间接法——要使用导数的无约束优化方法，如梯度法、〔阻尼〕牛顿法、变尺度法、共轭梯度法等。
二：直接法——只利用目标函数值的无约束优化问题，如坐标轮换法、鲍威尔法单纯形法等。
无约束优化问题的一般形式可描述为：求n 维设计变量 []12Tn n X x x x R =∈ 使目标函数()min f X ⇒目前已研究出很多种无约束优化方法，它们的主要不同点在于构造搜索方向上的差异。
无约束优化问题的求解：1、解析法可以利用无约束优化问题的极值条件求得。
即将求目标函数的极值问题变成求方程0)(min *=X f的解。
也就是求Ｘ＊使其满足解上述方程组，求得驻点后，再根据极值点所需满足的充分条件来判定是否为极小值点。
但上式是一个含有ｎ个未知量，ｎ个方程的方程组，在实际问题中一般是非线性的，很难用解析法求解，要用数值计算的方法。
由第二章的讲述我们知道，优化问题的一般解法是数值迭代的方法。
因此，与其用数值方法求解非线性方程组，还不如用数值迭代的方法直接求解无约束极值问题。
2、数值方法 数值迭代法的根本思想是从一个初始点)0(X 出发，按照一个可行的搜索方向)0(d 搜索，确定最优的步长0α使函数值沿)0(d 方向下降最大，得到)1(X 点。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
无约束优化理论研究开展得较早，构成的优化方法巳很多 ，也比较成熟，新的方法仍在陆续出现。本章的内容与目的 是讨论儿个常用无约束优化方法的基本思想、方法构成、迭 代步骤以及终止准则等方面问题。 无约束优化方法总体分成两大类型:解析法或称间接法、 直接搜索法或简称直接法； 在n维无约束优化方法的算法中，用函数的一阶、二价 导数进行求解的算法，称为解析法; 对于n维优化问题，如果只利用函数值求最优值的解法，称 为直接搜索法；
4.6.2 DFP法构造矩阵序列的产生
构造矩阵是随迭代过程的推进而逐次改变的，因而它是 一种矩阵序列 {Ak}，k=1，2，…… 选取初始矩阵A0，并以梯度方向快速收敛，通常取单位 矩阵E作为初始矩阵，即A0=E。而后的矩阵均是在前一构造 矩阵的基础上校正得到，令 A1=A0+△A0 推广到一般的k+1次构造矩阵 Ak+1=Ak+△Ak △Ak称为校正矩阵
据一元函数极值条件和多元复合函数求导公式，得
’()= -( f(x(k)-(k)g(k)))T g(k) =0
即 或 ( f(x(k+1)))T g(k) =0 (g(k+1))Tg(k)=0
此式表明，相邻的两个迭代点的梯度是彼此正交的。 也即在梯度的迭代过程中，相邻的搜索方向相互垂直。梯 度法向极小点的逼近路径是锯齿形路线，越接近极小点， 锯齿越细，前进速度越慢。
4.1 坐标轮换法
坐标轮换法属于直接法，既可以用于无约束优化 问题的求解，又可以经过适当处理用于约束优化问题 求解。 坐标轮换法是每次搜索只允许一个变量变化，其 余变量保持不变，即沿坐标方向轮流进行搜索的寻优 方法。它把多变量的优化问题轮流地转化成单变量 （其余变量视为常量）的优化问题，因此又称这种方 法为变量轮换法。此种方法只需目标函数的数值信息 而不需要目标函数的导数。
原始牛顿法的缺点是：由于迭代点的位置是按照极 值条件确定的，并未沿函数值下降方向搜索，因此，对于 非二次函数，有时会使函数值上升，即 f(xk+1) > f(xk)，而 使计算失败。
4.5.2 阻尼牛顿法
对原始牛顿法的改进 为解决原始牛顿法的不足，加入搜索步长(k) 因此，迭代公式变为： x (k+1) = x (k) - (k) Hk-1gk 这就是阻尼牛顿法的迭代公式，最优步长(k)也称 为阻尼因子，是沿牛顿方向一维搜索得到的最优步 长。
依次类推，不断迭代，目标函数值不断下降，最后 逼近该目标函数的最优点。
二、终止准则
可以采用点距准则
注意： 若采用点距准则或函数值准则，其中采用的点应该是一轮 迭代的始点和终点，而不是某搜索方向的前后迭代点。
坐标轮换法的计算步骤
⑴任选初始点
作为第一轮的起点 坐标矢量：
，置n个坐标轴方向矢量为单位
⑵按照下面迭代公式进行迭代计算
4.5.1 原始牛顿法
一、原始牛顿法的基本思想
在第k次迭代的迭代点x(k)邻域内，用一个二次函 数去近似代替原目标函数F(x)，然后求出该二次函数 的极小点作为对原目标函数求优的下一个迭代点，依 次类推，通过多次重复迭代，使迭代点逐步逼近原目 标函数的极小点。 如图所示。
0(x) 1(x)
F(x)
4.2 鲍威尔方法
鲍威尔方法是直接搜索法中一个十分有效 的算法。该算法是沿着逐步产生的共轭方向进 行搜索的，因此本质上是一种共轭方向法。
4.2.1 鲍威尔基本算法
如图所示，以三维二次目标函数的无约束优化问题为例。 鲍 威 尔 基 本 算 法 的 搜 索 过 程
鲍威尔基本算法的步骤：
第一环基本方向组取单位坐标矢量系e1、 e2、 e3 、…、 en，沿这些方向依次作一维搜索，然后将始末两点相连作 为新生方向， Sk=xnk-x0k 再沿新生方向作一维搜索，完成第一环的迭代。以后 每环的基本方向组是将上环的第一个方向淘汰，上环的新 生方向补入本环的最后而构成。 S2k S3k …… Sn Sk n维目标函数完成n环的迭代过程称为一轮。从这一 轮的终点出发沿新生方向搜索所得到的极小点，作为下一 轮迭代的始点。这样就形成了算法的循环。
牛顿法的搜索方向为- Hk-1 g(k) ，不仅需要计算一 阶偏导数，而且要计算二阶偏导数及其逆阵，计算量 很大，但牛顿法具有二次收敛性，当迭代点接近最优 点时，收敛速度很快。 若迭代过程先用梯度法，后用牛顿法并避开牛顿法 的海赛矩阵及其逆矩阵的烦琐计算，则可以得到一种较 好的优化方法，这就是“变尺度法”产生的基本构想 为此，综合梯度法和牛顿法的优点，提出变尺度法的 基本思想。
第四章 无约束优化方法
坐标轮换法 鲍威尔法 梯度法 牛顿法 DFP变尺度法 BFGS变尺度法 无约束优化方法的评价准则及选用
无约束优化方法是优化技术中基本的也是非常重要的内 容。无约束优化问题的数学模型
求上述问题最优解（x*,F*）的方法，称为无约束优化方 法 无约束优化方法，不仅可以直接求无约束优化设计问题 的最优解，而且通过对无约束优化方法的研究给约束优 化方法建立明确的概念、提供良好的基础某些优化设计 方法就是先把约束优化设计问题转化为无约束问题后， 再直接用无约束优化方法求解。
一、坐标轮换法的迭代过程
任取一初始点x(0)作为第一轮的始点x0 (1),先沿第一坐 标轴的方向e1作一维搜索，用一维优化方法确定最优步 长1(1) ，得第一轮的第一个迭代点x1(1) =x0(1) + 1(1) e1， 然后以 x1 (1)为新起点，沿第二坐标轴的方向e2作一维搜索， 确定步长2(1) ，得第一轮的第二个迭代点x2(1) =x1(1) + 2(1) e2 第二轮迭代，需要 x0(2) x2 (1) x1(2) = x0(2) + 1(2) e1 x2(2) =x1(2) + 2(2) e2
缺点： 1、对目标函数要求苛刻，要求函数具有连续的一、 二阶导数；为保证函数的稳定下降，海赛矩阵必须正定； 为求逆阵要求海赛矩阵非奇异。 2、计算复杂且计算量大，存储量大
4.6 DFP变尺度法
变尺度法也称拟牛顿法，它是基于牛顿法的思想而 又作了重大改进的一类方法。我们所介绍的变尺度法是 由Davidon于1959年提出又经Fletcher和Powell加以发展 和完善的一种变尺度法，故称为DFP变尺度法。
解：做第一轮迭代计算 沿e1方向进行一维搜索 式中， 为第一轮的起始点，取
按最优步长原则确定最优步长α1，即极小化 此问题可由某种一维优化方法求出α1。
以
为新起点，沿e2方向一维搜索
以最优步长原则确定α2，即为极小化
对于第一轮按终止条件检验
继续进行2轮迭代计算，各轮计算结果见下表。
计算5轮后，有 故近似优化解为
k为迭代轮数的序号，取k=1，2，……； i为该轮中一维搜索的序号，取i=1，2，……n 步长α一般同过一维优化方法求出其最优步长。 ⑶按下式判断是否中止迭代
如满足，迭代中止， 并输出最优解
最优解
否则，令k←k+1 返回步骤（2）
例题4.1 用坐标轮换法求目标函数
的无约束最优解。 给定初始点 ，精度要求ε=0.1
解析法的收敛速率较高，直接法的可靠性较高。 本章介绍的坐标轮换法和鲍威尔法属于直接法；梯度法、 共扼梯度法、牛顿法和变尺度法属于解析法 无约束优化方法算法的基本过程是:从选定的某初始点x(k) 出发，沿着以一定规律产生的搜索方向S(k) ,取适当的步 长a(k) ,逐次搜寻函数值下降的新迭代点x(k+1),使之逐步逼 近最优点x* 。可以把初始点x(k) 、搜索方向S(k) 、迭代步 长a(k) 称为优化方法算法的三要素。其中以搜索方向S(k) 更为突出和重要。
小结
坐标轮换法程序简单，易于掌握。但是计算效率 比较低，尤其是当优化问题的维数较高时更为严重。 一般把此种方法应用于维数小于10的低维优化问题。 对于目标函数存在 “脊线”的情况，在脊线 x2 的尖点处没有一个坐标方 向可以使函数值下降，只 有在锐角所包含的范围搜 索才可以达到函数值下降 的目的，故坐标轮换法对 脊线 x1 此类函数会失效。
例题4.5 用牛顿法求函数
的最优解。初始点 解：函数的梯度
，
和海赛矩阵及其逆
在
点处
沿
方向位移搜索求得最优步长
故新迭代点为
该点的梯度
迭代即可结束
由于目标函数是二次正定函数， 故迭代一次即达到最优点
牛顿法的特点
优点： 由于阻尼牛顿法每次迭代都在牛顿方向进行一维搜索， 避免了迭代后函数值上升的现象，从而保持了牛顿法的二 次收敛性，而对初始点的选择没有苛刻的要求。
牛顿法算法步骤
⑴任选初始点 ，给定精度ε，置k←0 ⑵计算 点的梯度矢量及其模
⑶检验迭代终止条件
如满足，则输出最优解 否则，转下步
⑷计算
点处的海塞矩阵 i，j=1，2……n
并求其逆矩阵 ⑸确定牛顿方向
并沿牛顿方向作一维搜索，求出在 长 ⑹计算第k+1个迭代点
方向上的最优步
置k←k+1，返回步骤⑵
三、原始牛顿法的特点
若用原始牛顿法求某二次目标函数的最优解，则构造 的逼近函数与原目标函数是完全相同的二次式，其等值线 完全重合，故从任一点出发，一定可以一次达到目标函数 的极小点。 牛顿法是具有二次收敛性的算法。
其优点是：对于二次正定函数，迭代一次即可以得 到最优解，对于非二次函数，若函数二次性较强或迭代点 已经进入最优点的较小邻域，则收敛速度也很快。
例题4.3用梯度法求目标函数 已知初始点 迭代精度ε=0.005 解：函数的梯度
的最优解。
第一次迭代：以
为起点沿一
方向作一维搜索
得第一个迭代点
继续第二 次迭代
到第五次迭代结束时，有
故迭代可终止，最优解为
4.5 牛顿法
牛顿法是求无约束最优解的一种古典解析算法。