第四章无约束优化方法
(05)第四章-无约束优化方法(梯度法-牛顿法和变尺度法)
第四章
第四章
无约束优化问题标准形式：
无约束优化问题标准形式：
§
§
§
§
§
§
图最速下降法的收敛过程
αα
2
2
例4－1 求目标函数
取初始点
[2,2]
=
x
例4－2 求目标函数解取初始点[2,2]
=x
算出一维搜索最佳步长
§
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
梯度法的特点
x
给定0,ε
一般迭代式：
§4.3
§4.3
§4.3
§4.3
α0
d 0
x
x 1
x*
1
α1d 1
1()
f −∇x d 1
4-4 共轭方向法
假设目标函数f (x ) 在极值点附近的二次近似函数为
沿某个下降方向
如果能够选定这样的搜索方向，那么对于二
α
0d0
x0x1x*
1
α
1
d1
1
()
f
−∇x d
1。
第四章常用的无约束优化方法
教学重点
1．鲍威尔法 2．梯度法 3．牛顿法
2
机械优化设计
概述
一、无约束优化方法的数学模型 有约束优化问题模型
L min F ( X * ) = F ( x1，x2， ，xn ), X ∈ R n D : g j ( X ) ≥ 0 j = 1,2,L, m hk ( X ) = 0 k = 1, 2,L, l
12
机械优化设计
一、Powell基本算法 Powell基本算法 1）开始采用坐标轴方向； 开始采用坐标轴方向； 2）每轮迭代产生一个新方向取代原来的第一 方向， 轮迭代后可产生n个彼此共轭的方向； 方向，n轮迭代后可产生n个彼此共轭的方向； 若目标函数为正定二次函数， 3）若目标函数为正定二次函数，n轮结束后 即可到达最优点。 即可到达最优点。
r (k ) r (k ) r (k ) r (k ) r (k ) r (k ) S 1 , S 2 , . . . , S m -1 , S m + 1 , . . . , S n , S n + 1 ,
22
第k+1环的方向组为：
机械优化设计
给定X 给定 0,Si=ei i=1,2,…n, ε
Powell 修正算法
K=0 i=1 方向搜索得一维最优点X 自Xi-1始，沿Si方向搜索得一维最优点 i
N
若powell法中不 需要换向，则 是否仍为共轭 方向法？ 检查两次前后 sn+1是否对函数 的海塞矩阵共 轭即可。
Y
i< n Xn-X0 ≤ε
i=i+1
Y
输出X*=Xn 输出 F*=F（X*） （ ）
x2
x2
o
x1
(2)等值线为如图脊线时--无效 (2)等值线为如图脊线时--无效 -o
第四章 无约束优化设计
f (X )
在点
(k ) T
X (k )
处展开成二次近似式：
(k )
) f ( X
)
X X
对上式求梯度，并设 得： 令： 有：
( k 1)
X ( k 1)
1 (k ) T 2 X X f ( X (k ) ) X X (k ) 2
是函数的极小点
f ( X ( k 1) ) f ( X ( k ) ) 2 f ( X ( k ) ) X ( k 1) X ( k ) 0
f ( X
( 0)
4 ) 2
S
( 0)
f ( X
( 0)
4 ) 2 X
( 0)
新的迭代点与函数值:
X
(1)
aS
( 0)
1 4a 1 2a
f ( X (1) ) (1 4a) 2 2(1 2a) 2 2(1 4a)(1 2a) 4(1 4a) Φ(a)
4-2
X
(1)
牛顿法
( 0)
（4）沿搜索方向作一维搜索：
X
( 0)
aS
1 3 1 3a a 1 1 1 a
f ( X (1) ) (1 3a) 2 2(1 a) 2 2(1 3a)(1 a) 4(1 3a) Φ(a)
X * X ( k 1) , f ( X * ) f ( X ( k 1) )
k 否则，令： k 1 转（2）继续迭代。
4-2
牛顿法
例题：用牛顿法求解无约束优化问题，已知：X (0) 1,1T 0.1
第4章无约束优化方法
它表示沿着方向dk做一维搜索， 它的终点xk+1与始点xk的梯度之差
与dk的共轭方向dj正交。
4.5 共轭梯度法
共轭梯度法递推公式：
2 || g || d k 1 g k 1 k 1 2 d k || g k ||
，
(k 0,1, 2,
, n 1)
4.5 共轭梯度法
共轭梯度法步骤：
4.5 共轭方向及共轭方向法
2 1 0 例：求G= 1 2 1的一组共轭向量系d 0、d 1、d 2。 0 1 2
，
d
i 1
vi 1 i 1,r d
r 0
i
r
i 1, j
(d j )T Gvi 1 j T (d ) Gd j
d
0 T
Gd 1 0
4.5 共轭方向及共轭方向法
•共轭方向
设G是n n对称正定矩阵，若n维空间中有m个非零向量d 0、d1、 、d m 1 满足 (d i )T Gd j 0
，
(i, j 0,1,
, m 1) (i j )
则称d 0、d1、 、d m 1对G共轭，或称它们是G的共轭方向。
第四章
4.1 4.2 4.3 4.4 4.5 4.6 4.7
无约束优化方法
概述 最速下降法 牛顿型方法 变尺度法 共轭方向及共轭方向法
共轭梯度法
鲍威尔方法
4.1 概述
数值解法：是利用已有的信息，通过计算点一步
一步地直接移动，逐步逼近最后达到最优点。
xk 1 xk k d k (k 0,1, )
4）收敛速度与目标函数值的性质有关，对等值 线是同心圆的目标函数来说，经过一次迭代就可 以达到极值点。
无约束优化方法
为了使目旳函数值沿搜索方向 f (xk ) 能够取得最大旳
下降值，其步长因子
应取一维搜索旳最佳步长。即有
k
f
( xk1)
f [xk
akf
( xk )]
min a
f [xk
af
( xk )]
min， ( ) a
根据一元函数极值旳必要条件和多元复合函数求导公式，得
'( ) f [ xk kf ( xk )] T f ( xk ) 0
第四章 无约束优化措施
第一节 概 述
数值解法：是从给定旳初始点x0出发，沿某一搜索方向d0
进行搜索。拟定最佳步长α，使函数值沿d0方向下降最大。 依此方式按下述公式不断进行，形成迭代旳下降算法。
x，k1 xk k d k (k 0,1, )
1）选择迭代方向即探索方向； 2）在拟定旳方向上选择合适步长迈步进行探索。 多种无约束优化措施旳区别就在于拟定其搜索方向dk旳措 施不同。所以搜索方向旳构成问题是无约束优化措施旳关键。
4）若 | xk1 xk | ，则停止迭代，
得最优解x* xk1;
否则，k k 1,转到第二步。
第四章 无约束优化措施
第二节 最速下降法
例：用最速下降法求目标函数 ，
f (x) x12 25x22
的极小点。
xk1 xk kf (xk )(k 0,1, )
第四章 无约束优化措施
解 取初始点 x0 [2,2]T f ( x0 ) 104
第四章 无约束优化措施
第四节 共轭方向及共轭方向法 •共轭方向旳形成
•格拉姆-斯密特向量系共轭化旳措施
i
d i1
vi1
，
dr i 1, r
第4章 无约束优化方法
求
令
4 S 0 f X 0 2
0 则有 X 1 X 0 0 S 0 1 0 4 1 2 1 2
1 4
0
f X 1 1 4 0 2 1 2 0 2 1 4 0 1 2 0 4 1 4 0 f 0
因
5
还需继续迭代
（2）第二次迭代 同理有
1 1 1 f X , S 2 2 2 1 2 1 2 1 1 X X 1 S 1 0.5 2 0.5 2 1
4.2.3 变尺度法
基本思想： （1） 用简单矩阵代替二阶导数矩阵的逆矩阵 （2) 用坐标变换简化目标函数 引入矩阵变换U，令 X X k UY 代入式泰勒展开式得
T 1 T T 2 k k Y Y U f X UY f X UY f X k 2
2 f X k
S 2 f X k f X k
1
由此构成的算法称基本牛顿法，Sk 称牛顿方向。
分析可知： ⑴ 对于正定二次函数，Xk+1是精确极小点，方向 Sk 是直指函数的极小点。 ⑵ 用基本牛顿法求解正定二次函数时，无论从哪个初始 点出发，计算所得牛顿方向直指极小点，而且步长等于1。 ⑶ 对于一般非线性函数，点Xk+1只是原函数的一个近似极 小点。故将此点作为下一个迭代Xk+1。 ⑷ 但是对于非正定函数，由上式得到 的点Xk+1，不能始终保持函数的下降性，
1 0 0
第四章 无约束方法详解
[tt,ff]=opt_step_quad(xk1',dirk, th,epsx,epsf,maxiter); xk1=xk1+tt*dirk'; end xk0=xk1; xn=xk1; fn=ffx(xn); aa=norm(dir); if(aa<1e-30) aa=1e-30; end end
xn ]T
使目标函数 f ( x) min
min f ( x) x Rn
目前已研究出很多种无约束优化方法，它们的 主要不同点在于构造搜索方向上的差别。
（1）间接法（导数法）——确定搜索方向时用到一 阶或（和）二阶导数的方法。如梯度法、（阻尼） 牛顿法、变尺度法、共轭梯度法等。
（2）直接法——其搜索方向直接取定或由计算目标 函数值所得的信息来确定；即不使用导数信息，如 坐标轮换法、鲍威尔法等。
2020/9/23
5
无约束优化直接解法
坐标轮换法 鲍维尔（Powell）法 鲍维尔（Powell）修正算法
2020/9/23
6
§4-2 坐标轮换法（无约束优化直接解法）
一）搜索方向
依次沿n个正交坐标轴的方向搜索：
ee12
[1 [0
0 1
... ...
0]T 0]T
...
en [0 0 ... 1]T
坐标轮换法的Matlab程序由三部分组成。第一部分为坐标 轮换法计算函数coordinat(xk0,th,epsx, epsf,maxiter)，函数引用 变量说明见程序注释。最优步长采用二次插值法计算，函数名 为opt_step_quad(xk0,dir0, th,TolX, TolFun,maxiter)，该函数调 用区间搜索函数opt_range_serach(xk0,dir0,th)得出二次差值需 要的三个坐标点，区间搜索函数采用进退法。 第二部分为用户应用程序； 第三部分为定义目标函数，调用方式为fn=ffx(x)。 下面是坐标轮换法的Matlab计算程序：
最优化方法_chapter4 无约束最优化方法
预备知识
本章开始讨论多维无约束最优化问题：
min f(X) 其中 f:Rn→R1．这个问题的求解是指在Rn中找一点X*， 使得对于任意的X∈Rn 都有，f(X*)≤f(X) ，成立，则点X* 就是问题的全局最优点。但是，大多数最优化方法只能求 到局部最优点，即在Rn中找到一点X*，使得f(X*)≤f(X)在 X*的某个领域中成立． 这个矛盾对于实际问题一般容易解决．根据问题的实 际意义多半可以判定用优化方法求出的局部最优解是否为 全局最优解．而在理论上这是个比较复杂的问题，本教材 不涉及．
✓ 有些无约束优化方法只需略加处理，即可用于求解约束 优化问题．
预备知识
无约束优化理论发展较早，比较成熟，方法也很 多，新的方法还在陆续出现．把这些方法归纳起来可 以分成两大类：
✓ 一类是仅用计算函数值所得到的信息来确定搜索方向， 通常称它为直接搜索法，简称为直接法
✓ 另一类需要计算函数的一阶或二阶导数值所得到的信息 来确定搜索方向，这一类方法称为间接法（解析法）
解：应沿由热变冷变化最剧烈(变化率最大)的地方 （即梯度方向）爬行。
设函数z=f (x,y)在点P(x,y)的某一邻域U(P)内有定义。
自点P引射线l。设x轴正向到射线l的转角为θ，并设
Pˊ(x+∆x,y+∆y) 为l上的另一点且Pˊ∈U(P)．
考虑：limρ→0 (f(x+∆x,y+∆y)－f(x,y))/ρ。若此极限存在
特别是对于等值线（面）具有狭长深谷形状的函数， 收敛速度更慢．其原因是由于每次迭代后下一次搜索方 向总是与前一次搜索方向相互垂直，如此继续下去就产 生所谓的锯齿现象．
即从直观上看，在远离极小点的地方每次迭代可能 使目标函数有较大的下降，但是在接近极小点的地方， 由于锯齿现象，从而导致每次迭代行进距离缩短，因而 收敛速度不快.
四常用无约束最优化方法(精品PPT)
解 X k 1 ，f ( X k1 ) ，结束；否则，置 k k 1，转
（2）．
，
最速下降法算法流程如图4.2所示．
Company Logo
最速下降法算 法流程如图所 示．
图4.2
开始 选定X0
f0 f (X0) g0 g(X0)
X ls(X 0 ,g0 )
Company Logo
§4.1 最速下降法
对于问题（4.1）为了求其最优解，按最优化算法的基
本思想是从一个给定的初始点
X
出发，通过基本迭代公
0
式 X k1 X k tk Pk，按照特定的算法产生一串
点列{X k } ，如果点列收敛，则该点列的极限点为问题
（4.1）的最优解．
一、最速下降法基本原理
1个迭代点
X
k
，即
1
X k1 X k tk f ( X k ) ，
其中步长因子 tk 按下式确定
也可记为
fin
t
f
(Xk
tf
(Xk
))
，
X k1 ls( X k , f ( X k )) ． （4.3）
显然，令k 0, 1, 2, 就可以得到一个点列 X0, X1, X2 ，
g( X ) AX b ，(4.5)
因此，
gk g( X k ) AX k b．(4.6)
现在从X k 出发沿 g k 作直线搜索以确定 X k1 ，于是
X k1 X k tk gk ， (4.7) 其中tk 是最优步长因子．
Company Logo
又因式（4.2），有 g( X k1 )T gk 0 ，再利用式
无约束优化方法总结
第四章 无约束优化方法第一节 概述1为什么要研究无约束优化问题?（1）有些实际问题，其数学模型本身就是一个无约束优化问题。
（2）通过熟悉它的解法可以为研究约束优化问题打下良好的基础。
（3）约束优化问题的求解可以通过一系列无约束优化方法来达到。
所以无约束优化问题的解法是优化设计方法的基本组成部分，也是优化方法的基础。
2各种无约束优化方法的区别在于确定其搜索方向0d 的方法不同。
根据构成搜索方向所使用的信息性质的不同，无约束优化方法可以分为两类。
一：间接法——要使用导数的无约束优化方法，如梯度法、（阻尼）牛顿法、变尺度法、共轭梯度法等。
二：直接法——只利用目标函数值的无约束优化问题，如坐标轮换法、鲍威尔法单纯形法等。
第二节 最速下降法（梯度法） 1基本思想：函数的负梯度方向是函数值在该点下降最快的方向。
将n 维问题转化为一系列沿负梯度方向用一维搜索方法寻优的问题，利用负梯度作为搜索方向，故称最速下降法或梯度法。
2梯度法的特点：（1）理论明确，程序简单，对初始点要求不严格。
（2）对一般函数而言，梯度法的收敛速度并不快，因为最速下降方向仅仅是指某点的一个局部性质。
（3）梯度法相邻两次搜索方向的正交性，决定了迭代全过程的搜索路线呈锯齿状，在远离极小点时逼近速度较快，而在接近极小点时逼近速度较慢。
（4）梯度法的收敛速度与目标函数的性质密切相关。
对于等值线(面)为同心圆（球）的目标函数，一次搜索即可达到极小点。
3选用原则及条件：一般与其他算法配合，在迭代开始时使用。
第三节 牛顿型方法 1基本思想：在xk 邻域内用一个二次函数)(x ϕ来近似代替原目标函数，并将)(x ϕ的极小点作为对目标函数)(x f 求优的下一个迭代点1+k x 。
经多次迭代，使之逼近目标函数)(x f 的极小点。
2牛顿型方法的特点：（1） 初始点应选在X *附近，有一定难度；（2） 若迭代点的海赛矩阵为奇异，则无法求逆矩阵，不能构造牛顿法方向； （3） 不仅要计算梯度，还要求海赛矩阵及其逆矩阵，计算量和存储量大。
第4章 优化设计(无约束优化-直接法)
(k ) 2 m
(4-43)
同时成立，则表明方向S 与原方向组线性无关，因此可将新方向 (k ) S ( k )作为下一轮的迭代方向，并去掉方向 S m 而构成第k+1轮迭代的 搜索方向组； 否则，仍用原来的方向组进行第k+1轮迭代。 (k ) F1 f ( X 0 ) —— 为第 k 轮起始点函数值； 上式中： (k ) F2 f ( X n ) —— 为第 k 轮方向组一维搜索终点函数值； (k ) (k ) (k ) (k ) X —— 为 对 Xn 的映射点函数值； 0 F3 f (2 X n X 0 ) k ) —— 为第 k 轮方向组中沿诸方向一维搜索所得的各函 (m (k )。 数值下降量中之最大者，其相对应的方向记为 S m
•
若共轭方向不好，则不用它作为下一 轮的迭代方向，而仍采用原来的一组迭 代方向； • 若共轭方向好，则可用它替换前轮迭 代中使目标函数值下降最多的一个方向， 而不一定是替换第一个迭代方向。 这样得到的方向组，其收敛性更好。
修正鲍威尔法对于是否用新的方向来替换原方向组的某一方向 的判别条件为： 在第 k 轮搜索中，若
进行第二轮迭代时， 去掉第一个方向 S1(1) e1 ，将方向 S (1) 作为最 末一个迭代方向， 即从 X (1) X 0(2) 出发，依次沿着方向 S S e 及 S (2) S (1) X (1) X (1)
(2) 1 (1) 2 2
2
2
0
进行一维搜索，得到极小点： X1(2) 、X 2(2) ； ( 2) X2 然后利用 X 0(2) 、 构成另一个迭代方向 (2) (2) S (2) X 2 X0 即 S ( 2) 并沿此方向搜索得到 X (2) 。
05工程优化第4章-1无约束最优化方法解析精品PPT课件
利用精确一维搜索，可得
' (k ) f (xk k d k )T d k 0
由此得出
f (xk ) d k
0=f (xk k d k )T d k =f (xk +1)T d k = (d k +1)T d k
最速下降法在两个相邻点之间的搜索方向是正交的。
最速下降法向极小点逼近是曲折前进的，这种现象称为锯齿 现象。
然后再从 x1 开始新的迭代，经过10次迭代，得最优解 x* (0, 0)T
计算中可以发现，开始几次迭代，步长比较大，函数值下 降将较快，但当接近最优点时，步长很小，目标函数值下降很 慢。
如果不取初点为 x0 (2, 2)T 而取 x0 (100, 0)T
令 f x 0, 即：
利用一阶条件 求驻点
利用二阶条件 判断驻点是否 是极小点
x12 x22
10 2x2
0
得到驻点： 1 1 1 1
x1
0
,
x2
2
,
x3
0
,
x4
2
.
无约束优化的最优性条件
函数 f x 的Hesse阵：
2
f
x
2x1 0
0
2x2
2
利用二阶条件 判断驻点是否 是极小点
假设 f 连续可微，
d k f (xk )
f
(xk
k d k )
min 0
f
(xk
பைடு நூலகம்
dk )
步长 k由精确一维搜索得到。
从而得到第 k+1次迭代点，即
xk1 xk +k d k xk kf (xk )
最速下降法 负梯度方向d k f (xk )是函数值减少最快的方向 ？
无约束优化方法PPT课件
f f x1 T d0 0
d x1
x* x1a1d1
21
d 1 应满足什么条件？ 对于二次函数 f x 在 x * 处取得极小点的必要条件
f x* G x*b0
fx * G x 1 a 1 d 1 b G x 1 b a 1 G d 1
f x1 a1G d10
15
ቤተ መጻሕፍቲ ባይዱ
第四节共轭方向及共轭方向法
为了克服最速下降法的锯齿现象，提高收敛速度，发展 了一类共轭方向法。搜索方向是共轭方向。 一、共轭方向的概念
共轭方向的概念是在研究二次函数
f x1xTGxbTxc
2 时引出的。 首先考虑二维情况
16
1 共轭方向
定义1：设G为 n n阶实对称正定矩阵，而 d i , d 为j 在n
f(Xk1)f(Xk)
13
阻尼牛顿法程序框图
14
以上介绍的最速下降法及牛顿法或者阻尼牛顿法， 属于经典的数学方法。
显然在这些方法中要用到某点函数的一阶梯度，二 阶梯度等信息，同时对牛顿法还要用到逆矩阵的计算等。 当变量维数较高时，计算工作量相当大，影响计算速度。
理论上，牛顿法的收敛速度高于最速下降法。从 以上二种经典方法中，人们不断努力，发掘，提出了不 同的改进方法。
4、提供新的共轭方向 d k 1 ，使 dj TGdk1 0
5、置 kk1，转2。
23
24
共 轭 方 向 法 程 序 框 图
25
第五节 共轭梯度法
共轭梯度法是共轭方向法的一种，共轭向量有迭代点 的负梯度构造出来，所以称共轭梯度法。
f x1xTGxbTxc
2
从点x k出发，沿G某一共轭方向d k 作一维搜索,到达x k 1
第四章无约束优化方法
F (X
(1) )
0
结论: 两个平行方向的极小点构成
即 S1T AS2 0
的新方向与原方向相互共轭 即S1与S2对A共轭
也即对于二维正定二次函数只要分别沿两个共轭方向寻优 14 即可找到最优点.
❖ 与此类似，可以推出对于n维正定二次函数，共轭方向的一 个十分重要的极为有用的性质：从任意初始点出发，依次沿 n个线性无关的与A共轭的方向S1，S2，…Sn各进行一维搜 索，那么总能在第n步或n步之前就能达到n维正定二次函数 的极小点；并且这个性质与所有的n个方向的次序无关。简 言之，用共轭方向法对于二次函数从理论上来讲，n步就可 达到极小点。因而说共轭方向法具有有限步收敛的特性。通 常称具有这种性质的算法为二次收敛算法。
第K+1环的方向组仍用老方向组
S1(k1),
S2(k 1) ,
... ...
S (k 1) n1
S (k 1) n
S1(k),
S2(k) ,
... ...
S(k) n1
,
S(k) n
初始点:
当F2 < F3时, 当F2≥F3时,
X (k 1) 0
X (k) n
X X (k 1)
(k)
0
n 1
F ( X ) 2 x12 x22 x1x127
4.2.1 鲍威尔基本算法（共轭方向的原始构成）
18
4.2.1 鲍威尔基本算法
x3
任取一初始点 X(0)→ X0(1)
第 第一环: e1, e2, e3 → S1 一 第二环: e2, e3 , S1 → S2 轮 第三环: e3 , S1 , S2 →S3
补上新增的方向
初始点:
X (k 1) 0
常用的无约束优化方法
一系列沿坐标轴方向的一维搜索问题来求解。在每一 次迭代中，只改变 n 个变量中的一个，其余变量固定 不动，因此常称为单变量法或变量交错法或降维法
#
4.1 坐标轮换法-迭代步长的确定
(1) 最优步长
在沿坐标轴方向的搜索中，利用一维优化方法来确定沿该方向 上具有最小目标函数值的步长，即：
基本方向组为：
S1(
k
)
,S(k 2) Nhomakorabea,
各方向最优步长： a1(k ) , a2(k ) ,
,
S
(k n
)
, an(k )
新生方向：
Sk
x(k) n
x(k) 0
a S (k ) (k ) 11
a2(k ) S2(k )
an(k ) Sn(k )
若在优化搜索过程中出现1(k) =0(或近似等于0)，则方向 Sk
F2 < F3 F2 F3
其中： △ 是在第k 环方向组中，依次沿各方向优化搜索函数值下
降量的最大值，即Sm(k) 方向函数下降量最大
#
鲍威尔修正算法的方向淘汰
x
(k 2
)
S (k) 3
S
( 2
k
)
x1(k )
S1(k )
x(k) m
x(k) m 1
函数下降量△
S (k) n
x(k) 0
(F1)
S (k)
x(k) n
(F2)
第四章 常用的无约束优化 方法
王桂从
无约束优化问题的数学模型
min F(x)
x [x1 x2 xn ] Rn
求上述问题最优解(x*, F*)的方法称为无约束优化方法 无约束优化方法理论研究开展的比较早，构成的优 化方法已很多，也比较成熟。使用无约束优化方法 ，不仅可以直接求无约束优化设计问题的最优解， 而且通过对无约束优化方法的研究给约束优化方法 建立明确的概念及提供良好的基础，某些优化设计 方法就是先把优化设计问题转化为无约束问题后， 再直接用无约束优化方法求解。
4.无约束优化方法
- 轾 f (X k ) 犏 f (X k ) 蜒 臌 臌
T
轾2
? f (X k )
0
轾 f (X k ) 蜒 臌
T
轾 2 f (X ) - 1 ? f (X ) k k 犏 臌
0
阻尼牛顿法
• 需对上述牛顿法进行改进，引入数学规 划法的搜索概念，提出所谓“阻尼牛顿 法”
2011-3-18
16
a1 SiT AS1 + a2 SiT AS 2 + L + ai SiT ASi + L + am SiT AS m = 0 a1 SiT AS1 + a2 SiT AS 2 + L + ai SiT ASi + L + am SiT AS m = 0
ai = 0
彼此关于A共轭的向量线性无关
1 0 0 0 0 1 0 0 e1 = 0 , e2 = 0 , e3 = 1 , L en = 0 M M M M 0 0 0 1
第四章 无约束优化方法
1. 概述 2. 最速下降法 3. 牛顿型方法 梯度法及共轭梯度法; 4. 梯度法及共轭梯度法; DFP变尺度法 变尺度法. 5. DFP变尺度法. 坐标轮换法; 6. 坐标轮换法; 鲍威尔法; 7. 鲍威尔法;
2011-3-18 1
1.概述
• 有些实际问题，其数学模型本身就是一 个无约束优化问题可以按无约束问题来 处理 • 通过熟悉无约束优化问题的解法可以为 研究约束优化问题打下良好的基础 • 约束优化问题的求解可以通过一系列无 约束优化方法来达到
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第一节，概述
无约束优化问题：求n维设计变量x=（x1，x2，…，x n）T，使目标函数f（x）→min，而对
x没有任何限制。
用数学方法求解方程▽f=0的问题/，。
该方程为非线性方程，不宜直接求解，选择搜索法。
给定初始点x0，沿着某一方向d0进行搜索，确定最佳步长α0，使得沿着d0方向下降最大；x k+1=x k+αk d k。
根据d的构成分类：一类为利用目标函数一阶和二阶导数的无约束优化方法【最速下降法】，【共轭梯度法】，【牛顿法】，【变尺度法】，另一类只利用目标函数值【坐标轮换法】，【单形替换法】，【鲍威尔法】。
第二节，最速下降法
又称梯度法，以负梯度方向作为搜索方向。
d=-▽f（x）；x k+1=x k-αk▽f（x k）
α为步长因子，取一维搜索的最佳步长：f（x k+1）=f（x k-αk▽f（x k））=minαf（x k-αk▽f（x k））=minαφ（α）→φ'（α）=-（▽f（x k-αk▽f（x k）））▽f（x k）=0→▽f（x k+1）▽f（x k）=0 相邻两次迭代方向垂直。
【重点】第三节，牛顿法
牛顿迭代公式：x k+1=x k-
多元函数f（x），设x k为f（x）极小点x*的一个近似点，在x k处将f（x）进行泰勒展开，保留二次项，得到：f（x）≈f（x k）+▽f（x k）T（x-x k）+;
整理出牛顿迭代公式：x k+1=x k-（▽2f（x k））-1▽f（x k）
阻尼牛顿法：引入阻尼因子αk，故有x k+1=x k-αk（▽2f（x k））-1▽f（x k），其中αk可由极小化求解：f（x k+1）=f（x k+αk d k）=minαf（x k+αd k），其理论意义为沿着d k方向一维搜索的最佳步长。
第四节，共轭方向法
共轭方向：d k和d k+1满足（d k）T G（d k+1）=0
原则和步骤：选定初始点x0，下降方向d0和收敛精度ε；沿着d0方向一维搜索，x1=x0+αd0；判断（），不满足则反复迭代演算，其中新方向dk+1满足（d k）T Gd k+1=0 【第五节】共轭梯度法
每一个共轭矢量都是依赖于迭代点处的负梯度构造的。
共轭方向与梯度之间的关系:
x k+1-x k=αk d k
在x k和x k+1处的梯度为g k，g k+1，设二次函数f（x）=1/2x T Gx+b T x+c,
g k=Gx k+b; g k+1=Gx k+1+b;
g k+1-g k=G(x k+1-x k)=αk Gd k
若d j和d k共轭，则有（d j）T（g k+1-g k）=0
意义：沿着d j方向一维搜索其终点x k+1与始点x k的梯度之差g k+1-g k与d k的共轭方向d j正交。
计算过程：设初值点x0，第一个搜索方向取x0的负梯度方向-g0，一维搜索后得x1，g1，要求x1为以d0为切线和某等值曲线的切点，g1和d0正交，g1T g0=0；求d0的共个方向d1，改
写d1=- g1+β0 d0其中：β0=，d1=，计算x2、g2；计算d2…直到迭代点梯度
的模小于允许值。
得到共轭方向的递推公式：d k+1=
第六节，变尺度法
放大或缩小各个坐标，通过尺度变换可以把函数的偏心程度降低到最低限度，显著地改善收敛性质。
尺度变换矩阵Q，尺度矩阵H=Q T Q；
变尺度法步骤：x0，ε→g0，H0（可取I）→d k=-H k g k→一维搜索求x1，g1→判断迭代终止条件，若不满足则取H k=I，x0=x k+1重新迭代
第七节，坐标轮换法
每次搜索只允许一个变量变化，其余变量保持不便，及沿着坐标方向轮流进行搜索的寻优方法。
当目标函数为二元二次函数其等值线为圆或长短轴平行于坐标的椭圆时此方法有效。
【重点】第八节，鲍威尔法
直接利用函数值来构造共轭方向的一种共轭方向法。
对于二次函数：
f（x）=1/2x T Gx+b T x+c；G正定，在逐次迭代中构造G的共轭方向。
构造共轭方向原理：
设x k和x k+1为从不同点出发沿着不同方向d j进行一位搜素得到的两个极小值点，x k和x k+1，梯度g k，g k+1，梯度与等值线垂直，故（d j）T g k=0，（d j）T g k+1=0；同时g k=Gx k+b，g k+1=Gx k+1+b，有g k+1- g k=G（x k+1- x k），（d j）T（g k+1- g k）=0=（d j）T G（x k+1- x k）
取d k=x k+1-x k，d j d k共轭，即沿着d j方向对函数做两次一维搜索得到的两个极小值的连线就是与d j一起对G共轭的方向。
基本算法：
x0，两个线性无关矢量e1，e2做为搜索方向→得到x10和x20→d1= x20-x10→d1代替e1，新搜索方向：e2，d1…
改进算法：考虑到原始的矢量组的好坏是否需要替换。
第九节，单形替换法
基本原理：单形替换法指在n维空间中建立≥n+1个顶点的多面体（单纯形）。
计算其各顶点函数值并加以比较，从中确定搜索方向和步长，找到一个较好的点取代单纯形中较差的顶点，组成的新单纯形更加靠近目标函数的极小点。
可通过反射、远探、近探和缩边等方式不断地更新单纯形，逐渐逼近极小点，直到足够接近为止。