05工程优化 第4章-1无约束最优化方法
合集下载
《无约束优化方法》PPT课件
进行一维搜索，其终点 x k 1 与始点 x k 的梯度值差
gk1 gk 与 d k 的共轭方向 d j 正交。
精选ppt
18
图4-9 共轭梯度法的几何说明
精选ppt
精选ppt
20
精选ppt
21
精选ppt
22
精选ppt
23
精选ppt
24
第六节变尺度法
变尺度法的基本思想：
前面讨论的梯度法和牛顿法，它们的迭代公式可以看作下列 公式的特例。
3
第二节 最速下降法
优化设计追求目标函数值最小，若搜索方向取该点的负梯度 方向，使函数值在该点附近的范围内下降最快。
按此规律不断走步，形成以下迭代算法：
xk1xkak f xk
以负梯度方向为搜索方向，所以称最速下降法或梯度法。
搜索方向确定为负梯度方向，还需确定步长因子a k
即求一维搜索的最佳步长，既有
xk 1xkkH f xk
变尺度法是对牛顿法的修正，它不是计算二阶导数的矩阵和 它的逆矩阵，而是设法构造一个对称正定矩阵H来代替Hesse 矩阵的逆矩阵。并在迭代过程中，使其逐渐逼近H-1 。
由于对称矩阵H在迭代过程中是不断修正改变的，它对于一 般尺度的梯度起到改变尺度的作用，因此H又称变尺度矩阵。
数值法
可以处理复杂函数及没有数学表达式 的优化设计问题
xk1xk akdk
搜索方向问题是无约束优化方法的关键。
各种无约束优化方法的区别：确定搜索方向的方法不同。
利用目标函数的一阶或二阶导数
无约束优化方法分类 （最速下降法、共轭梯度法、牛顿法）
利用目标函数值
（精坐选标ppt轮换法、鲍威尔等）
2
精选ppt
gk1 gk 与 d k 的共轭方向 d j 正交。
精选ppt
18
图4-9 共轭梯度法的几何说明
精选ppt
精选ppt
20
精选ppt
21
精选ppt
22
精选ppt
23
精选ppt
24
第六节变尺度法
变尺度法的基本思想：
前面讨论的梯度法和牛顿法，它们的迭代公式可以看作下列 公式的特例。
3
第二节 最速下降法
优化设计追求目标函数值最小，若搜索方向取该点的负梯度 方向，使函数值在该点附近的范围内下降最快。
按此规律不断走步，形成以下迭代算法：
xk1xkak f xk
以负梯度方向为搜索方向，所以称最速下降法或梯度法。
搜索方向确定为负梯度方向，还需确定步长因子a k
即求一维搜索的最佳步长，既有
xk 1xkkH f xk
变尺度法是对牛顿法的修正，它不是计算二阶导数的矩阵和 它的逆矩阵，而是设法构造一个对称正定矩阵H来代替Hesse 矩阵的逆矩阵。并在迭代过程中，使其逐渐逼近H-1 。
由于对称矩阵H在迭代过程中是不断修正改变的，它对于一 般尺度的梯度起到改变尺度的作用，因此H又称变尺度矩阵。
数值法
可以处理复杂函数及没有数学表达式 的优化设计问题
xk1xk akdk
搜索方向问题是无约束优化方法的关键。
各种无约束优化方法的区别：确定搜索方向的方法不同。
利用目标函数的一阶或二阶导数
无约束优化方法分类 （最速下降法、共轭梯度法、牛顿法）
利用目标函数值
（精坐选标ppt轮换法、鲍威尔等）
2
精选ppt
无约束最优化方法直接搜索法课件
x2
S(1)
S2(1
)
(1)
X3 X2 (1)
X* X2 (2) X1 (2)
S(2)
X0 (1)
X 1 (1)
S1(1) x1
• 鲍威尔基本算法的缺点
鲍威尔基本算法仅具有理论意义，不要说对于一般的 函数，就是对于二次函数，它也可能失效。因为在迭代过程 中的n个搜索方向有时会变成线性相关，而不能形成共轭方向， 从而张不成n维空间，导致随后的迭代搜索在降维(“退化”) 的空间中进行，可能求不到极小点，故需进行改进。
x 2 XL X2
Xn+3 Xn+2
Xn+1
Xห้องสมุดไป่ตู้ XH
X1 XG x1
6)扩张：当 fn+2 < f L 时，取扩张点Xn+3 ，即
Xn+3 = Xn+1 + (Xn+2 – Xn+1)
( =1.2~2.0 )
并计算 fn+3 = f (Xn+3 ) 。 若 fn+3 < fn+2 ，则以Xn+3 代替 X H ， fn+3 代替 fH ，构造一个新的单纯形；否则，以 X n+2 代 替XH ， fn+2 代替fH ，构造新的单纯形；然后返回到 3)。
鲍威尔条件：
若 f 3 < f 1, ( f1 - 且2f2 + f3) (f1 - f2 - △m(k))2 < 0.5 △m(k) (f1 - f3 )2 同时成立，则用 S ( k ) 替代 S m ( k ) ；否则，仍用 就是鲍威尔修正算法，通常所说的鲍威尔算法就是指这一修正算法。
• 鲍威尔算法的计算步骤及算法框图
无约束优化方法
第四章无拘束优化方法——最速降落法，牛顿型方法概括在求解目标函数的极小值的过程中，若对设计变量的取值范围不加限制，则称这种最优化问题为无拘束优化问题。
只管对于机械的优化设计问题，多半是有拘束的，无拘束最优化方法仍然是最优化设计的基本构成部分。
因为拘束最优化问题能够经过对拘束条件的办理，转变为无拘束最优化问题来求解。
为何要研究无拘束优化问题（1）有些实质问题，其数学模型自己就是一个无拘束优化问题。
（2）经过熟习它的解法能够为研究拘束优化问题打下优秀的基础。
（3）拘束优化问题的求解能够经过一系列无拘束优化方法来达到。
所以无拘束优化问题的解法是优化设计方法的基本构成部分，也是优化方法的基础。
依据构成搜寻方向所使用的信息性质的不一样，无拘束优化方法能够分为两类。
一：间接法——要使用导数的无拘束优化方法，如梯度法、（阻尼）牛顿法、变尺度法、共轭梯度法等。
二：直接法——只利用目标函数值的无拘束优化问题，如坐标轮换法、鲍威尔法纯真形法等。
无拘束优化问题的一般形式可描绘为：求 n 维设计变量X x1x2L x n T R n使目标函数 f ( X )min当前已研究出好多种无拘束优化方法，它们的主要不一样点在于结构搜寻方向上的差异。
无拘束优化问题的求解：1、分析法能够利用无拘束优化问题的极值条件求得。
马上求目标函数的极值问题变为求方程min f ( X * )0的解。
也就是＊使其知足求Ｘf ( X *)0x1f ( X*)x2f ( X*)x n解上述方程组，求得驻点后，再依据极值点所需知足的充足条件来判断能否为极小值点。
但上式是一个含有ｎ个未知量，ｎ个方程的方程组，在实质问题中一般是非线性的，很难用分析法求解，要用数值计算的方法。
由第二章的叙述我们知道，优化问题的一般解法是数值迭代的方法。
所以，与其用数值方法求解非线性方程组，还不如用数值迭代的方法直接求解无拘束极值问题。
2、数值方法数值迭代法的基本思想是从一个初始点 X (0)出发，依据一个可行的搜寻方向 d ( 0)搜寻，确立最正确的步长0使函数值沿 d (0 )方向降落最大，获得 X (1)点。
第4章 无约束优化方法
4-2 牛顿法及其改进
基本思想 ：
在Xk邻域内用一个二次函数 ( x ) 来近似代替原目 标函数，并将 ( x )的极小点作为对目标函数 f ( x )求 优的下一个迭代点 x k 1 。经多次迭代，使之逼近目 标函数 f ( x )的极小点。 牛顿法是求函数极值的最古老算法之一。
f ( X ) ( X ) f ( X k ) f ( X k )T ( X X k ) 1 ( X X k )T 2 f ( X k )( X X k ) 2
前途是光明的，道路是曲折的！
开始
给定
X 0 ,
k 0
s k f ( X k )
X k 1 X k k s k
k k k : min f ( X s ) k
k k 1
是
X k 1 X k
否
X * X k 1
结束
例4－1求目标函数
0
1. 基本思想
变量的尺度变换是放大或缩小各个坐标。通过尺 度变换可以把函数的偏心程度降到最低限度。
2 2 f ( X ) x 25 x 例如在用最速下降法求 1 2
设 X k 1为 ( X )的极小点 ( X k 1 ) 0
f ( X k ) 2 f ( X k )( X k 1 X k ) 0
X k 1 X k [2 f ( X k )]1 f ( X k ) (k 0,1,2, )
这就是多元函数求极值的牛顿法迭代公式。 对于二次函数 ，海赛矩阵H是一个常矩阵，其中 各元素均为常数。因此，无论从任何点出发，只 需一步就可找到极小点。
用直接法寻找极小点时，不必求函数的导数，只要 计算目标函数值。这类方法较适用于解决变量个数较少 的（n ≤20）问题，一般情况下比间接法效率低。 间接法除要计算目标函数值外，还要计算目标函数 的梯度，有的还要计算其海赛矩阵。
无约束优化方法
为了使目旳函数值沿搜索方向 f (xk ) 能够取得最大旳
下降值，其步长因子
应取一维搜索旳最佳步长。即有
k
f
( xk1)
f [xk
akf
( xk )]
min a
f [xk
af
( xk )]
min， ( ) a
根据一元函数极值旳必要条件和多元复合函数求导公式，得
'( ) f [ xk kf ( xk )] T f ( xk ) 0
第四章 无约束优化措施
第一节 概 述
数值解法：是从给定旳初始点x0出发，沿某一搜索方向d0
进行搜索。拟定最佳步长α，使函数值沿d0方向下降最大。 依此方式按下述公式不断进行，形成迭代旳下降算法。
x，k1 xk k d k (k 0,1, )
1）选择迭代方向即探索方向； 2）在拟定旳方向上选择合适步长迈步进行探索。 多种无约束优化措施旳区别就在于拟定其搜索方向dk旳措 施不同。所以搜索方向旳构成问题是无约束优化措施旳关键。
4）若 | xk1 xk | ，则停止迭代，
得最优解x* xk1;
否则，k k 1,转到第二步。
第四章 无约束优化措施
第二节 最速下降法
例：用最速下降法求目标函数 ，
f (x) x12 25x22
的极小点。
xk1 xk kf (xk )(k 0,1, )
第四章 无约束优化措施
解 取初始点 x0 [2,2]T f ( x0 ) 104
第四章 无约束优化措施
第四节 共轭方向及共轭方向法 •共轭方向旳形成
•格拉姆-斯密特向量系共轭化旳措施
i
d i1
vi1
，
dr i 1, r
工程优化方法及应用 第四章1-2节
2 x x -0f x 1/2
1 0 0
Page 8
第2次迭代：
-1 f x , -2
1
|| f x1 || 5 0.5,
1
2+1 x x -1f x = 1/2+2 1 ( )=f x1 -f x1 =f 2+ ,1/2+2
2、其基本思想和逻辑结构可以推广到约束问题；
3、约束问题可以转化成无约束问题求解。
f ( x), x D min f ( x) min F ( x), 其中F ( x) n xD 类
解析法：对简单问题，求解必要条件或充分条件； 零阶法：只需计算函数值 f(x) 迭代算法 一阶法：需计算 ▽f(x) 梯度法 二阶法：需计算 ▽2f(x) 建立迭代算法的关键：确定迭代格式
3
5/2+22 3 x x -2f ( x )= = ， 3/2 2 5/4
继续迭代可得到函数的近似最优解。
Page 10
2 2 例 用最速下降法求函数 f ( x1 , x2 )＝x1 的极小点（迭代两 4 x2 T 次）。 并验证相邻两个搜索方向是正交的。初始点 x 0 1,1 。
No
Page 6
Yes stop. x* =xk
dk= －▽f(xk ) min f(xk+λdk) s.t. λ >0 得最佳步长因子λk 令： xk+1=xk+λkdk 解
最速下降法的算例
取 x 0 1,1T , =0.5. 解：函数的梯度为
Page 7
2 2 min f ( x ) x 2 x 例 利用最速下降法求解 1 2 2 x1 x2 4 x1 ,
第4章 无约束优化方法
求
令
4 S 0 f X 0 2
0 则有 X 1 X 0 0 S 0 1 0 4 1 2 1 2
1 4
0
f X 1 1 4 0 2 1 2 0 2 1 4 0 1 2 0 4 1 4 0 f 0
因
5
还需继续迭代
（2）第二次迭代 同理有
1 1 1 f X , S 2 2 2 1 2 1 2 1 1 X X 1 S 1 0.5 2 0.5 2 1
4.2.3 变尺度法
基本思想： （1） 用简单矩阵代替二阶导数矩阵的逆矩阵 （2) 用坐标变换简化目标函数 引入矩阵变换U，令 X X k UY 代入式泰勒展开式得
T 1 T T 2 k k Y Y U f X UY f X UY f X k 2
2 f X k
S 2 f X k f X k
1
由此构成的算法称基本牛顿法，Sk 称牛顿方向。
分析可知： ⑴ 对于正定二次函数，Xk+1是精确极小点，方向 Sk 是直指函数的极小点。 ⑵ 用基本牛顿法求解正定二次函数时，无论从哪个初始 点出发，计算所得牛顿方向直指极小点，而且步长等于1。 ⑶ 对于一般非线性函数，点Xk+1只是原函数的一个近似极 小点。故将此点作为下一个迭代Xk+1。 ⑷ 但是对于非正定函数，由上式得到 的点Xk+1，不能始终保持函数的下降性，
1 0 0
《无约束优化方法》课件
收敛性分析
分析迭代点是否收敛到最优解，以及收敛速度的快慢。
04 算法实现和案例 分析
MATLAB实现
介绍MATLAB在无约束优化方 法中的应用，包括函数优化工 具箱的使用和自定义算法的实
现。
演示如何使用MATLAB求解无 约束优化问题，如最小二乘问
题、非线性规划问题等。
介绍MATLAB中常用的优化算 法，如梯度下降法、牛顿法、 拟牛顿法等，并给出相应的代 码实现。
04
总结Python在无约束优化方法中的优缺点，并给出相应的改进建议 。
案例分析：简单的二次函数优化
介绍二次函数优化的基本 概念和方法，包括最优解 的求解和性质分析。
演示如何使用MATLAB或 Python求解该问题，并 给出相应的代码实现和结 果分析。
ABCD
给出具体的二次函数优化 问题，如最小化f(x)=x^2 在区间[a,b]上的最小值。
深度学习优化
结合深度学习技术，对高维非线性问题进行 优化，解决复杂的问题。
目标函数
需要最小化或最大化的函数
约束条件
对目标函数的限制条件，无约束优化问题没有约束条件
02 无约束优化方法 简介
梯度法
总结词
基本、直观、简单
详细描述
梯度法是最早的无约束优化方法之一，它基于函数的梯度信息，通过沿着负梯 度的方向搜索来寻找最优解。由于其简单直观，被广泛应用于各种优化问题。
牛顿法
控制工程
用于系统优化、控制器设计和系统稳 定性分析，提高控制系统的性能。
无约束优化方法的未来发展方向
混合整数优化
将整数约束和连续变量优化结合起来，解决 更复杂的优化问题。
多目标优化
考虑多个目标函数，寻求多目标之间的平衡 ，满足多方面的需求。
分析迭代点是否收敛到最优解，以及收敛速度的快慢。
04 算法实现和案例 分析
MATLAB实现
介绍MATLAB在无约束优化方 法中的应用，包括函数优化工 具箱的使用和自定义算法的实
现。
演示如何使用MATLAB求解无 约束优化问题，如最小二乘问
题、非线性规划问题等。
介绍MATLAB中常用的优化算 法，如梯度下降法、牛顿法、 拟牛顿法等，并给出相应的代 码实现。
04
总结Python在无约束优化方法中的优缺点，并给出相应的改进建议 。
案例分析：简单的二次函数优化
介绍二次函数优化的基本 概念和方法，包括最优解 的求解和性质分析。
演示如何使用MATLAB或 Python求解该问题，并 给出相应的代码实现和结 果分析。
ABCD
给出具体的二次函数优化 问题，如最小化f(x)=x^2 在区间[a,b]上的最小值。
深度学习优化
结合深度学习技术，对高维非线性问题进行 优化，解决复杂的问题。
目标函数
需要最小化或最大化的函数
约束条件
对目标函数的限制条件，无约束优化问题没有约束条件
02 无约束优化方法 简介
梯度法
总结词
基本、直观、简单
详细描述
梯度法是最早的无约束优化方法之一，它基于函数的梯度信息，通过沿着负梯 度的方向搜索来寻找最优解。由于其简单直观，被广泛应用于各种优化问题。
牛顿法
控制工程
用于系统优化、控制器设计和系统稳 定性分析，提高控制系统的性能。
无约束优化方法的未来发展方向
混合整数优化
将整数约束和连续变量优化结合起来，解决 更复杂的优化问题。
多目标优化
考虑多个目标函数，寻求多目标之间的平衡 ，满足多方面的需求。
ch05常用无约束最优化方法
f ( x ) 0
定理5.3(二阶必要条件) 设f(x)在x*的某个邻域内具 有连续的二阶偏导数, 则x*是f(x) 的局部极小值点的必 要条件是 f ( x ) 0 且 2 f ( x * ) 半正定
3
常用无约束最优化方法
定理5.4(二阶充分条件) 设f(x)在x*的某个邻域内具有 连续的二阶偏导数, 若 f ( x ) 0且 2 f ( x * )正定, 则x* 是f(x)的严格局部极小点(Isolated local minimum)。 定理5.5 阶偏导数, 若f ( x ) 0且 2 f ( x) 半正定, 则x*是f(x)的 局部极小点。 定理5.6 设f(x)是Rn上的凸函数且f(x)具有连续的偏导 数, 则x*是f(x)的全局极小点(Global minimum)的充分 必要条件是 设f(x)在x*的某个邻域 N
T
x (1,0) , x
1
2
2 0 2 2 0 (4) f (x ) , f (x ) 0 2 0 2
2 (3)
由定理5.1和定理5.3知x(2)是局部极小点。
5
常用无约束最优化方法
求解问题(5.1)具体做法为： 给定初值x(0), 按照某一个规则构造迭代序列 {x( k ) }, k 1, 2, 使
(k ) x2
2 0.001598082 -0.040008249 0.953703372 -0.046349362
常用无约束最优化方法
5.2.2 最速下降法
1847年Cauchy给出了最速下降法。
f ( x ( k 1) ) f ( x ( k ) k f ( x ( k ) )) min f ( x ( k ) f ( x ( k ) ))
四常用无约束最优化方法(精品PPT)
（3）用终止准则检测是否满足：若满足，则打印最优
解 X k 1 ，f ( X k1 ) ，结束；否则，置 k k 1，转
（2）．
，
最速下降法算法流程如图4.2所示．
Company Logo
最速下降法算 法流程如图所 示．
图4.2
开始 选定X0
f0 f (X0) g0 g(X0)
X ls(X 0 ,g0 )
Company Logo
§4.1 最速下降法
对于问题（4.1）为了求其最优解，按最优化算法的基
本思想是从一个给定的初始点
X
出发，通过基本迭代公
0
式 X k1 X k tk Pk，按照特定的算法产生一串
点列{X k } ，如果点列收敛，则该点列的极限点为问题
（4.1）的最优解．
一、最速下降法基本原理
1个迭代点
X
k
，即
1
X k1 X k tk f ( X k ) ，
其中步长因子 tk 按下式确定
也可记为
fin
t
f
(Xk
tf
(Xk
))
，
X k1 ls( X k , f ( X k )) ． （4.3）
显然，令k 0, 1, 2, 就可以得到一个点列 X0, X1, X2 ，
g( X ) AX b ，(4.5)
因此，
gk g( X k ) AX k b．(4.6)
现在从X k 出发沿 g k 作直线搜索以确定 X k1 ，于是
X k1 X k tk gk ， (4.7) 其中tk 是最优步长因子．
Company Logo
又因式（4.2），有 g( X k1 )T gk 0 ，再利用式
解 X k 1 ，f ( X k1 ) ，结束；否则，置 k k 1，转
（2）．
，
最速下降法算法流程如图4.2所示．
Company Logo
最速下降法算 法流程如图所 示．
图4.2
开始 选定X0
f0 f (X0) g0 g(X0)
X ls(X 0 ,g0 )
Company Logo
§4.1 最速下降法
对于问题（4.1）为了求其最优解，按最优化算法的基
本思想是从一个给定的初始点
X
出发，通过基本迭代公
0
式 X k1 X k tk Pk，按照特定的算法产生一串
点列{X k } ，如果点列收敛，则该点列的极限点为问题
（4.1）的最优解．
一、最速下降法基本原理
1个迭代点
X
k
，即
1
X k1 X k tk f ( X k ) ，
其中步长因子 tk 按下式确定
也可记为
fin
t
f
(Xk
tf
(Xk
))
，
X k1 ls( X k , f ( X k )) ． （4.3）
显然，令k 0, 1, 2, 就可以得到一个点列 X0, X1, X2 ，
g( X ) AX b ，(4.5)
因此，
gk g( X k ) AX k b．(4.6)
现在从X k 出发沿 g k 作直线搜索以确定 X k1 ，于是
X k1 X k tk gk ， (4.7) 其中tk 是最优步长因子．
Company Logo
又因式（4.2），有 g( X k1 )T gk 0 ，再利用式
4 无约束最优化方法
t 0
否 求p0= f ( x 0 )
||f ( x 0 )||
是 停止，输出x0
2 2 例 用最速下降法解 min f ( x1 , x2 ) x1 25 x2
初始点x 0 ( 2， 2)T ,终止误差 106
解： 1、目标函数的梯度 f ( x ) (2 x1 ,50 x2 )T
式中，称为最优步长因子，由以下一维 搜索确定：
f ( X k 1 ) f ( X k k f ( X k )) min f ( X k f ( X k )) min f ( )
根据极值的必要条件和复合函数的求导公式，可 得到 T
f ( X
k 1
) f ( X ) 0
停止，解题失败
牛顿法特点
如果f是对称正定矩阵A的二次函数，则用牛 顿法经过一次迭代就可达到最优点,如不是 二次函数，则牛顿法不能一步达到极值点， 但由于这种函数在极值点附近和二次函数很 近似,因此牛顿法的收敛速度还是很快的。 牛顿法的收敛速度虽然较快，但要求 Hessian矩阵要可逆，要计算二阶导数和逆 矩阵，就加大了计算机计算量和存储量。
牛顿法
牛顿法的搜索方向是根据目标函数的负梯度和 二阶导数矩阵构造的，称为牛顿方向。 Newton法基本思想：用探索点xk处的二阶 Taylor展开式近似代替目标函数，以展开式的 最小点为新的探索点。
S f ( X ) f ( X k )
k 2 k
1
X k 1 X k S k
解题步骤
(1) (2)
0 n 选定初始点 X E ，给定允许误差 0 ，令 k=0； k 2 k 1 k f X f X f X ,则 求 , ,检验：若
否 求p0= f ( x 0 )
||f ( x 0 )||
是 停止，输出x0
2 2 例 用最速下降法解 min f ( x1 , x2 ) x1 25 x2
初始点x 0 ( 2， 2)T ,终止误差 106
解： 1、目标函数的梯度 f ( x ) (2 x1 ,50 x2 )T
式中，称为最优步长因子，由以下一维 搜索确定：
f ( X k 1 ) f ( X k k f ( X k )) min f ( X k f ( X k )) min f ( )
根据极值的必要条件和复合函数的求导公式，可 得到 T
f ( X
k 1
) f ( X ) 0
停止，解题失败
牛顿法特点
如果f是对称正定矩阵A的二次函数，则用牛 顿法经过一次迭代就可达到最优点,如不是 二次函数，则牛顿法不能一步达到极值点， 但由于这种函数在极值点附近和二次函数很 近似,因此牛顿法的收敛速度还是很快的。 牛顿法的收敛速度虽然较快，但要求 Hessian矩阵要可逆，要计算二阶导数和逆 矩阵，就加大了计算机计算量和存储量。
牛顿法
牛顿法的搜索方向是根据目标函数的负梯度和 二阶导数矩阵构造的，称为牛顿方向。 Newton法基本思想：用探索点xk处的二阶 Taylor展开式近似代替目标函数，以展开式的 最小点为新的探索点。
S f ( X ) f ( X k )
k 2 k
1
X k 1 X k S k
解题步骤
(1) (2)
0 n 选定初始点 X E ，给定允许误差 0 ，令 k=0； k 2 k 1 k f X f X f X ,则 求 , ,检验：若
第四章无约束优化方法
F (X
(1) )
0
结论: 两个平行方向的极小点构成
即 S1T AS2 0
的新方向与原方向相互共轭 即S1与S2对A共轭
也即对于二维正定二次函数只要分别沿两个共轭方向寻优 14 即可找到最优点.
❖ 与此类似，可以推出对于n维正定二次函数，共轭方向的一 个十分重要的极为有用的性质：从任意初始点出发，依次沿 n个线性无关的与A共轭的方向S1，S2，…Sn各进行一维搜 索，那么总能在第n步或n步之前就能达到n维正定二次函数 的极小点；并且这个性质与所有的n个方向的次序无关。简 言之，用共轭方向法对于二次函数从理论上来讲，n步就可 达到极小点。因而说共轭方向法具有有限步收敛的特性。通 常称具有这种性质的算法为二次收敛算法。
第K+1环的方向组仍用老方向组
S1(k1),
S2(k 1) ,
... ...
S (k 1) n1
S (k 1) n
S1(k),
S2(k) ,
... ...
S(k) n1
,
S(k) n
初始点:
当F2 < F3时, 当F2≥F3时,
X (k 1) 0
X (k) n
X X (k 1)
(k)
0
n 1
F ( X ) 2 x12 x22 x1x127
4.2.1 鲍威尔基本算法（共轭方向的原始构成）
18
4.2.1 鲍威尔基本算法
x3
任取一初始点 X(0)→ X0(1)
第 第一环: e1, e2, e3 → S1 一 第二环: e2, e3 , S1 → S2 轮 第三环: e3 , S1 , S2 →S3
补上新增的方向
初始点:
X (k 1) 0
常用的无约束优化方法
➢基本原理：将一个 n 维的无约束最优化问题转化为
一系列沿坐标轴方向的一维搜索问题来求解。在每一 次迭代中，只改变 n 个变量中的一个，其余变量固定 不动，因此常称为单变量法或变量交错法或降维法
#
4.1 坐标轮换法-迭代步长的确定
(1) 最优步长
在沿坐标轴方向的搜索中，利用一维优化方法来确定沿该方向 上具有最小目标函数值的步长，即：
基本方向组为：
S1(
k
)
,S(k 2) Nhomakorabea,
各方向最优步长： a1(k ) , a2(k ) ,
,
S
(k n
)
, an(k )
新生方向：
Sk
x(k) n
x(k) 0
a S (k ) (k ) 11
a2(k ) S2(k )
an(k ) Sn(k )
若在优化搜索过程中出现1(k) =0(或近似等于0)，则方向 Sk
F2 < F3 F2 F3
其中： △ 是在第k 环方向组中，依次沿各方向优化搜索函数值下
降量的最大值，即Sm(k) 方向函数下降量最大
#
鲍威尔修正算法的方向淘汰
x
(k 2
)
S (k) 3
S
( 2
k
)
x1(k )
S1(k )
x(k) m
x(k) m 1
函数下降量△
S (k) n
x(k) 0
(F1)
S (k)
x(k) n
(F2)
第四章 常用的无约束优化 方法
王桂从
无约束优化问题的数学模型
min F(x)
x [x1 x2 xn ] Rn
求上述问题最优解(x*, F*)的方法称为无约束优化方法 无约束优化方法理论研究开展的比较早，构成的优 化方法已很多，也比较成熟。使用无约束优化方法 ，不仅可以直接求无约束优化设计问题的最优解， 而且通过对无约束优化方法的研究给约束优化方法 建立明确的概念及提供良好的基础，某些优化设计 方法就是先把优化设计问题转化为无约束问题后， 再直接用无约束优化方法求解。
一系列沿坐标轴方向的一维搜索问题来求解。在每一 次迭代中，只改变 n 个变量中的一个，其余变量固定 不动，因此常称为单变量法或变量交错法或降维法
#
4.1 坐标轮换法-迭代步长的确定
(1) 最优步长
在沿坐标轴方向的搜索中，利用一维优化方法来确定沿该方向 上具有最小目标函数值的步长，即：
基本方向组为：
S1(
k
)
,S(k 2) Nhomakorabea,
各方向最优步长： a1(k ) , a2(k ) ,
,
S
(k n
)
, an(k )
新生方向：
Sk
x(k) n
x(k) 0
a S (k ) (k ) 11
a2(k ) S2(k )
an(k ) Sn(k )
若在优化搜索过程中出现1(k) =0(或近似等于0)，则方向 Sk
F2 < F3 F2 F3
其中： △ 是在第k 环方向组中，依次沿各方向优化搜索函数值下
降量的最大值，即Sm(k) 方向函数下降量最大
#
鲍威尔修正算法的方向淘汰
x
(k 2
)
S (k) 3
S
( 2
k
)
x1(k )
S1(k )
x(k) m
x(k) m 1
函数下降量△
S (k) n
x(k) 0
(F1)
S (k)
x(k) n
(F2)
第四章 常用的无约束优化 方法
王桂从
无约束优化问题的数学模型
min F(x)
x [x1 x2 xn ] Rn
求上述问题最优解(x*, F*)的方法称为无约束优化方法 无约束优化方法理论研究开展的比较早，构成的优 化方法已很多，也比较成熟。使用无约束优化方法 ，不仅可以直接求无约束优化设计问题的最优解， 而且通过对无约束优化方法的研究给约束优化方法 建立明确的概念及提供良好的基础，某些优化设计 方法就是先把优化设计问题转化为无约束问题后， 再直接用无约束优化方法求解。
运筹学-无约束最优化方法
§4 共轭方向法
对于简单的二次函数
任给一个初始向量x(0),沿着方向e1=(1,0,· · · ,0)T 进行搜索,即求解下面问题
min f1 (a1 ) ( x ( 0 ) a1e1 b)T ( x ( 0 ) a1e1 b)
a1
1 T 1 T x x b x c ( x b)T ( x b) c bT b 2 2
13
2.2 收敛性 1 整体收敛性 定理 2.1 设f(x)具有一阶连续偏导数,给定 x0∈Rn,假定水平集L={x∈Rn|f(x)≤f(x0)}0)=0; 或者(ii)
14
2 用于二次函数时的收敛速度
* T * * *
6
考虑无约束优化问题：
min f ( x ) n
xR
假设函数 f ( x ) 是一阶（或二阶）连续可微函数。
无约束最优化方法： 1.最速下降法 2.Newton法 3.共轭方向法和共轭梯度法 4.拟Newton法 DFP算法 Broyden族拟Newton法
7
若 z f ( x, y )在点M 0 ( x0, y0 )可微，则f ( x, y ) 在点M 0沿任一方向l 的方向导数都存在，且 z l
26
共轭方向法
将此过程进行下去有
x ( k ) (b 1,
(1) , bk , xk 1 , (1) T , xn ) .
x(k)是函数在{x(0) +a1e1+a2e2+· · · +akek,a1,a2· · · ,ak∈R} 中的极小点. 进行n步后有 x( n) (b 1, b2 , , bn )T b.
若Gk正定,则qk(x)有唯一极小点,该极小点即为 Newton法取的xk+1. 显然 0 qk ( xk 1 ) Gk ( xk 1 xk ) gk Newton迭代公式为
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1 d = f x , 2
1
2+ x + d = ， 1/2+2
1 1
2
( )=f x1 + d 1 =f 2+ ,1/2+2
= 2+ 2 1/2+2 2 2+ 1/2+2 4 2+ ,
k
k
x k +1.
(4) 检查得到的新点 x k +1是否为极小点或近似极小点。 若是，则停止迭代。 否则，令 k : k 1，转(2)继续进行迭代。 在以上步骤中，选取步长可选用精确一维搜索或者非精确一 维搜索， 下降方向的选取正是下面我们要介绍的，下降方向选取的不 同，得到不同的算法。
最速下降法
( )=f x 2 + d 2 =f 5/2+2 ,3/2
= 5/2+2 2 3/2 2 5/2+2 3/2 4 5/2+2
2 2
=10 2 5 27/4 令 0= ' ( ) 20 5,
3 2 2
5/2 2 3 f x3 1/2 , x =x +2 d = +1/4 = ， 1 3/2 1 5/4
继续迭代可得到函数的近似最优解。
得 2 =1/4,
最速下降法的收敛性分析
无约束优化的最优性条件----一阶必要条件
定理(一阶必要条件) 设 f : R n R ，若 x 为 f ( x ) 的局部极小点，且在 N ( x*)
内连续可微，则
f ( x* ) 0.
无约束优化的最优性条件----二阶必要条件
定理（二阶必要条件） 若 x * 为 f x 的局部极小点，且在 N x * 内 f x 二次连续 可微，则 f ( x* ) 0, 2 f ( x* ) 半正定。
假设 f 连续可微，
负梯度方向
这是函数值减少 最快的方向
d f ( x ) f ( x k k d k ) min f ( x k d k )
k k
0
步长 k 由精确一维搜索得到。 从而得到第 k+1次迭代点，即
x k 1 x k +k d k x k , x4 不是极小点；
2 0 f x2 是正定矩阵； 0 2
2
x2 是极小点；
2 0 f x3 是负定矩阵； 0 2
2
x3 是极大点。
• 对某些较简单的函数，这样做有时是可行的； • 但对一般n元函数 f(x) 来说，由条件 f ( x) 0 得到的是一个 非线性方程组，解它相当困难。 • 为此，常直接使用迭代法。
k
的任何聚点都是 f (x)的全局最小点。
最速下降法的两个特征
1. 相邻两次迭代的方向互相垂直
令
( ) f ( xk d k ),
最速下降法
负梯度方向 d k f ( x k )是函数值减少最快的方向 ？ 令 p 是单位长度的向量， p 1, 0,
f ( x p) f ( x)+f ( x)T p o( )
P是什么方向时，函数值 f ( x p) 下降最快？也就是
f ( x)T p 取得最小值？ p是什么方向时，
函数 f x 的Hesse阵：
2
0 2 x1 f x 0 2 x2 2 在点 x1 , x2 , x3 , x4 处的Hesse阵依次为：
利用二阶条件 判断驻点是否 是极小点
2 f x2 0 2 0 2 2 2 f x3 , f x4 0 2 0
令 f x 0, 即：
x12 1 0 2 x2 2 x2 0
得到驻点：
1 1 1 1 x1 , x2 , x3 , x4 . 0 2 0 2
无约束优化的最优性条件
线搜索方法：迭代点沿某方向产生 根据迭代点是否 沿某个方向产生 信赖域方法： 迭代点在某区域内搜索产生
线搜索迭代法的步骤
(1) 选定某一初始点 x 0 ，并令 k: 0. (2) 确定搜索方向 d k .
k ，以产生下一个迭代点 (3) 从 x 出发，沿方向 d 求步长
*
求解 (1)的计算方法称为无约束最优化方法。
最优化方法中的基本方法---无约束优化方法
无约束最优化方法应用广泛，理论也比较成熟；
可将约束优化问题转化为无约束优化问题来处理；
f ( x), x D min f ( x) min F ( x), 其中F ( x) xD xR n , others.
2
=5 2 5 11/2 令 0= ' ( ) 10 5,
2 1 1
2 1 5/2 f x 2 2 , x =x +1d = +1/2 = ， 1 1/2 2 3/2
解析法要用到目标函数的梯度或者Hesse矩阵，容易想到 利用一阶必要条件将无约束优化问题转化成一个梯度为0确定 的方程组。 这里用到的一阶必要条件就是最优性条件。 所谓最优性条件，是指最优化问题的最优解所要满足的 必要条件或充分条件。 这些条件对于最优化算法的建立和最优化理论的推导都是 至关重要的。
0 0
=40 2 20 3 令 0= ' ( ) 80 20, 得 0 =1/4,
第2次迭代：
1
0 =1/4, d 0 = 4 , 2 x1 2 x2 4 f ( x ) , 2 2 x1 +4x2 4 2 f x1 1 , 1 0 0 1 x =x +0 d = +1/4 = ， 2 1 2 1/2
f ( x)T p f ( x) p cos(f ( x), p)
f ( x) f ( x) ，此时由f ( x) p f ( x) 可得 p f ( x)
T
当 cos(f ( x), p) 1 时，f ( x)T p 最小，最小值为
T
最速下降法
最速下降法是求多元函数极值的最古老的数值算 法，早在1847年法国数学家Cauchy提出该算法，后来 Curry作了进一步的研究。 该方法直观，简单，计算方便，而且后来的一些新的 有效的方法大多数是对它的改进，或受它的启发而得到 的。
解析法：利用函数的一阶或二阶导数的方法 收敛速度快，需要计算梯度或者Hesse矩阵 无约束优化方法 可求得目标函数的梯度时使用解析法 本章介绍解析法 直接法：仅利用函数值的信息，寻找最优解
不涉及导数，适用性强，但收敛速度慢 在不可能求得目标函数的梯度或偏导数时使用直接法
最优性条件(Optimality Conditions)
2 2
2 0 f x1 , 0 2
0 , 2 0 . 2
1 1 1 1 x1 , x2 , x3 , x4 . 0 2 0 2
无约束优化的最优性条件
2 0 2 2 0 f x1 , f x4 是不定矩阵； 0 2 0 2
无约束优化的最优性条件----二阶充分条件
定理(二阶充分条件)
f ( x* ) 0, 2 f x 正定，则 x 为 f ( x) 的严格局部极小
点。
设 f : R n R ，若在 N ( x*) 内 f ( x ) 二次连续可微，且
如果 2 f x 负定，则 x 为 f ( x ) 的严格局部极大点。
最速下降法的迭代格式
x 0 ， 0 并令 k: 0 (1) 选定某一初始点
(2) 若 f (3)
k
( x k ) , x* x k，否则转（3）；
k
d f ( x )
(4) 由精确一维搜索确定步长步长 问题求得最佳步长 令 xk 1 xk
k
，即由一个极小化
例 利用最速下降法求解 min f ( x ) x1 2 x2 2 x1 x2 4 x1 ,
2 2
2 x1 2 x2 4 解：函数的梯度为 f ( x) , 2 x1 +4x2
第1次迭代：
4 4 0 0 f x , d = f x , 2 2
f ( x* ) 0, 则 x 为 f ( x) 的唯一全局极小点。
无约束优化的最优性条件
例： 利用最优性条件求解下列问题： 利用一阶条件 求驻点 利用二阶条件 判断驻点是否 是极小点
解：
1 3 1 3 2 min f x x1 x2 x2 x1 3 3 f f 2 x1 1, x22 2 x2 , x1 x2
0
取 x 0 1,1 .
T
( )=f x 0 + d 0 =f 1+4 ,1 2
= 1+4 2 1 2 2 1+4 1 2 4 1+4
2 2
1+4 x + d = ， 1 2
收敛性定理： 设目标函数 f (x)连续可微，且水平集 L x f ( x) f ( x 0 ) 有界，则最速下降法或者在有限迭代步后终止；或者得 到点列 推论： 在收敛定理的假设下，若f (x)为凸函数，则最速下降法 或在有限迭代步后达到最小点；或得到点列 x ，它
1
2+ x + d = ， 1/2+2
1 1
2
( )=f x1 + d 1 =f 2+ ,1/2+2
= 2+ 2 1/2+2 2 2+ 1/2+2 4 2+ ,
k
k
x k +1.
(4) 检查得到的新点 x k +1是否为极小点或近似极小点。 若是，则停止迭代。 否则，令 k : k 1，转(2)继续进行迭代。 在以上步骤中，选取步长可选用精确一维搜索或者非精确一 维搜索， 下降方向的选取正是下面我们要介绍的，下降方向选取的不 同，得到不同的算法。
最速下降法
( )=f x 2 + d 2 =f 5/2+2 ,3/2
= 5/2+2 2 3/2 2 5/2+2 3/2 4 5/2+2
2 2
=10 2 5 27/4 令 0= ' ( ) 20 5,
3 2 2
5/2 2 3 f x3 1/2 , x =x +2 d = +1/4 = ， 1 3/2 1 5/4
继续迭代可得到函数的近似最优解。
得 2 =1/4,
最速下降法的收敛性分析
无约束优化的最优性条件----一阶必要条件
定理(一阶必要条件) 设 f : R n R ，若 x 为 f ( x ) 的局部极小点，且在 N ( x*)
内连续可微，则
f ( x* ) 0.
无约束优化的最优性条件----二阶必要条件
定理（二阶必要条件） 若 x * 为 f x 的局部极小点，且在 N x * 内 f x 二次连续 可微，则 f ( x* ) 0, 2 f ( x* ) 半正定。
假设 f 连续可微，
负梯度方向
这是函数值减少 最快的方向
d f ( x ) f ( x k k d k ) min f ( x k d k )
k k
0
步长 k 由精确一维搜索得到。 从而得到第 k+1次迭代点，即
x k 1 x k +k d k x k , x4 不是极小点；
2 0 f x2 是正定矩阵； 0 2
2
x2 是极小点；
2 0 f x3 是负定矩阵； 0 2
2
x3 是极大点。
• 对某些较简单的函数，这样做有时是可行的； • 但对一般n元函数 f(x) 来说，由条件 f ( x) 0 得到的是一个 非线性方程组，解它相当困难。 • 为此，常直接使用迭代法。
k
的任何聚点都是 f (x)的全局最小点。
最速下降法的两个特征
1. 相邻两次迭代的方向互相垂直
令
( ) f ( xk d k ),
最速下降法
负梯度方向 d k f ( x k )是函数值减少最快的方向 ？ 令 p 是单位长度的向量， p 1, 0,
f ( x p) f ( x)+f ( x)T p o( )
P是什么方向时，函数值 f ( x p) 下降最快？也就是
f ( x)T p 取得最小值？ p是什么方向时，
函数 f x 的Hesse阵：
2
0 2 x1 f x 0 2 x2 2 在点 x1 , x2 , x3 , x4 处的Hesse阵依次为：
利用二阶条件 判断驻点是否 是极小点
2 f x2 0 2 0 2 2 2 f x3 , f x4 0 2 0
令 f x 0, 即：
x12 1 0 2 x2 2 x2 0
得到驻点：
1 1 1 1 x1 , x2 , x3 , x4 . 0 2 0 2
无约束优化的最优性条件
线搜索方法：迭代点沿某方向产生 根据迭代点是否 沿某个方向产生 信赖域方法： 迭代点在某区域内搜索产生
线搜索迭代法的步骤
(1) 选定某一初始点 x 0 ，并令 k: 0. (2) 确定搜索方向 d k .
k ，以产生下一个迭代点 (3) 从 x 出发，沿方向 d 求步长
*
求解 (1)的计算方法称为无约束最优化方法。
最优化方法中的基本方法---无约束优化方法
无约束最优化方法应用广泛，理论也比较成熟；
可将约束优化问题转化为无约束优化问题来处理；
f ( x), x D min f ( x) min F ( x), 其中F ( x) xD xR n , others.
2
=5 2 5 11/2 令 0= ' ( ) 10 5,
2 1 1
2 1 5/2 f x 2 2 , x =x +1d = +1/2 = ， 1 1/2 2 3/2
解析法要用到目标函数的梯度或者Hesse矩阵，容易想到 利用一阶必要条件将无约束优化问题转化成一个梯度为0确定 的方程组。 这里用到的一阶必要条件就是最优性条件。 所谓最优性条件，是指最优化问题的最优解所要满足的 必要条件或充分条件。 这些条件对于最优化算法的建立和最优化理论的推导都是 至关重要的。
0 0
=40 2 20 3 令 0= ' ( ) 80 20, 得 0 =1/4,
第2次迭代：
1
0 =1/4, d 0 = 4 , 2 x1 2 x2 4 f ( x ) , 2 2 x1 +4x2 4 2 f x1 1 , 1 0 0 1 x =x +0 d = +1/4 = ， 2 1 2 1/2
f ( x)T p f ( x) p cos(f ( x), p)
f ( x) f ( x) ，此时由f ( x) p f ( x) 可得 p f ( x)
T
当 cos(f ( x), p) 1 时，f ( x)T p 最小，最小值为
T
最速下降法
最速下降法是求多元函数极值的最古老的数值算 法，早在1847年法国数学家Cauchy提出该算法，后来 Curry作了进一步的研究。 该方法直观，简单，计算方便，而且后来的一些新的 有效的方法大多数是对它的改进，或受它的启发而得到 的。
解析法：利用函数的一阶或二阶导数的方法 收敛速度快，需要计算梯度或者Hesse矩阵 无约束优化方法 可求得目标函数的梯度时使用解析法 本章介绍解析法 直接法：仅利用函数值的信息，寻找最优解
不涉及导数，适用性强，但收敛速度慢 在不可能求得目标函数的梯度或偏导数时使用直接法
最优性条件(Optimality Conditions)
2 2
2 0 f x1 , 0 2
0 , 2 0 . 2
1 1 1 1 x1 , x2 , x3 , x4 . 0 2 0 2
无约束优化的最优性条件
2 0 2 2 0 f x1 , f x4 是不定矩阵； 0 2 0 2
无约束优化的最优性条件----二阶充分条件
定理(二阶充分条件)
f ( x* ) 0, 2 f x 正定，则 x 为 f ( x) 的严格局部极小
点。
设 f : R n R ，若在 N ( x*) 内 f ( x ) 二次连续可微，且
如果 2 f x 负定，则 x 为 f ( x ) 的严格局部极大点。
最速下降法的迭代格式
x 0 ， 0 并令 k: 0 (1) 选定某一初始点
(2) 若 f (3)
k
( x k ) , x* x k，否则转（3）；
k
d f ( x )
(4) 由精确一维搜索确定步长步长 问题求得最佳步长 令 xk 1 xk
k
，即由一个极小化
例 利用最速下降法求解 min f ( x ) x1 2 x2 2 x1 x2 4 x1 ,
2 2
2 x1 2 x2 4 解：函数的梯度为 f ( x) , 2 x1 +4x2
第1次迭代：
4 4 0 0 f x , d = f x , 2 2
f ( x* ) 0, 则 x 为 f ( x) 的唯一全局极小点。
无约束优化的最优性条件
例： 利用最优性条件求解下列问题： 利用一阶条件 求驻点 利用二阶条件 判断驻点是否 是极小点
解：
1 3 1 3 2 min f x x1 x2 x2 x1 3 3 f f 2 x1 1, x22 2 x2 , x1 x2
0
取 x 0 1,1 .
T
( )=f x 0 + d 0 =f 1+4 ,1 2
= 1+4 2 1 2 2 1+4 1 2 4 1+4
2 2
1+4 x + d = ， 1 2
收敛性定理： 设目标函数 f (x)连续可微，且水平集 L x f ( x) f ( x 0 ) 有界，则最速下降法或者在有限迭代步后终止；或者得 到点列 推论： 在收敛定理的假设下，若f (x)为凸函数，则最速下降法 或在有限迭代步后达到最小点；或得到点列 x ，它