无约束优化方法

梯度法：
k 1 k k x x a f () x ( k 0 , 1 , 2 ,) k
牛顿法：
k 1 k 2 k 1 k x x [( f x ) ] f ( x ) (0 k , 1 , 2 , )
阻尼牛顿法：
k 1 k
x x [( f x ) ]( f x ) ( k 0 , 1 , 2 , )
较快，而在接近极小点时逼近速度较慢。 • （4）梯度法的收敛速度与目标函数的性质密切相关。 对于等值线(面)为同心圆（球）的目标函数，一次搜索 即可达到极小点。
第三节
牛顿型方法
在第三章中，我们已经讨论了一维搜索的牛顿方法。 得出一维情况下的牛顿迭代公式
f xk xk1 xk xk f
2 k 1 k k
k 1 k k k x x A f ( x ) k


第四节
共轭方向及共轭方向法
为了克服最速下降法的锯齿现象，提高收敛速度，发展了 一类共轭方向法。搜索方向是共轭方向。
一、共轭方向的概念 共轭方向的概念是在研究二次函数
1T T f x x bx c xG 2
2 2 的极小点。 例4－1 求目标函数 f ( x ) x 2 5 x 1 2 0 T 解 取初始点 x [2 ,2 ] 则初始点处函数值及梯度分别为 f ( x0 ) 104
2x1 4 f ( x ) 50x2 x0 100
0
沿负梯度方向进行一维搜索，有
y1=x1,
y2=5x2
yy , ) y y 则函数f(X)变为： ( 1 2
2 1 2 2

其等值线由椭圆变成一簇同心圆。
0 T 0 T 仍从 x 即 y 出发进行最速下降法 [2 ,2 ] [2 ,1 0 ] 寻优。此时： 0
( y ) 104
0
2 y1 4 ( y ) 2 y2 y0 20
经过一次迭代即求得极小点 x 0 0

函数极小值
wk.baidu.com
f (x) 0
从牛顿法迭代公式的推演中可以看到，迭代点 的位置是按照极值条件确定的，其中并未含有沿下 降方向搜寻的概念。因此对于非二次函数，如果采 用上述牛顿迭代公式，有时会使函数值上升 。
阻尼牛顿法

k 1k k k 2k 1 k x x s x [ f ( x ) ] f ( x ) ( k 0 , 1 , 2 , ) k k
对于多元函数，在
x
k
泰勒展开，得
f x x
k T k k
T 1 k 2 k k f x f x x x x x f x x x 2
设 x k 1 为函数的极小点，根据极值的必要条件
xk1 0
k 2 k k 1 k fx fxx x 0
例4－2 0 T ,2 ] 解 取初始点 x [2
2 2 f ( x ) x 2 5 x 求目标函数 1 2 的极小点。
1 0 2 4 0 2 1 0 2 0 1 0 x x x ) f( x ) f( 1 2 1 0 0 0 0 0 5
y1 x1 y2 5 x2
等值线由椭圆变成圆。
梯度法的特点
• （1）理论明确，程序简单，对初始点要求不严格。
• （2）对一般函数而言，梯度法的收敛速度并不快，因
为最速下降方向仅仅是指某点的一个局部性质。
• （3）梯度法相邻两次搜索方向的正交性，决定了迭代
全过程的搜索路线呈锯齿状，在远离极小点时逼近速度
第四章
无约束优化方法
概述
第一节
第1章所列举的机械优化设计问题，都是在一定 的限制条件下追求某一指标为最小，它们都属于约束 优化问题。 约束优化问题的求解——转化为一系列的无约 束优化问题实现的。 因此，无约束优化问题的解法是优化设计方法的 基本组成部分，也是优化方法的基础。
为什么要研究无约束优化问题?



fxa fx fx 0
k k T k k
k f x f x 0 k 1 T
d
k 1 T

dk 0
由此可知，在最速下降法中，相邻两个迭代点上的函数 梯度相互垂直。而搜索方向就是负梯度方向，因此相邻 两个搜索方向互相垂直。
在最速下降法中， 相邻两个迭代点上的函 数梯度相互垂直。而搜 索方向就是负梯度方向， 因此相邻两个搜索方向 互相垂直。这就是说在 迭代点向函数极小点靠 近的过程，走的是曲折 的路线。形成“之”字 形的锯齿现象，而且越 接近极小点锯齿越细。
图4-2 最速下降法的搜索路径
方法特点
（1）初始点可任选，每次迭代计算量小，存储 量少，程序简短。即使从一个不好的初始点出 发，开始的几步迭代，目标函数值下降很快， 然后慢慢逼近局部极小点。 （2）任意相邻两点的搜索方向是正交的，它的 迭代路径为绕道逼近极小点。当迭代点接近极 小点时，步长变得很小，越走越慢。
沿负梯度方向进行一维搜索：
y y 0 ( y )
1 0 0
2 4 240 10 0 20 1020 0
β 为一维搜索最佳步长，可由极值条件：
( y ) m i n[ y ( y ) ] m i n ( ) ( ) ( 24) ( 1 02 0)
1 1 x* x ad 1
d
1
应满足什么条件？
*
对于二次函数 f x 在 x
*
处取得极小点的必要条件
*
f x G x b0
（4） 不仅要计算梯度，还要求海赛矩阵及其逆矩阵， 计算量和存储量大。此外，对于二阶不可微的F(X)也 不适用。
虽然阻尼牛顿法有上述缺点，但在特定条件下它 具有收敛最快的优点，并为其他的算法提供了思路和 理论依据。
梯度法与牛顿法：
一般迭代式：
k 1 k k x x s ( k 0 , 1 , 2 ,) k
1 0 0 2 2
由
( ) 0 0
26 0 0.5 52
从而算得一步计算后设计点的位置及其目标函数：
2 4 0 0 y 10 20 0 0
1
( y ) 0
1
经变换后，只需一次迭代，就可找到最优解。 这是因为经过尺度变换：
2 4 0 x x f( x ) 0 21 0 0 0
1 0 0
0 为一维搜索最佳步长，应满足极值必要条件
1 2 2 f ( x ) m i n ( 2 4 ) 2 5 ( 2 1 0 0 ) m i n ( )

k x x f x f x k 1 k 2 k 1
这是多元函数求极值的牛顿法迭代公式。
k 1 k 2 k 1 k x x [( f x ) ]( f x ) (0 k , 1 , 2 , )
对于二次函数 ，海赛矩阵H是一个常矩阵，其中 各元素均为常数。因此，无论从任何点出发，只 需一步就可找到极小点。
时引出的。 首先考虑二维情况
如果按最速下降法，选择负梯度方向为搜索方向，会产生 锯齿现象。 为避免锯齿的发生，取下一次的迭代搜索方向直接指向极 小点，如果选定这样的搜索方向，对于二元二次函数只需 进行两次直线搜索就可以求到极小点。
1 0 0 x x ad 0
f 1 T 0 f x d 0 d x1
k 1 k k x x ad k
数值法
搜索方向问题是无约束优化方法的关键。
各种无约束优化方法的区别：确定搜索方向的方法不同。
利用目标函数的一阶或二阶导数 无约束优化方法分类 （最速下降法、共轭梯度法、牛顿法） 利用目标函数值 （坐标轮换法、鲍威尔等）
用直接法寻找极小点时，不必求函数的导数，只要计 算目标函数值。这类方法较适用于解决变量个数较少的 （n ≤20）问题，一般情况下比间接法效率低。间接法除 要计算目标函数值外，还要计算目标函数的梯度，有的 还要计算其海赛矩阵。
1
1 f ( x ) 3 . 6 8 6 1 6 4
00 继续作下去，经10次迭代后，得到最优解 x



T
f (x) 0
这个问题的目标函数的等值线为一簇椭圆,迭代点从
走的是一段锯齿形路线，见图4-3。
x
0
1
图4-3
( x ) x 2 5 x 引入变换 将上例中目标函数 f
2 1 2 2
k 1 k
x x s( k 0 , 1 , 2 ,)
k k

搜索方向的构成问题乃是无约束优化方法的关键。
第二节
最速下降法
优化设计追求目标函数值最小，若搜索方向取该点的负梯度 方向，使函数值在该点附近的范围内下降最快。 按此规律不断走步，形成以下迭代算法：
k 1 k k x x a f x k
（1）有些实际问题，其数学模型本身就是一个无约束 优化问题。 （2）通过熟悉它的解法可以为研究约束优化问题打下 良好的基础。 （3）约束优化问题的求解可以通过一系列无约束优化 方法来达到。所以无约束优化问题的解法是优化设计 方法的基本组成部分，也是优化方法的基础。
（ 4 ）对于多维无约束问题来说，古典极值理论中令 一阶导数为零，但要求二阶可微，且要判断海赛矩 阵为正定才能求得极小点，这种方法有理论意义， 但无实用价值。和一维问题一样，若多元函数f(x)不 可微，亦无法求解。但古典极值理论是无约束优化 方法发展的基础。
以负梯度方向为搜索方向，所以称最速下降法或梯度法。
搜索方向确定为负梯度方向，还需确定步长因子a 即求一维搜索的最佳步长，既有
k
k 1 k k k k f x f x a f x m i n f x a f x m i n k k
无约束优化问题是： 求n维设计变量 使目标函数
x [ xx 1 2
f( x ) m i n
x ]
T n
n m i n f () x x R
目前已研究出很多种无约束优化方法，它们的 主要不同点在于构造搜索方向上的差别。
解析法
数学模型复杂时不便求解 可以处理复杂函数及没有数学表达式 的优化设计问题

' ( ) 8 ( 2 4 ) 5 0 0 0 ( 2 1 0 0 ) 0
0 0
算出一维搜索最佳步长
6 2 6 0 . 0 2 0 0 3 0 7 2 0 3 1 2 5 2
第一次迭代设计点位置和函数值
24 1 . 9 1 9 8 7 7 0 x 2 21 0 0 0 . 3 0 7 1 7 8 5 1 0 0
k k 1
k : min f ( xk d k )
是
x * x k 1
x
k 1
x
k
否
结束
阻尼牛顿法程序框图
方法特点
（1） 初始点应选在X*附近，有一定难度；
（2） 尽管每次迭代都不会是函数值上升，但不能保证 每次下降 ； （3） 若迭代点的海赛矩阵为奇异，则无法求逆矩阵， 不能构造牛顿法方向；


k
阻尼因子 ，沿牛顿方向进行一维搜索的最佳 步长，由下式求得：
k 1 k k k k f () x f ( x s ) m i n f ( x s ) k k

开始
给定 x 0 ,
k 0
d k [ 2 f ( x k )]1 f ( x k )
x k 1 x k k d k