无约束优化方法

x1 2 2 1 4 0 0 0 0 1 .0 9 .1 3 9 07 87 1 7 78510 2
f(x1)3.686164
继续作下去，经10次迭代后，得到最优解 x0 0T
f (x) 0
这个问题的目标函数的等值线为一簇椭圆,迭代点从 x 0
走的是一段锯齿形路线，见图4-3。
1
第四章 无约束优化方法
第一节
概述
第1章所列举的机械优化设计问题，都是在一定 的限制条件下追求某一指标为最小，它们都属于约束 优化问题。
约束优化问题的求解——转化为一系列的无约 束优化问题实现的。
因此，无约束优化问题的解法是优化设计方法的 基本组成部分，也是优化方法的基础。
为什么要研究无约束优化问题?
y1
2 10
40 200
0 0
( y1) 0
经变换后，只需一次迭代，就可找到最优解。 这是因为经过尺度变换：
y1 x1 y2 5x2
等值线由椭圆变成圆。
梯度法的特点
• （1）理论明确，程序简单，对初始点要求不严格。 • （2）对一般函数而言，梯度法的收敛速度并不快，因
为最速下降方向仅仅是指某点的一个局部性质。 • （3）梯度法相邻两次搜索方向的正交性，决定了迭代
无约束优化问题是： 求n维设计变量 x [x 1x2 Lxn]T 使目标函数 f(x) min m inf(x ) x R n
目前已研究出很多种无约束优化方法，它们的 主要不同点在于构造搜索方向上的差别。
解析法
数学模型复杂时不便求解
数值法
可以处理复杂函数及没有数学表达式 的优化设计问题
xk1xk akdk
f
xk1
T
f
xk
0
dk1 T dk 0
由此可知，在最速下降法中，相邻两个迭代点上的函数 梯度相互垂直。而搜索方向就是负梯度方向，因此相邻 两个搜索方向互相垂直。
在最速下降法中， 相邻两个迭代点上的函 数梯度相互垂直。而搜 索方向就是负梯度方向， 因此相邻两个搜索方向 互相垂直。这就是说在 迭代点向函数极小点靠 近的过程，走的是曲折 的路线。形成“之”字 形的锯齿现象，而且越 接近极小点锯齿越细。
图4-3
将上例中目标函数 f(x)x1 225x2 2 引入变换
y1=x1, y2=5x2
则函数f(X)变为： (y1,y2)y1 2y2 2
其等值线由椭圆变成一簇同心圆。
仍从 x0 [2,2]T 即 y0 [2,10]T 出发进行最速下降法
寻优。此时： ( y0) 104
( y0)
2y1
2
y2
图4-2 最速下降法的搜索路径
方法特点
（1）初始点可任选，每次迭代计算量小，存储 量少，程序简短。即使从一个不好的初始点出 发，开始的几步迭代，目标函数值下降很快， 然后慢慢逼近局部极小点。
（2）任意相邻两点的搜索方向是正交的，它的 迭代路径为绕道逼近极小点。当迭代点接近极 小点时，步长变得很小，越走越慢。
（1）有些实际问题，其数学模型本身就是一个无约束 优化问题。
（2）通过熟悉它的解法可以为研究约束优化问题打下 良好的基础。
（3）约束优化问题的求解可以通过一系列无约束优化 方法来达到。所以无约束优化问题的解法是优化设计 方法的基本组成部分，也是优化方法的基础。
（4）对于多维无约束问题来说，古典极值理论中令 一阶导数为零，但要求二阶可微，且要判断海赛矩 阵为正定才能求得极小点，这种方法有理论意义， 但无实用价值。和一维问题一样，若多元函数f(x)不 可微，亦无法求解。但古典极值理论是无约束优化 方法发展的基础。
全过程的搜索路线呈锯齿状，在远离极小点时逼近速度 较快，而在接近极小点时逼近速度较慢。 • （4）梯度法的收敛速度与目标函数的性质密切相关。 对于等值线(面)为同心圆（球）的目标函数，一次搜索 即可达到极小点。
以负梯度方向为搜索方向，所以称最速下降法或梯度法。
搜索方向确定为负梯度方向，还需确定步长因子a k
即求一维搜索的最佳步长，既有
fx k 1 f x k a k fx k m i n f x k a k fx k m i n
T
f x k a k fx k fx k 0
x k 1 x k k s k ( k 0 ,1 ,2 ,L )
搜索方向的构成问题乃是无约束优化方法的关键。
第二节 最速下降法
优化设计追求目标函数值最小，若搜索方向取该点的负梯度 方向，使函数值在该点附近的范围内下降最快。 按此规律不断走步，形成以下迭代算法：
xk1xkak f xk
f ( x 1 ) m i n ( 2 4 ) 2 2 5 ( 2 1 0 0 ) 2 m i n ( )
' ( ) 8 ( 2 4 0 ) 5 0 0 0 ( 2 1 0 0 0 ) 0
算出一维搜索最佳步长
031 62 26 520.02003072
第一次迭代设计点位置和函数值
y0
4 20
沿负梯度方向进行一维搜索：
y1 y0 0(y0)
2 10ห้องสมุดไป่ตู้
0
4 20
240 10200
β 为一维搜索最佳步长，可由极值条件：
(y1)m in[y0 (y0)]m in ()
()(24)2(1020)2
由 (0)0
0
26 52
0.5
从而算得一步计算后设计点的位置及其目标函数：
例4－1 求目标函数 f(x)x1 225x2 2 的极小点。 解 取初始点 x0 [2,2]T 则初始点处函数值及梯度分别为
f (x0) 104
f
( x0 )
2x1
50x2
x0
4 100
沿负梯度方向进行一维搜索，有
x1x00f(x0)2 2 1 40 000
0 为一维搜索最佳步长，应满足极值必要条件
搜索方向问题是无约束优化方法的关键。
各种无约束优化方法的区别：确定搜索方向的方法不同。
利用目标函数的一阶或二阶导数
无约束优化方法分类 （最速下降法、共轭梯度法、牛顿法）
利用目标函数值 （坐标轮换法、鲍威尔等）
用直接法寻找极小点时，不必求函数的导数，只要计 算目标函数值。这类方法较适用于解决变量个数较少的 （n ≤20）问题，一般情况下比间接法效率低。间接法除 要计算目标函数值外，还要计算目标函数的梯度，有的 还要计算其海赛矩阵。