无约束优化方法

第四章 无约束优化方法

——最速下降法,牛顿型方法

概述

在求解目标函数的极小值的过程中,若对设计变量的取值范围不加限制,则称这种最

优化问题为无约束优化问题。尽管对于机械的优化设计问题,多数就是有约束的,无约束

最优化方法仍然就是最优化设计的基本组成部分。因为约束最优化问题可以通过对约

束条件的处理,转化为无约束最优化问题来求解。

为什么要研究无约束优化问题?

(1)有些实际问题,其数学模型本身就就是一个无约束优化问题。

(2)通过熟悉它的解法可以为研究约束优化问题打下良好的基础。

(3)约束优化问题的求解可以通过一系列无约束优化方法来达到。

所以无约束优化问题的解法就是优化设计方法的基本组成部分,也就是优化方法的基

础。

根据构成搜索方向所使用的信息性质的不同,无约束优化方法可以分为两类。

一:间接法——要使用导数的无约束优化方法,如梯度法、(阻尼)牛顿法、变尺度法、共

轭梯度法等。

二:直接法——只利用目标函数值的无约束优化问题,如坐标轮换法、鲍威尔法单纯形

法等。

无约束优化问题的一般形式可描述为:

求n 维设计变量 []12T

n n X x x x R =∈L 使目标函数 ()min f X ⇒

目前已研究出很多种无约束优化方法,它们的主要不同点在于构造搜索方向上的差别。

无约束优化问题的求解:

1、解析法

可以利用无约束优化问题的极值条件求得。即将求目标函数的极值问题变成求方

程

0)(min *=X f

的解。也就就是求Ｘ＊使其满足

解上述方程组,求得驻点后,再根据

极值点所需满足的充分条件来判定就是否为极小值点。但上式就

是一个含有ｎ个未知量,ｎ个方程的方程组,在实际问题中一般就

是非线性的,很难用解析法求解,要用数值计算的方法。由第二章的讲述我们知道,优化问题的一般解法就是数值迭代的方法。因此,与其用数值方法求解非线性方程组,还不如用数值迭

代的方法直接求解无约束极值问题。

2、数值方法

数值迭代法的基本思想就是从一个初始点)

0(X 出发,按照一个可行的搜索方向)0(d

ρ搜索,确定最佳的步长0α使函数值沿)0(d ρ方向下降最大,得到)1(X 点。依此一步一步地

重复数值计算,最终达到最优点。优化计算所采用的基本迭代公式为 ),2,1,0()()()1(Λρ=+=+k d X X K K K K α (4、2)

在上式中, ()K d r 就是第就是 k+1 次搜索或迭代方向,称为搜索方向(迭代方向)。

由上面的迭代公式可以瞧出,采用数值法进行迭代求优时,需要确定初始点)(k X 、搜索方向)(k d ρ与迭代步长K α,称为优化方法迭代算法的三要素。第三章我们已经讨论了如何在搜索方向)(k d ρ上确定最优步长K α的方法,本章我们将讨论如何确定搜索方向)(k d ρ。

最常用的数值方法就是搜索方法,其基本思想如下图所示:

无约束优化方法可以分为两类。一类就是通过计算目标函数的一阶或二阶导数值

确定搜索方向的方法,称为间接法,如最速下降法、牛顿法、变尺度法与共轭梯度法。另

一类就是直接利用目标函数值确定搜索方向的方法,称为直接法,如坐标轮换法、鲍威尔

法与单形替换法。各种无约束优化方法的区别在于确定其搜索方向0d 的方法不同。

0)(0)(0)(*2*1*=∂∂=∂∂=∂∂n

x X f x X f x X f M

4.1最速下降法

最速下降法就是一个求解极值问题的古老算法,1847年由柯西(Cauchy)提出。

4、1、1最速下降法的基本原理

由第二章优化设计的数学基础可知,梯度方向就是函数增加最快的方向,负梯度方

向就是函数下降最快的方向,所以最速下降法以负梯度方向为搜索方向,每次迭代都沿

着负梯度方向进行一维搜索,直到满足精度要求为止。因此,最速下降法又称为梯度

法。由公式(4、2)

),2,1,0()()()1(Λρ=+=+k d X X K K K K α

可知,若某次选代中己取得点)(k X ,从该点出发,取负梯度方向

)

()()()()(k k k X f X f d ∇∇-=ρ 为搜索方向。则最速下降法的迭代公式为

()(1)()()()(0,1,2,)()k K K K k f X X X k f X α+∇=-=∇L (4、3)

当第ｋ次的迭代初始点)(k X

与搜索方向)(k d ρ已经确定的情况下,原目标函数成为关于步

长α的一维函数。即 ()()()()K K f X S ϕαα=+

最优步长K α可以利用一维搜索的方法求得

(1)()()()()min ()()()min ()k K k K k k f X f X d f X d αα

ϕααα+==+=+r r 根据一元函数极值的必要条件与多元复合函数的求导公式,得

()()()()()()0T K k K f X d f X ϕαα⎡⎤'=-∇+∇=⎣⎦

r

(1)()()()0T

K K f X f X +⎡⎤∇∇=⎣⎦

或写成

(1)()[]0K T k d d +=r r

由此可知,在最速下降法中相邻两个搜索方向互相正交。也就就是说在用最速下降

法迭代求优的过程中,走的就是一条曲折的路线,该次搜索方向与前一次搜索方向垂直,

形成“之”字形的锯齿现象,如图4、1所示。最速下降法刚开始搜索步长比较大,愈靠

近极值点其步长愈小,收敛速度愈来愈慢。特别就是对于二维二次目标函数的等值线就

是较扁的椭圆时,这种缺陷更加明显。因此所谓最速下降就是指目标函数在迭代点附近

出现的局部性质,从迭代过程的全局来瞧,负梯度方向并非就是目标函数的最快搜索方

向。

图4、1最速下降法的搜索路径

此外,最速下降法的迭代公式也可以写成下面的形式

(1)()()()(0,1,2,)K K k K X X f X k α+=-∇=L (4、4) 将其与式4、3相比较,可知,此处K α等于4、3式中步长除以函数在()K X 点导数的模

()()k f X ∇,而此时的搜索方向()()()k k d f X =∇r 也不再就是个单位向量。

4、1、2最速下降法的迭代过程

１） 给定初始点(0)X ,收敛精度ε,并令计算次数0k ⇐;

２） 计算)(k X 点的梯度()()K f X ∇及梯度的模()()k f X ∇,并令

)

()()()()(k k k X f X f d ∇∇-=ρ ３） 判断就是否满足精度指标()()k f X ε∇≤;若满足,)(k X 为最优点,迭代停止,输