无约束问题最优化方法

合集下载

无约束最优化方法

过比较目标函数值的大小来移动迭代点。
一般来说，无约束最优化问题的求解是通
过一系列一维搜索来实现。
如何选择搜索方向是求解无约束最优化问
题的核心问题，搜索方向的不同选择，形成不同的求解方法。
5.1最速下降法
5.1.1 最速下降法原理
5.1.2 最速下降法的计算步骤
clear syms x1 x2; %定义符号变量 fx=2*x1^2+x2^2; %定义符号函数 X0=[1,1]; %初值 g=jacobian(fx,[x1,x2]); %求符号函数的梯度 H=jacobian(g,[x1,x2]); %求符号函数的海塞矩阵 x1=X0(1,1);x2=X0(1,2); %赋初值 g0=eval(g);H0=eval(H); %求符号函数在x1=1、x2=1梯度、海塞矩阵 k=0; fprintf('\n') while norm(g0)>eps %停机判断条件 lamda=g0*g0‘/(g0*H0*g0’); %求lamda fprintf(' k=%2d, lamda=%19.16f, x1=%19.16f, x2=%19.16f, fx=%19.16f, norm(p)=%19.16f\n', k,lamda,x1,x2,eval(fx),norm(g0)) X0=X0-lamda*g0; x1=X0(1,1);x2=X0(1,2); g0=eval(g);H0=eval(H); k=k+1; end

运筹学-无约束最优化方法

的解为
证明思路：考虑函数H(xk+a pk),其二次项与一次项系数分别为
因此
11
例 2.1用最速下降法求解设初始点为(9,1)T.
解:
对于正定二次函数,最速下降法的迭代公式为由于x0=(9,1)T,g0=(9,9)T,可得由归纳法可以证明因此, 且
12
算法是线性收敛的. 根据图形发现,两个相邻的方向是正交的.
由于 i 2 * ( 0) (1) ( 0) * ( 0) ( 0) T a x b , x x a e ( b , x , , x 因此 1 1 1 1 1 1 2 n ) . 注:此处的一维搜索中a1的范围是整个实数集,即 x(1)是函数在集合{x(0)+a1e1,a1∈R}中的极小点.
越接近极小点，收敛越慢；线性收敛。
§3 Newton法

1 f ( x ) qk ( x ) f k g ( x xk ) ( x xk )T Gk ( x xk ) 2
T k
设xk为f(x)的一个近似极小点,将f(x)在xk附近作Taylor展开,
其中fk=f(xk),gk=g(xk),Gk=G(xk).
f(xk) 6.0 1.5 4.09e-1 6.49e-2 2.53e-3 1.63e-6 2.75e-12
20
迭代点的路径图

第3章无约束最优化方法 3-1 最速下降法 3-2 牛顿法

T
第3.2节 Newton法及其改进

（3）带保护措施的阻尼牛顿法（Goldstein 和Price，1967）
2 1
f ( x k ) f ( x k ) 2 1 cos f ( xk ) f ( xk ), f ( xk ) dk sin f ( x ) k
T T
第3.1节最速下降法（Steepest Method）

[引理3.4]设 k 0 由精确线性搜索确定，
2 f ( xk k d k ) M
对一切 0 均成立，其中M是某个正常数，则有： 1 2 2 f ( xk ) f ( xk k d k ) f ( xk ) cos d k ,f ( xk ) 2M
第3.2节 Newton法及其改进

阻尼牛顿法的优点与缺点：阻尼牛顿法克服了牛顿法要求初始点充分靠近目标函数的极小点的缺点，但只有当目标函数的Hesse矩阵处处正定时，才具有全局收敛性。如果Hesse矩阵不是处处正定，当初始点远离局部极小点时，Hesse矩阵可能不正定，这时Hesse矩阵可能奇异也可能是非奇异。若Hesse矩阵奇异，求解方向的方程组可能无解，或者虽然有解，但求出的方向不能使迭代过程继续进行下去；若Hesse矩阵非奇异，但不正定，则求得的方向可能不是下降方向。
第3.1节最速下降法（Steepest Method）

第四章_无约束最优化直接方法

第四章无约束最优化直接方法

无约束最优化直接方法只要求目标函数是连续的，求解过程中不需要计算目标函数的导数。 1.单纯形替换法

1)单纯形

(1)定义: n R 中的单纯形就是指具有1+n 个顶点的多面体。若各棱长相等，称为正规单纯形。

(2)正规单纯形的构建：

已知正规单纯形任一顶点0x 和棱长l 。

根据棱长l 构建数组T

i q q p q q i z ],...,,,,...[][1

-=，其中)11(2

-++=

n n n l p ，

)11(2

-+=

n n l q

正规单纯形的顶点坐标为：01x v =，][0i z x v i +=，1,...,2+=n i 在二维情形下，该方法构建的单纯形为一等边三角形。 (3)一般单纯形的构建

已知单纯形任一顶点0x 和正数l 。令T i

i e ]0,...,0,1,0,...,0[=

则单纯形的顶点坐标为：01x v =，10-+=i i le x v ，1,...,2+=n i 在二维情形下，该方法构建的单纯形为一直角三角形。 2)基本想法

选定一个初始点，根据上述方法形成初始单纯形，从这一单纯形出发，通

过迭代设法构造新的单纯形以替换原有的单纯形，使新单纯形不断向目标函数的极小点靠近，直到搜寻到极小点为止。

3)算法

已知目标函数)(x f ，单纯形各顶点的位置121,...,,+n v v v ，终止限。 (1)

计算)(i i v f f =，1,...,2,1+=n i

令}{min 11i n i l f f +≤≤=，}{max 1

1i n i h f f +≤≤=，于是l v 和h v 分别是单纯形的最好和最坏的顶点。把顶点h v 去掉，则剩下的顶点构成1-n 维空间中的单纯形，其中心∑+≠==1

无约束最优化方法讲解

复习
复习
复习
你能找到 A共轭方向吗？
P(0)和p(1)正交吗？
（5-2）
5.2.2 正定二次函数的共轭梯度法
5.2.3 共轭梯度法的计算步骤
5.2.4 非二次函数的共轭梯度法
复习
5.2.5 共轭梯度法的收敛性
5.3牛顿法
对一维搜索方法中的牛顿法加以推广，就得到了求解无约束优化问题的牛顿法。该方法具有收敛速度快的特点，在牛顿法基础上的改进算法如阻尼牛顿法在实际中被广泛应用。
5.3.3 牛顿法的改进
1. 阻尼（广义）牛顿法
2.Goldstein-Price方法
5.4 变尺度法
5.4 .1 变尺度法原理
5.4 .2 DFP变尺度法
5.4 .3 BFGS变尺度法与初始尺度矩阵的修正
5.4 .4变尺度法的计算步骤
使用MATLAB软件实现DFP算法
5.5.3步长加速法的计算步骤
5.6旋转方向法 5.6.1旋转方向法的基本思想
5.6.2旋转方向法的搜索过程
5.6.3旋转方向法的计算步骤
请读者比较
步长加速法和旋转方向法的区别
5.7 方向加速(powell)法
5.7.1 方向加速法的基本思想
方向加速（Powell）法的基本思想：把整个搜索（计算）过程分为若干个阶段（轮），每个轮迭代由n+1次一维搜索组成。即在算法的每一轮中，先依次沿着n个已知的方向搜索，得到一个最好点，然后沿该轮的初始点与该最好点连线方向进行搜索，求得这一轮的最好点。再用最后的搜索方向取代前n个方向之一，进行下一轮的迭代。

无约束优化方法

第四章无约束优化方法

——最速下降法，牛顿型方法

概述

在求解目标函数的极小值的过程中，若对设计变量的取值范围不加限制，则称这种最优化问题为无约束优化问题。尽管对于机械的优化设计问题，多数是有约束的，无约束最优化方法仍然是最优化设计的基本组成部分。因为约束最优化问题可以通过对约束条件的处理，转化为无约束最优化问题来求解。

为什么要研究无约束优化问题

（1）有些实际问题，其数学模型本身就是一个无约束优化问题。

（2）通过熟悉它的解法可以为研究约束优化问题打下良好的基础。

（3）约束优化问题的求解可以通过一系列无约束优化方法来达到。

所以无约束优化问题的解法是优化设计方法的基本组成部分，也是优化方法的基础。根据构成搜索方向所使用的信息性质的不同，无约束优化方法可以分为两类。一：间接法——要使用导数的无约束优化方法，如梯度法、（阻尼）牛顿法、变尺度法、共轭梯度法等。二：直接法——只利用目标函数值的无约束优化问题，如坐标轮换法、鲍威尔法单纯形法等。

无约束优化问题的一般形式可描述为：

求n 维设计变量

[]12T n n X x x x R =∈L

使目标函数 ()min f X ⇒

目前已研究出很多种无约束优化方法，它们的主要不同点在于构造搜索方向上的差别。

无约束优化问题的求解： 1、解析法

可以利用无约束优化问题的极值条件求得。即将求目标函数的极值问题变成求方程

0)(min *=X f

的解。也就是

求Ｘ＊

使其满足

解上述方程组，求得驻点后，再根据极值点所需满足的充分条件来判定是否为极小值点。但上式是一个含有ｎ个未知量，ｎ个方程的方程组，在实际问题中一般是非线性的，很难用解析法求解，0)(0)(0)(*2*1*=∂∂=∂∂=∂∂n x X f x X f x X f

无约束最优化问题的求解算法和应用

无约束最优化问题的求解算法和应用随着科技的发展和应用领域的扩大，无约束最优化问题已经越

来越成为一种关注的研究领域。在现实生活中，无约束最优化问

题的求解可以应用在多个方面，比如金融、医学、机械工程等等。然而，在实际应用中，我们往往需要利用已经发展的优秀算法进

行求解。本文将会介绍无约束最优化问题的求解算法及其应用。

一、无约束最优化问题的概念

无约束最优化问题指的是在一定的条件下，通过调整某些变量

来最大或最小化指定的目标函数。这些变量的调整需遵守一定的

限制条件，并且通过各种数值分析方法，比如数值解析和计算机

数值算法等技术来求解这样的问题。

无约束最优化问题的数学形式一般为：

$$ \min_{x \in \mathbb{R}^n} f(x) $$

其中，$x \in \mathbb{R}^n$ 是 $n$ 维空间中的一个向量，

$f(x)$ 则是目标函数，该函数需要满足一定的条件，比如连续、可

微、凸等等。当函数连续、可微的情况下，就能有效地应用求导

法来求解这个问题。

二、基于梯度下降的算法

在求解无约束最优化问题时，最常用的算法就是基于梯度下降

的算法。该算法通过沿着负梯度的方向一步步得逼近全局极小值。

算法的主要流程如下：

1、初始化变量$x$，比如$x=0$;

2、计算目标函数$ f(x)$ 的梯度 $\nabla f(x)$;

3、计算下降方向 $p$，$p=-\nabla f(x)$;

4、选择步长 $\alpha$，更新$x$ $x_{k+1} = x_{k} + \alpha p$;

5、重复执行步骤2-4 进行更新，直到满足一定的终止条件为止。

第三章无约束问题的最优化方法

用二次函数的φ(x)极小点x1作为f(x)极小点的一个近似点。根据极值必要条件: '( x ) 0 得到： f '( x0 ) 1 x1 x0 f "( x0 ) 依次继续下去，可得牛顿迭代公式：
xk 1 xk
f '( xk ) f "( xk )
牛顿法的优点是收敛速度快。缺点是要计算函数的一阶和二阶导数，因而增加了每次迭代的工作量。如果用数值微分计算函数的二阶导数，其舍入误差将严重影响牛顿法的收敛速度， f’(x) 的值越小，这个问题就越严重。另外，牛顿法要求初始点选的比较好，也就是说应离极小点不太远，否则有可能使极小化序列发散或收敛到非极小点。
2
2

图2-5 黄金分割法
• 黄金分割法要求插入两点： a1 a (1 )(b a), f1 f (a1 )
a2 a (b a), f 2 f (a2 )
黄金分割法的搜索过程：
1）给出初始搜索区间及收敛精度 2）按坐标点计算公式计算 1
，将
确定的搜索区间必定
f (x) f (x)
α
是一个含有最优点α*的单峰区间。
0
α1
α3
α
0
α1
α3
α
2、确定初始单谷区间的进退法基本思想：对f(x)任选一个初始点a1及初始步长h，通过比较这两点函数值的大小，确定第三点位置，比较这三点的函数值大小，确定是否为 “高—低—高” 形态。步骤：（1）选定初始点a, 初始步长h＝h0，计算 y1＝f(a1)，y2＝f(a1＋h)。（2）比较y1和y2。（a）如y1>y2, 向右前进；加大步长 h＝2 h ，转（3）向前；（b）如y1<y2, 向左后退；h＝－ h0，将a1与a2，y1与y2的值互换。转（3）向后探测；（c）如y1＝y2，极小点在a1和a1＋h之间。

无约束最优化直接方法和间接方法的异同

无约束最优化直接方法和间接方法的异同一、什么是无约束最优化

最优化方法（也称做运筹学方法）是近几十年形成的，它主要运用数学方法研究各种系统的优化途径及方案，为决策者提供科学决策的依据。最优化方法的主要研究对象是各种有组织系统的管理问题及其生产经营活动。其的目的在于针对所研究的系统，求得一个合理运用人力、物力和财力的最佳方案，发挥和提高系统的效能及效益，最终达到系统的最优目标。实践表明，随着科学技术的日益进步和生产经营的日益发展，最优化方法已成为现代管理科学的重要理论基础和不可缺少的方法，被人们广泛地应用到公共管理、经济管理、工程建设、国防等各个领域，发挥着越来越重要的作用。

最优化问题分为无约束最优化和约束最优化问题，约束最优化问题是具有辅助函数和形态约束条件的优化问题，而无约束优化问题则没有任何限制条件。无约束最优化问题实际上是一个多元函数无条件极值问题。

虽然在工程实践中，大多数问题都是具有约束的优化问题，但是优化问题的处理上可以将有约束的优化问题转化为无约束最优化问题，然后按无约束方法进行处理。或者是将约束优化问题部分转化为无约束优化问题，在远离极值点和约束边界处按无优化约束来处理，在接近极值点或者约束边界时按照约束最优化问题处理。所以无约束优化问题的解法不仅是优化设计方法的基本组成部分，也是优化方法的基础。

无约束最优化方法大致分为两类：一类是使用导数的间接方法，即在计算过程中要用到目标函数的导数；另一类是直接方法，即只要用到目标函数值，不需要计算导数。这里我们比较这两类方法的异同。

第三章非线性规划无约束问题的最优化方法.ppt

能源与动力工程学院
College of Energy and Power Engineering
研究生课程《工程数学》之“最优化方法”
第三章无约束问题的最优化方法
第三章无约束问题的最优化方法
第一节第二节第三节第四节
变量轮换法最速下降法牛顿法共轭梯度法
本章主要介绍构造无约束问题(多维)搜索方向的方法。这些方法大致可分为两类：
再从x(3)点出发，沿x3轴方向e3进行一维搜索：
轾犏0 轾犏0 轾犏0 x(3) + l e3 = 犏犏0 + l 犏犏0 = 犏犏0
犏臌3 犏臌1 犏臌3 + l
( ) f x(3) + l e3 = (l + 3)2
fl' = 0 ? l 3 - 3 轾犏0
( ) x(4) = x(3) + l 3e3 = 犏犏0 ? f x(4) 0 犏臌0
变量轮换法
min f (x)= 3x12 + 2x22 + x32
给定初始点
x(1) = (1, 2,3)T
当
x(n+1) - x(1) < 0.01
答案：
x(1) = (0, 0, 0)T
时，停止迭代
第二节最速下降法
解： e1 = (1,0,0)T ,e2 = (0,1,0)T ,e3 = (0,0,1)T 从初始点 x(1) = (1, 2,3)T 出发，沿x1轴方向e1进行一维搜索：

第三章非线性规划-无约束问题的最优化方法

(k) (k)
(k)为某个下降方向。 k p( ) = 1. p 为某个下降方向。
现将f(x)在p(k)处展开在现将：
第二节最
f (x)= f x + l p
速下
(k )
T
降法
o l p(k )
(
(k )
(k )
)= f (x )+ l ? f (x )
(k )
p(k )
略去无穷小，略去无穷小，可以得到
速下
T
降法
e1 = ( 1,0,0) , e2 = (0,1,0) , e3 = (0,0,1)
1 T
() 出发，轴方向e 进行一维搜索：从初始点 x = (1,2,3) 出发，沿x1轴方向 1进行一维搜索：轾轾轾 l 1 1 1+ 犏犏犏 (1) x + l e1 = 犏 + l 犏 = 犏 2 0 2 犏犏犏犏犏犏 3 0 3 臌臌臌
(
)
(
)
(
)
完成了变量轮换法的一次迭代
第一节
变
量
轮换
法
返回第二步，第3步：令x(1)= x(n+1) ，返回第二步，再沿着各坐标轴方向依次进行步一维搜索。满足给定的精度要求为止，一维搜索。直到最新点x(n+1)满足给定的精度要求为止，输出x(n+1)作极小点的近似值。为f (x)极小点的近似值。极小点的近似值特点总结：特点总结： 1. 坐标轮换法是每次搜索只允许一个变量变化，其余变量保持不坐标轮换法是每次搜索只允许一个变量变化，即沿坐标方向轮流进行搜索的寻优方法。变，即沿坐标方向轮流进行搜索的寻优方法。它把多变量的优化问题轮流地转化成单变量的优化问题；问题轮流地转化成单变量的优化问题； 2. 算法的基本思想简单，不需要进行导数运算；算法的基本思想简单，不需要进行导数运算； 3. 搜索效率低，收敛速度慢，只有对那些具有特殊结构的函数使用搜索效率低，收敛速度慢，起来尚好。起来尚好。

第三章无约束最优化方法

3
第三章无约束最优化方法
3-1 无约束最优化方法概述
无约束最优化问题是数学规划的基础。无约束最优化问题的定义：求函数 f x 的极小（或极 n 大）值， R（ n维欧氏空间）。 x 求函数极小值。
4
第三章无约束最优化方法
一、最优性条件根据函数极值条件确定了极小点
x
*
则函数f(x)在 x* 附近的一切x均满足不等式
当x1 x*时，则
f x1 f x2
25
3-2
一维搜索（0.618法、抛物线法）
从图中可看出，假定不知道极小点 x* 的位置，任取两点 x1 x2，如果 f x1 f x2 ，则 x*必在x1 , x2 之间；若 f x1 f x2 ，则 x* x2 ；若 f x1 f x2 ，则 x* x1 。
26
3-2
一维搜索（0.618法、抛物线法）
在 a, b 内任取两点 x1 x1 ，由上面的讨论可以知道，通过比较 f x1 与 f x1 ，立刻可以断定极小点在区间 a, x1 内，还是在内，这样区间被缩小了，新的区间取 x1, b 作 a1 , b1 。在 a1 , b1 中，又可取两点 x2 x2 ，通过比较函数值得到新的区间 a2 , b2 ，这样不断缩小区间，最后便可确定出近似的极小点，如图所示。

无约束最优化问题

§ 2.2无约束最优化问题
引言
约束最优化问题：具有辅助函数和形态约束条件的优化问题。无约束最优化问题：没有任何限制条件的优化问题。工程实践中大多数问题都是具有约束的优化问题。
但在优化方法的处理上可以将有约束优化问题转化为无约束最优化问题，然后按无约束方法进行处理。或者是将有约束优化部分转化为无约束优化问题，即在远离极值点和约束边界处按无约束来处理，当接近极值点和约束边界时，在按有约束的优化问题来处理。因此无约束优化方法是优化方法的基本组成部分，也是优化设计中较常用的方法。

解题一般步骤
例
多元函数的梯度和对应矩阵

பைடு நூலகம்
迭代法主要解决两个问题：如何选择一个最有利的搜索方向 S( k ) 使目标函数沿此方向快速下降，且计算简便。
在搜索方向既定的前提下，如何确定沿此方向迭代的最优步长 ( k )
无约束最优化方法可以分为两类：直接法和间接法。直接法又称数值方法，它只需计算目标函数诸点的函数数值，而不需求其导数，如坐标轮换法，单纯性法等。间接法又称解析法，是应用数学极值理论和解析方法，首先计算出目标函数的一阶或一阶、二阶导数，然后根据梯度及海赛矩阵提供的信息，构造各种算法，从而间接地求出目标函数的最优解，如牛顿法、最速下降法、共轭梯度法及变尺度法。

4 无约束最优化方法-直接搜索法

2）取始点X0(2) = Xn+1(1)，并去掉原搜索方向组中的第一个方向S1(1)=e1，而将第一轮构成的新搜索方向 S(1) 作为最末一个方向，以此组成第二轮迭代的n个方向。
依此进行下去，直到获得满足迭代收敛精度要求的近似极小点为止。根据这一原理构造的迭代算法称为鲍威尔基本算法。
x2 S2(1) X3 X2 X0
Xi(k) =Xi-1(k)+αi(k)ei(k)
( k—迭代轮次，i— k轮迭代的第i次一维搜索
αi(k) — 一维搜索求得的最优步长） || Xn(k) – X0(k) ||≤ ？ • 计算步骤与算法框图 1）任选初始点X(0)=X0(1) = [x1(0) 给定迭代收敛精度，i = 1，k = 1。 x2(0) … xn(0) ]T ，
x2
X2(1)
X0(1)
X1(1)
x1
取初始点 X(0)=X0(1) ， x1 坐标轴方向的单位向量 S1(1)=e1=[1 0]T ， x2 坐标轴方向的单位向量 S2(1)= e2=[0 1]T。 X1(1) =X0(1)+α1(1)S1(1)， X2(1) =X1(1)+α2(1)S2(1)
求解无约束最优化问题 min f(x) 的数值迭代解法。构成约束最优化方法的基础解法。
求解无约束最优化问题的下降迭代解法具有统一的迭代格式，其基本问题是选择搜索方向和在这些搜索方向上进行一维搜索。由于构成搜索方向的方式可以不同，从而形成了各种不同的无约束最优化方法。

第三章非线性规划无约束问题的最优化方法

f x 1 4x1 2x2 , 2 f x 4 2
1 2x1 2x2
22
f x0
1 ,
1
2f x0
42 22
1
2f x0
11 22 11 2
第三节牛顿法
构造牛顿方向：
1
p0
2f x0
f x0
11 2 21
1
11 2
1
3 2
从x(0)出发，沿牛顿方向做一维搜索，令步长变量为l，最优步长为l0
x0
p0 0
1 ,
x0
0 ,
f x0
2 ,
2 x2 1
0
2
p0
ห้องสมุดไป่ตู้
f x0
2
2
f x0
8
H x0
2f x
20 02
求最佳步长l0
f x0 T f x0
1
0
f
x0
T
H
x0
f x0
2
第二节最速下降法
则：
x1 x0
0 f x0
f x1
0
0.01
x* x 1 1 1
0 12 1 0 22 1
第二节最速下降法
三、最速下降法的锯齿现象
1 11
e1 2 3
02 03
f x 1 e1 3 1 2 2 22 32 3 1 2 17

第三章无约束最优化方法技巧

证明：若 ≠0，则存在方向 ∈ （例如 =－）
使＜0. 由微分学中值定理，存在
使得
成立。由于在的某领域内连续，故存在＞0
使
，有
＜0。所以，对
有
＜
。这与是的局部极小点矛盾。
从定理的证明中可以看出， =0并不能区分出极小点、极大点或鞍点。要区分必须进一步考察的二阶导数，即
考察的Hesse矩阵
设G为n阶正定矩阵，非零向量组
关于G共轭，则此向
量组构成n维向量空间的一组基。
推论2
设G为n阶正定矩阵，非零向量组
关于G共轭。若向量
v与
关于G共轭，则v=0。
§3.4.1 共轭方向法
定义3.4.2 设n维向量组
线性无关，
，称向量集合
为由点与
生成的k维超
平面。
引理3.4.2
设为连续可微的严格凸函数，又
设在上是凸函数，且有一阶连续偏导数，则为的整体极小点的充分必要条件是 =0。证明略。
§ 3 . 2 最速下降法
对于无约束最优化问题，前面提到过，我们主要考虑下降
算法。为了求其最优解，人们总希望从某点出发，选择一个目标函数值下降最快的方向，以利于尽快达到极小点。正是基于
这样一种愿望，早在1847年法国数学家Cauchy提出了最速下降法。这是求无约束极值的最早的数值方法。