第5章 无约束优化及非线性优化
最优化方法：第五章 常用无约束优化方法
g1
0.73846 0.04616
1.47692 0.42500 0.36923
0.11076 0.11076
束 优
f (X1) 0.06134， g2 f (X 2 ) 00..2828105028， g2 0.91335．
化 因为 方 法
g1T g0 0.0000，
g
T 2
g1
方
（4）计算 X k1 X k Pk，f k1 f ( X k1 )，gk1 g( X k1) .
法 （5）判别终止准则是否满足：若满足，则打印最优解X k1
，fk1 结束；否则，置k k 1 ，转（2）．
第 五 章 常 用 无 约 束 优 化 方 法
例5.2 试用Newton法求 f (x1，x2 ) x12 4x22 的极小点，初 始点取为 X 0 [1, 1]T ．
方 法
, X k1 f (X k1) ,结束；否则，置 k k 1，转（2）．
将最速下降法应用于正定二次函数
f (X ) 1 X T AX bT X c （5.4）
2
第
可以推出显式迭代公式．
五
设第k次迭代点为Xk，我们来求Xk+1的表达式．对式
章 （5.4）关于X求梯度，有
常
g(X ) AX b （5.5）
Pk [2 f (X k )]1f ( X k )
步长因子 tk 1
方向 Pk [2 f (X k )]1f (X k ) 是直指点 X k 处近似二次函数
Q(X )的极小点的方向．此时称此方向为从点 X k 出发的
Newton方向．从初始点开始，每一轮从当前迭代点出发，
第
沿Newton方向并取步长 的tk 算1 法称为Newton法．
无约束非线性优化算法
无约束非线性优化算法此类算法提供公式 2 的精确解。
但是，它们要耗费与 H 的几个分解成比例的时间。
因此，对于大型问题，需要一种不同方法。
文献（[42] 和 [50]）中提出了几种基于公式 2 的逼近和启发式方法建议。
Optimization Toolbox 求解器采用的逼近方法是将信赖域子问题限制在二维子空间 S 内（[39] 和[42]）。
一旦计算出子空间 S，即使需要完整的特征值/特征向量信息，求解公式 2 的工作量也不大（因为在子空间中，问题只是二维的）。
现在的主要工作已转移到子空间的确定上。
二维子空间 S 是借助下述预条件共轭梯度法确定的。
求解器将 S 定义为由 s1和 s2确定的线性空间，其中 s1是梯度 g 的方向，s2是近似牛顿方向，即下式的解或是负曲率的方向，以此种方式选择 S 背后的理念是强制全局收敛（通过最陡下降方向或负曲率方向）并实现快速局部收敛（通过牛顿步，如果它存在）。
现在，我们可以很容易地给出基于信赖域的无约束最小化的大致框架：1.构造二维信赖域子问题。
2.求解公式 2 以确定试探步 s。
3.如果 f(x + s) < f(x)，则 x = x + s。
4.调整Δ。
重复这四个步骤，直到收敛。
信赖域维度Δ 根据标准规则进行调整。
具体来说，它会在试探步不被接受（即f(x + s) ≥ f(x)）时减小。
有关这方面的讨论，请参阅[46] 和 [49]。
Optimization Toolbox 求解器用专用函数处理 f 的一些重要特例：非线性最小二乘、二次函数和线性最小二乘。
然而，其底层算法思路与一般情况相同。
这些特例将在后面的章节中讨论。
非线性优化与约束优化问题的求解方法
非线性优化与约束优化问题的求解方法非线性优化问题是在目标函数和约束条件中包含非线性项的优化问题。
约束优化问题是在目标函数中加入了一些约束条件的优化问题。
解决这些问题在实际应用中具有重要意义，因此研究非线性优化和约束优化问题的求解方法具有重要的理论和实际意义。
一、非线性优化问题的求解方法非线性优化问题的求解方法有很多，下面介绍几种常见的方法：1. 黄金分割法：黄金分割法是一种简单但有效的搜索方法，它通过不断缩小搜索范围来逼近最优解。
该方法适用于目标函数单峰且连续的情况。
2. 牛顿法：牛顿法利用目标函数的一阶和二阶导数信息来逼近最优解。
该方法收敛速度较快，但在计算高阶导数或者初始点选取不当时可能产生不稳定的结果。
3. 拟牛顿法：拟牛顿法是对牛顿法的改进，它通过逼近目标函数的Hessian矩阵来加快收敛速度。
拟牛顿法可以通过不同的更新策略来选择Broyden-Fletcher-Goldfarb-Shanno（BFGS）方法或者DFP方法。
4. 全局优化方法：全局优化方法适用于非凸优化问题，它通过遍历搜索空间来寻找全局最优解。
全局优化方法包括遗传算法、粒子群优化等。
二、约束优化问题的求解方法约束优化问题的求解方法也有很多，下面介绍几种常见的方法：1. 等式约束问题的拉格朗日乘子法：等式约束问题可以通过引入拉格朗日乘子来转化为无约束优化问题。
通过求解无约束优化问题的驻点，求得原始约束优化问题的解。
2. 不等式约束问题的罚函数法：不等式约束问题可以通过引入罚函数来转化为无约束优化问题。
罚函数法通过将违反约束条件的点处添加罚项，将约束优化问题转化为无约束问题。
3. 逐次二次规划法：逐次二次规划法是一种常用的求解约束优化问题的方法。
该方法通过依次处理逐个约束来逼近最优解，每次处理都会得到一个更小的问题，直至满足所有约束条件。
4. 内点法：内点法是一种有效的求解约束优化问题的方法。
该方法通过向可行域内部逼近，在整个迭代过程中都保持在可行域内部，从而避免了外点法需要不断向可行域逼近的过程。
5 无约束最优化方法
在数学中，海森矩阵（Hessian matrix 或 Hessian）是一个自变量为向量的实值函数 的二阶偏导数组成的方块矩阵，此函数如下：
如果 f 所有的二阶导数都存在，那么 f 的海 森矩阵即：
H(f)ij(x) = DiDjf(x)
阻尼牛顿法
基本牛顿法对于一般非线性函数求解可能失 效的缺陷可以通过在迭代中引入步长因子和 一维搜索加以解决，改进后的算法称为阻尼 牛顿法，引入的步长因子αk也称为阻尼因子。 由于引入阻尼因子和一维搜索，虽然增加了 计算量，但可以保证迭代点的严格下降性， 可以适用于任何非线性函数，具有更理想的 收敛效果。
变尺度法（拟牛顿法）
变尺度法是通过坐标变换构造的一类最优化 算法。这类算法的搜索方向在计算中以递推 形式逐步产生并最终逼近牛顿方向，而不需 计算函数的二阶导数及其及逆矩阵。 变尺度法具有超线性收敛速度。
坐标变换
当函数在一点的二阶导数矩阵为正定时，其函数 在该点的泰勒二次展开式是正定二次函数，其等 值线为同心椭圆族。 引入变换矩阵U和如下变换：
唯一极小 (全局极小)
2 f ( x1 x2 ) 2 x12 2 x1 x2 x2 3x1 x2
f 0 f 0.298 f 0.298
多局部极小
根据搜索方向的不同构成方式：
导数法（解析法）：利用目标函数的一阶导数 和二阶导数信息构造搜索方向的方法。（梯度 法、牛顿法、变尺度法、共轭梯度法）收敛性 和收敛速度较好，较为常用 模式法（直接法）：通过几个已知点上函数值 的比较构造搜索方向的一类算法。（鲍威尔法） 迭代次数多，收敛速度慢，搜索方向不理想
转向(ቤተ መጻሕፍቲ ባይዱ)；
非线性约束优化.ppt
例４２求解不等式约束问题的K-T点，并判断是否为局部极小
例min s.t.
f ( X )(x11)2 x22 g1( X )x1 x22 / 5
解： L( X , ) (x1 1)2 x22 {x1 x22 / 5}
f x1
构造拉日函数：L(X ,, ) f (x)
m i1
i*
gi
(
X
)
l i1
i
hi
(
X
)
如果x*----l.opt. 那么，u*i≥0, 使得
１）驻点条件：f (x)
m i 1
i*gi
(
X
*
)
l j 1
jhj
(
X
*)
0
２）互补条件：
３）非负条件： ui* 0 i 1, 2, , m ４）不等式约束：gi (x) 0 i 1, 2, , m
j 1, 2,..., l
P( X , M k ) f ( X ) (M k , g( X ), h( X ))
m
l
f ( X ) M k { [min(0, gi ( X ))]2 [(hj ( X ))]2}
i 1
j 1
这里(M k , g( X ), h( X ))是惩罚项：M k CM k1
2L( X *, * )
x12
2x2*
41*
4
2L( X *, * )
x1 x2
2x1*
21*
2
2L( X *, * )
x22
0
h1
(
Xx1*) Nhomakorabea4x1*
第五章无约束优化的间接搜索法
1）尽管理论上可以证明目标函数为n维正定 二次函数时，共轭梯度法只需要n次迭代就可以 达到最优点，但由于计算机的舍入误差，实际 计算往往要多进行若干次才能得到满足精度要 求的结果；而对于一般的目标函数，迭代次数 将更多。
所以
令 得
(1)[g(1)]Tg(1) - (0) [ g(0)]T g(0) ] = 0 -[g(2)]T g(2) - (1)[g(1)]Tg(1) = 0
(1) = - (1) (1) = - (1) = [g(2)]T g(2)/ [g(1)]Tg(1)
= ||g(2)||2 / ||g(1)||2 (0) = (1) [g(1)]T g(1)/ [g(0)]Tg(0)
因为
[S(0) ]T g(1) = 0
所以
[S(0) ]T g(2) = 0
即
g(2) 与g(0)正交。
所以
[S(0) ]T g(2) = 0
由式（6）得 [g(1) ]T g(2) = 0
可见， g(0)、g(1) 、g(2)构成一个空间正交系。
3）在g(0)、g(1)、g(2)构成的空间正交系中求与 S(0)及S(1)均共轭的方向S(2)，以此作为下一步迭代 计算的搜索方向。仍取S(2)为g(0)、g(1)、g(2) 的线 性组合，即
再沿S(2) 进行一维搜索，得 X(3) = X(2) + (2) S(2)，
如此继续下去，可以求得共轭方向的递推公式 为
S(k+1) = -g(k+1) + ||g(k+1)||2 / ||g(k)||2 S(k)
(k = 0, 1, 2, …, n-1)
沿着这些共轭搜索方向一直搜索下去，直 到最后迭代点处梯度的模小于给定的允许值为 止。若目标函数为非二次函数，经n次搜索还未 达到最优点时，则以最后得到的点作为初始点， 重新计算共轭方向，一直到满足精度要求为止。
求解非线性无约束优化问题的两种方法的分析
垫墼兰￡望叁兰堑圭兰垒篁塞１第一章预备知识§１．１共轭梯度方法§１．１．１引言共轭梯度法足最优化中最常用的方法之一。
它具有算法简便，存储需求小等优点，十分适合于大规模优化问题．在石油勘探，大气模拟，航天航空等领域出现的特大规模的优化问题是常常利用共轭梯度法求解。
在所有需要计算导数的优化方法中，最速下降是最简单的，但它速度太慢。
拟牛顿方法收敛速度很快，被广泛认为是非线性规划的最有效的方法。
但拟牛顿法需要存储矩阵以及通过求解线性方程组来计算搜索方向，这对于求解诸如上述问题等一些大规模问题几乎是不太可能办到的，共轭梯度法在算法的简便性，所需存储量等方面均与最速下降法差别不大，而收敛速度比最速下降法要快。
非线性共轭梯度法的收敛性分析的早期工作主要由Ｆｌｅｔｃｈｅｒ，Ｐｏｗｅｌｌ，Ｂｅａｌｅ等学者给出的，近年来，Ｎｏｃｅｄａｌ，Ｇｉｌｂｅｒｔ，Ｎａｚａｒｅｔｈ等学者在收敛性方面得到了不少的结果，使得共轭梯度法的研究由又热了起来．我国的学者也在共轭梯度法的理论研究中也取得了一定的成绩。
例如中科院应用数学所的韩继业，戴口等．§１．１．２共轭方向法共轭梯度法最本质的是共轭性质，共轭性是正交的一种推广。
定义１．１．２．１：设Ｗ∈咿×ｎ对称正定，ｄｌ，ｄ２，…，ｄ。
是咿中的一组非零向量，如果盯Ａｄｊ＝０，（ｉ≠Ｊ）．（１．１）则称ｄ１，ｄ２，…，ｄ。
是相互Ａ一共轭。
显然可见，如果ｄｌ，ｄ２，…，ｄ。
相互Ａ一共轭，则它们是线性无关的。
设Ｊ是单位阵则知，一共轭就是正交。
一般共轭方向法步骤如下：算法１．１．２．１：（一般共轭方向法）给出∞＋的初始点Ｘｌ，步ｌ：计算ｇｌ＝ｇ（Ｘ１）．步２：计算ｄｌ，使（ｆ｛’９ｌ＜０．步３：令女＝１．步４：计算口ｋ和Ｘｋ＋１，使得ｆ（ｘｋ－Ｆ‘１ｋｄｋ）。
Ｉ。
ｊ１１，‰十“呶），Ｘｋ＋１＝Ｘｋ＋ｖ。
ｋｄｋ．步５：计算以＋ｌ使得ｄ矗１Ｇｄｊ＝０，Ｊ＝１，２，…ｋ．步６：令ｋ：＝ｋ＋１，转步４．共轭方向法的一个基本性质是：只要执行精确线性搜索，就能得到二次终止性，这就足下面的共轭方向法基本定理。
05-无约束优化算法
05-⽆约束优化算法05-⽆约束优化算法⽬录⼀、⽆约束最⼩化问题[⽆约束最⼩化问题] 使 f(x) 最⼩化， f:R n→R 是凸的，且⼆次可微（意味着 domf 是开集)。
假设这个问题是可解的，也就是存在最优点 x∗ ，最优值 inf x f(x)=f(x∗) ，记为 p∗ .[最优充要条件] 因为 f 是可微且凸的，点 x∗ 是最优点的充要条件是∇f(x∗)=0 .注：其实可以从⼆维的图像去理解因此解决⽆约束最⼩化问题等同于寻找上式的解，是含有n个未知数的n个⽅程的集⽅程组。
有时我们是⽤递归算法来解决这个问题，也就是依次计算x(0),x(1),...∈domf , 有f(x(k))→p∗,k→∞ 。
这样的序列叫做问题的最⼩化序列 (minimizing sequence)。
算法的停⽌条件：f(x(k))−p∗≤ϵ，ϵ≥0 是可容许的误差值。
[初始点，下⽔平集] 初始点 x(0) 必须在 domf 中，并且下⽔平集S={x∈domf|f(x)≤f(x(0))} 必须是闭的。
注：下⽔平集是闭的，其实就是对函数做了⽔平切割，然后⽔平切割下的图像是封闭的如果函数 f 是闭的（也就是它的所有下⽔平集都是闭的）那么以上条件都能满⾜。
定义在domf=R n上的连续函数是闭的，所以如果domf=R n，那么初始下⽔平集条件对于任何x(0)都满⾜。
另⼀种闭函数：定义域是开集，当x趋近于bd domf时，f(x) 趋近于⽆限。
[强凸] ⼀个函数在 S 上是强凸的，如果存在 m>0 ，使得对于所有的 x∈S ，有∇2f(x)⪰mI.注：强凸的性质，其实就是保证函数的 ∇2f(x)>0 ，也就是确保只有⼀个最优解，⽽弱凸是最优解有多个，如下图所⽰。
对于x,y∈S我们有f(y)=f(x)+∇f(x)T(y−x)+12(y−x)T∇2f(z)(y−x) , for some z∈[x,y] 。
根据强凸的假设，最后⼀项⼤于等于 (m/2)‖y−x‖22,∀x,y∈S ，也就是：f(y)≥f(x)+∇f(x)T(y−x)+(m/2)‖y−x‖22 .当m=0 时，我们得到了描述凸性的基本不等式。
第5讲 无约束优化
3、运行结果: x= 0.5000 -1.0000 y = 1.3029e-10
•fminsearch是用单纯形法寻优. fminunc的算法见以下几点说明：
[1] fminunc为无约束优化提供了大型优化和中型优化算法。 由options中的参数LargeScale控制：
LargeScale=’on’(默认值), 使用大型算法 LargeScale=’off’(默认值), 使用中型算法
4. 用fminunc 函数 (1)建立M-文件fun2.m function f=fun2(x)
f=100*(x(2)-x(1)^2)^2+(1-x(1))^2
(2)主程序
oldoptions=optimset('fminunc'); options=optimset(oldoptions,'LargeScale','off'); options11=optimset(options,'HessUpdate','dfp'); [x11,fval11,exitflag11,output11]=fminunc('fun2', [-1.2 2],options11); pause options21=optimset(options,'HessUpdate','bfgs'); [x21,fval21,exitflag21,output21]=fminunc('fun2', [-1.2 2],options21) pause options31=optimset(options,'HessUpdate','steepdesc'); [x31,fval31,exitflag31,output31]=fminunc('fun2', [-1.2 2],options31) pause options32=optimset(options,'HessUpdate','steepdesc','MaxIter',8000,'MaxFunEvals',8000); [x32,fval32,exitflag32,output32]=fminunc('fun2', [-1.2 2],options32) pause options33=optimset(options,'HessUpdate','steepdesc','MaxIter',9000,'MaxFunEvals',9000)； [x33,fval33,exitflag33,output33]=fminunc('fun2', [-1.2 2],options33)
工程设计中的优化方法
②目标函数 优化目标为质量最轻。 梁的跨度已知，故可用梁的截面面积作为目 标函数。截面面积之半可近似为
f (X) = x1x3 + x2x4 （忽略了-2x3x4项,厚度的乘积） 使质量最轻就是使f (X)的值最小。
③约束条件 设计的箱形梁需满足一定的强度、 刚度、稳定性以及几何要求。推导得
优化目标函数就是求目标函数的极小值或极大 值，即
min f (X) 或 max f (X)。
• 用效果函数(如性能指标、利润等)作目标函数，则是求极大值； • 用费用函数(如能源、材料、经费等)作目标函数，则求极小值。
单目标和多目标优化问题
• 单目标优化问题：只包含一个优化目标的问题 • 多目标优化问题：存在两个或两个以上优化目
优化结果：取出三种跨度的优化结果见表5-1。
所用数据为：F1=120kN， F2=12kN，[σ]=140MPa
表5-1 箱形梁设计结果比铰
跨度 l(cm)
常规设计（mm）
x1
x2
x3
x4
1050 760 340 6 10 1350 880 390 6 10 1650 1010 440 6 10
优化设计(mm)
无约束优化方法
无约束优化方法分为解析法和数值计算法两类。
• 解析法 用求导数或变分方法求出极值存在的 必要条件，再求出它们的解析解。然后按照充 分条件或问题的实际物理意义确定最优解。
仅适用于目标函数和约束条件较为简单明确的情况。
• 数值法 利用函数在某一局部区域的性质和一 些己知点的数值，确定下一步的计算点，经过 迭代搜索，最后达到最优点。可解决复杂的优 化设计问题，是优化设计采用的主要方法。
第五章 无约束优化方法
由（5.3）得 X (1) X (0) [H ( X (0) )]1 F ( X (0) ) 0 3 1
S (0) 1 4,10T 0.3714 ,0.9285 T 10.770329
2 2 例 5-3 试用牛顿法求例5-1给出的目标函数 f ( X ) x1 x2 x1 x2 4x1 10x2 60的极小值， ( 0) T 设初始点 X (0) [ x1(0) , x2 ] [0，0]。 2 f 2 f
f ( X ) f ( X ) T 解： f ( X ( 0) ) , 4,10 x 2 x1
(0)
6 8
H 1F
X (k ) X*
X
X (1) 6 8
T
(1)
X
S
( 0)
x1(1) 0 0.3714 0.3714 0.9285 (1) 0 0 . 9285 x2
f ( X ) f ( X ) T 解： f ( X ) , 2 x1 x 2 4,2 x 2 x1 10 x 2 x1 2 2 f ( X ( 0) ) f ( X ( 0) ) ( 0) 2 2 f ( X ) x x (4) (10) 10.770329 1 2
即为最优点，只迭代一次就达到了X*。
图5.8牛顿法的修正
• 5.3.2 牛顿法的特点
由上述可见，当目标函数为二次函数时，收敛很快，属于二阶收敛，是目前算法中最快的 一种。即使目标函数不是二次函数，当初始点选得好时，也会很快收敛。但如果目标函数 非凸，初始点选择不当有可能远离极小点或导致不收敛（图5.8）。基于这种原因，为保 证每次迭代下降，对古典的牛顿法要做些修改，于是便出现了修正牛顿法。其修正方法是 在 X ( k ) 沿牛顿方向做一次一维搜索，避免远离极小点 X (k 1) X (k ) k [H ( X (k ) )]1 F ( X (k ) )
无约束最优化与非线性规划-PPT精品文档
点必为驻点，而驻点不一定为极值点.
2、海赛矩阵
2 f 2 f 2 f 2 x x x x 1 2 1 n 1 x 2 f 2 f 2 f 2 2 H( X ) f ( X ) x x x x x 2 n 2 2 1 2 2 2 f f f x x x x x 2 n 2 n n 1 H( X ) 为函数 f ( X ) 的二阶偏导数矩阵.
可能不是极值点，需视高阶导数的性质而定。
2）极值点的必要条件和充分条件
定义1
* n n 1 min f ( X ), 其中 f : E E 问题，设 是任意 X E 对于 n
给定点，P为非零向量，若存在一个数 0 ，使得对于 * * (0 ,)，都有 f( X p ) f( X )，则称P是 f ( x) 任意 在 X * 处的下降方向. n n 1 n X E E在 定理1 设 f : E 可微，如果存在向量P ，使得 E
无约束最优化和非线性规划
1.建模实例 2.数学预备知识 3.无约束最优化问题的解 4.非线性规划的数学模型 5.非线性规划的解 6.非线性规划建模实例
1.建模实例
如图1，有一条河，两个工厂P 和Q位于河岸L（直线）的同一 侧，工厂 P 和 Q 距离河岸L分别为8千米和10千米，两个工厂的 距离为14千米，现要在河的工厂一侧选一点R，在R处建一个水 泵站，向两工厂P、Q 输水，请你给出一个经济合理的设计方 案。 14 P Q
是半正定的.
* n 定理4 (二阶充分条件)设 f 在点 X 二阶可微，如果 f (X*) 0 E
求解无约束优化问题及非线性方程组的共轭梯度法
求解无约束优化问题及非线性方程组的共轭梯度法求解无约束优化问题及非线性方程组的共轭梯度法一、引言无约束优化问题和非线性方程组是数学和工程领域中常见的问题。
它们的解决对于优化模型的求解以及工程实际问题的解决具有重要意义。
本文将介绍一种常用的求解无约束优化问题和非线性方程组的方法——共轭梯度法，包括算法原理、步骤和性能分析等。
二、共轭梯度法的算法原理共轭梯度法是一种迭代法，它通过计算一系列共轭方向，逐步接近于最优解。
具体而言，共轭梯度法的算法原理如下：（1）初始化。
选择一个起始值x0，设置迭代精度ε，取初始共轭方向d0=g0=-∇f(x0)，其中g0为梯度的初始值。
（2）迭代过程。
从k=1开始，根据共轭方向的性质，可以得到更新公式xk=xk-1+αkdk，其中αk为步长，dk为共轭方向。
通过下面的迭代公式可以计算共轭方向dk：di=(-gi)+βidi-1βi=(gi，gi)/(gi-1，gi-1)其中gi为第i次迭代的梯度。
（3）收敛判断。
如果满足||gk||<ε，则停止迭代计算，得到近似解。
否则，继续迭代。
三、共轭梯度法的步骤根据共轭梯度法的算法原理，可以得到具体的步骤如下：（1）初始化。
选择起始点x0，设置迭代精度ε，取初始共轭方向d0=g0=-∇f(x0)，其中g0为梯度的初始值。
（2）循环迭代。
从k=1开始，计算步长αk，更新公式xk=xk-1+αkdk，计算新的梯度gk，计算共轭方向dk。
（3）收敛判断。
如果满足||gk||<ε，则停止迭代。
（4）输出结果。
输出近似解xk。
四、共轭梯度法的性能分析共轭梯度法在求解无约束优化问题和非线性方程组时具有一些优良的性能特点：（1）收敛性。
共轭梯度法在理想情况下可以在n步内达到最优解，其中n为问题的维度。
（2）存储要求小。
共轭梯度法只需要存储上一次迭代的结果，存储量较小。
（3）不需要二阶导数信息。
与牛顿法等方法相比，共轭梯度法不需要二阶导数信息，计算速度更快。
非线性规划-无约束问题
一般地，解非线性规划问题要比解线性规划问题困难的多，因为它不像解线性规划问题有单纯形法这一通用的方法，非线性规划目前还没有适合于各种问题的一般算法，各个方法都有自己特定的应用范围。
1.1 非线性规划问题及其数学模型
例：某金属制品厂要加工一批容积为1米3的长方形容器，按规格要求，上下底的材料为25元/m2，侧面的材料为40元/m2，试确定长、宽、高的尺寸，使这个容器的成本最低。
线性规划：
可能在其可行域中的任意一点达到。
非线性规划：
02
01
非线性规划的解的特点
目标函数是线性函数，可行域为凸集，求出的最优解就是整个可行域上的全局最优解。
线性规划：
01
有时求出的解是一部分可行域上的极值点，但并不一定是整个可行域上的全局最优解。
非线性划：
02
1.2 极值问题
局部极值定义
定理1：极值存在的必要条件
称该点列{X(k)}收敛于X*. 由于算法产生的点列使目标函数值逐步减小，称这一算法为下降算法。
或
超线性收敛：当 1<<2, q>0，或＝1, q＝0时，称为超线性收敛速度
二阶收敛：当 =2 ，k充分大时有
收敛速度
一般地认为，具有超线性收敛或二阶收敛速度的算法是比较快速的算法。
对于不同的问题，要根据具体情况来选择算法，因为我们事先并不知道最优解，迭代到什么时候停止呢？常用的准则是：
01
02
01
迭代中我们从一点出发沿下降可行方向找一个新的、性质有所改善的点。
02
下降方向：
可行方向：设 ∈S，d∈Rn,d≠0,若存在 ，使 ，称d 为 点 的可行方向。
2
如果继续缩小区间[a,b1](或[a1,b])，就需要在区间[a,b1](或[a1,b])内取一点b2，并计算出f(b2)的值，并与f(a1)比较。
无约束优化方法PPT课件-PPT精选文档
等式两边同乘 d
0
T
得
d Gd 0
0 T 1
fxa fx fx 0
k k T k k
k f x f x 0 k 1 T
d
k 1 T
dk 0
由此可知，在最速下降法中，相邻两个迭代点上 的函数梯度相互垂直。而搜索方向就是负梯度方 向，因此相邻两个搜索方向互相垂直。
第四章
无约束优化方法
第一节 概述
从第一章列举的机械设计问题，大多数实际问题 是约束优化问题。 约束优化问题的求解——转化为一系列的无约束 优化问题实现的。
因此，无约束优化问题的解法是优化设计方法 的基本组成部分，也是优化方法的基础。
无约束优化问题的极值条件
f x* 0
解析法(间接解法)
4.3.2 阻尼牛顿法 牛顿法的缺陷是，在确定极值点的过程中，并不含有沿 下降方向搜索的概念。因此对于非二次型函数，在迭代过 k 1 k 程中，可能出现 f( X )f( X )
的现象。为此人们提出了所谓的阻尼牛顿法。
令
k d H ( X ) f ( X ) k
1 k
以上二种经典方法中，人们不断努力，发掘，提出了不
同的改进方法。
第四节共轭方向及共轭方向法
为了克服最速下降法的锯齿现象，提高收敛速度，发展 了一类共轭方向法。搜索方向是共轭方向。
一、共轭方向的概念 共轭方向的概念是在研究二次函数
1T T f x x bx c xG 2
时引出的。 首先考虑二维情况
数值法(直接解法)
运筹学与最优化方法 第5章无约束最优化PPT课件
x(1), ε >0, k=1
k=k+1
Yes
|| ▽f(x(k) ) ||< ε?
stop. x(k) –解
No
d(k)= －▽f(x(k) )
解 min f(x(k)+λ d(k)) s.t. λ >0
得 x(k+1)=x(k)+λkd(k)
4
第五章 无约束最优化
5.2 最速下降法（续）
特点：全局收敛，线性收敛，易产生扭摆现象而造成 早停。
▽ f= B x+c
有 y(k)=Bs(k) 或 s(k)=B-1 y(k)
称 H y=S 或 y=BS 为拟Newton方程。
显然 当H 正定时, B-1=H.
4、”近似”：
对于f(x)的二阶Taylor展式，舍去高阶项，
有
y(k) ≈ ▽ 2f(x(k))s(k) 或 s(k) ≈ (▽ 2f (x(k)))-1 y(k)
5
第五章 无约束最优化
Newton法： （续）
当▽2f(x(k)) 正定时，有极小点：
x(k+1)=x(k)-[▽2f(x(k)) ]-1 ▽f(x(k))
——Newton迭代公式
实用中常用 ▽2f(x(k)) S= -▽f(x(k)) 解得s(k)
x(k+1)=x(k)+s(k)
k=k+1
x(1), ε >0, k=1
17
变尺度法
一、变尺度法的基本思路： (f)min f(x), f: R n→ R
1、基本思想：
用对称正定矩阵H(k)近似▽2f(x(k)), 而H(k)的产生从给定H(1)开
始逐步修整得到。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
3．拟牛顿法
为克服牛顿法的缺点，同时保持较快收敛速度的优点，利用第 k 步
和第 k+1 步得到的 X k ， X k1 ，f ( X k ) ，f ( X k1 ) ，构造一个正定
矩阵 G k1 近似代替 2 f ( X k ) ,或用H k1 近似代替( 2 f ( X k )) 1 ，将
基本函数名 x=fminbnd(‘F’,x1,x2)
X=fminunc(‘F’,X0) X=fminsearch(‘F’,X0)
X=linprog(c,A,b)
X=quadprog(H,c,A,b)
X=fmincon(‘FG’,X0) X=fgoalattain(‘F’,x,goal,w)
X=fminimax(‘FG’,x0)
(f k )T X k
(f k )T H k f k
计算时可置H 1 I （单位阵），对于给出的 X 1 利
用上面的公式进行递推.这种方法称为拟牛顿法.
返回
Matlab优化工具箱简介
1.MATLAB求解优化问题的主要函数
类型
一元函数极小 无约束极小
线性规划
二次规划 约束极小 （非线性规划） 达到目标问题
变量
描述
由优化函数求得的值.若exitflag>0,则x
x
为解;否则,x不是最终解,它只是迭代制止
时优化过程的值
fval
解x处的目标函数值
exitflag output
描述退出条件: exitflag>0,表目标函数收敛于解x处 exitflag=0,表已达到函数评价或迭代
的最大次数 exitflag<0,表目标函数不收敛
(2) 求f X k , 2 f X k 1 ,检验：若 f X k ,则
停止迭代, X * X k .否则, 转向(3)；
(3) 令 S k [ 2 f X k ]1f X k （牛顿方向）；
(4) X k1 X k S k , k k 1 ,转回(2).
ymin = -0.0279 ymax = 0.6448
例2 对边长为3米的正方形铁板，在四个角剪去相等的正方形以 制成方形无盖水槽，问如何剪法使水槽的容积最大？
解 设剪去的正方形的边长为x，则水槽的容积为：(3 2x2 )x
建立无约束优化模型为：min y=-(3 2x2 )x ， 0<x<1.5
先编写M文件fun0.m如下: function f=fun0(x) f=-(3-2*x).^2*x;
H k 1
Hk
1
(f k )T H k f (f k )T x k
k
x k (f
(x k )T k )T x k
x k (f k )T H k H k f k (x k )T (f k )T x k
D F P （Davidon-Fletcher-Powell）公式：
2. 优化函数的输入变量
使用优化函数或优化工具箱中其它优化函数时, 输入变量见下表:
变量 f
fun
H A,b
Aeq,beq
vlb,vub X0
x1,x2 options
描述 线性规划的目标函数f*X 或二次规划的目标函
数X’*H*X+f*X 中线性项的系数向量
非线性优化的目标函数.fun必须为行命令对象 或M文件、嵌入函数、或MEX文件的名称
最速下降法是一种最基本的算法，它在最优化方法中占有重要地位.最
速下降法的优点是工作量小，存储变量较少,初始点要求不高；缺点是收敛
慢，最速下降法适用于寻优过程的前期迭代或作为间插步骤，当接近极值
点时，宜选用别种收敛快的算法.
2．牛顿法算法步骤：
(1) 选定初始点 X 0 E n ，给定允许误差 0 ，令 k=0；
调用函数
linprog,quadprog
fminbnd,fminsearch,fminunc, fmincon,lsqcurvefit,lsqnonlin,
fgoalattain,fminimax
quadprog
linprog,quadprog,fgoalattain, fmincon, fminimax
其中（3）、（4）、（5）的等式右边可选用（1）或 （2）的等式右边。
函数fminbnd的算法基于黄金分割法和二次插值法，它 要求目标函数必须是连续函数，并可能只给出局部最优解。
例 1 求 f = 2ex sin x 在 0<x<8 中的最小值与最大值
主程序为wliti1.m:
f='2*exp(-x).*sin(x)';
二次规划的目标函数X’*H*X+f*X 中二次项的系 数矩阵
A矩阵和b向量分别为线性不等式约束：
AX b 中的系数矩阵和右端向量
Aeq矩阵和beq向量分别为线性等式约束：
Aeq X beq 中的系数矩阵和右端向量
X的下限和上限向量：vlb≤X≤vub
迭代初始点坐标 函数最小化的区间 优化选项参数结构，定义用于优化函数的参数
创建名称为oldops的参数的拷贝,用指定的参数值修改oldops 中相应的参数.
例：opts=optimset(‘Display’,’iter’,’TolFun’,1e-8) 该语句创建一个称为opts的优化选项结构,其中显示参数设
为’iter’, TolFun参数设为1e-8.
返回
用Matlab解无约束优化问题
牛顿方向改为：
G k 1 S k 1 =-f ( X k 1 ) ， S k 1 =-H k1 f ( X k 1 )
从而得到下降方向.
通常采用迭代法计算G k 1 ，H k 1 ，迭代公式为:
BFGS（Boryden-Fletcher-Goldfarb-Shanno）公式
G k1 G k f k (f k )T G k x k (x k )T G k (f k )T x k (x k )T G k x k
0.9997 0.9998 1E-8
最优点 (1 1) 初始点 (-1 1)
返回
无约束优化问题的基本算法
1．最速下降法（共轭梯度法）算法步骤：
⑴ 给定初始点 X 0 E n ，允许误差 0 ,令 k=0；
⑵ 计算f X k ；
⑶ 检验是否满足收敛性的判别准则：
f X k ，
（2）options=optimset(‘param1’,value1,’param2’,value2,...) 创建一个名称为options的优化选项参数,其中指定的参数具有
指定值,所有未指定的参数取默认值.
(3)options=optimset(oldops,‘param1’,value1,’param2’, value2,...)
如果f是对称正定矩阵A的二次函数，则用牛顿法经过一次迭代 就可达到最优点,如不是二次函数，则牛顿法不能一步达到极值点， 但由于这种函数在极值点附近和二次函数很近似,因此牛顿法的收 敛速度还是很快的.
牛顿法的收敛速度虽然较快，但要求Hessian矩阵要可逆， 要计算二阶导数和逆矩阵，就加大了计算机计算量和存储量.
极小极大问题
模
型
Min F（x）s.t.x1<x<x2
Min F(X)
Min cT X
s.t.AX<=b Min 1 xTHx+cTx
2
s.t. Ax<=b Min F(X)
s.t. G(X)<=0 Min r
s.t. F(x)-wr<=goal Min max {Fi(x)}
X {Fi(x)}
s.t. G(x)<=0
G k 1
Gk
1
(X k )T G k X (X k )T f k
k
f (f
k (f k )T k )T X k
f k (X k )T G k G k X k (f k )T (X k )T f k
H k 1 H k X k (X k )T H k f k (f k )T H k
数学建模与数学实验
无约束最优化 及非线性优化
实验目的
1、了解无约束最优化基本算法。 2、掌握用数学软件包求解无约束最优化问题。
实验内容
1、无约束优化基本思想及基本算法。 2、MATLAB优化工具箱简介 3、用MATLAB求解无约束优化问题。 4、实验作业。
无约束最优化问题
求解无约束最优化问题的的基本思想 *无约束最优化问题的基本算法
fplot(f,[0,8]);
%作图语句
[xmin,ymin]=fminbnd (f, 0,8)
f1='-2*exp(-x).*sin(x)';
[xmax,ymax]=fminbnd (f1, 0,8)
运行结果： xmin = 3.9270 xmax = 0.7854
To Matlab(wliti1)
若满足，则停止迭代，得点X * X k ，否则进行⑷；
⑷ 令 S k f X k ，从X k 出发，沿S k 进行一维搜索，
即求k 使得：
min f
0
X k S kΒιβλιοθήκη fX k k S k
；
⑸ 令 X k 1 X k k S k ，k=k+1 返回⑵.
X0
31
X1
X2
x2
5
0
x1
唯一极小 (全局极小)
f 0.298
f 0
f (x1 x2 ) 2x12 2x1x2 x22 3x1 x2
多局部极小