无约束最优化.ppt
合集下载
无约束最优化方法直接搜索法课件
x2
S(1)
S2(1
)
(1)
X3 X2 (1)
X* X2 (2) X1 (2)
S(2)
X0 (1)
X 1 (1)
S1(1) x1
• 鲍威尔基本算法的缺点
鲍威尔基本算法仅具有理论意义，不要说对于一般的 函数，就是对于二次函数，它也可能失效。因为在迭代过程 中的n个搜索方向有时会变成线性相关，而不能形成共轭方向， 从而张不成n维空间，导致随后的迭代搜索在降维(“退化”) 的空间中进行，可能求不到极小点，故需进行改进。
x 2 XL X2
Xn+3 Xn+2
Xn+1
Xห้องสมุดไป่ตู้ XH
X1 XG x1
6)扩张：当 fn+2 < f L 时，取扩张点Xn+3 ，即
Xn+3 = Xn+1 + (Xn+2 – Xn+1)
( =1.2~2.0 )
并计算 fn+3 = f (Xn+3 ) 。 若 fn+3 < fn+2 ，则以Xn+3 代替 X H ， fn+3 代替 fH ，构造一个新的单纯形；否则，以 X n+2 代 替XH ， fn+2 代替fH ，构造新的单纯形；然后返回到 3)。
鲍威尔条件：
若 f 3 < f 1, ( f1 - 且2f2 + f3) (f1 - f2 - △m(k))2 < 0.5 △m(k) (f1 - f3 )2 同时成立，则用 S ( k ) 替代 S m ( k ) ；否则，仍用 就是鲍威尔修正算法，通常所说的鲍威尔算法就是指这一修正算法。
• 鲍威尔算法的计算步骤及算法框图
机械优化设计之无约束优化方法(ppt 62页)
所以无约束优化问题的解法是优化设计方法的基本 组成部分，也是优化方法的基础。
机械优化设计
一、概述
1、无约束优化问题
求n 维设计变量 Xx1,x使2,目x标nT函数
f Xmin ，而对 X 没有任何限制条件。
2、求解方法 （1）利用极值条件来确定极值点的位置。 （2）数值计算方法——搜索方法 基本思想：从给定的初始点 x 0 出发，沿某一搜索方向
y1,y2y12y221 2y1 y2 0 20 2 y y1 2
可以看出二者的对角形矩阵不同，前者的 等值线为一族椭圆，后者的等值线为一族同 心圆，这说明对角形矩阵是表示度量的矩阵 或者是表示尺度的矩阵，最速下降法的收敛 速度和变量的尺度有很大关系。
称其为牛顿方向，则阻尼牛顿法的迭代公式为：
X k 1 X k k d k X k k 2 fX k 1 fX k ( k 0 , 1 , 2 )
k ——阻尼因子，即沿牛顿方向进行一维搜索的最佳步长，
可通过如下极小化过程求得：
机械优化设计
章 无约束优化方法
一、概述 二、最速下降法（梯度法） 三、牛顿型方法（牛顿法和阻尼牛顿法） 四、共轭方向和共轭方向法 五、共轭梯度法 六、变尺度法 七、坐标轮换法
机械优化设计
实际中的工程问题大都是在一定限制条件下追 求某一指标为最小，属于约束优化问题。
为什么要研究无约束优化问题？
1）有些实际问题，其数学模型本身就是一个无约束问题； 2）通过熟悉它的解法可以为研究约束优化问题打下良好的 基础； 3）约束优化问题的求解可用通过一系列无约束优化方法来 达到。
f xk1 Tf xk 0 或 dk1 T dk 0
机械优化设计
一、概述
1、无约束优化问题
求n 维设计变量 Xx1,x使2,目x标nT函数
f Xmin ，而对 X 没有任何限制条件。
2、求解方法 （1）利用极值条件来确定极值点的位置。 （2）数值计算方法——搜索方法 基本思想：从给定的初始点 x 0 出发，沿某一搜索方向
y1,y2y12y221 2y1 y2 0 20 2 y y1 2
可以看出二者的对角形矩阵不同，前者的 等值线为一族椭圆，后者的等值线为一族同 心圆，这说明对角形矩阵是表示度量的矩阵 或者是表示尺度的矩阵，最速下降法的收敛 速度和变量的尺度有很大关系。
称其为牛顿方向，则阻尼牛顿法的迭代公式为：
X k 1 X k k d k X k k 2 fX k 1 fX k ( k 0 , 1 , 2 )
k ——阻尼因子，即沿牛顿方向进行一维搜索的最佳步长，
可通过如下极小化过程求得：
机械优化设计
章 无约束优化方法
一、概述 二、最速下降法（梯度法） 三、牛顿型方法（牛顿法和阻尼牛顿法） 四、共轭方向和共轭方向法 五、共轭梯度法 六、变尺度法 七、坐标轮换法
机械优化设计
实际中的工程问题大都是在一定限制条件下追 求某一指标为最小，属于约束优化问题。
为什么要研究无约束优化问题？
1）有些实际问题，其数学模型本身就是一个无约束问题； 2）通过熟悉它的解法可以为研究约束优化问题打下良好的 基础； 3）约束优化问题的求解可用通过一系列无约束优化方法来 达到。
f xk1 Tf xk 0 或 dk1 T dk 0
运筹学与最优化方法 第5章无约束最优化PPT课件
注意： f(x) ≥f(x*)+ ▽Tf(x*)(x-x*), x. 故 f(x*) ≤f(x)， x. （ 由于▽Tf(x*) =0）
5.2 最速下降法
在迭代点 x(k) 取方向 d(k)= －▽f(x(k) )
精确一维搜索
最 速 下降法：梯度方向函数值变化最快的方
向
3
第五章 无约束最优化
5.2 最速下降法（续）
5
第五章 无约束最优化
Newton法： （续）
当▽2f(x(k)) 正定时，有极小点：
x(k+1)=x(k)-[▽2f(x(k)) ]-1 ▽f(x(k))
——Newton迭代公式
实用中常用 ▽2f(x(k)) S= -▽f(x(k)) 解得s(k)
x(k+1)=x(k)+s(k)
k=k+1
x(1), ε >0, k=1
x(i+1)=x(i)+αid(i) , i=1,2, …,k
求得λk , x(k+1)=x(k)+λkd(k)
特点：可改善局部收敛性，当d(k)为函数上升方向时，可向负方 向搜索，但可能出现± d(k)均非下降方向的情况。
8
第五章 无约束最优化
5.3 Newton法及其修正 二、 Newton法的改进： （续）
(3)Goldstein-Price方法(G-P法)：
主要缺点： (1)局部收敛 (2)用到二阶Hesse阵，且要求正定 (3)需计算Hesse阵逆或解n阶线性方程组，计算量大
7
第五章 无约束最优化
5.3 Newton法及其修正 二、 Newton法的改进： (1)为减小工作量，取m（正整数），使每m次迭代使用同一个
5.2 最速下降法
在迭代点 x(k) 取方向 d(k)= －▽f(x(k) )
精确一维搜索
最 速 下降法：梯度方向函数值变化最快的方
向
3
第五章 无约束最优化
5.2 最速下降法（续）
5
第五章 无约束最优化
Newton法： （续）
当▽2f(x(k)) 正定时，有极小点：
x(k+1)=x(k)-[▽2f(x(k)) ]-1 ▽f(x(k))
——Newton迭代公式
实用中常用 ▽2f(x(k)) S= -▽f(x(k)) 解得s(k)
x(k+1)=x(k)+s(k)
k=k+1
x(1), ε >0, k=1
x(i+1)=x(i)+αid(i) , i=1,2, …,k
求得λk , x(k+1)=x(k)+λkd(k)
特点：可改善局部收敛性，当d(k)为函数上升方向时，可向负方 向搜索，但可能出现± d(k)均非下降方向的情况。
8
第五章 无约束最优化
5.3 Newton法及其修正 二、 Newton法的改进： （续）
(3)Goldstein-Price方法(G-P法)：
主要缺点： (1)局部收敛 (2)用到二阶Hesse阵，且要求正定 (3)需计算Hesse阵逆或解n阶线性方程组，计算量大
7
第五章 无约束最优化
5.3 Newton法及其修正 二、 Newton法的改进： (1)为减小工作量，取m（正整数），使每m次迭代使用同一个
四常用无约束最优化方法(精品PPT)
（3）用终止准则检测是否满足：若满足，则打印最优
解 X k 1 ，f ( X k1 ) ，结束；否则，置 k k 1，转
（2）．
，
最速下降法算法流程如图4.2所示．
Company Logo
最速下降法算 法流程如图所 示．
图4.2
开始 选定X0
f0 f (X0) g0 g(X0)
X ls(X 0 ,g0 )
Company Logo
§4.1 最速下降法
对于问题（4.1）为了求其最优解，按最优化算法的基
本思想是从一个给定的初始点
X
出发，通过基本迭代公
0
式 X k1 X k tk Pk，按照特定的算法产生一串
点列{X k } ，如果点列收敛，则该点列的极限点为问题
（4.1）的最优解．
一、最速下降法基本原理
1个迭代点
X
k
，即
1
X k1 X k tk f ( X k ) ，
其中步长因子 tk 按下式确定
也可记为
fin
t
f
(Xk
tf
(Xk
))
，
X k1 ls( X k , f ( X k )) ． （4.3）
显然，令k 0, 1, 2, 就可以得到一个点列 X0, X1, X2 ，
g( X ) AX b ，(4.5)
因此，
gk g( X k ) AX k b．(4.6)
现在从X k 出发沿 g k 作直线搜索以确定 X k1 ，于是
X k1 X k tk gk ， (4.7) 其中tk 是最优步长因子．
Company Logo
又因式（4.2），有 g( X k1 )T gk 0 ，再利用式
解 X k 1 ，f ( X k1 ) ，结束；否则，置 k k 1，转
（2）．
，
最速下降法算法流程如图4.2所示．
Company Logo
最速下降法算 法流程如图所 示．
图4.2
开始 选定X0
f0 f (X0) g0 g(X0)
X ls(X 0 ,g0 )
Company Logo
§4.1 最速下降法
对于问题（4.1）为了求其最优解，按最优化算法的基
本思想是从一个给定的初始点
X
出发，通过基本迭代公
0
式 X k1 X k tk Pk，按照特定的算法产生一串
点列{X k } ，如果点列收敛，则该点列的极限点为问题
（4.1）的最优解．
一、最速下降法基本原理
1个迭代点
X
k
，即
1
X k1 X k tk f ( X k ) ，
其中步长因子 tk 按下式确定
也可记为
fin
t
f
(Xk
tf
(Xk
))
，
X k1 ls( X k , f ( X k )) ． （4.3）
显然，令k 0, 1, 2, 就可以得到一个点列 X0, X1, X2 ，
g( X ) AX b ，(4.5)
因此，
gk g( X k ) AX k b．(4.6)
现在从X k 出发沿 g k 作直线搜索以确定 X k1 ，于是
X k1 X k tk gk ， (4.7) 其中tk 是最优步长因子．
Company Logo
又因式（4.2），有 g( X k1 )T gk 0 ，再利用式
《机械优化设计方法》第4章 无约束优化方法 (上课课件)
4.1.4 梯度法讨论
梯度法的收敛速度与设计变量的尺度关系很 大。对一般函数，梯度法的收敛速度较慢。 但对等值线为同心圆的目标函数，一次搜索 即可达到极小点。 若能通过点的坐标变换，改善目标函数的性 态，就可提高梯度法的收敛速度。
4.2 牛顿性方法
4.2 牛顿型方法
4.2.1 牛顿法的基本思想
1 * T * * f (X) f (X ) X X H ( X ) X X 2
*
结论：任意形式的目标函数在极值点附近的特 性，都近似于一个二次函数。 故以正定二元二次函数为例说明共轭方向对于 构造一种有效的最优化算法的重要性。
1 T T T f ( X ) X HX B X C , X x1 , x2 2
4.3.2共轭方向的产生
2 0 S f ( X ) e S 1 e0 0 S 0 e0 T S0 0 2 0 S f (X)S 0 T
S
k 1
e i s
k i 0
k
k
i
2 i S f (X) e k i T 2 i S f ( X ) e S 0 i i i T 2 i i o S f (X)S 2 i S f (X) e S k 1 ek T Si i 2 i i 0 S f (X)S k i T
若f(X)是二次函数，则X*就是f(X)的极小点；
否则只是一个近似点，需进一步迭代。
4.2.2牛顿法的迭代公式及迭代过程
故牛顿法的迭代公式为：
X k 1 X k [ H ( X K )]1 f ( X K ) k 1 k k X X S k k 1 k S [ H ( X )] f ( X )
第三章 非线性规划无约束问题的最优化方法.ppt
能源与动力工程学院
College of Energy and Power Engineering
研究生课程《工程数学》之“最优化方法”
第三章 无约束问题的最优化方法
第三章 无约束问题的最优化方法
第一节 第二节 第三节 第四节
变量轮换法 最速下降法 牛顿法 共轭梯度法
本章主要介绍构造无约束问题(多维)搜索方向的方法。这些方 法大致可分为两类：
第二节 最 速 下 降 法
因为 x(1) - x(4) > 0.01 ，故以x(4)点作为新的x(1) ，进行新一轮迭代。
x(1) = x(4) = (0,0,0)T
轾犏0 轾犏1 轾犏l x(1) + l e1 = 犏犏0 + l 犏犏0 = 犏犏0
犏臌0 犏臌0 犏臌0
( ) f x(1) = 3l 2
式中f(x)具有一阶连续偏导数，有极小点x*。 若现已求得x*的第k次近似值x(k)，为了求得第k+1次近似值x(k+1) ，需选定方向p(k)。 p(k)有什么特征呢？
令 x(k) + l p(k) = x ，其中 l > 0, p(k) = 1. p(k)为某个下降方向。
变量轮换法
min f (x)= 3x12 + 2x22 + x32
给定初始点
x(1) = (1, 2,3)T
当
x(n+1) - x(1) < 0.01
答案：
x(1) = (0, 0, 0)T
时，停止迭代
第二节 最 速 下 降 法
解： e1 = (1,0,0)T ,e2 = (0,1,0)T ,e3 = (0,0,1)T 从初始点 x(1) = (1, 2,3)T 出发，沿x1轴方向e1进行一维搜索：
College of Energy and Power Engineering
研究生课程《工程数学》之“最优化方法”
第三章 无约束问题的最优化方法
第三章 无约束问题的最优化方法
第一节 第二节 第三节 第四节
变量轮换法 最速下降法 牛顿法 共轭梯度法
本章主要介绍构造无约束问题(多维)搜索方向的方法。这些方 法大致可分为两类：
第二节 最 速 下 降 法
因为 x(1) - x(4) > 0.01 ，故以x(4)点作为新的x(1) ，进行新一轮迭代。
x(1) = x(4) = (0,0,0)T
轾犏0 轾犏1 轾犏l x(1) + l e1 = 犏犏0 + l 犏犏0 = 犏犏0
犏臌0 犏臌0 犏臌0
( ) f x(1) = 3l 2
式中f(x)具有一阶连续偏导数，有极小点x*。 若现已求得x*的第k次近似值x(k)，为了求得第k+1次近似值x(k+1) ，需选定方向p(k)。 p(k)有什么特征呢？
令 x(k) + l p(k) = x ，其中 l > 0, p(k) = 1. p(k)为某个下降方向。
变量轮换法
min f (x)= 3x12 + 2x22 + x32
给定初始点
x(1) = (1, 2,3)T
当
x(n+1) - x(1) < 0.01
答案：
x(1) = (0, 0, 0)T
时，停止迭代
第二节 最 速 下 降 法
解： e1 = (1,0,0)T ,e2 = (0,1,0)T ,e3 = (0,0,1)T 从初始点 x(1) = (1, 2,3)T 出发，沿x1轴方向e1进行一维搜索：
第六节_无约束优化方法 鲍威尔ppt课件
1 2 1 1
以最优步长原则确定α2，即为极小化
m i n F () x 1 0 6 0 2
1 1 2 2
.5 2 4
5 x 4 .5
1 2
对于第一轮按终止条件检验
1 1 2 2 x x 5 4 . 5 6 . 7 2 0
计算5轮后，有 故近似优化解为
给定初始点 x 0 ，精度要求ε=0.1 0 解：做第一轮迭代计算 1 1 x x e 沿e1方向进行一维搜索 1 0 1 1 式中， x 01 为第一轮的起始点，取
0
x x
1 0
0
0 1 1 x 1 0 0 0
第六节_无约束 优化方法 鲍威 尔
§4.5
一. 坐标轮换法： 1. 基本思想：
坐标轮换法
每次搜索只允许一个变量 变化，其余变量保持不变， 即沿坐标方向轮流进行搜 索的寻优方法。它把多变 量的优化问题轮流地转化 成单变量（其余变量视为 常量）的优化问题，因此 又称这种方法为变量轮换 法。此种方法只需目标函 数的数值信息而不需要目 标函数的导数。
g ) 0 k
§4.6
鲍威尔方法
jT
一、共轭方向的生成
k 1 k d ( g g ) d G ( x x ) 0 k 1 k jT
结论：从不同的点出 发沿某一方向分别对 函数作两次一维搜索 ，得到两个极小点， 那么这两个极小点的 连线方向与该方向对 G共轭
§4.5
⑵迭代计算
k i
坐标轮换法
k i 1 k i i
x x e
k为迭代轮数的序号，取k=1，2，……； i为该轮中一维搜索的序号，取i=1，2，……n 步长α一般通过一维优化方法求出其最优步长。
以最优步长原则确定α2，即为极小化
m i n F () x 1 0 6 0 2
1 1 2 2
.5 2 4
5 x 4 .5
1 2
对于第一轮按终止条件检验
1 1 2 2 x x 5 4 . 5 6 . 7 2 0
计算5轮后，有 故近似优化解为
给定初始点 x 0 ，精度要求ε=0.1 0 解：做第一轮迭代计算 1 1 x x e 沿e1方向进行一维搜索 1 0 1 1 式中， x 01 为第一轮的起始点，取
0
x x
1 0
0
0 1 1 x 1 0 0 0
第六节_无约束 优化方法 鲍威 尔
§4.5
一. 坐标轮换法： 1. 基本思想：
坐标轮换法
每次搜索只允许一个变量 变化，其余变量保持不变， 即沿坐标方向轮流进行搜 索的寻优方法。它把多变 量的优化问题轮流地转化 成单变量（其余变量视为 常量）的优化问题，因此 又称这种方法为变量轮换 法。此种方法只需目标函 数的数值信息而不需要目 标函数的导数。
g ) 0 k
§4.6
鲍威尔方法
jT
一、共轭方向的生成
k 1 k d ( g g ) d G ( x x ) 0 k 1 k jT
结论：从不同的点出 发沿某一方向分别对 函数作两次一维搜索 ，得到两个极小点， 那么这两个极小点的 连线方向与该方向对 G共轭
§4.5
⑵迭代计算
k i
坐标轮换法
k i 1 k i i
x x e
k为迭代轮数的序号，取k=1，2，……； i为该轮中一维搜索的序号，取i=1，2，……n 步长α一般通过一维优化方法求出其最优步长。
无约束最优化方法最速下降法牛顿法优秀课件
其大中特G征是值n和阶最对小称特正征定值矩。阵设。x*1是和问n题分的别解是2 点G的，最则
最速下降法至少具有线性的收敛速度，并且满足
下面的界：
f (xk1 )
f (x*)
( (
1) 2 1)2
(1 (1
n )2 n )2
[ f (xk )
f (x* )]
xk 1 x*
( 1)2 ( 1)2
最优解，f (x*) 0 ，2 f (xk ) 正定，Hesse矩阵 2 f (x) 满足Lipschitz条件：即存在 0 ，使 得对所有的i，j，有
2 f (x)(i, j) 2 f (y)(i, j) x y , x, y Rn
其中2 f (x)(i, j) 是Hesse矩阵2 f (x) 的 i, j 元素。
1 n
1 1
n n
2
xk
x*
第3.1节 最速下降法（Steepest Method）
[对于定理的说明] （1）在上面定理中，如果考虑的是如下一
般 n阶二对次称目正标定函矩数阵f，(x)则 12有xT类Gx似 b的T x证，明其方中法G证是 明定理同样成立。 （2）当目标函数是二阶连续可微的一致凸 函数时，由上章的推导可知，采用精确线 性搜索的最速下降法产生的迭代点列至少 是线性收敛的。
第3.1节 最速下降法（Steepest Method）
[引理3.4]设 k 0由精确线性搜索确定，
2 f (xk k dk ) M
对一切 0 均成立，其中M是某个正常数，
则有：
f (xk )
f (xk
k
dk
)
1 2M
f (xk ) 2 cos2
dk ,f (xk )
最速下降法至少具有线性的收敛速度，并且满足
下面的界：
f (xk1 )
f (x*)
( (
1) 2 1)2
(1 (1
n )2 n )2
[ f (xk )
f (x* )]
xk 1 x*
( 1)2 ( 1)2
最优解，f (x*) 0 ，2 f (xk ) 正定，Hesse矩阵 2 f (x) 满足Lipschitz条件：即存在 0 ，使 得对所有的i，j，有
2 f (x)(i, j) 2 f (y)(i, j) x y , x, y Rn
其中2 f (x)(i, j) 是Hesse矩阵2 f (x) 的 i, j 元素。
1 n
1 1
n n
2
xk
x*
第3.1节 最速下降法（Steepest Method）
[对于定理的说明] （1）在上面定理中，如果考虑的是如下一
般 n阶二对次称目正标定函矩数阵f，(x)则 12有xT类Gx似 b的T x证，明其方中法G证是 明定理同样成立。 （2）当目标函数是二阶连续可微的一致凸 函数时，由上章的推导可知，采用精确线 性搜索的最速下降法产生的迭代点列至少 是线性收敛的。
第3.1节 最速下降法（Steepest Method）
[引理3.4]设 k 0由精确线性搜索确定，
2 f (xk k dk ) M
对一切 0 均成立，其中M是某个正常数，
则有：
f (xk )
f (xk
k
dk
)
1 2M
f (xk ) 2 cos2
dk ,f (xk )
无约束最优化与非线性规划-PPT精品文档
* f ( X ) 0 的点称为驻点，在区域内部，极值 3）满足
点必为驻点，而驻点不一定为极值点.
2、海赛矩阵
2 f 2 f 2 f 2 x x x x 1 2 1 n 1 x 2 f 2 f 2 f 2 2 H( X ) f ( X ) x x x x x 2 n 2 2 1 2 2 2 f f f x x x x x 2 n 2 n n 1 H( X ) 为函数 f ( X ) 的二阶偏导数矩阵.
可能不是极值点，需视高阶导数的性质而定。
2）极值点的必要条件和充分条件
定义1
* n n 1 min f ( X ), 其中 f : E E 问题，设 是任意 X E 对于 n
给定点，P为非零向量，若存在一个数 0 ，使得对于 * * (0 ,)，都有 f( X p ) f( X )，则称P是 f ( x) 任意 在 X * 处的下降方向. n n 1 n X E E在 定理1 设 f : E 可微，如果存在向量P ，使得 E
无约束最优化和非线性规划
1.建模实例 2.数学预备知识 3.无约束最优化问题的解 4.非线性规划的数学模型 5.非线性规划的解 6.非线性规划建模实例
1.建模实例
如图1，有一条河，两个工厂P 和Q位于河岸L（直线）的同一 侧，工厂 P 和 Q 距离河岸L分别为8千米和10千米，两个工厂的 距离为14千米，现要在河的工厂一侧选一点R，在R处建一个水 泵站，向两工厂P、Q 输水，请你给出一个经济合理的设计方 案。 14 P Q
是半正定的.
* n 定理4 (二阶充分条件)设 f 在点 X 二阶可微，如果 f (X*) 0 E
点必为驻点，而驻点不一定为极值点.
2、海赛矩阵
2 f 2 f 2 f 2 x x x x 1 2 1 n 1 x 2 f 2 f 2 f 2 2 H( X ) f ( X ) x x x x x 2 n 2 2 1 2 2 2 f f f x x x x x 2 n 2 n n 1 H( X ) 为函数 f ( X ) 的二阶偏导数矩阵.
可能不是极值点，需视高阶导数的性质而定。
2）极值点的必要条件和充分条件
定义1
* n n 1 min f ( X ), 其中 f : E E 问题，设 是任意 X E 对于 n
给定点，P为非零向量，若存在一个数 0 ，使得对于 * * (0 ,)，都有 f( X p ) f( X )，则称P是 f ( x) 任意 在 X * 处的下降方向. n n 1 n X E E在 定理1 设 f : E 可微，如果存在向量P ，使得 E
无约束最优化和非线性规划
1.建模实例 2.数学预备知识 3.无约束最优化问题的解 4.非线性规划的数学模型 5.非线性规划的解 6.非线性规划建模实例
1.建模实例
如图1，有一条河，两个工厂P 和Q位于河岸L（直线）的同一 侧，工厂 P 和 Q 距离河岸L分别为8千米和10千米，两个工厂的 距离为14千米，现要在河的工厂一侧选一点R，在R处建一个水 泵站，向两工厂P、Q 输水，请你给出一个经济合理的设计方 案。 14 P Q
是半正定的.
* n 定理4 (二阶充分条件)设 f 在点 X 二阶可微，如果 f (X*) 0 E
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
最速下降法是一种最基本的算法，它在最优化方法中占有重要地位.最
速下降法的优点是工作量小，存储变量较少,初始点要求不高；缺点是收敛
慢，最速下降法适用于寻优过程的前期迭代或作为间插步骤，当接近极值
点时，宜选用别种收敛快的算法.
2．牛顿法算法步骤：
(1) 选定初始点 X 0 E n ，给定允许误差 0 ，令 k=0；
调用函数
linprog,quadprog
fminbnd,fminsearch,fminunc, fmincon,lsqcurvefit,lsqnonlin,
fgoalattain,fminimax
quadprog
linprog,quadprog,fgoalattain, fmincon, fminimax
极小极大问题
模
型
Min F（x）s.t.x1<x<x2
Min F(X)
Min cT X
s.t.AX<=b Min 1 xTHx+cTx
2
s.t. Ax<=b Min F(X)
s.t. G(X)<=0 Min r
s.t. F(x)-wr<=goal Min max {Fi(x)}
X {Fi(x)}
s.t. G(x)<=0
其中（3）、（4）、（5）的等式右边可选用（1）或 （2）的等式右边。
函数fminbnd的算法基于黄金分割法，它要求目标函数 必须是连续函数，并可能只给出局部最优解。
例 1 求 f = 2ex sin x 在 0<x<8 中的最小值与最大值
主程序为wliti1.m:
f='2*exp(-x).*sin(x)';
先编写M文件fun0.m如下: function f=fun0(x) f=-(3-2*x).^2*x;
主程序为wliti2.m: [x,fval]=fminbnd('fun0',al
To Matlab(wliti2)
运算结果为: xmax = 0.5000,fmax =2.0000.即剪掉的正方形的 边长为0.5米时水槽的容积最大,最大容积为2立方米.
变量
描述
由优化函数求得的值.若exitflag>0,则x
x
为解;否则,x不是最终解,它只是迭代制止
时优化过程的值
fval
解x处的目标函数值
exitflag output
描述退出条件: exitflag>0,表目标函数收敛于解x处 exitflag=0,表已达到函数评价或迭代
的最大次数 exitflag<0,表目标函数不收敛
若满足，则停止迭代，得点 X * X k ，否则进行⑷；
⑷ 令 S k f X k ，从 X k 出发，沿 S k 进行一维搜索，
即求 k 使得：
min f
0
X k S k
f
X k k S k
；
⑸ 令 X k1 X k k S k ，k=k+1 返回⑵.
牛顿方向改为：
G k 1 S k 1 =-f ( X k 1 ) ， S k 1 =-H k1 f ( X k 1 )
从而得到下降方向.
通常采用迭代法计算G k 1 ，H k 1 ，迭代公式为:
BFGS（Boryden-Fletcher-Goldfarb-Shanno）公式
G k1 G k f k (f k )T G k x k (x k )T G k (f k )T x k (x k )T G k x k
linprog,quadprog,fgoalattain, fmincon, fminimax
linprog,quadprog,fgoalattain, fmincon,fminimax,lsqcurvefit,
lsqnonlin 除fminbnd外所有优化函数
fminbnd 所有优化函数
3. 优化函数的输出变量下表:
2. 优化函数的输入变量
使用优化函数或优化工具箱中其它优化函数时, 输入变量见下表:
变量 f
fun
H A,b Aeq,beq
vlb,vub X0
x1,x2 options
描述 线性规划的目标函数f*X 或二次规划的目标函
数X’*H*X+f*X 中线性项的系数向量
非线性优化的目标函数.fun必须为行命令对象 或M文件、嵌入函数、或MEX文件的名称
或[x，fval]= fminsearch（...）
（4）[x，fval，exitflag]= fminunc（...）；
或[x，fval，exitflag]= fminsearch
（5）[x，fval，exitflag，output]= fminunc（...）；
或[x，fval，exitflag，output]= fminsearch（...）
包含优化结果信息的输出结构. Iterations:迭代次数
Algorithm:所采用的算法 FuncCount:函数评价次数
调用函数 所有优化函数 linprog,quadprog,fgoalattain, fmincon,fminimax,lsqcurvefit, lsqnonlin, fminbnd
数学建模与数学实验
无约束最优化
实验目的
1、了解无约束最优化基本算法。 2、掌握用数学软件包求解无约束最优化问题。
实验内容
1、无约束优化基本思想及基本算法。 2、MATLAB优化工具箱简介 3、用MATLAB求解无约束优化问题。 4、实验作业。
无约束最优化问题
求解无约束最优化问题的的基本思想 *无约束最优化问题的基本算法
3．拟牛顿法
为克服牛顿法的缺点，同时保持较快收敛速度的优点，利用第 k 步
和第 k+1 步得到的 X k ， X k1 ，f ( X k ) ，f ( X k1 ) ，构造一个正定
矩阵 G k1 近似代替 2 f ( X k ) ,或用H k1 近似代替( 2 f ( X k )) 1 ，将
所有优化函数
用Matlab解无约束优化问题
1. 一元函数无约束优化问题: min f（x） x1 x x2
常用格式如下：
（1）x= fminbnd (fun,x1,x2) （2）x= fminbnd (fun,x1,x2 ，options)
（3）[x，fval]= fminbnd（...） （4）[x，fval，exitflag]= fminbnd（...） （5）[x，fval，exitflag，output]= fminbnd（...）
例3 min f(x)=(4x12+2x22+4x1x2+2x2+1)*exp(x1)
1、编写M-文件 fun1.m: function f = fun1 (x) f = exp(x(1))*(4*x(1)^2+2*x(2)^2+4*x(1)*x(2)+2*x(2)+1)
返回
求解无约束最优化问题的基本思想
标准形式：
其中
min f X
X E n
f : En E1
max f X = min [ f X ]
X E n
X E n
求解的基本思想 ( 以二元函数为例 )
f (x1 x2 )
连 续 可 微
0
x1
x2
f (X0) f (X1) f (X2)
二次规划的目标函数X’*H*X+f*X 中二次项的系 数矩阵
A矩阵和b向量分别为线性不等式约束：
AX b 中的系数矩阵和右端向量
Aeq矩阵和beq向量分别为线性等式约束：
Aeq X beq 中的系数矩阵和右端向量
X的下限和上限向量：vlb≤X≤vub
迭代初始点坐标 函数最小化的区间 优化选项参数结构，定义用于优化函数的参数
(2) 求f X k , 2 f X k 1 ,检验：若 f X k ,则
停止迭代, X * X k .否则, 转向(3)；
(3) 令 S k [ 2 f X k ]1f X k （牛顿方向）；
(4) X k1 X k S k , k k 1 ,转回(2).
(f k )T X k
(f k )T H k f k
计算时可置H 1 I （单位阵），对于给出的 X 1 利
用上面的公式进行递推.这种方法称为拟牛顿法.
返回
Matlab优化工具箱简介
1.MATLAB求解优化问题的主要函数
类型
一元函数极小 无约束极小
线性规划
二次规划 约束极小 （非线性规划） 达到目标问题
fplot(f,[0,8]);
%作图语句
[xmin,ymin]=fminbnd (f, 0,8)
f1='-2*exp(-x).*sin(x)';
[xmax,ymax]=fminbnd (f1, 0,8)
运行结果： xmin = 3.9270 xmax = 0.7854
To Matlab(wliti1)
X0
31
X1
X2
x2
5
0
x1
唯一极小 (全局极小)
f 0.298
f 0
f (x1 x2 ) 2x12 2x1x2 x22 3x1 x2
多局部极小
f 0.298
搜索过程 min f (x1 x2 ) 100 (x2 x12 )2 (1 x1)2
x1 x2 f
基本函数名 x=fminbnd(‘F’,x1,x2)
X=fminunc(‘F’,X0) X=fminsearch(‘F’,X0)
速下降法的优点是工作量小，存储变量较少,初始点要求不高；缺点是收敛
慢，最速下降法适用于寻优过程的前期迭代或作为间插步骤，当接近极值
点时，宜选用别种收敛快的算法.
2．牛顿法算法步骤：
(1) 选定初始点 X 0 E n ，给定允许误差 0 ，令 k=0；
调用函数
linprog,quadprog
fminbnd,fminsearch,fminunc, fmincon,lsqcurvefit,lsqnonlin,
fgoalattain,fminimax
quadprog
linprog,quadprog,fgoalattain, fmincon, fminimax
极小极大问题
模
型
Min F（x）s.t.x1<x<x2
Min F(X)
Min cT X
s.t.AX<=b Min 1 xTHx+cTx
2
s.t. Ax<=b Min F(X)
s.t. G(X)<=0 Min r
s.t. F(x)-wr<=goal Min max {Fi(x)}
X {Fi(x)}
s.t. G(x)<=0
其中（3）、（4）、（5）的等式右边可选用（1）或 （2）的等式右边。
函数fminbnd的算法基于黄金分割法，它要求目标函数 必须是连续函数，并可能只给出局部最优解。
例 1 求 f = 2ex sin x 在 0<x<8 中的最小值与最大值
主程序为wliti1.m:
f='2*exp(-x).*sin(x)';
先编写M文件fun0.m如下: function f=fun0(x) f=-(3-2*x).^2*x;
主程序为wliti2.m: [x,fval]=fminbnd('fun0',al
To Matlab(wliti2)
运算结果为: xmax = 0.5000,fmax =2.0000.即剪掉的正方形的 边长为0.5米时水槽的容积最大,最大容积为2立方米.
变量
描述
由优化函数求得的值.若exitflag>0,则x
x
为解;否则,x不是最终解,它只是迭代制止
时优化过程的值
fval
解x处的目标函数值
exitflag output
描述退出条件: exitflag>0,表目标函数收敛于解x处 exitflag=0,表已达到函数评价或迭代
的最大次数 exitflag<0,表目标函数不收敛
若满足，则停止迭代，得点 X * X k ，否则进行⑷；
⑷ 令 S k f X k ，从 X k 出发，沿 S k 进行一维搜索，
即求 k 使得：
min f
0
X k S k
f
X k k S k
；
⑸ 令 X k1 X k k S k ，k=k+1 返回⑵.
牛顿方向改为：
G k 1 S k 1 =-f ( X k 1 ) ， S k 1 =-H k1 f ( X k 1 )
从而得到下降方向.
通常采用迭代法计算G k 1 ，H k 1 ，迭代公式为:
BFGS（Boryden-Fletcher-Goldfarb-Shanno）公式
G k1 G k f k (f k )T G k x k (x k )T G k (f k )T x k (x k )T G k x k
linprog,quadprog,fgoalattain, fmincon, fminimax
linprog,quadprog,fgoalattain, fmincon,fminimax,lsqcurvefit,
lsqnonlin 除fminbnd外所有优化函数
fminbnd 所有优化函数
3. 优化函数的输出变量下表:
2. 优化函数的输入变量
使用优化函数或优化工具箱中其它优化函数时, 输入变量见下表:
变量 f
fun
H A,b Aeq,beq
vlb,vub X0
x1,x2 options
描述 线性规划的目标函数f*X 或二次规划的目标函
数X’*H*X+f*X 中线性项的系数向量
非线性优化的目标函数.fun必须为行命令对象 或M文件、嵌入函数、或MEX文件的名称
或[x，fval]= fminsearch（...）
（4）[x，fval，exitflag]= fminunc（...）；
或[x，fval，exitflag]= fminsearch
（5）[x，fval，exitflag，output]= fminunc（...）；
或[x，fval，exitflag，output]= fminsearch（...）
包含优化结果信息的输出结构. Iterations:迭代次数
Algorithm:所采用的算法 FuncCount:函数评价次数
调用函数 所有优化函数 linprog,quadprog,fgoalattain, fmincon,fminimax,lsqcurvefit, lsqnonlin, fminbnd
数学建模与数学实验
无约束最优化
实验目的
1、了解无约束最优化基本算法。 2、掌握用数学软件包求解无约束最优化问题。
实验内容
1、无约束优化基本思想及基本算法。 2、MATLAB优化工具箱简介 3、用MATLAB求解无约束优化问题。 4、实验作业。
无约束最优化问题
求解无约束最优化问题的的基本思想 *无约束最优化问题的基本算法
3．拟牛顿法
为克服牛顿法的缺点，同时保持较快收敛速度的优点，利用第 k 步
和第 k+1 步得到的 X k ， X k1 ，f ( X k ) ，f ( X k1 ) ，构造一个正定
矩阵 G k1 近似代替 2 f ( X k ) ,或用H k1 近似代替( 2 f ( X k )) 1 ，将
所有优化函数
用Matlab解无约束优化问题
1. 一元函数无约束优化问题: min f（x） x1 x x2
常用格式如下：
（1）x= fminbnd (fun,x1,x2) （2）x= fminbnd (fun,x1,x2 ，options)
（3）[x，fval]= fminbnd（...） （4）[x，fval，exitflag]= fminbnd（...） （5）[x，fval，exitflag，output]= fminbnd（...）
例3 min f(x)=(4x12+2x22+4x1x2+2x2+1)*exp(x1)
1、编写M-文件 fun1.m: function f = fun1 (x) f = exp(x(1))*(4*x(1)^2+2*x(2)^2+4*x(1)*x(2)+2*x(2)+1)
返回
求解无约束最优化问题的基本思想
标准形式：
其中
min f X
X E n
f : En E1
max f X = min [ f X ]
X E n
X E n
求解的基本思想 ( 以二元函数为例 )
f (x1 x2 )
连 续 可 微
0
x1
x2
f (X0) f (X1) f (X2)
二次规划的目标函数X’*H*X+f*X 中二次项的系 数矩阵
A矩阵和b向量分别为线性不等式约束：
AX b 中的系数矩阵和右端向量
Aeq矩阵和beq向量分别为线性等式约束：
Aeq X beq 中的系数矩阵和右端向量
X的下限和上限向量：vlb≤X≤vub
迭代初始点坐标 函数最小化的区间 优化选项参数结构，定义用于优化函数的参数
(2) 求f X k , 2 f X k 1 ,检验：若 f X k ,则
停止迭代, X * X k .否则, 转向(3)；
(3) 令 S k [ 2 f X k ]1f X k （牛顿方向）；
(4) X k1 X k S k , k k 1 ,转回(2).
(f k )T X k
(f k )T H k f k
计算时可置H 1 I （单位阵），对于给出的 X 1 利
用上面的公式进行递推.这种方法称为拟牛顿法.
返回
Matlab优化工具箱简介
1.MATLAB求解优化问题的主要函数
类型
一元函数极小 无约束极小
线性规划
二次规划 约束极小 （非线性规划） 达到目标问题
fplot(f,[0,8]);
%作图语句
[xmin,ymin]=fminbnd (f, 0,8)
f1='-2*exp(-x).*sin(x)';
[xmax,ymax]=fminbnd (f1, 0,8)
运行结果： xmin = 3.9270 xmax = 0.7854
To Matlab(wliti1)
X0
31
X1
X2
x2
5
0
x1
唯一极小 (全局极小)
f 0.298
f 0
f (x1 x2 ) 2x12 2x1x2 x22 3x1 x2
多局部极小
f 0.298
搜索过程 min f (x1 x2 ) 100 (x2 x12 )2 (1 x1)2
x1 x2 f
基本函数名 x=fminbnd(‘F’,x1,x2)
X=fminunc(‘F’,X0) X=fminsearch(‘F’,X0)