数学建模与数学实验第5讲 无约束优化
(05)第四章-无约束优化方法(梯度法-牛顿法和变尺度法)
第四章
第四章
无约束优化问题标准形式：
无约束优化问题标准形式：
§
§
§
§
§
§
图最速下降法的收敛过程
αα
2
2
例4－1 求目标函数
取初始点
[2,2]
=
x
例4－2 求目标函数解取初始点[2,2]
=x
算出一维搜索最佳步长
§
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
梯度法的特点
x
给定0,ε
一般迭代式：
§4.3
§4.3
§4.3
§4.3
α0
d 0
x
x 1
x*
1
α1d 1
1()
f −∇x d 1
4-4 共轭方向法
假设目标函数f (x ) 在极值点附近的二次近似函数为
沿某个下降方向
如果能够选定这样的搜索方向，那么对于二
α
0d0
x0x1x*
1
α
1
d1
1
()
f
−∇x d
1。
05无约束优化方法
xk1 xk k Hf xk
它和梯度法的公式只差一个H，牛顿法就可以看 成是经过尺度变换后的 剃度法。经过尺度变换，使 函数的偏心率减小到0，函数的等值面变成球面，使 设计空间中任意点处的梯度都通过极小点。（对二 次函数）。
0
1 50
只需通过一次迭代即可求得极小点 x* 0 0T
比较牛顿法迭代公式 和梯度法迭代公式
xk1 xk kQQT f xk xk1 xk kf xk
可以看出，差别在于牛顿法中多了QQT部分。
QQT实际上是在x空间内测量距离大小的一种度量，
根据上述拟牛顿条件，不通过海赛矩阵求逆就可
以构造一个矩阵H
k
1来逼近海赛矩阵的逆阵
G 1 k 1
，这类
方法统称作拟牛顿法。由于变尺度矩阵的建立应用了
拟牛顿条件，所以变尺度法也是属于一种拟牛顿法。 还可以证明，变尺度法对于具有正定矩阵G的二次函数， 能产生对G共轭的搜索方向，因此变尺度法又可以看成 是一种共轭方向法。
G1 gk 1 gk xk 1 xk
如果迫使H k 1满足类似于上式的关系
Hk1 gk1 gk xk1 xk
那么H k 就可以很好地近似于Gk11。
上述关系称拟牛顿条件
yk gk 1 gk
sk xk 1 xk
H k 1 yk sk
gk1 f xk1 , yk gk1 gk , sk xk1 xk
例子：
f
x1,
x2
x12
数学实验——无约束优化
实验6无约束优化分1黄浩43实验目的1. 掌握用MATLAB优化工具箱的基本用法，对不同算法进行初步分析、比较2. 练习用无约束优化方法建立和求解实际问题模型（包括非线性最小二乘拟合）。
二、实验内容1. 《数学实验》第二版（问题2.1）问题叙述：取不同的初值计算非线性规划：尽可能求出所有局部极小点，进而找出全局极小点，并对不同算法（搜索方向、步长搜索、数值梯度与分析梯度等）的结果进行分析、比较。
实验过程：首先绘制这个函数的三维图形以及等高线（程序见四.1），结果如下:s M tn0-”19 A8 A1G \ 5 -14 -13 \ 2 A1通过观察这两幅图，可以得到，x2确定时，x1越负，函数值越大，x1确定时，x2绝对值越大，函数值越大。
但对于x1正向偏离0的情况，并没有很好的反映，于是扩大绘图范围，做出下图（程序见四.2）：-1 -10由上面两幅图可见，方程像是一个四角被捏起的花布，而且z的最小值为0< 因此只要求解该方程的零点，即得到了方程的局部极小点，且若将原方程变形为:我们容易发现，该方程的零点为：x2=0或x1=0或x1=1或在求解零点之前，先针对一个零点，不妨用x1=1, x2=1，分析不同算法的优劣。
在matlab的无约束优化中，可以使用fminumc和fminsearch两种函数，搜索方向的算法有BFGS 公式、DFP公式和最速下降法三种（书中还提到的Gill-Murray 公式在matlab中已经不再使用），步长的一维搜索有混合二次三次多项式插值和三次多项式插值两种方法，另外，在求解函数梯度是也有数值方法和分析方法两种。
在对上述四类算法因素进行分析时，我们采用控制变量法，每次只保持一种或两种算法因素改变，分析它的精度及效率。
（一）分析fminumc与fminsearch两种方法的精度及效率选择初值为x1=0.8,x2=0.8，使用fminunc和fminsearch的默认算法及控制参数，输出结果如下（程序见四.3、四.4）：因为精确解为x1=1, z=0,我们便可以比较出不同算法的精度。
数学建模案例之多变量无约束最优化
数学建模案例之多变量无约束最优化多变量无约束最优化问题是指在变量间没有限制条件的情况下，求解目标函数的最优值。
这类问题在数学建模中非常常见，实际应用非常广泛。
下面以一个实际案例说明多变量无约束最优化的建模过程。
假设地有几个旅游景点，现在需要制定一个旅游路线，使得游客的游玩时间最长，同时经济成本最低。
已知每个旅游景点之间的距离和游玩时间，以及游客每次游玩每公里所需的成本。
目标是找到一条旅游路线，使得游客在游览所有景点后，花费的经济成本最少。
首先，我们需要定义问题的数学模型。
假设有n个旅游景点，用x1, x2, ..., xn表示每个景点的游玩时间（单位：小时），用dij表示第i个景点和第j个景点之间的距离（单位：公里），用c表示游客游玩每公里所需的成本。
为了定义问题的数学模型，我们需要明确如下几个关键部分：1. 决策变量：定义一个n维向量X，其中每一个分量xi表示游客在第i个景点的游玩时间。
2. 目标函数：定义一个目标函数f(X)，表示游客花费的经济成本。
在本例中，目标函数可以定义为：f(X) = ∑dij * xi * c。
3.约束条件：由于是无约束最优化问题，这里没有额外的约束条件。
有了以上几个关键部分，我们可以将问题的数学模型表达为如下形式：最小化：f(X) = ∑dij * xi * c其中，i=1,2,...,n下一步是求解这个最优化问题。
可以使用各种数值优化算法，比如梯度下降法、牛顿法、遗传算法等。
具体的求解过程会涉及到算法的具体细节，这里不再详述。
最后，根据求解结果，我们可以得到游玩时间最长且经济成本最低的旅游路线。
这条路线就是我们需要制定的旅游路线。
总结起来，多变量无约束最优化问题在数学建模中的应用非常广泛。
通过定义合适的决策变量、目标函数和约束条件，可以将实际问题转化为数学模型，并通过数值优化算法求解这个模型，得到最优解。
在实际应用中，对于复杂的问题，可能需要结合多种算法和技巧来求解。
最优化方法：第五章 常用无约束优化方法
g1
0.73846 0.04616
1.47692 0.42500 0.36923
0.11076 0.11076
束 优
f (X1) 0.06134， g2 f (X 2 ) 00..2828105028， g2 0.91335．
化 因为 方 法
g1T g0 0.0000，
g
T 2
g1
方
（4）计算 X k1 X k Pk，f k1 f ( X k1 )，gk1 g( X k1) .
法 （5）判别终止准则是否满足：若满足，则打印最优解X k1
，fk1 结束；否则，置k k 1 ，转（2）．
第 五 章 常 用 无 约 束 优 化 方 法
例5.2 试用Newton法求 f (x1，x2 ) x12 4x22 的极小点，初 始点取为 X 0 [1, 1]T ．
方 法
, X k1 f (X k1) ,结束；否则，置 k k 1，转（2）．
将最速下降法应用于正定二次函数
f (X ) 1 X T AX bT X c （5.4）
2
第
可以推出显式迭代公式．
五
设第k次迭代点为Xk，我们来求Xk+1的表达式．对式
章 （5.4）关于X求梯度，有
常
g(X ) AX b （5.5）
Pk [2 f (X k )]1f ( X k )
步长因子 tk 1
方向 Pk [2 f (X k )]1f (X k ) 是直指点 X k 处近似二次函数
Q(X )的极小点的方向．此时称此方向为从点 X k 出发的
Newton方向．从初始点开始，每一轮从当前迭代点出发，
第
沿Newton方向并取步长 的tk 算1 法称为Newton法．
无约束优化方法
三. 内容：
一维搜索： 求最优步长因子α(k)
多维（变量）优化：确定搜索方向 S (k)
黄金分割 切线法 平分法 插值法 格点法
坐标轮换法 最速下降法 共轭方向法 鲍威尔法 梯度法 共轭梯度法 牛顿法 单形替换法 变尺度法
比较两试点函数值，由于 作前进搜索
此时，三个试点 函数值已经出现“高－低－高”特征， 得搜索区间为
3.2 一维搜索方法
α3(2)
黄金分割法 (0.618) ：
序列消去原理：
f (α)
α
α3(1)
α12
α*
α1(1)
0
α11
α21 α22
α1(2)
α1(3)
α3(3)
1.解析法：
定义:
在第K次迭代时，从已知点 X(k)出发，沿给定方向求最优步长因子α(k)，使 f (X(k) + α S(k) )达到最小值的过程，称为一维搜索。
பைடு நூலகம்
对α求导，令其为零。
01
直接法——应用序列消去原理：
02
分数法、黄金分割法
03
近似法——利用多项式函数逼近（曲线拟合）原理：
总结：将优化问题转化为一系列的一维搜索问题
沿方向S的一维搜索
3.2 一维搜索方法
单峰区间解析概念：
在区间 [α1，α3 ]内，函数只有一个峰值，则此区间为单峰区间。单峰区间内，一定存在一点α*，当任意一点α2＞α*时，f(α2)＞f(α*)，
说明： 单峰区间内，函数可以有不可微点，也可以是不连续函数；
3.1 引言
无约束优化方法计算步骤：
若已经取得某设计点x(k)，并且该点不是近似极小点，则在x(k)点根据函数f(x)的性质，选择一个方向S(k)，并且沿此方向搜索函数值是下降的，称下降方向。 当搜索方向S(k)确定后，由x(k)点出发，沿S(k)方向进行搜索， 定出步长因子 (k)，得到新的设计点：
无约束优化-线搜索法LineSearchMethodforUnconstrained
contour of f
p(k )
仅对(严格凸)二次函数有解析表达式
x( k 1)
x(k )
第 5 章 无约束优化：线搜索法
数学规划基础
LHY-SMSS-BUAA
最速下降法－收敛性与收敛速率 牛顿法－基本牛顿法和修正牛顿法 拟牛顿法－割线方程、BFGS与DFP更新 共轭梯度法－线性和非线性共轭梯度法
理想情况：二次函数＋精确线搜索
用 x(k) 表示 x(k+1) 的闭合形式！
第 5 章 无约束优化：线搜索法
数学规划基础
LHY-SMSS-BUAA
最速下降法－收敛速度(续)
加权/椭球范数： 事实：
Kantorovich不等式 对于任意 n×n 阶对称矩阵 G，有
其中 和 分别是 G 的最大和最小特征值.
第 5 章 无约束优化：线搜索法
数学规划基础
LHY-SMSS-BUAA
最速下降法
第 5 章 无约束优化：线搜索法
数学规划基础
LHY-SMSS-BUAA
最速下降法－动机与收敛性
Cauchy(1847)最早提到的，也称梯度下降法或梯度法. 搜索方向：最速下降方向，即
以任何方式使用负梯度方向的方法都是最速下降法！
终止准则：
第 5 章 无约束优化：线搜索法
仅对二次函数, 精确步长有解析表达式*****
数学规划基础
LHY-SMSS-BUAA
第 5 章 无约束优化：线搜索法
数学规划基础
LHY-SMSS-BUAA
第 5 章 无约束优化：线搜索法
数学规划基础
LHY-SMSS-BUAA
最速下降法－收敛速度
• 最速下降法是线性收敛的 • 收敛因子 a 依赖于Hessian阵的条件数 矩阵奇异与非奇异是定性的刻画，非此即彼！条件数 是矩阵非奇异时良态的度量，是定量的刻画！
第5讲 无约束优化
3、运行结果: x= 0.5000 -1.0000 y = 1.3029e-10
•fminsearch是用单纯形法寻优. fminunc的算法见以下几点说明：
[1] fminunc为无约束优化提供了大型优化和中型优化算法。 由options中的参数LargeScale控制：
LargeScale=’on’(默认值), 使用大型算法 LargeScale=’off’(默认值), 使用中型算法
4. 用fminunc 函数 (1)建立M-文件fun2.m function f=fun2(x)
f=100*(x(2)-x(1)^2)^2+(1-x(1))^2
(2)主程序
oldoptions=optimset('fminunc'); options=optimset(oldoptions,'LargeScale','off'); options11=optimset(options,'HessUpdate','dfp'); [x11,fval11,exitflag11,output11]=fminunc('fun2', [-1.2 2],options11); pause options21=optimset(options,'HessUpdate','bfgs'); [x21,fval21,exitflag21,output21]=fminunc('fun2', [-1.2 2],options21) pause options31=optimset(options,'HessUpdate','steepdesc'); [x31,fval31,exitflag31,output31]=fminunc('fun2', [-1.2 2],options31) pause options32=optimset(options,'HessUpdate','steepdesc','MaxIter',8000,'MaxFunEvals',8000); [x32,fval32,exitflag32,output32]=fminunc('fun2', [-1.2 2],options32) pause options33=optimset(options,'HessUpdate','steepdesc','MaxIter',9000,'MaxFunEvals',9000)； [x33,fval33,exitflag33,output33]=fminunc('fun2', [-1.2 2],options33)
ch05常用无约束最优化方法
f ( x ) 0
定理5.3(二阶必要条件) 设f(x)在x*的某个邻域内具 有连续的二阶偏导数, 则x*是f(x) 的局部极小值点的必 要条件是 f ( x ) 0 且 2 f ( x * ) 半正定
3
常用无约束最优化方法
定理5.4(二阶充分条件) 设f(x)在x*的某个邻域内具有 连续的二阶偏导数, 若 f ( x ) 0且 2 f ( x * )正定, 则x* 是f(x)的严格局部极小点(Isolated local minimum)。 定理5.5 阶偏导数, 若f ( x ) 0且 2 f ( x) 半正定, 则x*是f(x)的 局部极小点。 定理5.6 设f(x)是Rn上的凸函数且f(x)具有连续的偏导 数, 则x*是f(x)的全局极小点(Global minimum)的充分 必要条件是 设f(x)在x*的某个邻域 N
T
x (1,0) , x
1
2
2 0 2 2 0 (4) f (x ) , f (x ) 0 2 0 2
2 (3)
由定理5.1和定理5.3知x(2)是局部极小点。
5
常用无约束最优化方法
求解问题(5.1)具体做法为： 给定初值x(0), 按照某一个规则构造迭代序列 {x( k ) }, k 1, 2, 使
(k ) x2
2 0.001598082 -0.040008249 0.953703372 -0.046349362
常用无约束最优化方法
5.2.2 最速下降法
1847年Cauchy给出了最速下降法。
f ( x ( k 1) ) f ( x ( k ) k f ( x ( k ) )) min f ( x ( k ) f ( x ( k ) ))
实验五：无约束优化
实验五：无约束优化班级 姓名 学号一、实验目的：学会用matlab 软件求解单变量和多变量无约束优化问题。
二、实验要求：1. 熟悉一维搜索的方法：进退法、黄金分割法、抛物线插值法、Armijo 准则；2. 熟悉求解多变量无约束问题的方法：变量轮换法、最速下降法、牛顿法、共轭梯度法；3. 会用matlab 软件求解无约束优化问题。
三、实验内容：1、试用matlab 优化工具箱中的fmincon 函数求解下列非线性规划问题：2221232212323123212223123m in ()8020..2023,,0f x x x x x x x x x x s t x x x x x x x =+++⎧-+≥⎪++≤⎪⎪--+=⎨⎪+=⎪⎪≥⎩(1)给出matlab 源代码； (2)求解结果粘贴.2、(精确一维搜索) 用0.618法求函数2()sin f x x x =-在[]0,1上的极小点，取自变量的允许误差为410δ-=，函数变量的允许误差为510ε-=。
3、(不精确一维搜索) Armijo 准则是许多非线性规划算法求步长时都必须执行的步骤。
Armijo 准则是指给定()0,1,(0,0.5),βσ∈∈令步长因子km k αβ=，其中km 是满足下列不等式的最小非负整数()()()mmTk k k k k f x d f x g d βσβ+≤+*这里k g 是函数()f x 在当前迭代点k x 处的梯度函数，k d 是当前迭代点k x 处的搜索方向. 可以证明()f x 若是连续可微的且满足0T k k g d <，则准则是有限终止的，即存在正数σ，使得对于充分大的正整数m ，()*成立.为了程序实现的方便，我们把Armijo 准则描述成下列详细的算法步骤： 算法1（Armijo 准则）步0：给定()0,1,(0,0.5),βσ∈∈令:0m =；步1：若不等式()()m m T k k k k k f x d f x g d βσβ+≤+成立， 置:,k m m = 1:km k k k x x d β+=+，停止.否则,转步2；步2：令:1m m =+，转步1.（1）试将上述的Armijo 准则编制成可重复利用的matlab 程序模块。
第五章 无约束优化方法
由（5.3）得 X (1) X (0) [H ( X (0) )]1 F ( X (0) ) 0 3 1
S (0) 1 4,10T 0.3714 ,0.9285 T 10.770329
2 2 例 5-3 试用牛顿法求例5-1给出的目标函数 f ( X ) x1 x2 x1 x2 4x1 10x2 60的极小值， ( 0) T 设初始点 X (0) [ x1(0) , x2 ] [0，0]。 2 f 2 f
f ( X ) f ( X ) T 解： f ( X ( 0) ) , 4,10 x 2 x1
(0)
6 8
H 1F
X (k ) X*
X
X (1) 6 8
T
(1)
X
S
( 0)
x1(1) 0 0.3714 0.3714 0.9285 (1) 0 0 . 9285 x2
f ( X ) f ( X ) T 解： f ( X ) , 2 x1 x 2 4,2 x 2 x1 10 x 2 x1 2 2 f ( X ( 0) ) f ( X ( 0) ) ( 0) 2 2 f ( X ) x x (4) (10) 10.770329 1 2
即为最优点，只迭代一次就达到了X*。
图5.8牛顿法的修正
• 5.3.2 牛顿法的特点
由上述可见，当目标函数为二次函数时，收敛很快，属于二阶收敛，是目前算法中最快的 一种。即使目标函数不是二次函数，当初始点选得好时，也会很快收敛。但如果目标函数 非凸，初始点选择不当有可能远离极小点或导致不收敛（图5.8）。基于这种原因，为保 证每次迭代下降，对古典的牛顿法要做些修改，于是便出现了修正牛顿法。其修正方法是 在 X ( k ) 沿牛顿方向做一次一维搜索，避免远离极小点 X (k 1) X (k ) k [H ( X (k ) )]1 F ( X (k ) )
无约束优化
第八节 Powell法（方向加速法）
Powell法是利用共轭方向能够加速收敛旳性质 所形成旳一种搜索算法。
一、共轭方向旳生成
二、基本算法
三、改善旳算法
在鲍维尔基本算法中，每一轮迭代都用连结始点和终点 所产生出旳搜索方向去替代原来向量组中旳第一种向量， 而不论它旳“好坏”。
gk1 gk 与 d k 旳共轭方向 d j 正交。
图4-9 共轭梯度法旳几何阐明
第六节变尺度法
变尺度法旳基本思想：
前面讨论旳梯度法和牛顿法，它们旳迭代公式能够看作下列 公式旳特例。
xk1 xk k Hf xk
变尺度法是对牛顿法旳修正，它不是计算二阶导数旳矩阵和 它旳逆矩阵，而是设法构造一种对称正定矩阵H来替代Hesse 矩阵旳逆矩阵。并在迭代过程中，使其逐渐逼近H-1 。
优化设计追求目旳函数值最小，若搜索方向取该点旳负梯度 方向，使函数值在该点附近旳范围内下降最快。
按此规律不断走步，形成下列迭代算法：
xk1 xk akf xk
以负梯度方向为搜索方向，所以称最速下降法或梯度法。
搜索方向拟定为负梯度方向，还需拟定步长因子ak
即求一维搜索旳最佳步长，既有
f
xk1 0
f xk 2 f xk xk1 xk 0
xk1 xk 2 f xk 1 f xk
这是多元函数求极值旳牛顿法迭代公式。
例4-2 用牛顿法求 f x x12 25x xk k 2 f
数值法
能够处理复杂函数及没有数学体现式 旳优化设计问题
xk1 xk ak d k
搜索方向问题是无约束优化措施旳关键。
数学实验第5次作业_无约束优化
无约束优化一实验目的1 掌握MATLAB优化工具箱的基本用法，对不同算法进行初步分析、比较。
2 练习用无约束优化方法建立和求解实际问题的模型(包括最小二乘拟合)。
二实验内容1取不同的初值计算下列非线性规划，尽可能求出所有局部极小点，进而找出全局极小点，并对不同算法(搜索方向、搜索步长、数值梯度与分析梯度等)的结果进行分析、比较。
minz=(x1x2)2(1−x1)2[1−x1−x2(1−x1)5]2理论计算部分：根据多元微积分中求解函数的(局部)极值点的方法，首先要计算原函数的梯度以及Hessian矩阵。
对于原函数z=(x1x2)2(1−x1)2[1−x1−x2(1−x1)5]2，x∈ℝ2首先计算梯度∇z=[ðz ðx1ðzðx2]，ðzðx1=2x2(x1x2)(1−x1)2[1−x1−x2(1−x1)5]2−2(1−x1)(x1x2)2[1−x1−x2(1−x1)5]2+2(5x2(1−x1)4−1)(x1x2)2(1−x1)2，ðzðx2=2x1(x1x2)(1−x1)2[1−x1−x2(1−x1)5]2−2(1−x1)5(x1x2)2(1−x1)2，然后计算Hessian矩阵∇2z=[ð2zðx12ð2zðx1ðx2ð2zðx2ðx1ð2zðx22]，此处由于计算所得式子非常复杂，所以不再继续计算。
理论上可以通过求解非线性方程组∇z(x)=0确定驻点，然后将每个驻点分别代入∇2z中判断矩阵是否正定，即可以确定该驻点是否为局部最优解。
但是，通过上面的计算可以得知，要求解的非线性方程组较为复杂，及时解除解，要再带入Hessian矩阵判断正定也比较困难，所以此处不进行解析求解。
观察原式，可以简单的看出，原式一定大于0，所以x1=0或1，x2=0是全局极小点，通过将最后一个式子因式分解[1−x1−x2(1−x1)5]2=(1−x1)2[1−x2(1−x1)4]2，还可以看出，(2，1)也是一个局部极小点。
无约束优化方法PPT课件-PPT精选文档
等式两边同乘 d
0
T
得
d Gd 0
0 T 1
fxa fx fx 0
k k T k k
k f x f x 0 k 1 T
d
k 1 T
dk 0
由此可知，在最速下降法中，相邻两个迭代点上 的函数梯度相互垂直。而搜索方向就是负梯度方 向，因此相邻两个搜索方向互相垂直。
第四章
无约束优化方法
第一节 概述
从第一章列举的机械设计问题，大多数实际问题 是约束优化问题。 约束优化问题的求解——转化为一系列的无约束 优化问题实现的。
因此，无约束优化问题的解法是优化设计方法 的基本组成部分，也是优化方法的基础。
无约束优化问题的极值条件
f x* 0
解析法(间接解法)
4.3.2 阻尼牛顿法 牛顿法的缺陷是，在确定极值点的过程中，并不含有沿 下降方向搜索的概念。因此对于非二次型函数，在迭代过 k 1 k 程中，可能出现 f( X )f( X )
的现象。为此人们提出了所谓的阻尼牛顿法。
令
k d H ( X ) f ( X ) k
1 k
以上二种经典方法中，人们不断努力，发掘，提出了不
同的改进方法。
第四节共轭方向及共轭方向法
为了克服最速下降法的锯齿现象，提高收敛速度，发展 了一类共轭方向法。搜索方向是共轭方向。
一、共轭方向的概念 共轭方向的概念是在研究二次函数
1T T f x x bx c xG 2
时引出的。 首先考虑二维情况
数值法(直接解法)
无约束问题的最优化条件PPT课件
.
4) 校正 Hk 产生 H k 1 ，计算 Hk1 Hk Ek , Ek 称为 Hk 的第 k 次校正矩阵.
5) k : k 1， 转 2）
37
.
三、拟牛顿条件
拟牛顿法设计关键在于 Hk 的构成 为保证 Hk 与 2 f (xk )1 近似并有容易计算的特点， Hk 应该满足如下条件： 1） Hk 对称正定，因为只要 Hk 对称正定，即可保证迭代
方向是下降方向。
38
.
dk Hkf (xk ) T f (xk )dk T f (xk ) Hk f (xk ) 0 T f (xk ) Hk f (xk ) 0 只要 Hk 正定，可保证迭代是下降的。
似程度越好，应加大 hk ，否则相反。
31
.
二. 信赖域算法基本步骤
1）给出初始点 x0 ，令 h0 g0
2）给出 xk 和 hk ，计算 gk 和 Gk 3）解信赖域模型（子问题），求出 dk 4）求 f (xk dk ) 和 rk 的值
5）如果 rk 0.25 ，令 hk1
dk 4
（缩减信赖域半径）
注：按照这种方法选取搜索方向，再加上一维搜索（精确
或非精确）算法的总体收敛性一般可以得到保证，但当 Gk
非正定时候较多时也可能失去牛顿法快速收敛的特点。
26
.
5.4 信赖域法
自动化学院
27
.
一、信赖域算法
1．牛顿法的基本思想
在当前迭代点 xk 附近用二次函数
(k) (d)
f
(xk ) gkT d
)
12 12
12
1
2)方向 d (0 ) (G (x (0 ))) 1 f(x (0 )) 1 , 3 2 T
第5讲 无约束优化
例5
产销量的最佳安排
某厂生产一种产品有甲、乙两个牌号，讨论在产销 平衡的情况下如何确定各自的产量，使总利润最大. 所 谓产销平衡指工厂的产量等于市场上的销量.
符号说明
z(x1,x2)表示总利润；
p1，q1，x1 分别表示甲的价格、成本、销量； p2，q2，x2 分别表示乙的价格、成本、销量； aij，bi，λ i,ci（i，j =1，2）是待定系数.
变量 f fun H A,b Aeq,beq vlb,vub X0 x1,x2 options 描 述 线性规划的目标函数f*X 或二次规划的目标函 数X’*H*X+f*X 中线性项的系数向量 非线性优化的目标函数.fun必须为行命令对象 或M文件、嵌入函数、或MEX文件的名称 二次规划的目标函数X’*H*X+f*X 中二次项的系 数矩阵 A矩阵和b向量分别为线性不等式约束： AX b 中的系数矩阵和右端向量 Aeq矩阵和beq向量分别为线性等式约束： Aeq X beq 中的系数矩阵和右端向量 X的下限和上限向量：vlb≤X≤vub 迭代初始点坐标 函数最小化的区间 优化选项参数结构，定义用于优化函数的参数 调用函数 linprog,quadprog fminbnd,fminsearch,fminunc, fmincon,lsqcurvefit,lsqnonlin, fgoalattain,fminimax quadprog linprog,quadprog,fgoalattain, fmincon, fminimax linprog,quadprog,fgoalattain, fmincon, fminimax linprog,quadprog,fgoalattain, fmincon,fminimax,lsqcurvefit, lsqnonlin 除fminbnd外所有优化函数 fminbnd 所有优化函数
无约束优化
牛顿法
牛顿法的基本思想就是利用二次函数来代替原目标函数， 以二次函数的极小点作为原目 标函数的极小点的近似，并逐步逼近该点。 设一般目标函数 f ( x ) 具有一、 二阶偏导数， 此时， 在 X k 处做泰勒展开并取值二次项，
得：
1 f ( X ) ( X ) f ( X k ) f ( X k )T ( X X k ) ( X X k )T 2 f ( X k )T ( X X k ) 2
为搜索方向，式中：
F ( X k ) F ( X ) , x1
k
F ( X k ) F ( X k ) ,.... x2 xn
T
第 k 1 次得到的新点：
X k 1 X k k F ( X k )
一般步长 1 常采用沿负梯度方向做一维搜索：
习 题 一 ： 试 用 梯 度 法 求 目 标 函 数 F ( X ) ( x1 1) ( x2 1) 的 极 小 值 ， 设 初 始 点
2
2
X 0 [0, 0]T ， 0.01 。
习题二：试用梯度法求目标函数 F ( X ) x1 25 x2 的最优解。初始点 X 0 [2, 2]T ，迭代精 度 0.05 。
其步
阻尼牛顿法一般步骤： 1 2 选取初始数据。选取初始点X 0 , 给定允许误差 0，令k 0 检验是否满足终止准则。计算f ( X k ), 若 f ( X k ) , 迭代终 止，X k 为问题的近似最优解；否则，转Step3. 3
2 k 构造牛顿方向。计算 f ( X ) ，取 1
0 0.130769
T X1 （ 11 ， ） 0.13.769(8, 2)T ( 0.046152, 0.738462)T 第二次迭代：