无约束优化
(05)第四章-无约束优化方法(梯度法-牛顿法和变尺度法)
第四章
第四章
无约束优化问题标准形式：
无约束优化问题标准形式：
§
§
§
§
§
§
图最速下降法的收敛过程
αα
2
2
例4－1 求目标函数
取初始点
[2,2]
=
x
例4－2 求目标函数解取初始点[2,2]
=x
算出一维搜索最佳步长
§
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
梯度法的特点
x
给定0,ε
一般迭代式：
§4.3
§4.3
§4.3
§4.3
α0
d 0
x
x 1
x*
1
α1d 1
1()
f −∇x d 1
4-4 共轭方向法
假设目标函数f (x ) 在极值点附近的二次近似函数为
沿某个下降方向
如果能够选定这样的搜索方向，那么对于二
α
0d0
x0x1x*
1
α
1
d1
1
()
f
−∇x d
1。
无约束优化方法
无约束优化方法1. 最速下降法（Gradient Descent Method）最速下降法是一种基于梯度信息的迭代优化算法。
其基本思想是从任意初始点开始，沿着目标函数的梯度方向进行迭代，直到达到收敛条件。
最速下降法的迭代更新公式如下：x_{k+1}=x_k-t_k*∇f(x_k)其中，x_k是第k次迭代的解向量，t_k是第k次迭代的步长（也称为学习率），∇f(x_k)是目标函数在x_k处的梯度向量。
最速下降法的步骤如下：1）选取初始点x_0。
2）计算目标函数的梯度∇f(x_k)。
3）计算步长t_k。
4）更新解向量x_{k+1}。
5）判断迭代终止条件，如果满足则停止迭代；否则返回第2步。
最速下降法的优点是易于实现和理解，收敛性较好。
然而，最速下降法存在的问题是收敛速度较慢，特别是对于目标函数呈现狭长或弯曲形状的情况下。
这导致了在高维优化问题中，最速下降法的性能较差。
2. 牛顿法（Newton's Method）牛顿法是一种基于二阶导数信息的迭代优化算法。
它使用目标函数的一阶和二阶导数信息构造一个二次近似模型，然后求解该模型的最小值。
牛顿法的迭代更新公式如下：x_{k+1}=x_k-H_k^{-1}*∇f(x_k)其中，H_k是目标函数在x_k处的海森矩阵，∇f(x_k)是目标函数在x_k处的梯度向量。
牛顿法的步骤如下：1）选取初始点x_0。
2)计算目标函数的梯度∇f(x_k)和海森矩阵H_k。
3）计算更新方向H_k^{-1}*∇f(x_k)。
4）更新解向量x_{k+1}。
5）判断迭代终止条件，如果满足则停止迭代；否则返回第2步。
牛顿法的优点是收敛速度快，尤其是在目标函数曲率大的地方。
然而，牛顿法也存在一些问题。
首先，计算海森矩阵需要大量的计算资源，特别是在高维空间中。
其次，当海森矩阵不可逆或近似不可逆时，牛顿法可能会失效。
综上所述，最速下降法和牛顿法是两种常用的无约束优化方法。
最速下降法简单易实现，但收敛速度较慢；牛顿法收敛速度快，但计算量大且可能遇到海森矩阵不可逆的问题。
无约束常用优化方法
步长 ，作前进（或后退）试探．如试探成功（目
标函数值有所减小），则按步长序列
，加
大步长（注意每次加大步长都是由初始点算起），直
至试探失败（目标函数值比前一次的有所增加）时，
则取其前一次的步长作为沿这个坐标轴方向搜索的最
优步长，并计算出该方向上的终止点，而后以这个终
止点为始点再进行下一坐标轴方向的搜索，并重复上
处
显然 是二次函数，并且还是正定二次函数，所以 是凸函数且存在唯一全局极小点．为求此极小点，令
即可解得
即
（5.9）
对照基本迭代公式,易知，式（5.9）中的搜索方向
步长因子
方向
是直指点 处近似二次函数
的极小点的方向．此时称此方向为从点 出发的
Newton方向．从初始点开始，每一轮从当前迭代点出发，
沿Newton方向并取步长 的算法称为Newton法．
另外，共轭梯度法不要求精确的直线搜 索．但是，不精确的直线搜索可能导致迭代 出来的向量不再共轭，从而降低方法的效 能．克服的办法是，重设初始点，即把经过 n次迭代得到的Xn作为初始点重新迭代．
五、坐标轮换法
在坐标轮换法中，沿各个坐标轴方向进行一维搜索
时，常选用最优步长法或加速步长法．加速步长法从
初始点出发，沿搜索（坐标轴）方向先取一个较小的
三、共轭方向法
1、概念
通常，我们把从任意点
出发，依次沿某组共轭
方向进行一维搜索的求解最优化问题的方法，叫做共
轭方向法．
2、特点
• 一般地，在n维空间中可以找出n个互相共轭的方向，对于n元正 定二次函数，从任意初始点出发，顺次沿这n个共轭方向最多作n 次直线搜索就可以求得目标函数的极小点．这就是共轭方向法的 算法形成的基本思想．
第三讲 无约束优化(多维无约束优化方法)
2019/10/21
5
1. 梯度法（最速下降法 ）
（2）迭代公式 ： X (k 1) X (k) k S (k) X k f X k
或
X (k1) X (k) k
f f
X k X k
f
X k
f ，f x1 x2
X (2) 1
S (1)
S为S（2）的共轭方向。
S即为S(1)的共轭方向。
2019/10/21
18
（2）共轭梯度法的基本原理
2）共轭方向的构造
S k1 f X k1 k S k
上式的意义是以新的负梯度方向 f X k1 ，加上原
负梯度的一部分k S k 来构造 S k1 。
2019/10/21
3
1. 梯度法（最速下降法 ）
数值迭代格式
X (k 1) X (k ) k S (k )
从数值迭代格式可以看出，构造一种算法的关键 是如何确定一个有利的搜索方向。
梯度方向是函数值上升最快的方向，负梯度 方向是函数值下降最快的方向。
2019/10/21
以负梯度方向作为搜索方向
4）牛顿法不能保证函数值稳定下降，严重时还会造 成点列发散导致迭代失败。
2019/10/21
1 27
3. 多维牛顿法（阻尼牛顿法）
问题的提出
因函数不一定是二次函数，基本牛顿法的步长因子 恒为1，有时会导致迭代发散而失效。
改进方法
仍取牛顿方向，但改用最优步长因子：
X (k1) X (k ) k [H ( X (k ) )]1f ( X (k) ) 一维搜索求最优步长
'X 0
无约束优化方法
三. 内容：
一维搜索： 求最优步长因子α(k)
多维（变量）优化：确定搜索方向 S (k)
黄金分割 切线法 平分法 插值法 格点法
坐标轮换法 最速下降法 共轭方向法 鲍威尔法 梯度法 共轭梯度法 牛顿法 单形替换法 变尺度法
比较两试点函数值，由于 作前进搜索
此时，三个试点 函数值已经出现“高－低－高”特征， 得搜索区间为
3.2 一维搜索方法
α3(2)
黄金分割法 (0.618) ：
序列消去原理：
f (α)
α
α3(1)
α12
α*
α1(1)
0
α11
α21 α22
α1(2)
α1(3)
α3(3)
1.解析法：
定义:
在第K次迭代时，从已知点 X(k)出发，沿给定方向求最优步长因子α(k)，使 f (X(k) + α S(k) )达到最小值的过程，称为一维搜索。
பைடு நூலகம்
对α求导，令其为零。
01
直接法——应用序列消去原理：
02
分数法、黄金分割法
03
近似法——利用多项式函数逼近（曲线拟合）原理：
总结：将优化问题转化为一系列的一维搜索问题
沿方向S的一维搜索
3.2 一维搜索方法
单峰区间解析概念：
在区间 [α1，α3 ]内，函数只有一个峰值，则此区间为单峰区间。单峰区间内，一定存在一点α*，当任意一点α2＞α*时，f(α2)＞f(α*)，
说明： 单峰区间内，函数可以有不可微点，也可以是不连续函数；
3.1 引言
无约束优化方法计算步骤：
若已经取得某设计点x(k)，并且该点不是近似极小点，则在x(k)点根据函数f(x)的性质，选择一个方向S(k)，并且沿此方向搜索函数值是下降的，称下降方向。 当搜索方向S(k)确定后，由x(k)点出发，沿S(k)方向进行搜索， 定出步长因子 (k)，得到新的设计点：
(06)第四章-无约束优化方法(坐标轮换法)
第四章 无约束优化方法 §4-7 坐标轮换法
§4-3 坐标轮换法
间接法：梯度法；牛顿法；变尺度法 共同点：求导数 直接法：直接用函数值 搜索方向如何定？
坐标轮换法的基本思想：
把n维无约束优化问题转化为一系列一维优化问题来求 解，即沿着n个坐标轴方向e1,e2……en顺次进行一维搜索， 每n次搜索记为一轮，轮换迭代，求解极值点。 基本迭代格式：
(1) T x = [0 0] ε = 0.1 初始点 0 的最优解。迭代精度 ，
z
课后练习题： 用坐标轮换法求目标函数（迭代两轮）
f ( x ) = x12 + 16 x 22 + 10 x1 x 2
(1) T x = [4 3] ε = 0.1 初始点 0 的最优解。迭代精度 ，
算法特点：
1）不需对目标函数求导，方法简单； 2）收敛速度通常较低（其有效性取决于目标 函数的性态），仅适于低维的情况。
x
(k ) i
=x
(k ) i −1
+α e
(k ) i i
(k = 1,2,3"; i = 1,2," n)
收敛准则：
(k ) x0( k ) − xn ≤ε
图4-12 坐标轮换法的基本原理示意图
计算步骤：
1）对于n个变量的函数，若在第k轮沿着第i个坐标 方向进行搜索，其迭代公式为： k k k i i −1 i i k 2）求最优搜索步长 α
x = x +α e
i
3）本轮所有方向搜索完毕，判断迭代终止条件：
x −x
k n
k 0
≤ε
k n
4）满足上式：
x =x
∗
第3章 无约束最优化方法 3-1 最速下降法 3-2 牛顿法
是局部性质。 n （3）锯齿现象 n （4）改进策略：在计算的开始阶段使用最
速下降法，在迭代数次后，改用其他算法。
第3.1节 最速下降法（Steepest Method）
n [引理3.2]（康德洛维奇Kntorovich不等式）
第3.2节 Newton法及其改进
n [推论3.8]设 且对任意的 在水平集
在开凸集D上二阶连续可微， ，存在常数 ，使得
上满足
则从任意的初始点 出发，牛顿法产生的迭
代点列 满足
，且收敛到
的唯一极小点。
第3.2节 Newton法及其改进
n 阻尼牛顿法的优点与缺点： 阻尼牛顿法克服了牛顿法要求初始点充分靠
n
，则d是下降方向；
n
，则 是下降方向。
第3.2.4节 吉尔-默里稳定牛顿法
n Gill-Murray稳定牛顿法的基本思想： n 当Hesse矩阵 在迭代点
处为不定矩阵时，对其进行强迫正 定的 分解；当 趋于零时， 采用负曲率方向使函数值下降。
第3.2.4节 吉尔-默里稳定牛顿法
n [算法3.15]（求负曲率方向的算法）
得到方向 ，令
。
n （6）精确线性搜索求 ，且令
n （7）若
，则进行步（8）；否则，
令
，转步（2）。
n （8）输出
，停止计算。
第3.2.4节 吉尔-默里稳定牛顿法
n [定理3.18]设 二阶连续可微，且存在
，使得
为有界闭
凸集。假定在吉尔-默里稳定牛顿法中取
，且初始点
，则吉尔-默里稳
定牛顿法产生的迭代序列 满足：
最优化方法第六讲 无约束(多维)最优化
step4. 若 || f ( xk1) || ,停止，x* xk1 ;
否则，令 k : k 1, 转step 2 。
14
➢算法框图
给定初始点x0和精度 || f ( x0 ) ||
停止，输出x1
否
是
| x1 x0 |
是 停止，输出x0
否 否
2 f (x0) 0
计算x1
x0
f ( x0 ) 2 f (x0)
1
13 62
x2
x1
1d 1
(
36 , 31
8 31
)T
7
三、最速下降法的特点
1.性质. 设 f ( x) 有一阶连续偏导数，若 步长 满足 k
f ( xk d k ) min f ( xk d k )
k
则有 f ( xk d k )T d k 0。 k
证明：令 ( ) f ( xk d k )，所以
5
一、梯度法（最速下降法）：
1. 搜索方向：d k f ( xk ) ,也称为最速下降方向；
2. 搜 索 步 长: k 取 最 优 步 长, 即 满 足
f (xk
kd k )
min
f
(xk
d k ) 。
二、梯度法算法步骤：
1. 给定初始点 x1 Rn ,允许误差 0, 令k 1。
2. 计算搜索方向 d k f ( xk ) ;
Step3. 令 xk 1 xk kd k , 其中tk : f ( xk kd k ) min f ( xk d k )。
24
Step 4. 判断 xk 1 是否满足终止准则： yes: 计算 stop, 则x* : xk1
No : 转 step 5 。
04 无约束优化方法
F 1A C
向上的极小点，而非原函数的 -2 -1
0
1
2
3
x1
极小点。
解决办法：阻尼牛顿法。
7
二.阻尼牛顿法
1.迭代公式
沿牛顿方向-[H(X(k))]-1f(X(k))作一维搜索,迭代公式：
X (k1) X (k ) k [H ( X (k ) )]1f ( X (k ) )
其中λ k使
f ( X (k ) k s(k ) ) min f ( X (k ) k s(k ) )
S1
1 0 ,S2
0 1
正交不共轭
19
2.正定二次函数的特点
(1)正定二次二元函数的等值线是椭圆线簇,椭圆线簇的中心
即目标函数的极值点。
(2)过同心椭圆线簇中心作任意直线,此直线与诸椭圆交点处
的切线相互平行。
反之过两平行线与椭圆切点X(a)和
x2
X(b)的连线必通过椭圆的中心。因此
只要沿方向X(a)—X(b)进行一维搜索，
1、坐标轮换法具有程序简单，易于掌握的优点，但它的计
算效率较低，因此它虽然步步在登高，但相当于沿两个垂直方
向在爬山，路途迂迴曲折，收敛很慢，因此它适用于维数较低
(一般n<10)的目标函数求优。
2、有“脊线”的目标函数等值线的情形,沿坐标轴方向函数值
不一定下降。
脊线
x2
A
p
0
x1
13
五、练习 用最优步长法求解 f (X)=(x1-2)4+(x1-2x2)2的极小点。 初始点X(0)=[0,3]T，要求迭代一轮。 请注意沿坐标轴移动的方向。
22
二、迭代过程
以二维问题为例： ① X(0)
《无约束优化方法》课件
分析迭代点是否收敛到最优解，以及收敛速度的快慢。
04 算法实现和案例 分析
MATLAB实现
介绍MATLAB在无约束优化方 法中的应用，包括函数优化工 具箱的使用和自定义算法的实
现。
演示如何使用MATLAB求解无 约束优化问题，如最小二乘问
题、非线性规划问题等。
介绍MATLAB中常用的优化算 法，如梯度下降法、牛顿法、 拟牛顿法等，并给出相应的代 码实现。
04
总结Python在无约束优化方法中的优缺点，并给出相应的改进建议 。
案例分析：简单的二次函数优化
介绍二次函数优化的基本 概念和方法，包括最优解 的求解和性质分析。
演示如何使用MATLAB或 Python求解该问题，并 给出相应的代码实现和结 果分析。
ABCD
给出具体的二次函数优化 问题，如最小化f(x)=x^2 在区间[a,b]上的最小值。
深度学习优化
结合深度学习技术，对高维非线性问题进行 优化，解决复杂的问题。
目标函数
需要最小化或最大化的函数
约束条件
对目标函数的限制条件，无约束优化问题没有约束条件
02 无约束优化方法 简介
梯度法
总结词
基本、直观、简单
详细描述
梯度法是最早的无约束优化方法之一，它基于函数的梯度信息，通过沿着负梯 度的方向搜索来寻找最优解。由于其简单直观，被广泛应用于各种优化问题。
牛顿法
控制工程
用于系统优化、控制器设计和系统稳 定性分析，提高控制系统的性能。
无约束优化方法的未来发展方向
混合整数优化
将整数约束和连续变量优化结合起来，解决 更复杂的优化问题。
多目标优化
考虑多个目标函数，寻求多目标之间的平衡 ，满足多方面的需求。
无约束问题的最优化条件
即，在算法每次迭代中，求解信赖域子问题：
1 T min (d ) f ( xk ) g k d d Gk d 2
(k ) T
s.t
d hk
在信赖域算法中，信赖域半径 hk 采用自适应方式调整， 若
(k )
(d ) 与 f ( xk d ) 近似程度好，则 hk 尽可能取大，
T (0)
2)方向
d
(0)
(G( x )) f ( x ) 1, 3 2
(0) 1 (0)
T
3)求最优步长
x
(0) dFra bibliotek(0)代入目标函数得：
(1)
1 0 3 3 0 2 2
(0)
三、最速下降算法收敛性定理
定理 5 设 f C1 (一阶连续可微), S x f ( x ) f ( x0 )
有界，则由最速下降法得到的迭代点列 xk 具有如下性质： 1） 数列 f ( xk ) 严格单调下降； 2） xk 的任何极限点（聚点） x 都是 f ( x ) 的驻点，
T k 1
d k 0
5.3 牛顿法
自动化学院
一、牛顿迭代公式
牛顿法的基本思想是利用目标函数在当前迭代点 xk 处 的二次近似的极小点作为 f ( x ) 的近似极小点。
设 xk 是当前迭代点， 2 f ( xk ) 正定，
1 f ( x) f ( xk ) f ( xk ) ( x xk ) ( x xk )T 2 f ( xk )( x xk ) 2 1 (k ) T Q ( x) f ( xk ) f ( xk ) ( x xk ) ( x xk )T 2 f ( xk )( x xk ) 2
第5讲 无约束优化
3、运行结果: x= 0.5000 -1.0000 y = 1.3029e-10
•fminsearch是用单纯形法寻优. fminunc的算法见以下几点说明：
[1] fminunc为无约束优化提供了大型优化和中型优化算法。 由options中的参数LargeScale控制：
LargeScale=’on’(默认值), 使用大型算法 LargeScale=’off’(默认值), 使用中型算法
4. 用fminunc 函数 (1)建立M-文件fun2.m function f=fun2(x)
f=100*(x(2)-x(1)^2)^2+(1-x(1))^2
(2)主程序
oldoptions=optimset('fminunc'); options=optimset(oldoptions,'LargeScale','off'); options11=optimset(options,'HessUpdate','dfp'); [x11,fval11,exitflag11,output11]=fminunc('fun2', [-1.2 2],options11); pause options21=optimset(options,'HessUpdate','bfgs'); [x21,fval21,exitflag21,output21]=fminunc('fun2', [-1.2 2],options21) pause options31=optimset(options,'HessUpdate','steepdesc'); [x31,fval31,exitflag31,output31]=fminunc('fun2', [-1.2 2],options31) pause options32=optimset(options,'HessUpdate','steepdesc','MaxIter',8000,'MaxFunEvals',8000); [x32,fval32,exitflag32,output32]=fminunc('fun2', [-1.2 2],options32) pause options33=optimset(options,'HessUpdate','steepdesc','MaxIter',9000,'MaxFunEvals',9000)； [x33,fval33,exitflag33,output33]=fminunc('fun2', [-1.2 2],options33)
第三章无约束问题的最优化方法
赋以0.618。
2 ,
；并计算其对应
的函数值。 3）根据区间消去法原理缩短搜索区间。为了能用原来的 坐标点计算公式，需进行区间名称的代换，并在保留区间 中计算一个新的试验点及其函数值。
如果
令 b , , f f 记N0=0； 2 2 1 2 1 如果 ，则新区间＝ ，
2
2
图2-5 黄金分割法
• 黄金分割法要求插入两点： a1 a (1 )(b a), f1 f (a1 )
a2 a (b a), f 2 f (a2 )
黄金分割法的搜索过程：
1）给出初始搜索区间及收敛精度 2）按坐标点计算公式计算 1
，将
在搜索区间内[a,b] 任取两点a1、b1，令f1＝f（a1）， f2＝f（b1） • (1)如f1<f2, 则缩小的新区间为[a,b1]; • (2)如f1>f2, 则缩小的新区间为[a1,b]; • (3)如f1=f2, 则缩小的新区间为[a1,b1]
f(b1) f(a1) f(a1) f(b1) f(a1) f(b1)
a
a1
b
a
a1
b1 b
a
a1
b1
b
§3.2 一维搜索方法
黄金分割法： • 黄金分割法适用于[a,b]区间上的任何单谷函数求极小值问题。对 函数除要求“单谷”外不作其他要求，甚至可以不连续。因此，这种 方法的适应面相当广。 • 黄金分割法也是建立在区间消去法原理基础上的试探方法。 • 在搜索区间内[a,b]适当插入两点，将区间分成三段；利用区间消 去法，使搜索区间缩小，通过迭代计算，使搜索区间无限缩小，从而 得到极小点的数值近似解。 •
第五章 无约束优化方法
由（5.3）得 X (1) X (0) [H ( X (0) )]1 F ( X (0) ) 0 3 1
S (0) 1 4,10T 0.3714 ,0.9285 T 10.770329
2 2 例 5-3 试用牛顿法求例5-1给出的目标函数 f ( X ) x1 x2 x1 x2 4x1 10x2 60的极小值， ( 0) T 设初始点 X (0) [ x1(0) , x2 ] [0，0]。 2 f 2 f
f ( X ) f ( X ) T 解： f ( X ( 0) ) , 4,10 x 2 x1
(0)
6 8
H 1F
X (k ) X*
X
X (1) 6 8
T
(1)
X
S
( 0)
x1(1) 0 0.3714 0.3714 0.9285 (1) 0 0 . 9285 x2
f ( X ) f ( X ) T 解： f ( X ) , 2 x1 x 2 4,2 x 2 x1 10 x 2 x1 2 2 f ( X ( 0) ) f ( X ( 0) ) ( 0) 2 2 f ( X ) x x (4) (10) 10.770329 1 2
即为最优点，只迭代一次就达到了X*。
图5.8牛顿法的修正
• 5.3.2 牛顿法的特点
由上述可见，当目标函数为二次函数时，收敛很快，属于二阶收敛，是目前算法中最快的 一种。即使目标函数不是二次函数，当初始点选得好时，也会很快收敛。但如果目标函数 非凸，初始点选择不当有可能远离极小点或导致不收敛（图5.8）。基于这种原因，为保 证每次迭代下降，对古典的牛顿法要做些修改，于是便出现了修正牛顿法。其修正方法是 在 X ( k ) 沿牛顿方向做一次一维搜索，避免远离极小点 X (k 1) X (k ) k [H ( X (k ) )]1 F ( X (k ) )
无约束优化方法总结
第四章 无约束优化方法第一节 概述1为什么要研究无约束优化问题?（1）有些实际问题，其数学模型本身就是一个无约束优化问题。
（2）通过熟悉它的解法可以为研究约束优化问题打下良好的基础。
（3）约束优化问题的求解可以通过一系列无约束优化方法来达到。
所以无约束优化问题的解法是优化设计方法的基本组成部分，也是优化方法的基础。
2各种无约束优化方法的区别在于确定其搜索方向0d 的方法不同。
根据构成搜索方向所使用的信息性质的不同，无约束优化方法可以分为两类。
一：间接法——要使用导数的无约束优化方法，如梯度法、（阻尼）牛顿法、变尺度法、共轭梯度法等。
二：直接法——只利用目标函数值的无约束优化问题，如坐标轮换法、鲍威尔法单纯形法等。
第二节 最速下降法（梯度法） 1基本思想：函数的负梯度方向是函数值在该点下降最快的方向。
将n 维问题转化为一系列沿负梯度方向用一维搜索方法寻优的问题，利用负梯度作为搜索方向，故称最速下降法或梯度法。
2梯度法的特点：（1）理论明确，程序简单，对初始点要求不严格。
（2）对一般函数而言，梯度法的收敛速度并不快，因为最速下降方向仅仅是指某点的一个局部性质。
（3）梯度法相邻两次搜索方向的正交性，决定了迭代全过程的搜索路线呈锯齿状，在远离极小点时逼近速度较快，而在接近极小点时逼近速度较慢。
（4）梯度法的收敛速度与目标函数的性质密切相关。
对于等值线(面)为同心圆（球）的目标函数，一次搜索即可达到极小点。
3选用原则及条件：一般与其他算法配合，在迭代开始时使用。
第三节 牛顿型方法 1基本思想：在xk 邻域内用一个二次函数)(x ϕ来近似代替原目标函数，并将)(x ϕ的极小点作为对目标函数)(x f 求优的下一个迭代点1+k x 。
经多次迭代，使之逼近目标函数)(x f 的极小点。
2牛顿型方法的特点：（1） 初始点应选在X *附近，有一定难度；（2） 若迭代点的海赛矩阵为奇异，则无法求逆矩阵，不能构造牛顿法方向； （3） 不仅要计算梯度，还要求海赛矩阵及其逆矩阵，计算量和存储量大。
无约束优化
第八节 Powell法（方向加速法）
Powell法是利用共轭方向能够加速收敛旳性质 所形成旳一种搜索算法。
一、共轭方向旳生成
二、基本算法
三、改善旳算法
在鲍维尔基本算法中，每一轮迭代都用连结始点和终点 所产生出旳搜索方向去替代原来向量组中旳第一种向量， 而不论它旳“好坏”。
gk1 gk 与 d k 旳共轭方向 d j 正交。
图4-9 共轭梯度法旳几何阐明
第六节变尺度法
变尺度法旳基本思想：
前面讨论旳梯度法和牛顿法，它们旳迭代公式能够看作下列 公式旳特例。
xk1 xk k Hf xk
变尺度法是对牛顿法旳修正，它不是计算二阶导数旳矩阵和 它旳逆矩阵，而是设法构造一种对称正定矩阵H来替代Hesse 矩阵旳逆矩阵。并在迭代过程中，使其逐渐逼近H-1 。
优化设计追求目旳函数值最小，若搜索方向取该点旳负梯度 方向，使函数值在该点附近旳范围内下降最快。
按此规律不断走步，形成下列迭代算法：
xk1 xk akf xk
以负梯度方向为搜索方向，所以称最速下降法或梯度法。
搜索方向拟定为负梯度方向，还需拟定步长因子ak
即求一维搜索旳最佳步长，既有
f
xk1 0
f xk 2 f xk xk1 xk 0
xk1 xk 2 f xk 1 f xk
这是多元函数求极值旳牛顿法迭代公式。
例4-2 用牛顿法求 f x x12 25x xk k 2 f
数值法
能够处理复杂函数及没有数学体现式 旳优化设计问题
xk1 xk ak d k
搜索方向问题是无约束优化措施旳关键。
第四章 无约束优化方法
各1矢=0量，必则在新该生平方面向内与，e使2 、搜e索3共局面限，于随二后维的空各间环，方不向能组得中到，
最优解。
x3S1x1 1=0Fra bibliotek2e2
x2
3e3
鲍威尔基本算法的退化
二、鲍威尔修正算法
在某环已经取得的n+1各方向中，选取n个线性无关 的并且共轭程度尽可能高的方向作为下一环的基本方向组
组矢量式，中，1(Sk) 1、(k)、2S(k2)(k、) 、• ••••、• 、nS(k)n为(k)为个第方k向环的基最本优方步向长。 表次示搜为索若将S在2在(第k) 降、k环维S的3的(k优)空、化间•搜进• 索•行、过，程S无n中(k法)的出得线现到性n1组维(k)合空=0，间，以的则后函方的数向各极Sk
故得最优解
梯度法
优化设计是追求目标函数值最小，因此，自然可以设想 从某点出发，其搜索方向取该点的负梯度方向，使函数值在 该点附近下降最快。这种方法也称为最速下降法。
一、基本原理
梯度法的迭代公式为：
x(k+1)=x(k)-(k)g(k) 其中g(k)是函数F(x)在迭代点x(k)处的梯度f(x(k)) ， (k)一
对于n维优化问题，如果只利用函数值求最优值的解法，称 为直接搜索法；
解析法的收敛速率较高，直接法的可靠性较高。
本章介绍的坐标轮换法和鲍威尔法属于直接法；梯度法、 共轭梯度法、牛顿法和变尺度法属于解析法
无约束优化方法算法的基本过程是:
从选定的某初始点x(k)出发，沿着以一定规律产生的 搜索方向S(k) ,取适当的步长a(k) ,逐次搜寻函数值下降的 新迭代点x(k+1),使之逐步逼近最优点x* 。可以把初始点 x(k) 、搜索方向S(k) 、迭代步长a(k) 称为优化方法算法的 三要素。其中以搜索方向S(k)更为突出和重要，它从根本 上决定着一个算法的成败、收敛速率的快慢等。所以， 一个算法的搜索方向成为该优化方法的基本标志，分析、 确定搜索方向S(k)是研究优化方法的最根本的任务之一。
第四章无约束优化方法
F (X
(1) )
0
结论: 两个平行方向的极小点构成
即 S1T AS2 0
的新方向与原方向相互共轭 即S1与S2对A共轭
也即对于二维正定二次函数只要分别沿两个共轭方向寻优 14 即可找到最优点.
❖ 与此类似，可以推出对于n维正定二次函数，共轭方向的一 个十分重要的极为有用的性质：从任意初始点出发，依次沿 n个线性无关的与A共轭的方向S1，S2，…Sn各进行一维搜 索，那么总能在第n步或n步之前就能达到n维正定二次函数 的极小点；并且这个性质与所有的n个方向的次序无关。简 言之，用共轭方向法对于二次函数从理论上来讲，n步就可 达到极小点。因而说共轭方向法具有有限步收敛的特性。通 常称具有这种性质的算法为二次收敛算法。
第K+1环的方向组仍用老方向组
S1(k1),
S2(k 1) ,
... ...
S (k 1) n1
S (k 1) n
S1(k),
S2(k) ,
... ...
S(k) n1
,
S(k) n
初始点:
当F2 < F3时, 当F2≥F3时,
X (k 1) 0
X (k) n
X X (k 1)
(k)
0
n 1
F ( X ) 2 x12 x22 x1x127
4.2.1 鲍威尔基本算法（共轭方向的原始构成）
18
4.2.1 鲍威尔基本算法
x3
任取一初始点 X(0)→ X0(1)
第 第一环: e1, e2, e3 → S1 一 第二环: e2, e3 , S1 → S2 轮 第三环: e3 , S1 , S2 →S3
补上新增的方向
初始点:
X (k 1) 0
无约束优化问题的求解方法
无约束优化问题的求解方法无约束优化问题是指在不考虑任何限制条件下，通过调整自变量来寻找函数的最大值或最小值的问题。
在数学和工程领域中，无约束优化问题是一个重要的研究方向，其解决方法也非常丰富和多样。
下面将介绍几种常用的无约束优化问题求解方法。
一、梯度下降法梯度下降法是一种基于一阶导数信息的优化算法。
其基本思想是通过不断迭代地朝着函数的负梯度方向进行搜索，从而找到函数的极小值点。
具体来说，梯度下降法的迭代公式如下：x_(x+1)=x_x−x∇x(x_x)，其中x_x代表第x次迭代的自变量的取值，x称为学习率，∇x(x_x)是函数x(x_x)在点x_x处的梯度。
梯度下降法是求解无约束优化问题的常用方法，具有易于实现和收敛性等优点。
但是，梯度下降法有时可能会陷入局部最优解，因此需要进行多次尝试或采用改进的算法。
二、共轭梯度法共轭梯度法是一种基于二阶导数信息的优化算法。
其基本原理是通过逆Hessian矩阵的乘法来更新自变量的取值，从而加速搜索速度。
具体来说，共轭梯度法的迭代公式如下：x_(x+1)=x_x−x_x,x∇x(x_x)，x_x,x=x∇x(x_x)+x_x,x−1共轭梯度法具有高效、迭代次数少、不需要存储Hessian矩阵等优点。
然而，共轭梯度法也存在一些问题，如对于某些特定的函数可能会陷入收敛困难、对于非二次函数可能收敛速度较慢等。
三、拟牛顿法拟牛顿法是一种综合利用一阶和二阶导数信息的优化算法。
其基本思想是通过利用函数在当前点处的一阶导数和二阶导数近似值来构造一个局部的二次模型，从而求解优化问题。
拟牛顿法的迭代公式如下：x_(x+1)=x_x−(x_x)^−1∇x(x_x)，x_x是拟牛顿法的Hessian矩阵近似值。
拟牛顿法具有利用了二阶导数信息、不需要进行二阶导数计算、有较好的全局收敛性等优点。
但是，拟牛顿法也存在一些问题，如需要存储和更新Hessian矩阵近似值、对于非光滑函数可能无法收敛等。
无约束优化问题的极值条件
无约束优化问题的极值条件1.引言无约束优化问题是在没有任何限制条件下，寻找一个函数的最大值或最小值的问题。
在数学和工程领域中，无约束优化问题的极值条件是非常重要的，本文将介绍这些极值条件，帮助读者更好地理解和应用于实际问题。
2.极值条件的定义对于一个无约束优化问题，设函数f(x)在某个点x*处连续可导，若x*是f(x)的极值点，则需要满足以下条件：2.1一阶导数条件函数f(x)在x*处的一阶导数为零，即f'(x*)=0。
这意味着在极值点处，函数的斜率为零。
2.2二阶导数条件函数f(x)在x*处的二阶导数存在并满足以下条件之一：-f''(x*)>0，此时x*是f(x)的极小值点。
-f''(x*)<0，此时x*是f(x)的极大值点。
3.极值点的判别方法为了确定一个无约束优化问题的极值点，我们可以使用以下方法：3.1利用一阶导数判别极值点通过计算函数f(x)的一阶导数，找到一阶导数为零的点，并判断其是否为极值点。
如果一阶导数f'(x)在x*处变号，即从正数变为负数或从负数变为正数，那么x*是f(x)的极值点。
3.2利用二阶导数判别极值点利用函数f(x)的二阶导数f''(x)的正负性来判别极值点的类型。
如果f''(x*)>0，则x*是f(x)的极小值点；如果f''(x*)<0，则x*是f(x)的极大值点。
3.3综合利用一阶导数和二阶导数判别极值点结合一阶导数和二阶导数的信息，我们可以获得更准确的极值点判断。
当f'(x*)=0且f''(x*)>0时，x*是f(x)的极小值点；当f'(x*)=0且f''(x*)<0时，x*是f(x)的极大值点。
4.例子为了更好地理解无约束优化问题的极值条件，下面给出一个简单的例子：假设我们要找到函数f(x)=x^2的极值点。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
实验9 无约束优化
一、实验目的
1、了解无约束优化的基本算法；
2、掌握Matlab优化工具箱的基本用法；
3、掌握用Matlab求解无约束优化实际问题。
二、实验要求
能够掌握Matlab优化工具箱中fminunc，fminsearch，lsqnonlin，lsqcurvefit 的基本用法，能够对控制参数进行设置，能够对不同算法进行选择和比较。
[x,fv,ef.out,grad,hess]=fminunc(@f,x0,opt,P1,P2,…)
[x,fv,ef.out,]=fminsearch(@f,x0,opt,P1,P2,…)
[x,norm,res,ef,out,lam,jac]=lsqnonlin(@F,x0,v1,v2,opt,P1,P2,…)
[x,norm,res,ef,out,lam,jac]=lsqcurvefit(@F,x0,t,y,opt,P1,P2,…)
fminunc为无约束优化提供了大型优化和中型优化算法.由options中的参数LargeScale控制：
LargeScale=’on’(默认值),使用大型算法
LargeScale=’off’,使用中型算法
fminunc为中型优化算法的搜索方向提供了3种算法，由options中的参数HessUpdate控制：
HessUpdate=’bfgs’（默认值），拟牛顿法的BFGS公式；
HessUpdate=’dfp ’，拟牛顿法的DFP 公式； HessUpdate=’steepdesc ’，最速下降法
fminunc 为中型优化算法的步长一维搜索提供了两种算法，由options 中参数LineSearchType 控制：
LineSearchType=’quadcubic ’(缺省值)，混合的二次和三 次多项式插值；
LineSearchType=’cubicpoly ’，三次多项式插
搜索步长的算法选择（lsqnonlin ，lsqcurvefit ） LevenbergMarquardt = ‘off ’ (GN 法) LevenbergMarquardt = ‘on ’ (LM 法，缺省值)
例 ()=++++122
12122min (42421)x f X x x x x x e
1、编写M-文件 fun1.m: function f = fun1 (x)
f = exp(x(1))*(4*x(1)^2+2*x(2)^2+4*x(1)*x(2)+2*x(2)+1);
2、输入M 文件myprg3.m 如下: x0 = [-1, 1]; x=fminunc('fun1',x0) y=fun1(x)
三、实验内容
1. 求下列函数的极小值点：
()=++-+222
1231249218f X x x x x x ()=+
-+-22
1212123222
g X x x x x x x 2、求解22
min()x y a b
+
对),(b a 的不同取值如)1,1(和)1,9(，及不同算法(搜索方向、步长搜索、数值梯度与分析梯度等)的结果进行分析、比较。
3、有一组数据),(i i y t ,1,2,,33i =, 其中10(1),i i t i y =-由下表给出。
现要
用这组数据拟合函数
()--=++54123,x t x t f x t x x e x e
中的参数x ，初值可选为)02.0 ,01.0 ,1 ,5.1 ,5.0(-，用GN 和LM 两种方法求解。
对i y 作一扰动，即i i y e +，i e 为)05.0 ,05.0(-内的随机数，观察并分析迭代收敛变慢的情况。
安徽师范大学数学计算机科学学院实验报告
专业名称数学与应用数学
实验室实验室201
实验课程数学建模
实验名称无约束优化
姓名王强
学号100701134
同组人员无
实验日期2013-5-22
Welcome To Download !!!
欢迎您的下载，资料仅供参考！。