第八章 无约束多维问题的最优化方法
多维无约束优化算法
多维无约束优化算法部门： xxx时间： xxx整理范文，仅供参考，可下载自行编辑多维无约束优化算法多维无约束优化问题的一般数学表达式为：求n 维设计变量使目标函数 多维无约束优化算法就是求解这类问题的方法，它是优化技术中最重要最基础的内容之一。
因为它不仅可以直接用来求解无约束优化问题，而且实际工程设计问题中的大量约束优化问题，有时也是通过对约束条件的适当处理，转化为无约束优化问题来求解的。
所以，无约束优化方法在工程优化设计中有着十分重要的作用。
b5E2RGbCAP 目前已研究出很多种无约束优化方法，它们的主要不同点在于构造搜索方向上的差别。
<1）间接法——要使用导数，如梯度法、<阻尼）牛顿法、变尺度法、共轭梯度法等。
<2）直接法——不使用导数信息，如坐标轮换法、鲍威尔法单纯形法等。
用直接法寻找极小点时，不必求函数的导数，只要计算目标函数值。
这类方法较适用于解决变量个数较少的<n ≤20）问题，一般情况下比间接法效率低。
间接法除要计算目标函数值外，还要计算目标函数的梯度，有的还要计算其海赛矩阵。
p1EanqFDPw各种优化方法之间的主要差异是在于构造的搜索方向，因此，搜索方向的构成问题乃是无约束优化方法的关键。
12[]T n x x x =x ()min f →x min ()nf R ∈x x 1(0,1,2,)k k k k s k α+=+=x x下面介绍几种经典的无约束优化方法。
1、梯度法基本思想：函数的负梯度方向是函数值在该点下降最快的方向。
将n 维问题转化为一系列沿负梯度方向用一维搜索方法寻优的问题，利用负梯度作为搜索方向，故称最速下降法或梯度法。
DXDiTa9E3d 搜索方向s 取该点的负梯度方向(最速下降方向> ，使函数值在该点附近的范围内下降最快 。
为了使目标函数值沿搜索方向能够获得最大的下降值，其步长因子应取一维搜索的最佳步长。
即有根据一元函数极值的必要条件和多元复合函数求导公式，得在最速下降法中，相邻两个迭代点上的函数梯度相互垂直。
无约束最优化方法直接搜索法课件
x2
S(1)
S2(1
)
(1)
X3 X2 (1)
X* X2 (2) X1 (2)
S(2)
X0 (1)
X 1 (1)
S1(1) x1
• 鲍威尔基本算法的缺点
鲍威尔基本算法仅具有理论意义，不要说对于一般的 函数，就是对于二次函数，它也可能失效。因为在迭代过程 中的n个搜索方向有时会变成线性相关，而不能形成共轭方向， 从而张不成n维空间，导致随后的迭代搜索在降维(“退化”) 的空间中进行，可能求不到极小点，故需进行改进。
x 2 XL X2
Xn+3 Xn+2
Xn+1
Xห้องสมุดไป่ตู้ XH
X1 XG x1
6)扩张：当 fn+2 < f L 时，取扩张点Xn+3 ，即
Xn+3 = Xn+1 + (Xn+2 – Xn+1)
( =1.2~2.0 )
并计算 fn+3 = f (Xn+3 ) 。 若 fn+3 < fn+2 ，则以Xn+3 代替 X H ， fn+3 代替 fH ，构造一个新的单纯形；否则，以 X n+2 代 替XH ， fn+2 代替fH ，构造新的单纯形；然后返回到 3)。
鲍威尔条件：
若 f 3 < f 1, ( f1 - 且2f2 + f3) (f1 - f2 - △m(k))2 < 0.5 △m(k) (f1 - f3 )2 同时成立，则用 S ( k ) 替代 S m ( k ) ；否则，仍用 就是鲍威尔修正算法，通常所说的鲍威尔算法就是指这一修正算法。
• 鲍威尔算法的计算步骤及算法框图
第三讲 多维无约束最优化共轭方向法
在每一步的过程中，搜索方向线性独立是 非常重要的，否则可能不收敛。 例2： Rosenbrock函数的极小值 例3：
f ( x1 , x2 , x3 ) ( x1 x2 x3 ) 2 ( x1 x2 x3 ) 2 ( x1 x2 x3 ) 2
(d ) Az i z d i T i z , j 1, 2,...m i 1 ( z ) Az
j j
j 1
j T
i
则 z1, z2,… zm 关于A 共轭。
二次终结性
一个算法用于解正定二次函数的无约束极小时， 若有限步迭代可达最优解，则称该算法具有二 次终结性。 共轭方向 + 精确一维搜索 ＝ 二次终结 设 z1, z2,… zm 关于正定阵A 共轭。则从任意初 始点出发，二次型目标函数
共轭方向
当A=I(单位矩阵)时， d(1)TAd(2)= d(1)Td(2)=0，即正交关系。
共轭方向 正交方向 当d(1),d(2), …,d(m) 关于正定矩阵A两两共 轭时， d(1),d(2), …,d(m) 线性无关。
构造共轭方向的Schmidt过程
设d(1),d(2), …,d(m) 线性无关。令
一些改进方法
Rosenbrock算法（旋转方向法） Hooke-Jeeves算法（步长加速法）
多维无约束最优化：共轭方向法
1.
2.
基本思想：沿着某些方向依次进行精确 的一维搜索，确定最佳的步长。 共轭方向 定义：设 An×n 对称正定，d (1),d (2) ∈Rn , d (1) ≠0，d(2) ≠0，满足 d(1)TAd(2)=0, 称d(1),d(2) 关于矩阵A共轭。 共轭向量组：d(1),d(2), …,d(m) ∈Rn 均 非零，满足d(i)TAd(j)=0,(i≠j) .
无约束问题最优化方法
向可以使函数值下降，只
x2
有在锐角所包含的范围搜
索才可以达到函数值下降
的目的，故坐标轮换法对 此类函数会失效。
脊线
x1
第二轮迭代，需要
x0(2) x2 (1)
依次类推，不断迭代，目标函数值不断下降，最后逼 近该目标函数的最优点。
终止准则
可以采用点距准则
注意： 若采用点距准则或函数值准则，其中采用的点应该是一轮
迭代的始点和终点，而不是某搜索方向的前后迭代点。
8.1.2坐标轮换法的计算步骤
⑴任选初始点
作为第一轮的起点 ，置n个坐标轴方向矢量为单位 坐标矢量：
已知初 始点 x（1） (1, 2, 3)T ，当 x(n1) x(1) 0.01时停止
迭代．
小结
坐标轮换法程序简单，易于掌握。但是计算效率比 较低，尤其是当优化问题的维数较高时更为严重。一 般把此种方法应用于维数小于10的低维优化问题。
对于目标函数存在
“脊线”的情况，在脊线
的尖点处没有一个坐标方
对于n维优化问题，如果只利用函数值求最优值的解法，称 为直接搜索法；
解析法的收敛速率较高，直接法的可靠性较高。
8.1 坐标轮换法
坐标轮换法属于直接法，既可以用于无约束优化问 题的求解，又可以经过适当处理用于约束优化问题求 解。
坐标轮换法是每次搜索只允许一个变量变化，其余 变量保持不变，即沿坐标方向轮流进行搜索的寻优方 法。它把多变量的优化问题轮流地转化成单变量（其 余变量视为常量）的优化问题，因此又称这种方法为 变量轮换法。此种方法只需目标函数的数值信息而不 需要目标函数的导数。
第8章 无约束问题最优化方法
➢无约束优化理论研究开展得较早，构成的优化方法巳很多 ，也比较成熟，新的方法仍在陆续出现。本章的内容与目的 是讨论几个常用无约束优化方法的基本思想、方法构成、迭 代步骤以及终止准则等方面问题。
第8章 无约束问题最优化方法
8 ． 1 ． 3 计算举例
例 8-1 用变量轮换法求解
2 2 min f ( x) 3x12 2x2 x3 ，
( n 1) （1） T x (1) 0.01 时停止 已知初始点 x (1, 2, 3) ，当 x
迭代．
8.2
模式搜索方法
模式搜索方法 ( Pattern Search Method ) 是 R.Hooke 和 T.A.Jeeves 于 1961 年提出的 , 因此也称为 Hook-Jeeves 方法 , 此方法有明显的几何意义 , 为介绍这种方法 , 从求一个二元函 数的极小点谈起．这相当于寻找某个曲面的最低点 , 或者形象 地说 , 相当于从一座山岭的某处出发 , 设法走到附近某一盆地 的最低点 , 怎样才能尽快达到这一目标呢 ? 很显然 , 如果能找 到一条山谷 , 沿山谷行进是最好的方法． 模式搜索方法就是根据上述思想设计的．它由两部分组成 , 包括探测移动和模式移动． 利用这种算法建立的迭代点移动 不需要使用一维搜索技巧．
(1) (1) (1) (1) (1) (1) e2 ) f (t 2 ) , 则 置 t3 t3 t2 e2 ； 否 则 若 f (t 2 t2 e2 ； 否 则
置 t 3 (1) = t 2 (1) ．
(1) 重复以上过程， 最后得到 t n 1 ．
8 ． 2 ． 2 模式移动
8.3 可变单纯形法
可变单纯形法的基本思想是， 给定 R n 中的一个单纯 形， 求出 n +1 个顶点的函数值 , 并确定这些函数值中的 最大值、 次大 值和最小 值， 然后通过 反射 、扩张、 内 缩、缩边 等方 法（几种 方法 不一定同 时使 用）求出 一 个较好点，用它取代最大值的点，以构成新的单纯形， 通过多次 迭代 逼近极小 点， 迭代过程 中逐 渐地把单 纯 形向最优点移动．
第三讲 无约束优化(多维无约束优化方法)
2019/10/21
5
1. 梯度法（最速下降法 ）
（2）迭代公式 ： X (k 1) X (k) k S (k) X k f X k
或
X (k1) X (k) k
f f
X k X k
f
X k
f ，f x1 x2
X (2) 1
S (1)
S为S（2）的共轭方向。
S即为S(1)的共轭方向。
2019/10/21
18
（2）共轭梯度法的基本原理
2）共轭方向的构造
S k1 f X k1 k S k
上式的意义是以新的负梯度方向 f X k1 ，加上原
负梯度的一部分k S k 来构造 S k1 。
2019/10/21
3
1. 梯度法（最速下降法 ）
数值迭代格式
X (k 1) X (k ) k S (k )
从数值迭代格式可以看出，构造一种算法的关键 是如何确定一个有利的搜索方向。
梯度方向是函数值上升最快的方向，负梯度 方向是函数值下降最快的方向。
2019/10/21
以负梯度方向作为搜索方向
4）牛顿法不能保证函数值稳定下降，严重时还会造 成点列发散导致迭代失败。
2019/10/21
1 27
3. 多维牛顿法（阻尼牛顿法）
问题的提出
因函数不一定是二次函数，基本牛顿法的步长因子 恒为1，有时会导致迭代发散而失效。
改进方法
仍取牛顿方向，但改用最优步长因子：
X (k1) X (k ) k [H ( X (k ) )]1f ( X (k) ) 一维搜索求最优步长
'X 0
西南交大运筹学《无约束最优化方法》
运筹学Operations Research无约束最优化方法西南交通大学经济管理学院§1.最速下降法§2.Newton法§3.共轭梯度法§4.变尺度法§5.直接法)()()()(0)(,,1,P o P X f X f P X f X f X f P E P T k k k k kn λλλ+∇+=+≠∇=∈非零：处的梯度它在是连续可微的函数即是单位向量设P X f o P X f X f P X f P f P X X f T k T k k k k)()()(lim )()(lim )(00∇=+∇=−+=∂∂→→λλλλλλλ的方向导数为：处关于方向在点k k k k T k kk T k X f P X f P X f P X f P P X f θθθcos )(cos )()()()(∇=⋅∇=∇∇∇之间的夹角，则和为。
记就是使下降最快的方向取最小的使处的最速下降方向。
在点通常把它叫做下降最快的方向。
出发使是从点时，上式最小，所以可知，当k kk k k X f f X X f P )(:−∇==πθ下降的搜索方向。
再去寻找使处不需要在点这时的点局部最优解的必要条件的已是满足的驻点。
是，则若f X X f X X f k k k k ,,)NP (0)(=∇:,)(,,,;,,,,,1的最佳步长，即作为点最小的确定使来的一维搜索即通过在负梯度方向上最佳步长方法采用振荡的情况。
所以一般在极值点附近出现来回则若步长选得大计算次数较多则收敛慢长选得小若步。
选择用固定步长时还要确定步长方向之后在选定了搜索得到下一个近似点为了由点＋kk k k X X f X X λλ))((min ))((0kk k k k X f X f X f X f ∇−=∇−>λλλ§1.最速下降法)()()()()(0)()()()()())(()()()(21)()()())((2k k T k k T k k k k T k k T k k k k k T k kT k k k k X f X H X f X f X f X f X H X f X f X f d X f X df X f X H X f X f X f X f X f X f ∇∇∇∇==∇∇+∇−∇=∇−∇∇+∇∇−≈∇−λλλλλλλλ得：求导并令其等于零，则对§1.最速下降法Step1.。
多维无约束优化算法
多维无约束优化算法多维无约束优化问题的一般数学表达式为：求n 维设计变量使目标函数多维无约束优化算法就是求解这类问题的方法，它是优化技术中最重要最基础的内容之一。
因为它不仅可以直接用来求解无约束优化问题，而且实际工程设计问题中的大量约束优化问题，有时也是通过对约束条件的适当处理，转化为无约束优化问题来求解的。
所以，无约束优化方法在工程优化设计中有着十分重要的作用。
目前已研究出很多种无约束优化方法，它们的主要不同点在于构造搜索方向上的差别。
（1）间接法——要使用导数，如梯度法、（阻尼）牛顿法、变尺度法、共轭梯度法等。
（2）直接法——不使用导数信息，如坐标轮换法、鲍威尔法单纯形法等。
用直接法寻找极小点时，不必求函数的导数，只要计算目标函数值。
这类方法较适用于解决变量个数较少的（n ≤20）问题，一般情况下比间接法效率低。
间接法除要计算目标函数值外，还要计算目标函数的梯度，有的还要计算其海赛矩阵。
各种优化方法之间的主要差异是在于构造的搜索方向，因此，搜索方向的构成问题乃是无约束优化方法的关键。
下面介绍几种经典的无约束优化方法。
1、梯度法基本思想：函数的负梯度方向是函数值在该点下降最快的方向。
将n 维问题转化为一系列沿负梯度方向用一维搜索方法寻优的问题，利用负梯度作为搜索方向，故称最速下降法或梯度法。
搜索方向s 取该点的负梯度方向(最速下降方向) ，使函数值在该点附近的范围内下降最快 。
为了使目标函数值沿搜索方向能够获得最大的下降值，其步长因子应取一维搜索的最佳步长。
即有12[]T n x x x = x ()min f →x ()k f -∇x k αmin ()nf R ∈x x 1(0,1,2,)k k k k s k α+=+= x x 1(0,1,2,)k k kk s k α+=+= x x 1()(0,1,2,)k k k k a f k +=-∇= x x x 1()[()]min [()]min ()k k k k k k k a af f a f f a f ϕα+=-∇=-∇=x x x x x根据一元函数极值的必要条件和多元复合函数求导公式，得在最速下降法中，相邻两个迭代点上的函数梯度相互垂直。
多维无约束优化算法
多维无约束优化算法多维无约束优化问题的一般数学表达式为：求n 维设计变量使目标函数多维无约束优化算法就是求解这类问题的方法，它是优化技术中最重要最基础的内容之一。
因为它不仅可以直接用来求解无约束优化问题，而且实际工程设计问题中的大量约束优化问题，有时也是通过对约束条件的适当处理，转化为无约束优化问题来求解的。
所以，无约束优化方法在工程优化设计中有着十分重要的作用。
目前已研究出很多种无约束优化方法，它们的主要不同点在于构造搜索方向上的差别。
（1）间接法——要使用导数，如梯度法、（阻尼）牛顿法、变尺度法、共轭梯度法等。
（2）直接法——不使用导数信息，如坐标轮换法、鲍威尔法单纯形法等。
用直接法寻找极小点时，不必求函数的导数，只要计算目标函数值。
这类方法较适用于解决变量个数较少的（n ≤20）问题，一般情况下比间接法效率低。
间接法除要计算目标函数值外，还要计算目标函数的梯度，有的还要计算其海赛矩阵。
各种优化方法之间的主要差异是在于构造的搜索方向，因此，搜索方向的构成问题乃是无约束优化方法的关键。
下面介绍几种经典的无约束优化方法。
1、梯度法基本思想：函数的负梯度方向是函数值在该点下降最快的方向。
将n 维问题转化为一系列沿负梯度方向用一维搜索方法寻优的问题，利用负梯度作为搜索方向，故称最速下降法或梯度法。
搜索方向s 取该点的负梯度方向(最速下降方向) ，使函数值在该点附近的范围内下降最快 。
为了使目标函数值沿搜索方向能够获得最大的下降值，其步长因子应取一维搜索的最佳步长。
即有12[]T n x x x = x ()min f →x ()k f -∇x k αmin ()nf R ∈x x 1(0,1,2,)k k k k s k α+=+= x x 1(0,1,2,)k k k k s k α+=+= x x 1()(0,1,2,)k k k k a f k +=-∇= x x x 1()[()]min [()]min ()k k k k k k k a af f a f f a f ϕα+=-∇=-∇=x x x x x根据一元函数极值的必要条件和多元复合函数求导公式，得在最速下降法中，相邻两个迭代点上的函数梯度相互垂直。
无约束最优化方法
§3.2.1 最速下降法
最速下降法迭代公式是 f ( xk k pk ) min f ( xk pk ) 0 计算步骤如下： （1）给定初点 x0 ，允许误差 ＞0，令k=0。 （2）计算搜索方向 gk g ( xk ) （3）若 gk ，则 x xk ，停止；否则令 pk g k ， f ( x k p k ) 由一维搜索步长 k ，使得 f ( xk k pk ) min 0 （4）令 xk 1 xk k pk ，k=k+1，转步骤（2）。
T
类似地计算下去，并可用归纳法证明，算法3.2.1产生如下点列 xk x , 且 xk 1 x / xk x 0.8 ，可见对所给目标函数，算法是 显然， 整体收敛的，收敛速度是线性的。
x1 1 0.8 9 9 (9 9) 1 0 0 9 9
f ( x p) f ( x ) pT g ( x 1 p)
§3.1 无约束最优化问题的最优性条件
定理 3.1.2（二阶充分条件） x f ( x ) 若在 的某领域内 有二阶连续偏导数，且 g =0， G = G( x )正定，则 x 为问题（3.1）的严格局部极小点。 定理 3.1.3（二阶必要条件） 若 x 为 f ( x) 的局部极小点，且在 x 的某领域内 f ( x) 有 二阶连续偏导数，则 g =0，G 半正定。 定理 3.1.4 n f ( x ) 设 在 R 上是凸函数，且有一阶连续偏导数，则 x 为 f ( x)的整体极小点的充分必要条件是 g =0。 证明略。
本章开始讨论无约束优化问题 min f ( x), x Rn （3.1） 的计算方法。所介绍的几个算法基本上都属于下降算法。前 面已经讲过了步长的求法，记忆未搜索。所以现在构造算法 的关键在于如何选取搜索方向。根据选取搜说方向是否使用 目标函数的导数，可将无约束优化算法分为两类：一类称为 解析法，本章将介绍最速下降法，Newton法，共轭梯度法和 拟Newton法，它们都使用目标函数的导数；另一类称为直接 法，不使用导数。本章将介绍Powell的方向加速法。在介绍具 体的算法之前，我们先来讨论问题（3.1）的极小点所应具有
最优化方法-3.1无约束最优化方法
min f ( x)或min f ( x)。
xR1
a xb
定义：若在a,b内 f ( x)有唯一极小点 x*，在 x*
的左边 f ( x)严格下降，在 x*的右边 f ( x)严格上升，
则称 f (x)在区间a,b上是下单峰函数。
a
b
下单峰函数的性质：在a,b内任取两点 x1, x2且
2. 一维搜索
最优化问题的算法一般迭代格式：
给定初始点 x0，令k 0。 (i)确定 xk 处的可行下降方向 pk ；
(ii)确定步长k 0，使得 f ( xk k pk ) f ( xk )； (iii)令 xk1 xk k pk ； (i )若 xk1满足某种终止准则，则停止迭代，以 xk1为近似最优解。否则令k k 1，转(i)。
如果对于任意初始点 x0 D，由算法产生的点 列都收敛于最优解 x*，则这个算法称为全局收敛。
3. 收敛速度
定义 1.2.3：设序列xk 收敛于 x*，而且
lim xk1 x* ，
k xk x*
若0 1，则称xk 为线性收敛的，称 为收敛比； 若 0，则称序列xk 为超线性收敛的。 若 1，则称序列xk 为次线性收敛的。
定义 1.2.1：在 xk 点处，对于 pk 0，若存在 0， 使 (0, )有
f ( xk pk ) f ( xk ) 成立，则称 pk 为 f ( x)在点 xk 处的一个下降方向。
当 f ( x)具有连续的一阶偏导数时，记f ( xk ) gk 。由
Taylor 公式 f ( xk pk ) f ( xk ) gkT pk o( )
a 2(b a)
6- 优化设计-3多维优化之无约束优化方法
f ( X ( 0 ) ) 4 2
令 则
S ( 0 ) f ( X ( 0 ) ) 4 2
X
(1)
X
(0)
S
(0)
1 4 1 4 1 2 1 2
①
②
③
④
若满足，则迭代结束， x* x ( k 1) ；
⑤
检查搜索次数，
若k n， 则令 x ( 0 ) x ( k 1) ， 转第②步； 若k n， 则进行下一步；
⑥
计算 ( k )，构造新的共轭方向 ： S ( k ) f ( x ( k 1) ) ( k ) S ( k ) , 令 k k 1, 转第③步。
1 2 , 0.25, X (1) 0 .5 4
f ( X (1) ) 5.5
因
f ( X (1) ) 5 ,
还应继续迭代计算
9
2)第二次迭代 因 f ( X ) 1 ,
( 1)
2 1 2 X X S 0 . 5 2 0 . 5 2 f ( X (2) ) (2 )2 2(0.5 2 )2 2(2 )(0.5 2 ) 4(2 ) ( )
即：S0 H S1=0 其中 S1= X1min- X2min
意义：按当前搜索方向构造关于目标函数 二阶导数矩阵共轭的向量
17
3、共轭梯度法的成因
函数在负梯度 方向下降最快
沿与目标函数海森 矩阵共轭方向经有限次 迭代可达极值点
以负梯度的共轭方向进行目标函数极 值的迭代搜索可大大加快收敛速度
第八章无约束最优化方法
n
∗
∗
∂f ( x ∗ ) ∂f ( x ∗ ) ∇f ( x ) = ,L , =0 ∂xn ∂x1
∗
T
(8.2)
定理 8.2
(二阶必要条件) 设 f ( x ) 在点 x 处二次可微，若 x 是局部极小点，则
∗
∗
∇f ( x ∗ ) = 0 ，并且 Hessian 矩阵半正定 H ( x ∗ ) = ∇ 2 f ( x ∗ ) ，即
代入(8.8)式，得方程
λ 2 + λ −1 = 0
于是取正根 λ =
−1 + 5 ≈ 0.618 。如果 ϕ (α ) > ϕ ( β ) ，那么下一个搜索区间为 [α , b ] ，因 2
为 α < β < b ，故可设 β 为区间 [α , b ] 的左分点，同理可推出如上 λ 的值。从而，由(8.7) 式可得区间 [ a, b ] 的两个分点
b 作 ϕ 的二次插值多项式 N 2 (t ) = ϕ (a ) + ϕ [ a, c ] (t − a ) + ϕ [ a, c, b ] (t − a )(t − c)
(8.9)
其中 ϕ [ a, c ] 为 ϕ 关于节点 a 和 c 的一阶差商， ϕ[a, c, b] 为节点 a ， c 和 b 的二阶差商，令
ϕ (α k )
-0.434762 -0.546860 -0.411036 -0.546847 -0.557765 -0.560980 -0.558332 -0.560981 -0.560379 -0.560981 -0.561096
ϕ (βk )
0.703359 -0.434943 -0.546826 -0.557772 -0.532149 -0.557769 -0.560980 -0.560863 -0.560981 -0.561096 -0.561068
无约束问题的最优化条件PPT课件
.
4) 校正 Hk 产生 H k 1 ，计算 Hk1 Hk Ek , Ek 称为 Hk 的第 k 次校正矩阵.
5) k : k 1， 转 2）
37
.
三、拟牛顿条件
拟牛顿法设计关键在于 Hk 的构成 为保证 Hk 与 2 f (xk )1 近似并有容易计算的特点， Hk 应该满足如下条件： 1） Hk 对称正定，因为只要 Hk 对称正定，即可保证迭代
方向是下降方向。
38
.
dk Hkf (xk ) T f (xk )dk T f (xk ) Hk f (xk ) 0 T f (xk ) Hk f (xk ) 0 只要 Hk 正定，可保证迭代是下降的。
似程度越好，应加大 hk ，否则相反。
31
.
二. 信赖域算法基本步骤
1）给出初始点 x0 ，令 h0 g0
2）给出 xk 和 hk ，计算 gk 和 Gk 3）解信赖域模型（子问题），求出 dk 4）求 f (xk dk ) 和 rk 的值
5）如果 rk 0.25 ，令 hk1
dk 4
（缩减信赖域半径）
注：按照这种方法选取搜索方向，再加上一维搜索（精确
或非精确）算法的总体收敛性一般可以得到保证，但当 Gk
非正定时候较多时也可能失去牛顿法快速收敛的特点。
26
.
5.4 信赖域法
自动化学院
27
.
一、信赖域算法
1．牛顿法的基本思想
在当前迭代点 xk 附近用二次函数
(k) (d)
f
(xk ) gkT d
)
12 12
12
1
2)方向 d (0 ) (G (x (0 ))) 1 f(x (0 )) 1 , 3 2 T
无约束最优化的常用方法
⽆约束最优化的常⽤⽅法11/22/2017 12:40:56 PM优化问题在很多领域有着重要的应⽤。
为了⽇后查阅⽅便，本⽂列举常见的⽆约束优化⽅法的计算公式。
需要说明的是，本⽂的⼤部分内容选⾃图书《算法笔记》。
⼀、梯度下降法梯度下降法（Gradient Descent Method）也叫做最速下降法（Steepest Descent Method），因为负梯度是函数局部下降最快的⽅向。
梯度下降梯度下降法的迭代格式为x k+1=x k−αk∇f(x k)梯度下降法⾮常简单，只需要知道如何计算⽬标函数的梯度就可以写出迭代格式。
因此，尽管在不少情况下梯度下降法的收敛速度都很慢，也依然不影响它在⼯业界的⼴泛应⽤。
梯度下降法应⽤到⼀些具体模型上有时也会被视作⼀类特定的算法，例如神经⽹络中的后向传导算法（Back Propagation Algorithm）。
随机梯度下降在机器学习中经常有f(x)=∑m i=1ℓi(x)，其中ℓi(x)是第i个训练样本的损失函数。
这时我们可以使⽤随机梯度下降法（Stochastic Gradient Descent Method）。
其迭代格式为x k+1=x k−αk∇ℓr(x k)其中r∈1,2,⋯,m为随机数。
这种做法可以理解为随机选择⼀个训练样本，进⾏⼀次梯度下降的训练。
在机器学习的问题中，我们通常不需要真的求得最优值，这样不精确的迭代，使得算法不容易过拟合。
由于随机梯度下降法的普及，与此相对的梯度下降法有时被称为批量梯度下降法（Batch Gradient Descent Method），因为它同时考虑所有训练样本。
介于批量梯度下降法和随机梯度下降法之间，还有⼩批量梯度下降法（Min-Batch Gradient Descent Method），也就是每次迭代选择若⼲个训练样本。
步长αk的选取梯度下降法可采⽤BB步长（Barzilai Borwein）。
BB步长有两个计算公式，选择其⼀即可。
3.4 多维无约束优化方法
搜索方向d取该点的负梯度方向 f (x) (最速下降 方向) ，使函数值在该点附近的范围内下降最快 。
xk1 xk kd k (k 0,1,2,)
xk1 xk akkf ( xk ) (k 0,1, 2, )
最速下降法的迭代格式
为了使目标函数值沿搜索方向 f (xk )能够获得 最大的下降值，其步长因子k 应取一维 搜索的最佳
沿G的某一共轭方向 d k 作一维搜索，达到 xk1 点，即
xk1 xk k d k
xk1 xk k d k
而在xk
,
xk
1处的梯度gk
,
gk
分别为
1
gk Gxk b gk1 Gxk1 b
gk1 gk G(xk1 xk ) kGdk
若d j和d k对G是共轭的，则有(d j )T Gdk 0
0.020
030
72
第一次迭代设计点位置和函数值
x1
2 40
2
100
0
1.919 877 0.307 178
5
102
f (x1) 3.686 164
继续作下去，经10次迭代后，得到最优解 x 0 0 T
f (x) 0
坐标轮换
这个问题的目标函数的等值线为一簇椭圆， 迭代点从X0走的是一段锯齿形路线
[f ( xk1)]T f ( xk ) 0
[d (k1) ]T d (k) 0
意味着搜索方向互相垂直
梯度法迭代历程
梯度算法框图
例4－1
求目标函数
f (x)
x2 1
25
x2 2
的极小点。
解 取初始点x0 [2,2]T
则初始点处梯度： f ( x0 ) 104
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
5 共轭梯度法
共轭梯度法的迭代公式
设从xk出发，沿dk=-gk 方向作一维搜索到 xk+1点，并算 出xk+1点的梯度方向gk+1。由于gk+1 是沿等直面在该点的法 线方向，而dk是沿等直面在该点的切线方向，故(dk)Tgk+1= 0，即 gk+1Tgk=0，gk+1 与 gk 正交。 为了在 gk+1 和 gk 构成的正交系中确定共轭方向dk+1，令 dk+1 = -gk+1+k dk 即把共轭方向dk+1看成-gk+1与 dk的线性组合，k 为待定 系数。要使dk+1与dk 共轭，就应使 (dk+1)TGdk =0 而 (dk+1)TGdk =(-gk+1+kdk)TGdk =(-gk+1 kgk)TG(-gk ) =gk+1TGgk+k gkTGgk =0
T
0 T 4 100 1 50
T
1 1 2 2 4 0 100 0 4 100 50 2 f x 0
0 0
T
对照梯度法和牛顿法迭代公式，可以看出只相差一项 海赛矩阵的逆矩阵。因此，牛顿法是对梯度法的进一步修 正。事实上，梯度法是对目标函数f(x)在点xk的一阶(线性) 近似，而牛顿法是对f(x)在点xk 的二阶(二次)近似。
2 最速下降法
(1) 最速下降法以负梯度方向作为搜索方向并作一维搜索，因 此又称为“梯度法”，属于求导数的间接法。它的基本思想早 在1847年就已提出。尽管它本身不再被认为是一种有效的方法， 但它是许多优化方法尤其是二次收敛方法的基础。 各点的梯度一般各不相同，因此“最速下降方向”仅对某 一点附近而言，它具有局部性质。 当作一维搜索时，搜索方向是与目标函数等值线相切的， 而切点的梯度方向是与等值线正交的。因此，相邻两次搜索方 向相互垂直，搜索路径呈严重的“之”字形，特别是目标函数 接近二次型时更为明显。 可以利用梯度矢量在极值点为零这一重要性质设立收敛准 则 f(x*)
3 牛顿型方法
牛顿法是用目标函数二阶偏导数的间接方法，因类似 于解非线性方程的牛顿法而得名，又叫“二阶导数法”、 “拟线性法”。 将目标函数泰勒展开，保留到二次项，原目标函数就 转变为下列二次型函数： 1 f(x) (x)= f(xk)+f(xk)T(x xk)+ 2 (xxk)T2f(xk)(xxk) 2f(xk)为f(x)在xk点处的海赛矩阵。 f 为求极值点，对上式求偏导数，并 x =0，得到 令 f(xk)+2f(xk)(x* xk) = 0 对于二次型函数，从理论上来说，牛顿法从任选初始 点一步就能收敛到最优点。但对于目标函数不是二次型， 或计算机截断误差的影响，往往需要多次迭代才能得到最 优点。牛顿法的迭代公式为： xk+1 = xk [2f(xk)]-1f(xk) (k=0, 1, 2, · · · )
k 1
gk g k 1
2 2
在迭代中第一次搜索方向 d0 取 x0 的负梯度方向-g0。
5 共轭梯度法
与梯度法相比，由于修正项kdk 改进了收敛性，使搜 索方向共轭，故能以较少的迭代次数收敛到最优点。 由于计算梯度时很可能出现误差，使搜索方向不能完 全保持共轭，同时目标函数也可能不是正定的二次函数， 因此n次迭代后一般都不会达到精确的极小点。可在每n次 迭代后令 d0 = dn = -gn 作为下一轮迭代的第一次搜索方向，重新开始新一轮迭代。 上述共轭梯度法又称 Fletcher-Reeves 共轭梯度法。而 PRP(Polak-Ribiere-Poiyak)共轭梯度法按下式计算k-1：
第八章 无约束多维问题的 最优化方法
1 概述 2 最速下降法
3 牛顿型Байду номын сангаас法
4 共轭方向及共轭方向法 5 共轭梯度法
6 变尺度法
7 坐标轮换法
8 鲍威尔法
9 单形替换法
1 概 述
无约束优化方法只考虑搜索的适行性，结合罚函数法， 也可解约束优化问题。目前，成熟可靠的优化算法中，无 约束优化方法占多数，总体上无约束优化方法的有效性及 实用性都优于约束优化方法。 无约束优化方法可分为两大类：1)不求导数的直接法， 主要有随机方法和直接搜索方法； 2)求导数的间接法，按 所求导数的最高阶数又可分为一阶方法和二阶方法。二阶 方法很少采用。 优化算法的一般搜索迭代公式 xk+1= xk+xk xk+1= xk+kdk 注意，在搜索迭代中，由于一维搜索需增加大量计算， 因此，并不是所有优化方法都采用一维搜索。
k 1
T g k g k 1 g k T gk 1 g k 1
5 共轭梯度法
共轭梯度法(Fletcher-Reeves)的算法
1)给定变量个数n，选取收敛精度和初始点x0，计算x0点 的梯度 g0，取第一次搜索方向d0 = -g0 ，令k = 0。 2)沿dk方向作一维搜索，得到 xk+1点，xk+1= xk+k dk 。 k k +1。 3)计算当前点的梯度 gk ，若迭代收敛准则 gk 成立， 则结束迭代，输出当前点作为最优点。否则，若k=n，dk= -gk，k0，转2)进行新一轮迭代。若k≠n，dk按下式计算: dk=-gk+k-1dk-1，其中
4 共轭方向及共轭方向法
共轭方向的性质
二次收敛性： 如 n=2，二次函数的等值线为一同心椭圆族，它的极 小点就是椭圆中心。该椭圆族有一重要性质，即两平行线 与椭圆的两个切点的连线必过椭圆族的中心，且连线与平 行线的方向是共轭的(见下图)。
x2
x1
4 共轭方向及共轭方向法
因此，从任一点出发，沿任意方向作一维搜索找到的 极小点就是椭圆的切点，再沿共轭方向作一维搜索找到的 极小点就是椭圆中心也就是目标函数的极小点。这说明， 对二维二次正定目标函数只要沿共轭方向作两次一维搜索 就可得到其极小点。 推广到n维，若采用共轭方向作为搜索方向，任何一个 具有极小值的n维二次正定目标函数，理论上最多只要n步 就能达到极小点且与所用搜索方向的次序无关。这种性质 称为“二次收敛性”，利用这种性质的优化方法称为二次 收敛方法。
5 共轭梯度法
因此,下一个搜索方向确定为
d k 1 gk 1 k d k gk 1 gk 1 gk
2 2
dk
同样 ,可以证明按上述公式确定的 dk+2 与 dk+1 为共轭方 向，依此类推而确定的 n个dk (k=0,1,2,…,n-1)方向为一组 关于G的共轭向量系。上述结论也可由数学归纳法证明。 最后，我们得到共轭梯度法的迭代公式为 x k+1 = x k+k dk 式中 dk = -gk+k-1 dk-1
5 共轭梯度法
因此
T gk 1Ggk k T g k Ggk
前面已推导出 gk+1 gk = k Gdk，即 gk+1 gk = -kGgk
或
Ggk g k 1 g k
k
代入上式得
T T T T gk Gg g g g g g g 1 k k 1 k 1 k k 1 k 1 k 1 g k k T T T T g k Ggk g k g k 1 g k g k g k 1 g k gk T T g k 1 gk gk 1 g k 1 0 1 g k 1 2 T T 0 gk gk gk gk gk 2
1
5 共轭梯度法
上式表明：从 xk 开始沿 dk 方向进行一维搜索，其终点 xk+1与始点xk 两点的梯度之差 gk+1 gk与dk 的共轭方向dk+1 正交。因此，利用这个性质，不必计算矩阵G 即可求出共 轭梯度法的共轭方向。
共轭梯度法的几何说明
dk+1 Xk+2
xk
xk+1
gk
dk gk+1 gk+1 gk
4 共轭方向及共轭方向法
共轭方向法
共轭方向是一大类方法，包括共轭梯度法，Powell法等。 其中一种产生共轭方向的方法为格拉姆－斯密特 (Gram－ Schmidt)法。 比较有效的共轭方向法都尽量避免计算海赛矩阵。
5 共轭梯度法
共轭梯度法的共轭方向
二次正定函数 f x x T Gx bT x c 在 xk 点的梯度为 2 k gk = Gx + b 前面已给出优化算法的搜索迭代公式： xk+1= xk+kdk 若进行一维搜索，k 则为最优步长因子。 xk 和xk+1 两点负梯度方向的差为 gk+1 gk = G(xk+1 xk) = G(xk+kdk xk)=k Gdk 若dk+1 和 dk 是G 共轭方向，则 (dk+1)TG dk = 0 用(dk+1)T前乘 (gk+1 gk)，有 (dk+1)T(gk+1 gk) = k(dk+1)TGdk = 0 即 dk+1与(gk+1 gk)正交。
3 牛顿型方法
为防止牛顿法收敛到极大点而不是极小点，可在迭代 过程中作一维搜索，形成改进的牛顿法—“阻尼牛顿法”。 牛顿法的最大缺点是需要计算海赛矩阵，并求其逆矩阵， 计算量很大。 例2 用牛顿法求 f(x1, x2) = x12+25x22 的极小点。
取 x0 = [2 2]T f(x0) = [2x10 50x20] T = [4
4 共轭方向及共轭方向法
共轭方向的概念
二次正定函数的一般形式为：
f x 1 T x Gx bT x c 2
式中，G为 nn 阶对称正定矩阵，b=[b1, b2, ,bn]T 为常矢 量，c为常数。