第三章 无约束最优化方法
第3章 无约束最优化方法 3-1 最速下降法 3-2 牛顿法
1
u f ( x)u m u
T 2
2
u R
n
则从任意的初始点 x 0 出发，阻尼牛顿法产 生的迭代点列 满足： （1）当 x k 为有穷点列时，其最后一个点 为 f ( x) 的唯一极小点。 （2）当 x k 为无穷点列时，收敛到 f ( x) 的
第3.2节 Newton法及其改进
第3.1节 最速下降法（Steepest Method）
对于最速下降法的几点说明 （1）第2.6节中介绍的关于下降算法的收敛 性定理对最速下降法都是成立的 。 （2）目标函数在负梯度方向下降得最快只 是局部性质。 （3）锯齿现象 （4）改进策略：在计算的开始阶段使用最 速下降法，在迭代数次后，改用其他算法。
本节的主要内容：
（1）牛顿法的基本思想
（2）阻尼牛顿法
（3）带保护措施的阻尼牛顿法
（4）吉尔-默里稳定牛顿法
（5）信赖域方法（一）
第3.2节 Newton法及其改进
（1）牛顿法的基本思想： * 在目标函数f ( x)的极小点 x 的近似点 x k 附近将 f ( x) 二阶Tayler展开，用展开的二次 函数去逼近 f ( x)，将这个二次函数的极小点 * x 作为 的一个新的近似点 x k 1 ，依次下去， 用一系列二次函数的极小点 xk 1 去逼近 f ( x) 的极小点 x * 。
第3.2节 Newton法及其改进
设 f ( x)二次连续可微，则 f ( x) 在 x k 处的二次 近似为： 1 T f ( x) qk ( x) f ( xk ) f ( xk ) ( x xk ) ( x xk )T 2 f ( xk )( x xk ) 2 令
第三讲 无约束优化(多维无约束优化方法)
2019/10/21
5
1. 梯度法（最速下降法 ）
（2）迭代公式 ： X (k 1) X (k) k S (k) X k f X k
或
X (k1) X (k) k
f f
X k X k
f
X k
f ，f x1 x2
X (2) 1
S (1)
S为S（2）的共轭方向。
S即为S(1)的共轭方向。
2019/10/21
18
（2）共轭梯度法的基本原理
2）共轭方向的构造
S k1 f X k1 k S k
上式的意义是以新的负梯度方向 f X k1 ，加上原
负梯度的一部分k S k 来构造 S k1 。
2019/10/21
3
1. 梯度法（最速下降法 ）
数值迭代格式
X (k 1) X (k ) k S (k )
从数值迭代格式可以看出，构造一种算法的关键 是如何确定一个有利的搜索方向。
梯度方向是函数值上升最快的方向，负梯度 方向是函数值下降最快的方向。
2019/10/21
以负梯度方向作为搜索方向
4）牛顿法不能保证函数值稳定下降，严重时还会造 成点列发散导致迭代失败。
2019/10/21
1 27
3. 多维牛顿法（阻尼牛顿法）
问题的提出
因函数不一定是二次函数，基本牛顿法的步长因子 恒为1，有时会导致迭代发散而失效。
改进方法
仍取牛顿方向，但改用最优步长因子：
X (k1) X (k ) k [H ( X (k ) )]1f ( X (k) ) 一维搜索求最优步长
'X 0
无约束优化方法
三. 内容：
一维搜索： 求最优步长因子α(k)
多维（变量）优化：确定搜索方向 S (k)
黄金分割 切线法 平分法 插值法 格点法
坐标轮换法 最速下降法 共轭方向法 鲍威尔法 梯度法 共轭梯度法 牛顿法 单形替换法 变尺度法
比较两试点函数值，由于 作前进搜索
此时，三个试点 函数值已经出现“高－低－高”特征， 得搜索区间为
3.2 一维搜索方法
α3(2)
黄金分割法 (0.618) ：
序列消去原理：
f (α)
α
α3(1)
α12
α*
α1(1)
0
α11
α21 α22
α1(2)
α1(3)
α3(3)
1.解析法：
定义:
在第K次迭代时，从已知点 X(k)出发，沿给定方向求最优步长因子α(k)，使 f (X(k) + α S(k) )达到最小值的过程，称为一维搜索。
பைடு நூலகம்
对α求导，令其为零。
01
直接法——应用序列消去原理：
02
分数法、黄金分割法
03
近似法——利用多项式函数逼近（曲线拟合）原理：
总结：将优化问题转化为一系列的一维搜索问题
沿方向S的一维搜索
3.2 一维搜索方法
单峰区间解析概念：
在区间 [α1，α3 ]内，函数只有一个峰值，则此区间为单峰区间。单峰区间内，一定存在一点α*，当任意一点α2＞α*时，f(α2)＞f(α*)，
说明： 单峰区间内，函数可以有不可微点，也可以是不连续函数；
3.1 引言
无约束优化方法计算步骤：
若已经取得某设计点x(k)，并且该点不是近似极小点，则在x(k)点根据函数f(x)的性质，选择一个方向S(k)，并且沿此方向搜索函数值是下降的，称下降方向。 当搜索方向S(k)确定后，由x(k)点出发，沿S(k)方向进行搜索， 定出步长因子 (k)，得到新的设计点：
第3章 无约束最优化方法 3-1 最速下降法 3-2 牛顿法
是局部性质。 n （3）锯齿现象 n （4）改进策略：在计算的开始阶段使用最
速下降法，在迭代数次后，改用其他算法。
第3.1节 最速下降法（Steepest Method）
n [引理3.2]（康德洛维奇Kntorovich不等式）
第3.2节 Newton法及其改进
n [推论3.8]设 且对任意的 在水平集
在开凸集D上二阶连续可微， ，存在常数 ，使得
上满足
则从任意的初始点 出发，牛顿法产生的迭
代点列 满足
，且收敛到
的唯一极小点。
第3.2节 Newton法及其改进
n 阻尼牛顿法的优点与缺点： 阻尼牛顿法克服了牛顿法要求初始点充分靠
n
，则d是下降方向；
n
，则 是下降方向。
第3.2.4节 吉尔-默里稳定牛顿法
n Gill-Murray稳定牛顿法的基本思想： n 当Hesse矩阵 在迭代点
处为不定矩阵时，对其进行强迫正 定的 分解；当 趋于零时， 采用负曲率方向使函数值下降。
第3.2.4节 吉尔-默里稳定牛顿法
n [算法3.15]（求负曲率方向的算法）
得到方向 ，令
。
n （6）精确线性搜索求 ，且令
n （7）若
，则进行步（8）；否则，
令
，转步（2）。
n （8）输出
，停止计算。
第3.2.4节 吉尔-默里稳定牛顿法
n [定理3.18]设 二阶连续可微，且存在
，使得
为有界闭
凸集。假定在吉尔-默里稳定牛顿法中取
，且初始点
，则吉尔-默里稳
定牛顿法产生的迭代序列 满足：
第三章--无约束最优化的梯度方法
第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了k 次，获得了第k 个迭代点k x 。
从k x 出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。
因此，取搜索方向)(k k x f p -∇=。
)(1k k k k x f t x x ∇-=+此时有：0)()(1=∇∇+k T k x f x f如将该方法应用于二次函数c x b Qx x x f T T ++=21)(，则可求出k t 的显式表达式。
)()()())(()(1k k k k k k k k k k x f Q t x f x f Q t b Qx b x f t x Q b Qx x f ∇-∇=∇-+=+∇-=+=∇+0)()()()(=∇∇-∇∇k T k k k T k x f Q x f t x f x fkTk kTk k T k k T k k Qg g g g x f Q x f x f x f t =∇∇∇∇=)()()()( 2.Newton 法适用条件：如果目标函数)(x f 在n R 上具有连续的二阶偏导数，其Hesse 矩阵)(x G 正定。
基本想法：考虑从k x 到1+k x 的迭代过程。
在k x 点处用二次函数来逼近)(x f ，即：))(()(21)()()()()(k k T k k T k k x x x G x x x x x g x f x Q x f --+-+=≈0)())(()(=+-=∇k k k x g x x x G x Q)()(11k k k k x g x G x x x -+-==3.共轭方向法与共轭梯度法 1) 共轭方向法定义1:设Q 是n n ⨯对称正定矩阵。
若n 维空间中非零向量系110,...,,-m p p p 满足0=j T i Qp p ，)(1,...,2,1,j i m j i ≠-= ,则称110,...,,-m p p p 是Q 共轭的，或称110,...,,-m p p p 的方向是Q 共轭方向。
第三章无约束问题的最优化方法
赋以0.618。
2 ,
；并计算其对应
的函数值。 3）根据区间消去法原理缩短搜索区间。为了能用原来的 坐标点计算公式，需进行区间名称的代换，并在保留区间 中计算一个新的试验点及其函数值。
如果
令 b , , f f 记N0=0； 2 2 1 2 1 如果 ，则新区间＝ ，
2
2
图2-5 黄金分割法
• 黄金分割法要求插入两点： a1 a (1 )(b a), f1 f (a1 )
a2 a (b a), f 2 f (a2 )
黄金分割法的搜索过程：
1）给出初始搜索区间及收敛精度 2）按坐标点计算公式计算 1
，将
在搜索区间内[a,b] 任取两点a1、b1，令f1＝f（a1）， f2＝f（b1） • (1)如f1<f2, 则缩小的新区间为[a,b1]; • (2)如f1>f2, 则缩小的新区间为[a1,b]; • (3)如f1=f2, 则缩小的新区间为[a1,b1]
f(b1) f(a1) f(a1) f(b1) f(a1) f(b1)
a
a1
b
a
a1
b1 b
a
a1
b1
b
§3.2 一维搜索方法
黄金分割法： • 黄金分割法适用于[a,b]区间上的任何单谷函数求极小值问题。对 函数除要求“单谷”外不作其他要求，甚至可以不连续。因此，这种 方法的适应面相当广。 • 黄金分割法也是建立在区间消去法原理基础上的试探方法。 • 在搜索区间内[a,b]适当插入两点，将区间分成三段；利用区间消 去法，使搜索区间缩小，通过迭代计算，使搜索区间无限缩小，从而 得到极小点的数值近似解。 •
第三章 非线性规划无约束问题的最优化方法.ppt
College of Energy and Power Engineering
研究生课程《工程数学》之“最优化方法”
第三章 无约束问题的最优化方法
第三章 无约束问题的最优化方法
第一节 第二节 第三节 第四节
变量轮换法 最速下降法 牛顿法 共轭梯度法
本章主要介绍构造无约束问题(多维)搜索方向的方法。这些方 法大致可分为两类：
第二节 最 速 下 降 法
因为 x(1) - x(4) > 0.01 ，故以x(4)点作为新的x(1) ，进行新一轮迭代。
x(1) = x(4) = (0,0,0)T
轾犏0 轾犏1 轾犏l x(1) + l e1 = 犏犏0 + l 犏犏0 = 犏犏0
犏臌0 犏臌0 犏臌0
( ) f x(1) = 3l 2
式中f(x)具有一阶连续偏导数，有极小点x*。 若现已求得x*的第k次近似值x(k)，为了求得第k+1次近似值x(k+1) ，需选定方向p(k)。 p(k)有什么特征呢？
令 x(k) + l p(k) = x ，其中 l > 0, p(k) = 1. p(k)为某个下降方向。
变量轮换法
min f (x)= 3x12 + 2x22 + x32
给定初始点
x(1) = (1, 2,3)T
当
x(n+1) - x(1) < 0.01
答案：
x(1) = (0, 0, 0)T
时，停止迭代
第二节 最 速 下 降 法
解： e1 = (1,0,0)T ,e2 = (0,1,0)T ,e3 = (0,0,1)T 从初始点 x(1) = (1, 2,3)T 出发，沿x1轴方向e1进行一维搜索：
第三章 非线性规划-无约束问题的最优化方法
f x( ) + l e1 = 3( + l ) + 2? 22 1
1
(
)
2
32 = 3( + l ) + 17 1
2
fl ' = 0 ? l 1
- 1
轾 轾 1 1 犏 犏 2 1 x( ) = x( ) + l e1 = 犏 + (- 1)犏 = 2 0 犏 犏 犏 犏 3 0 臌 臌
轾 0 犏 犏 ? f x(2) 2 犏 犏 3 臌
本章主要介绍构造无约束问题(多维 搜索方向的方法 本章主要介绍构造无约束问题 多维)搜索方向的方法。这些方 多维 搜索方向的方法。 法大致可分为两类： 法大致可分为两类：
第一类：直接搜索方法。在搜索过程中， 第一类：直接搜索方法。在搜索过程中，只用到目标函 数值，不需要计算其导数。例如， 数值，不需要计算其导数。例如，变量轮换法 第二类：解析方法。在搜索过程中， 第二类：解析方法。在搜索过程中，要用到目标函数的 导数。例如最速下降法 牛顿法、共轭梯度法等 最速下降法、 导数。例如最速下降法、牛顿法、共轭梯度法等。
第 一 节
一、基本思想
变
量
轮 换
法
认为最有利的搜索方向是各坐标轴的方向， 认为最有利的搜索方向是各坐标轴的方向，因此它轮流 按各坐标的方向搜索最优点。 按各坐标的方向搜索最优点。 过程：从某一个给定点出发，按第 个坐标轴 个坐标轴x 过程：从某一个给定点出发，按第i个坐标轴 i的方向搜 索时，假定有 个变量 则只有x 在变化，其余(n-1)个变量 个变量， 索时，假定有n个变量，则只有 i在变化，其余 个变量 都取给定点的值保持不变。这样依次从 做了n次单变 都取给定点的值保持不变。这样依次从x1到xn做了 次单变 量的一维搜索，完成了变量轮换法的一次迭代。 量的一维搜索，完成了变量轮换法的一次迭代。
第三章无约束最优化方法3
第三章⽆约束最优化⽅法3第⼋节坐标轮换法把⼀个多维问题转化为⼀系列较少维数的问题称为降维。
降维⽅法有⼏种，坐标轮换法是⽤得较多的⼀种，这是⼀种不需要求函数导数的直接探索⽬标函数最优解的⽅法。
直接法、降维法⼀、坐标轮换法的基本思想其基本思想就是通过每次仅对多元函数的⼀个变量沿其坐标轴进⾏⼀维探索，其余各变量均固定不动，并依次轮换进⾏⼀维探索的坐标轴，完成第⼀轮探索后再重新进⾏第⼆轮探索，直到找到⽬标函数在全域上的最⼩点为⽌，以达到将⼀个多维的⽆约束最优化问题，转化为⼀系列的⼀维问题来求解的⽬的。
为简明起见，现以⼆元函数来说明基本步骤： 1.从初始点(0)(0)(0)(0)12(,,)n Xx x x =出发，依次沿各坐标轴⽅向搜索最优点，保持其余n-1个变量不变。
例：如果(0)(0)(0)(0)(0)123(,,,)(3,5,23,21)n Xx x x x ==，如果沿x 1轴⽅向搜索，则搜索过后改变的仅仅是x 1的值3，其余坐标的值均保持不变。
假设搜索到的值是8，则下⼀个点的值为(1)(1)(0)(0)(0)1123(,,,)(8,5,23,21)n X x x x x ==。
迭代点的序列为：(0)(1)(0)(0)(0)(0)0123(,,,)n X X x x x x →=(1)(1)(0)(0)(0)1123(,,,)n X x x x x = (1)(1)(1)(0)(0)2123(,,,)n X x x x x =(1)(1)(1)(1)(0)3123(,,,)n X x x x x =(1)(1)(1)(1)(1)(1)(2)1230(,,,)n n X x x x x X X =→→上标表⽰搜索的轮次，下标表⽰对应的坐标，亦即该轮次的第⼏次迭代。
经过⼀轮（n 次）迭代后，得到⼀个新点，然后进⾏下⼀轮迭代。
只到满⾜精度。
⼆、步长()k i α可以有以下⼏种取法1.随机选择()k iα值的⽅法2. 加速步长法为⽅向的初始试验了加快探索过程，可以采⽤加速步长法。
东北大学最优化方法2010年第三章
第一次迭代（ k 0 ，即从 xv0 到 xv1 的迭代）时，(t)
的初始步长可取为1，或根据问题中出现的数据的数量级
估计选定。而以后各次迭代的初始步长可按公式（3.5）
计算，
其中 0
般比从
xk
1 到
1hx。k的这距x是k离因pkx为xkk1从（xxkk3到.15小）xvk 或1 的接距近离，所xk以1 把xk按一
上述过程开始时，必须选定初试点 t0 和步长 h。对于
任意给定的 (t)，一般来说，无固定选取模式。
但对于在下降算法模式中所引入的 (t) f (xk tpk )
而言，可选取 t0 等于0（理论上）或接近0（实际计算中）。
而对于 h ，如果选得过小，那么需要迭代许多次才能找到
一个搜索区间；如果选得太大，虽然很少几步就可能把极 小点包括进来，但是这又会给下一步搜索极小点的过程增
黄金分割法的思想是：在每次迭代中，合理地设置两
个插入点的位置，以使得在计算函数值次数同样多的条件 下，将区间缩小得最快。
设区间 [a,b] 的长为1。在距点 a 分
别为 和
为了确定
的地方插入 t1和 t2。
和 ，提出以下条
件：
第一，希望 t1 和 t2在 [a,b]中的位置是对称的。按这
一条件，有
1. 搜索区间的确定
在以下讨论中，总假定一元函数 (t) 是单谷函数。
定义3.1 设 : L R1 R1 ，t* 是 (t) 在L上的全局
极小点。如果对于L上任意的两点 t1,t2 t1 t2 ，当 t2 t *
时，(t1 ) (t2 ) ；当 t1 t * 时，(t1 ) (t2 ) ，那么称(t)
最优化方法-3.1无约束最优化方法
min f ( x)或min f ( x)。
xR1
a xb
定义：若在a,b内 f ( x)有唯一极小点 x*，在 x*
的左边 f ( x)严格下降，在 x*的右边 f ( x)严格上升，
则称 f (x)在区间a,b上是下单峰函数。
a
b
下单峰函数的性质：在a,b内任取两点 x1, x2且
2. 一维搜索
最优化问题的算法一般迭代格式：
给定初始点 x0，令k 0。 (i)确定 xk 处的可行下降方向 pk ；
(ii)确定步长k 0，使得 f ( xk k pk ) f ( xk )； (iii)令 xk1 xk k pk ； (i )若 xk1满足某种终止准则，则停止迭代，以 xk1为近似最优解。否则令k k 1，转(i)。
如果对于任意初始点 x0 D，由算法产生的点 列都收敛于最优解 x*，则这个算法称为全局收敛。
3. 收敛速度
定义 1.2.3：设序列xk 收敛于 x*，而且
lim xk1 x* ，
k xk x*
若0 1，则称xk 为线性收敛的，称 为收敛比； 若 0，则称序列xk 为超线性收敛的。 若 1，则称序列xk 为次线性收敛的。
定义 1.2.1：在 xk 点处，对于 pk 0，若存在 0， 使 (0, )有
f ( xk pk ) f ( xk ) 成立，则称 pk 为 f ( x)在点 xk 处的一个下降方向。
当 f ( x)具有连续的一阶偏导数时，记f ( xk ) gk 。由
Taylor 公式 f ( xk pk ) f ( xk ) gkT pk o( )
a 2(b a)
第三章 无约束最优化方法
j 1,2,, m
k m 1, m 2,, p
数学规划方法是在规定的约束条件下，用数学手段直 接求目标函数的极大、极小值。特殊情况：
2
第三章 无约束最优化方法
1、无约束最优化问题——不存在约束条件
2、线性规划——当目标函数、约束函数均是变量X的线 性函数时 3、非线性规划——当函数中至少有一个是非线性函数时
第三章 无约束最优化方法
方阵
2 f x*
为正定的定义是：若对任何向量d (d!=0)，有
d T 2 f x* d 0
对称正定方阵 2 f x* 的检验方法是所有主子式均大于零。 二、迭代方法 求解 无约束最优化问题 T f x x x1, x2 ,, xn min 的问题可以转变为求解n 元方程组
2 f x x2xn
2 f x xn x1 2 f x xn x2 2 f x 2 xn
函数 f x 取得极小的充分条件是函数 f x 的Hessian矩阵为 正定方阵
16
f x f x f x f x , ,, x2 xn x1
T
梯度也可以称为函数 f x 关于向量 x的一阶导数。
12
第三章 无约束最优化方法
梯度的性质 ①、函数在某点的梯度若不为零，则必与过该点的等 值面“垂直”； ②、梯度方向是函数具有最大变化率的方向。 如图所示，证明上面性质①。为了证明性质②引入方 向导数的概念。
27
3-2
一维搜索（0.618法、抛物线法）
设区间 a, b 的长为1，在与点 a 相距分别为 和 的点插 x1 和 x1 。为确定 和 ，我们提出一些条件：
第三章无约束最优化方法
第三章无约束最优化方法第三章无约束最优化方法本章内容及教学安排第一节概述第二节迭代终止原则第三节常用的一维搜索方法第四节梯度法第五节牛顿法第六节共轭方向法第七节变尺度法第八节坐标轮换法第九节鲍威尔方法第一节概述优化问题可分为无约束优化问题有约束优化问题无约束最优化问题求解基于古典极值理论的一种数值迭代方法，主要用来求解非线性规划问题迭代法的基本思想：所以迭代法要解决三个问题 1、如何选择搜索方向 2、如何确定步长3、如何确定最优点（终止迭代） 第二节 迭代终止准则 1）1K K X X ε+-≤111/221K K K Kn i i i X X X X ε++=⎡⎤-=-≤⎢⎥⎣⎦∑（）2）11()()()()()K K K K K f X f X f X f X or f X εε++-≤-≤3）(1)()K f X ε+∇≤第三节 常用的一维搜索方法本节主要解决的是如何确定最优步长的问题。
从初始点(0)X 出发,以一定的步长沿某一个方向，可以找到一个新的迭代点，其公式如下：(1)(0)00(2)(1)11(1)()K K k kX X S X X S X X S ααα+=+=+=+现在假设K S 已经确定，需要确定的是步长k α，就把求多维目标函数的极小值这个多维算过程中，当起步点和方向问题,变成求一个变量即步长的最优值的一维问题了。
即(1)()min ()min ()min ()K K K k k f X f X S f αα+=+=由此可见，最佳步长*K α由一维搜索方法来确定 求*k α，使得()()()()()()min K K K K f f X S αα=+→ 一、一维搜索区间的确定区间[,]a b 应满足()(*)()f a f f b α>< *a b α<<进退法确定搜索区间 区间的特点：两边翘。
方法的思想;1）先明确函数在某一初始点的走势,是上升还是下降,若是下降，则最小点在该点的右边，若是上升，则最小点在函数的左边。
第三章非线性规划无约束问题的最优化方法
x0
0p 0
1.919877 还需要经过10次迭代才
能满足精度要求
0.003070
第三节 牛顿法
3. 牛顿法的缺点： 牛顿法要求初始解离最优解不远，若初始点选得离最优解太
远时，牛顿法并不能保证其收敛，甚至也不是下降方向。因此， 常将牛顿法与最速下降法结合起来使用。前期使用最速下降法， 当迭代到一定程度后，改用牛顿法，可得到较好的效果。 4. 修正牛顿法 基本思想： 保留了从牛顿法中选取牛顿方向作为搜索方向，摒弃其步长恒 为1的做法，而用一维搜索确定最优步长来构造算法。
2
2
0
2e2 2 3
00 21 0
03
f x3 9
第二节 最速下降法
再从x(3)点 出发，沿x3轴方向e3进行一维搜索：
0 x 3 e3 0
3
00 00 13
f x 3 e3
32
f' 0 x4 x3
3
3
0
3e3 0 0
f x4 0
第二节 最速下降法
因为 x 1
x 4 ，0故.0以1 x(4)点作为新的x(1) ，进行新一轮迭代。
0
1 33 22
f x0
p0
52 5
42
f' x0
p0 5 5 0
22
01
第三节 牛顿法
x1 x0
1 p0 3
2
3
f x1
14
12 2
0
30
12 1 2
2
f x1
所以选取 x* x 1
1 3 作为极小点。 2
第三节 牛顿法
6. 修正牛顿法的缺点： 修正牛顿法虽然比牛顿法有所改进，但也有不足之处：
无约束优化法
第三章无约束优化法概述梯度法牛顿法共轭梯度法坐标轮换法鲍威尔法概述无约束优化问题的一般形式：求设计变量X 工[X i,X2，…X n]T使目标函数F（x） > min，对X没有任何约束条件。
工程实际问题中，无约束结构优化问题很少，多数是有约束条件的。
学习无约束结构优化原因：1）工程也有少量无约束结构优化问题，其数学模型就是无约束优化问题，除了在非常接近最小点的情况下，可以按无约束问题处理；2）为研究约束优化问题打下基础；3）约束优化问题可以通过一系列无约束方法达到。
无约束优化问题的求解，可以直接应用函数极值问题的求解方程：iF =0的问题，即求X，使其满足：cx1cF °cx2n个方程组，一般为非线性的，很难用解析方法求解，一般采用数值方法。
与其用数值方法求解非线性方程组，倒不如用数值方法直接求解无约束极值问题。
数值方法最常用的就是搜索法，其基本思想：从给定的初始点x0出发，按照一定原则寻找搜索方向S0，沿方向S0进行搜索，确定最佳步长：'，使得函数沿方向S0下降最快，依次形成迭代公式:X k 1=X k g k S k k =0,1,2，…根据构成搜索方向所使用的信息不同分为：（1）间接法利用目标函数的一阶或二阶导数，如梯度法（最速下降法）、牛顿法、共轭梯度法和变尺度法；梯度法最早由1847年柯西提出，是无约束优化的基本方法。
其基本思想：取目标函数的负梯度方向作为迭代的搜索方向，必使函数值下降的速度最快。
k设在第k次迭代中取得迭代点x，从该点出发，取负梯度方向：S k _ F(X k)为搜索方向，式中：*)=匡g亜心•…兰曲GX\ CX2 dx n第k 1次得到的新点：X k1=x k-宀F(X k)—般步长、丫一k= 1常采用沿负梯度方向做一维搜索：k 1 k k k、F(X ) = min F(X y S )算法特点：初始阶段改进较快，最优解附近改进较慢。
具体迭代步骤：1. 选择初始点X0及迭代精度；・0,令迭代次数k=0；2. 计算点X k的梯度、F(X k)及梯度的模、F(X k)，并令s k U'F(X k)3. 判断是否满足收敛精度|p F(X k)卜S—般情况下，若p F(X k)|"，则X k为近似最优点，F(X k)为近似最优值，可以输出最优解X” = X k，kF(X ) =F(X )，否则进行4.4. 从点X k出发，沿负梯度方向求最优步长:-k，及沿S k进行一维搜索，求得使函数下降最多的步长因子:-kmin F(X k：k S k) =min ()x k1 =x k-:.k s k令^k 1，转入2步。
【复习笔记】最优化方法-3.无约束优化方法
【复习笔记】最优化⽅法-3.⽆约束优化⽅法第三章⽆约束优化⽅法本⽂是本⼈研究⽣课程《最优化⽅法》的复习笔记，主要是总结课件和相关博客的主要内容⽤作复习。
3.1 算法理论基础1. ⽆约束优化问题的最优性条件先是⼀元函数取得极值的条件，⾼中就学过的然后是拓展到多元函数后的理论这三条和前⾯⼀元函数的三条是⼀⼀对应的，半正定对应⼤于等于，正定对应严格⼤于。
这⾥的最优性⼀直在说的都是局部最优性。
2. ⽆约束凸规划问题的最优性条件凸规划就有⼀个很好的特点，就是只要是局部最优解，那他就是全局最优解，也就是不存在鞍点了，再把前⾯的思路拓展就可以得到很好的结果了。
3. 线搜索下降算法及其收敛性算法收敛性收敛速度后⾯的⼏种⽅法总览参考：【1】最速下降法利⽤⽬标函数⼀阶梯度进⾏下降求解，易产⽣锯齿现象，在快接近最⼩值时收敛速度慢。
Newton法利⽤了⼆阶梯度，收敛速度快，但是⽬标函数的Hesse矩阵不⼀定正定。
于是出现了修正的Newton法，主要是对不同情况进⾏了分情况讨论。
Newton法的优缺点都很突出。
优点：⾼收敛速度（⼆阶收敛）；缺点：对初始点、⽬标函数要求⾼，计算量、存储量⼤（需要计算、存储Hesse矩阵及其逆）。
共轭梯度法是介于最速下降法和⽜顿法之间的⼀个⽅法，相⽐最速下降法收敛速度快，并且不需要像⽜顿法⼀样计算Hesse矩阵，只需计算⼀阶导数(共轭梯度法是共轭⽅向法的⼀种，意思是搜索⽅向都互相共轭)。
拟Newton法是模拟Newton法给出的⼀个保优去劣的算法。
3.2 最速下降法最速下降⽅向：梯度的定义是：变化最快的⽅向，其实指向的就是上升最快的⽅向。
下降最快的⽅向是梯度的反⽅向，即−g k。
1. 算法框架2. 优缺点3. 精确⼀维线搜索 + 最速下降法：4. 例题3.3 ⽜顿法这⾥参考博客：1. ⽜顿法与阻尼⽜顿法2. 优缺点Processing math: 100%3. 例题3.4 共轭梯度法共轭⽅向法是介于最速下降法和Newton法之间的⼀种⽅法。
第三章 无约束最优化方法
§3.3.1 Newton法
设 xk 为 f ( x) 的极小点 x的一个近似，将 f ( x)在 xk 附近作 1 T T f ( x ) q ( x ) f g ( x x ) ( x x ) Gk ( x xk ) Taylor展开，有 k k k k k 2 其中 f k f ( xk ), gk g ( xk ),Gk G( xk ) ，若 Gk 正定，则 qk ( x) 有唯 一极小点，将它取为 x 的下一次近似 xk 1 。由一阶必要条 xk 1应满足 qk ( xk 1 ) =0，即 G( xk 1 xk ) gk 0 件知， 令 xk 1 xk pk （3.11），其中 pk 应满足 Gk pk gk （3.12）， 方程组（3.12）称为Newton方程，从中解出 pk 并带入（3.11） 1 得 xk 1 xk Gk gk （3.13）
§3.2.1 最速下降法
由所给点列描绘在下图中，从图上可以看出，两 个相邻的搜索方向是正交的。
x2
o
p1
x2
x0
x1
p0
x1
§3.2.2 收敛性
最速下降法的优点是算法简单，每次迭代计算量小，占用内存量 小，即使从一个不好的初始点出发，往往也能收敛到局部极小点，但 他有一个严重缺点就是收敛速度慢。 沿负梯度方向函数值下降很快的说法，容易使人们产生一种错 觉，认为这一定是最理想的搜索方向，沿该方向搜索时收敛速度应该 很快，然而事实证明，梯度法的收敛速度并不快。特别是对于等值线 （面）具有狭长深谷形状的函数，收敛速度 更慢。其原因是由于每次迭代后下一次搜索 方向 pk 1 总是与前一次方向 pk 相互垂直， 如此继续下去就产生所谓的锯齿现象（如 右图所示）。即从直观上看，在远离极小点 的地方每次迭代可能使目标函数有较大的下 降，但是在接近极小点的地方，由于锯齿现 象，从而导致每次迭代进行距离缩短，因而 收敛速度不快。
第三章 无约束最优化方法2
第七节 变尺度法（拟牛顿法）变尺度法是无约束最优化方法发展过程中非常有影响的重要研究成果，它的基本思想是基于有很好收敛速度的牛顿法。
但又避免了计算二阶导数矩阵及其求逆计算，又比共轭梯度法有更好的收敛速度，被认为是求最优化问题的最有效的算法之一。
牛顿法的缺点：计算复杂（一阶、二阶偏导数）、对函数的性态要求高（对海赛矩阵要求、对初始点的选择要求） 一、变尺度法的基本原理 一）范数和尺度函数图象联系了函数和几何，表达两个数之间的变化关系，映射推广了函数的概念，使得自变量不再仅仅局限于一个数，也不再局限于一维，任何事物都可以拿来作映射，维数可以是任意维，传统的函数图象已无法直观地表达高维对象之间的映射关系，这就要求我们在观念中，把三维的几何空间推广到抽象的n 维空间。
由于映射的对象可以是任何事物，为了便于研究映射的性质以及数学表达，我们首先需要对映射的对象进行“量化”，取定一组“基”，确定事物在这组基下的坐标，事物同构于我们所熟悉的抽象几何空间中的点，事物的映射可以理解为从一个空间中的点到另一个空间的点的映射，而映射本身也是事物，自然也可以抽象为映射空间中的一个点。
范数是把一个事物映射到非负实数，且满足非负性、齐次性、三角不等式，符合以上定义的都可以称之为范数，所以，范数的具体形式有很多种（由内积定义可以导出范数，范数还也可以有其他定义，或其他方式导出）。
从一个线性空间到另一个线性空间的线性映射，可以用一个矩阵来表达，矩阵被看线性作映射，线性映射的性质可以通过研究矩阵的性质来获得。
平面解析几何中一个向量1,2()TX x x =的长度的定义：1/22212X x x =+它具有非负性、齐次性和三角不等式三个基本性质。
向量范数定义 一个从到的非负函数叫做上的向量范数，如果满足：（1） 正定性：对所有的有，而且当且仅当；（2） 齐次性：对所有的和有； （3） 三角不等式：对所有的有.向量x 与y 之间的距离可定义为的x-y 范数，即(,)d X Y X Y =-常用范数最常用的范数就是p-范数。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
x1 x 2
7
第三章 无约束最优化方法
凸函数 函数f(x）为凸集定义域内的函数，若对任何的
0 1
及凸集域内的任意两点
x1 x 2
存在如下不等式：
f x1 1 x2 f x1 1 f ( x2 )
2 f x 2 x 1 2 f x * f x x1x2 2 f x x1xn 2 f x x2x1 2 f x
2 x2
2 f x*
2 f x x2xn
称 f x 是定义在凸集上的一个凸函数。
8
第三章 无约束最优化方法
9
第三章 无约束最优化方法
凸规划
对于约束优化问题
min f x
s.t.
g j x 0
j 1, 2,..., m
若 f x g j x 都为凸函数，则此问题为凸规划。
10
第三章 无约束最优化方法
当x1 x*时，则
f x1 f x2
25
3-2
一维搜索（0.618法）
从图中可看出，假定不知道极小点 x* 的位臵，任取 两点 x1 x2，如果 f x1 f x2 ，则 x*必在x1 , x2 之间； 若 f x1 f x2 ，则 x* x2 ；若 f x1 f x2 ，则 x* x1 。
梯度方向与等值面的关系
13
第三章 无约束最优化方法
方向导数 沿d方向的方向向 量
即
cos 1 cos 2 d ... cos n
T
T
f d
f x 0 d f x 0 cos f , d
x0
14
2 f x xn x1 2 f x xn x2 2 f x 2 xn
函数 f x 取得极小的充分条件是函数 f x 的Hessian矩阵 为正定方阵
16
第三章 无约束最优化方法
方阵
2 f x*
第三章 无约束最优化方法
方向导数的正负决定了函数的升降，而升降的快慢就由 f x 它的绝对值大小来决定。方向导数 0 又称为函数 f x d 在点x0 处沿 d方向的变化率。下降最快的方向称为最速 下降方向。 15
第三章 无约束最优化方法
Hessian矩阵（函数f x 的梯度f x 是它的一阶导数， Hessian矩阵是函数 f x 的二阶导数）
min
f x
x
假定 f x R1 ，且函数可微，则由极限的必备条件得 f x 0 一维搜索又称为直线搜索。
24
3-2
0.618法
一维搜索（0.618法）
0.618法适用于一般的单峰函数。所谓单峰函数，是指 这样的函数：在极小点 x*的左边，函数是严格减小的； 在 x* 的右边，函数是严格增加的。也就是说，若 x1 x2 是任意两点： f x1 f x2 当x2 x*时，则
一个对称矩阵 是不是正定的，可以用Sylvester定理来判定。 定理(Sylvester ) 一个 n×n阶对称矩阵Q 是正定矩阵 的充分必要条件是，矩阵Q 的各阶主子式都是正的。 11
第三章 无约束最优化方法
多元函数的梯度和性质 定义 以 f x 的n偏导数为分量的向量称为f x 在 x处 的梯度，记为
k
lim xk x
*
或等价地
k
lim xk -x* 0
* 那么就说该算法所产生的序列收敛于 x
18
第三章 无约束最优化方法
下降迭代法：在给定初始点后，如果每迭代一步都使目标 函数有所下降，即 f xk 1 f xk ，那么这种迭代法称为下 降法。 假定我们已经迭代到点 x k 处，那么下一步迭代将有以 下两种情况之一发生：
为正定的定义是：若对任何向量d (d!=0)，有
d T 2 f x* d 0
对称正定方阵 2 f x* 的检验方法是所有主子式均大于零。 二、迭代方法 求解 无约束最优化问题 T f x min x x1, x2 , , xn 的问题可以转变为求解n 元方程组
①、从 x k 出发沿任何方向移动，目标函数不再下降。x k 是局部极小点，迭代终止。
②、从 x k出发至少存在一个方向使目标函数有所下降。这 时，从中选定一个下降方向 pk ，再沿这个方向适当迈进 一步，即在直线
19
第三章 无约束最优化方法
x xk t pk
上适当选定一个新点 xk 1 xk tk pk
f x f x f x f x , , , x2 xn x1
T
梯度也可以称为函数 f x 关于向量 x的一阶导数。
12
第三章 无约束最优化方法
梯度的性质 ①、函数在某点的梯度若不为零，则必与过该点的等 值面‚垂直‛； ②、梯度方向是函数具有最大变化率的方向。 如图所示，证明上面性质①。为了证明性质②引入方 向导数的概念。
f x f x
*
所以函数f(x)在 x * 处取得局部极小值，称x *为
局部极小点。 而优化问题一般是要求目标函数在某一区域内 的全局极小点。 函数的局部极小点是不是一定是全局极小点呢？
5
第三章 无约束最优化方法
下凸的一元函数
可以证明凸规划问题的局部最小点就是其全局最小点。
6
第三章 无约束最优化方法
即
或
ax a x ax1 ' ab a1b1 ax1 1
' 1
' 1 2
2
（3-2.2） 30
3-2
一维搜索（0.618法）
28
3-2
一维搜索（0.618法）
设区间 a, b 的长为1，在与点 a 相距分别为 和 的点插 x1 和 x1 。为确定 和 ，我们提出一些条件：
应该怎样选取 xi 与 xi 呢？
a, b 中的位臵是对称的。这样一 第一，希望 xi 和 xi 两点在 来，无论删除哪一段，总是保留长为 的区间（板书所 示）。按这一条件有
正定矩阵 设 Q是n×n 阶对称矩阵。
若 x Rn 且 x 0 都有 x T Q x 0 ，则称矩阵Q 是正定的 若 x R
n n
T x 都有 Q x 0 ，则称矩阵Q 是半正定的
若 x R 且 x 0 都有 xT Q x 0 ，则称矩阵Q 是负定的 若 x Rn 都有 x T Q x 0 ，则称矩阵Q 是半负定的
21
第三章 无约束最优化方法
上述算法可用如Βιβλιοθήκη 框图表达开始选定x0 确定p使得
T f(x0) p 0
f(x0 tp) f(x0)
x x 0 tp
是
确定t使得
x满足终止准则 否
X,f(x)
22
x0 x
停
第三章 无约束最优化方法
三、无约束最优化方法的分类 可以处理复杂函数及没有数学表达式 直接法
j 1,2,
, m
, p
k m 1, m 2,
数学规划方法是在规定的约束条件下，用数学手段直 接求目标函数的极大、极小值。特殊情况：
2
第三章 无约束最优化方法
1、无约束最优化问题——不存在约束条件
2、线性规划——当目标函数、约束函数均是变量X的线 性函数时 3、非线性规划——当函数中至少有一个是非线性函数时
b ax1 x1
即
1
（3-2.1）
29
3-2
一维搜索（0.618法）
, b ，在保留下来的 第二，无论删除哪一段，例如删除 x1 ' a , x x x x1 区间里，再插入一个点 2 使得 2 ， x1 在 1 中 的位臵与 在 a, b中的位臵具有相同的比例。这就保证每次迭代 和 x1 都以同一 的比率缩短区间。按这一条件有
第三章 无约束最优化方法
同济大学土木工程学院建筑工程系 杨 彬 Course_yb@
1
第三章 无约束最优化方法
最优化的数学模型为 求 min
x x1, x2 , , xn
T
x Rn
f x
subject to (or s.t.) g j x 0
hk x 0
26
3-2
一维搜索（0.618法）
设给定一个较小的步长δ，从α=0开始，先计算φ(0)，然 后计算在 (1.618)0 的函数值φ(δ)；如果φ(δ)<φ(0)， 则讲步长δ增大1.618倍，得到一个新点 1.618 2.618 , 计算φ(2.618δ)；如果φ(2.618δ)仍小于φ(δ)，再继续增加 步长为原步长的1.618倍，如下图所示，从而得到一系列 j 点的αj的值为 '
3
第三章 无约束最优化方法
3-1 无约束最优化方法概述
无约束最优化问题是数学规划的基础。 无约束最优化问题的定义：求函数 f x 的极小（或极 n n维欧氏空间）。 大）值， x R（ 求函数 极小值。
4
第三章 无约束最优化方法
一、最优性条件 根据函数极值条件确定了极小点
x*
则函数f(x)在 x * 附近的一切x均满足不等式
j (1.618)
i 0
(3.2- 1)
27
3-2