机械优化设计第四章无约束优化方法
合集下载
第四章常用的无约束优化方法
教学重点
1．鲍威尔法 2．梯度法 3．牛顿法
2
机械优化设计
概述
一、无约束优化方法的数学模型 有约束优化问题模型
L min F ( X * ) = F ( x1，x2， ，xn ), X ∈ R n D : g j ( X ) ≥ 0 j = 1,2,L, m hk ( X ) = 0 k = 1, 2,L, l
12
机械优化设计
一、Powell基本算法 Powell基本算法 1）开始采用坐标轴方向； 开始采用坐标轴方向； 2）每轮迭代产生一个新方向取代原来的第一 方向， 轮迭代后可产生n个彼此共轭的方向； 方向，n轮迭代后可产生n个彼此共轭的方向； 若目标函数为正定二次函数， 3）若目标函数为正定二次函数，n轮结束后 即可到达最优点。 即可到达最优点。
r (k ) r (k ) r (k ) r (k ) r (k ) r (k ) S 1 , S 2 , . . . , S m -1 , S m + 1 , . . . , S n , S n + 1 ,
22
第k+1环的方向组为：
机械优化设计
给定X 给定 0,Si=ei i=1,2,…n, ε
Powell 修正算法
K=0 i=1 方向搜索得一维最优点X 自Xi-1始，沿Si方向搜索得一维最优点 i
N
若powell法中不 需要换向，则 是否仍为共轭 方向法？ 检查两次前后 sn+1是否对函数 的海塞矩阵共 轭即可。
Y
i< n Xn-X0 ≤ε
i=i+1
Y
输出X*=Xn 输出 F*=F（X*） （ ）
x2
x2
o
x1
(2)等值线为如图脊线时--无效 (2)等值线为如图脊线时--无效 -o
(06)第四章-无约束优化方法(坐标轮换法)
《机械优化设计》
第四章 无约束优化方法 §4-7 坐标轮换法
§4-3 坐标轮换法
间接法：梯度法；牛顿法；变尺度法 共同点：求导数 直接法：直接用函数值 搜索方向如何定？
坐标轮换法的基本思想：
把n维无约束优化问题转化为一系列一维优化问题来求 解，即沿着n个坐标轴方向e1,e2……en顺次进行一维搜索， 每n次搜索记为一轮，轮换迭代，求解极值点。 基本迭代格式：
(1) T x = [0 0] ε = 0.1 初始点 0 的最优解。迭代精度 ，
z
课后练习题： 用坐标轮换法求目标函数（迭代两轮）
f ( x ) = x12 + 16 x 22 + 10 x1 x 2
(1) T x = [4 3] ε = 0.1 初始点 0 的最优解。迭代精度 ，
算法特点：
1）不需对目标函数求导，方法简单； 2）收敛速度通常较低（其有效性取决于目标 函数的性态），仅适于低维的情况。
x
(k ) i
=x
(k ) i −1
+α e
(k ) i i
(k = 1,2,3"; i = 1,2," n)
收敛准则：
(k ) x0( k ) − xn ≤ε
图4-12 坐标轮换法的基本原理示意图
计算步骤：
1）对于n个变量的函数，若在第k轮沿着第i个坐标 方向进行搜索，其迭代公式为： k k k i i −1 i i k 2）求最优搜索步长 α
x = x +α e
i
3）本轮所有方向搜索完毕，判断迭代终止条件：
x −x
k n
k 0
≤ε
k n
4）满足上式：
x =x
∗
第四章 无约束优化方法 §4-7 坐标轮换法
§4-3 坐标轮换法
间接法：梯度法；牛顿法；变尺度法 共同点：求导数 直接法：直接用函数值 搜索方向如何定？
坐标轮换法的基本思想：
把n维无约束优化问题转化为一系列一维优化问题来求 解，即沿着n个坐标轴方向e1,e2……en顺次进行一维搜索， 每n次搜索记为一轮，轮换迭代，求解极值点。 基本迭代格式：
(1) T x = [0 0] ε = 0.1 初始点 0 的最优解。迭代精度 ，
z
课后练习题： 用坐标轮换法求目标函数（迭代两轮）
f ( x ) = x12 + 16 x 22 + 10 x1 x 2
(1) T x = [4 3] ε = 0.1 初始点 0 的最优解。迭代精度 ，
算法特点：
1）不需对目标函数求导，方法简单； 2）收敛速度通常较低（其有效性取决于目标 函数的性态），仅适于低维的情况。
x
(k ) i
=x
(k ) i −1
+α e
(k ) i i
(k = 1,2,3"; i = 1,2," n)
收敛准则：
(k ) x0( k ) − xn ≤ε
图4-12 坐标轮换法的基本原理示意图
计算步骤：
1）对于n个变量的函数，若在第k轮沿着第i个坐标 方向进行搜索，其迭代公式为： k k k i i −1 i i k 2）求最优搜索步长 α
x = x +α e
i
3）本轮所有方向搜索完毕，判断迭代终止条件：
x −x
k n
k 0
≤ε
k n
4）满足上式：
x =x
∗
第4章 无约束优化方法
求
令
4 S 0 f X 0 2
0 则有 X 1 X 0 0 S 0 1 0 4 1 2 1 2
1 4
0
f X 1 1 4 0 2 1 2 0 2 1 4 0 1 2 0 4 1 4 0 f 0
因
5
还需继续迭代
（2）第二次迭代 同理有
1 1 1 f X , S 2 2 2 1 2 1 2 1 1 X X 1 S 1 0.5 2 0.5 2 1
4.2.3 变尺度法
基本思想： （1） 用简单矩阵代替二阶导数矩阵的逆矩阵 （2) 用坐标变换简化目标函数 引入矩阵变换U，令 X X k UY 代入式泰勒展开式得
T 1 T T 2 k k Y Y U f X UY f X UY f X k 2
2 f X k
S 2 f X k f X k
1
由此构成的算法称基本牛顿法，Sk 称牛顿方向。
分析可知： ⑴ 对于正定二次函数，Xk+1是精确极小点，方向 Sk 是直指函数的极小点。 ⑵ 用基本牛顿法求解正定二次函数时，无论从哪个初始 点出发，计算所得牛顿方向直指极小点，而且步长等于1。 ⑶ 对于一般非线性函数，点Xk+1只是原函数的一个近似极 小点。故将此点作为下一个迭代Xk+1。 ⑷ 但是对于非正定函数，由上式得到 的点Xk+1，不能始终保持函数的下降性，
1 0 0
机械优化设计第四章
(k ) 1 u 1 m
lim r2 H[hv ( x( k ) )] 0
k
lim [( x ( k ) , r1 , r2 ) f ( x ( k ) )] 0
(k ) (k ) k
分类： 根据约束形式和定义的泛函及罚因子的递推方法等不同，罚函 数法可分为内点法、外点法和混合罚函数法三种。
3. 降低系数 c 的选择：
在构造序列惩罚函数时，惩罚因子r是一个逐次递减到0的数列 ，相邻两次迭代的惩罚因子的关系为 :
r r cr k 1
(k 1,2,...)
式中的c称为惩罚因子的缩减系数，c为小于1的正数。一般的 看法是，c值的大小在迭代过程中不起决定性作用，通常的取值范 围在0.1~0.7之间。 4. 收敛条件：
k
则( x, r (k ) ) f ( x),
2 2 例： 用内点法求 min f ( x) x1 x2
s.t. g ( x) 1 x1 0
的约束最优解。
2 解: 首先构造内点惩罚函数: ( x, r ) x12 x2 r k ln( x1 1)
用解析法求函数的极小值，运用极值条件： 2 x1 r 0 x x1 1 1 k 1 1 2r 联立求解得： x1 (r k ) 2 x 0 2 2 x2 x (r k ) 0 2 1 1 2r x1 (r ) 时不满足约束条件 g ( x) 1 x1 0 应舍去 。 2 * k 1 1 2r k 无约束极值点为： x (r )
ts b
要求：在满足强度、刚度和稳定性等条件下，设计一个最轻结构。
1. 2.
设计分析：（略） 数学模型：
lim r2 H[hv ( x( k ) )] 0
k
lim [( x ( k ) , r1 , r2 ) f ( x ( k ) )] 0
(k ) (k ) k
分类： 根据约束形式和定义的泛函及罚因子的递推方法等不同，罚函 数法可分为内点法、外点法和混合罚函数法三种。
3. 降低系数 c 的选择：
在构造序列惩罚函数时，惩罚因子r是一个逐次递减到0的数列 ，相邻两次迭代的惩罚因子的关系为 :
r r cr k 1
(k 1,2,...)
式中的c称为惩罚因子的缩减系数，c为小于1的正数。一般的 看法是，c值的大小在迭代过程中不起决定性作用，通常的取值范 围在0.1~0.7之间。 4. 收敛条件：
k
则( x, r (k ) ) f ( x),
2 2 例： 用内点法求 min f ( x) x1 x2
s.t. g ( x) 1 x1 0
的约束最优解。
2 解: 首先构造内点惩罚函数: ( x, r ) x12 x2 r k ln( x1 1)
用解析法求函数的极小值，运用极值条件： 2 x1 r 0 x x1 1 1 k 1 1 2r 联立求解得： x1 (r k ) 2 x 0 2 2 x2 x (r k ) 0 2 1 1 2r x1 (r ) 时不满足约束条件 g ( x) 1 x1 0 应舍去 。 2 * k 1 1 2r k 无约束极值点为： x (r )
ts b
要求：在满足强度、刚度和稳定性等条件下，设计一个最轻结构。
1. 2.
设计分析：（略） 数学模型：
第四章 无约束方法详解
[tt,ff]=opt_step_quad(xk1',dirk, th,epsx,epsf,maxiter); xk1=xk1+tt*dirk'; end xk0=xk1; xn=xk1; fn=ffx(xn); aa=norm(dir); if(aa<1e-30) aa=1e-30; end end
xn ]T
使目标函数 f ( x) min
min f ( x) x Rn
目前已研究出很多种无约束优化方法，它们的 主要不同点在于构造搜索方向上的差别。
（1）间接法（导数法）——确定搜索方向时用到一 阶或（和）二阶导数的方法。如梯度法、（阻尼） 牛顿法、变尺度法、共轭梯度法等。
（2）直接法——其搜索方向直接取定或由计算目标 函数值所得的信息来确定；即不使用导数信息，如 坐标轮换法、鲍威尔法等。
2020/9/23
5
无约束优化直接解法
坐标轮换法 鲍维尔（Powell）法 鲍维尔（Powell）修正算法
2020/9/23
6
§4-2 坐标轮换法（无约束优化直接解法）
一）搜索方向
依次沿n个正交坐标轴的方向搜索：
ee12
[1 [0
0 1
... ...
0]T 0]T
...
en [0 0 ... 1]T
坐标轮换法的Matlab程序由三部分组成。第一部分为坐标 轮换法计算函数coordinat(xk0,th,epsx, epsf,maxiter)，函数引用 变量说明见程序注释。最优步长采用二次插值法计算，函数名 为opt_step_quad(xk0,dir0, th,TolX, TolFun,maxiter)，该函数调 用区间搜索函数opt_range_serach(xk0,dir0,th)得出二次差值需 要的三个坐标点，区间搜索函数采用进退法。 第二部分为用户应用程序； 第三部分为定义目标函数，调用方式为fn=ffx(x)。 下面是坐标轮换法的Matlab计算程序：
四章无约束优化方法
xk 1
f xk akf
xk
min
f
x k
akf
xk
min
T
f xk akf xk f xk 0
f
xk 1
T
f
xk
0
d k1 T d k 0
由此可知，在最速下降法中，相邻两个迭代点上旳函数 梯度相互垂直。而搜索方向就是负梯度方向，所以相邻 两个搜索方向相互垂直。
X X
(1) 1
(0) 2
X (0) 1
X (0) 2
X (1) 1
X (1) 2
X X
(2) 1
(2) 2
图4－12 坐标轮换法原理图（动画演示）
2. 搜索方向与步长旳拟定
• （1）搜索方向旳拟定
对于第k轮第i次旳计算
xik
xk i 1
aik dik
第k轮第I次旳迭代方向，它轮番取n维坐标旳单位向量。
假如按最速下降法，选择负梯度方向为搜索方向，会产生 锯齿现象。 为防止锯齿旳发生，取下一次旳迭代搜索方向直接指向极 小点，假如选定这么旳搜索方向，对于二元二次函数只需 进行两次直线搜索就能够求到极小点。
x1 x0 a0
x* x1 a1d1
d1 应满足什么条件？
数值法
能够处理复杂函数及没有数学体现式 旳优化设计问题
xk1 xk ak d k
搜索方向问题是无约束优化措施旳关键。
多种无约束优化措施旳区别：拟定搜索方向旳措施不同。
利用目旳函数旳一阶或二阶导数
无约束优化措施分类 （最速下降法、共轭梯度法、牛顿法）
利用目的函数值 （坐标轮换法、鲍威尔等）
第二节 最速下降法
则在新旳坐标系中，函数旳二次项变为
《机械优化设计方法》第4章 无约束优化方法 (上课课件)
4.1.4 梯度法讨论
梯度法的收敛速度与设计变量的尺度关系很 大。对一般函数，梯度法的收敛速度较慢。 但对等值线为同心圆的目标函数，一次搜索 即可达到极小点。 若能通过点的坐标变换，改善目标函数的性 态，就可提高梯度法的收敛速度。
4.2 牛顿性方法
4.2 牛顿型方法
4.2.1 牛顿法的基本思想
1 * T * * f (X) f (X ) X X H ( X ) X X 2
*
结论：任意形式的目标函数在极值点附近的特 性，都近似于一个二次函数。 故以正定二元二次函数为例说明共轭方向对于 构造一种有效的最优化算法的重要性。
1 T T T f ( X ) X HX B X C , X x1 , x2 2
4.3.2共轭方向的产生
2 0 S f ( X ) e S 1 e0 0 S 0 e0 T S0 0 2 0 S f (X)S 0 T
S
k 1
e i s
k i 0
k
k
i
2 i S f (X) e k i T 2 i S f ( X ) e S 0 i i i T 2 i i o S f (X)S 2 i S f (X) e S k 1 ek T Si i 2 i i 0 S f (X)S k i T
若f(X)是二次函数，则X*就是f(X)的极小点；
否则只是一个近似点，需进一步迭代。
4.2.2牛顿法的迭代公式及迭代过程
故牛顿法的迭代公式为：
X k 1 X k [ H ( X K )]1 f ( X K ) k 1 k k X X S k k 1 k S [ H ( X )] f ( X )
第4章 优化设计(无约束优化-直接法)
F3 F1 1 ( F1 2 F2 F3 )( F1 F2 ) (mk ) ( F1 F3 ) 2 2
(k ) 2 m
(4-43)
同时成立，则表明方向S 与原方向组线性无关，因此可将新方向 (k ) S ( k )作为下一轮的迭代方向，并去掉方向 S m 而构成第k+1轮迭代的 搜索方向组； 否则，仍用原来的方向组进行第k+1轮迭代。 (k ) F1 f ( X 0 ) —— 为第 k 轮起始点函数值； 上式中： (k ) F2 f ( X n ) —— 为第 k 轮方向组一维搜索终点函数值； (k ) (k ) (k ) (k ) X —— 为 对 Xn 的映射点函数值； 0 F3 f (2 X n X 0 ) k ) —— 为第 k 轮方向组中沿诸方向一维搜索所得的各函 (m (k )。 数值下降量中之最大者，其相对应的方向记为 S m
•
若共轭方向不好，则不用它作为下一 轮的迭代方向，而仍采用原来的一组迭 代方向； • 若共轭方向好，则可用它替换前轮迭 代中使目标函数值下降最多的一个方向， 而不一定是替换第一个迭代方向。 这样得到的方向组，其收敛性更好。
修正鲍威尔法对于是否用新的方向来替换原方向组的某一方向 的判别条件为： 在第 k 轮搜索中，若
进行第二轮迭代时， 去掉第一个方向 S1(1) e1 ，将方向 S (1) 作为最 末一个迭代方向， 即从 X (1) X 0(2) 出发，依次沿着方向 S S e 及 S (2) S (1) X (1) X (1)
(2) 1 (1) 2 2
2
2
0
进行一维搜索，得到极小点： X1(2) 、X 2(2) ； ( 2) X2 然后利用 X 0(2) 、 构成另一个迭代方向 (2) (2) S (2) X 2 X0 即 S ( 2) 并沿此方向搜索得到 X (2) 。
(k ) 2 m
(4-43)
同时成立，则表明方向S 与原方向组线性无关，因此可将新方向 (k ) S ( k )作为下一轮的迭代方向，并去掉方向 S m 而构成第k+1轮迭代的 搜索方向组； 否则，仍用原来的方向组进行第k+1轮迭代。 (k ) F1 f ( X 0 ) —— 为第 k 轮起始点函数值； 上式中： (k ) F2 f ( X n ) —— 为第 k 轮方向组一维搜索终点函数值； (k ) (k ) (k ) (k ) X —— 为 对 Xn 的映射点函数值； 0 F3 f (2 X n X 0 ) k ) —— 为第 k 轮方向组中沿诸方向一维搜索所得的各函 (m (k )。 数值下降量中之最大者，其相对应的方向记为 S m
•
若共轭方向不好，则不用它作为下一 轮的迭代方向，而仍采用原来的一组迭 代方向； • 若共轭方向好，则可用它替换前轮迭 代中使目标函数值下降最多的一个方向， 而不一定是替换第一个迭代方向。 这样得到的方向组，其收敛性更好。
修正鲍威尔法对于是否用新的方向来替换原方向组的某一方向 的判别条件为： 在第 k 轮搜索中，若
进行第二轮迭代时， 去掉第一个方向 S1(1) e1 ，将方向 S (1) 作为最 末一个迭代方向， 即从 X (1) X 0(2) 出发，依次沿着方向 S S e 及 S (2) S (1) X (1) X (1)
(2) 1 (1) 2 2
2
2
0
进行一维搜索，得到极小点： X1(2) 、X 2(2) ； ( 2) X2 然后利用 X 0(2) 、 构成另一个迭代方向 (2) (2) S (2) X 2 X0 即 S ( 2) 并沿此方向搜索得到 X (2) 。
最新第4章无约束优化方法PPT课件
机械优化设计19第四章第四章无约束优化方法无约束优化方法第四节第四节共轭方向及共轭方向法共轭方向及共轭方向法??共轭方向的形成共轭方向的形成??格拉姆格拉姆斯密特向量系共轭化的方法斯密特向量系共轭化的方法20第四章第四章无约束优化方法无约束优化方法第四节第四节共轭方向及共轭方向法共轭方向及共轭方向法10g1221第四章第四章无约束优化方法无约束优化方法第五节第五节共轭梯度法共轭梯度法共轭梯度法
第机四械章优化设无计约束优化方法
第七节 坐标轮换法
基本思想：
每次仅对多元函数的一个变量沿其坐标轴进行 一维探索，其余各变量均固定不动，并依次轮换进行一
，
维探索的坐标轴，完成第一轮探索后再重新进行第二轮 探索，直到找到目标函数在全域上的最小点为止。
目的：将一个多维的无约束最优化问题，转化为一系
列的一维问题来求解。
第机四械章优化设无计约束优化方法
第六节 变尺度法（拟牛顿法）
DFP算法：
例 ： 用 D F P 算 法 求 fx 1 ,x 2 x 1 2 2 x 2 2 4 x 1 2 x 1 x 2
，
的 极 值 解 。
H k 1 H k E k H k s s k T k s y k T k H y k k T y H ky k k T y H kk (k 0 ,1 ,2 , )
设法构造出一个对称正定矩阵 来H 代k 替 ，并 在迭G代( x过k )程1 中使 逐渐逼近 H,那k 么就简化G了(牛xk )顿1 法的计算，并且保持了牛顿法收敛快的优点。
变尺度法的
迭代公式：
x k 1 x k k H k fx k ( k 0 ,1 ,2)
第机四械优章化设无计约束优化方法
3)沿方向d k作，一维搜索得xk 1 xk k d k ; 4)判断收敛：若满足 f ( x(k 1) ) , 则令x* xk 1，f ( x* ) f ( xk 1),
第机四械章优化设无计约束优化方法
第七节 坐标轮换法
基本思想：
每次仅对多元函数的一个变量沿其坐标轴进行 一维探索，其余各变量均固定不动，并依次轮换进行一
，
维探索的坐标轴，完成第一轮探索后再重新进行第二轮 探索，直到找到目标函数在全域上的最小点为止。
目的：将一个多维的无约束最优化问题，转化为一系
列的一维问题来求解。
第机四械章优化设无计约束优化方法
第六节 变尺度法（拟牛顿法）
DFP算法：
例 ： 用 D F P 算 法 求 fx 1 ,x 2 x 1 2 2 x 2 2 4 x 1 2 x 1 x 2
，
的 极 值 解 。
H k 1 H k E k H k s s k T k s y k T k H y k k T y H ky k k T y H kk (k 0 ,1 ,2 , )
设法构造出一个对称正定矩阵 来H 代k 替 ，并 在迭G代( x过k )程1 中使 逐渐逼近 H,那k 么就简化G了(牛xk )顿1 法的计算，并且保持了牛顿法收敛快的优点。
变尺度法的
迭代公式：
x k 1 x k k H k fx k ( k 0 ,1 ,2)
第机四械优章化设无计约束优化方法
3)沿方向d k作，一维搜索得xk 1 xk k d k ; 4)判断收敛：若满足 f ( x(k 1) ) , 则令x* xk 1，f ( x* ) f ( xk 1),
无约束优化方法
例4－1
求目标函数
f
(x)
x2 1
25
x2 2
的极小点。
解 取初始点 x0 [2, 2]T
则初始点处函数值及梯度分别为
f ( x0 ) 104
f
(x0)
2x1
50
x2
x0
4 100
沿负梯度方向进行一维搜索，有
x1
x0
0 f
(x0)
2 2
图4-2 最速下降法的搜索路径
方法特点
（1）初始点可任选，每次迭代计算量小，存储 量少，程序简短。即使从一个不好的初始点出 发，开始的几步迭代，目标函数值下降很快， 然后慢慢逼近局部极小点。
（2）任意相邻两点的搜索方向是正交的，它的 迭代路径为绕道逼近极小点。当迭代点接近极 小点时，步长变得很小，越走越慢。
如果按最速下降法，选择负梯度方向为搜索方向，会产生 锯齿现象。 为避免锯齿的发生，取下一次的迭代搜索方向直接指向极 小点，如果选定这样的搜索方向，对于二元二次函数只需 进行两次直线搜索就可以求到极小点。
x1 x0 a0d 0
f f x1 T d 0 0
d x1
x* x1 a1d1
0 1
4 100
0 0
50
经过一次迭代即求得极小点 x 0 0
函数极小值 f ( x) 0
从牛顿法迭代公式的推演中可以看到，迭代点 的位置是按照极值条件确定的，其中并未含有沿下 降方向搜寻的概念。因此对于非二次函数，如果采 用上述牛顿迭代公式，有时会使函数值上升 。
40 1000
机械优化设计第四节无约束--坐标轮换法3-5
2 1 * T 2 [ S1 ]T 2 f ( x ) x x [ S ] f ( x )S 2 0 1
在这种情况下，可取其二次泰勒近似式加以讨论。 当进行一轮次迭代还未取得极小点时可作为新的 初始点再进行第二轮迭代。 共轭方向的基本原理 首先采用坐标轮换法进行第一轮迭代，然 后以第一轮迭代的最末一个极小点和初始点相 连构成一个新方向，并以此新方向为最末一个 方向而去掉第一个方向得到第二轮迭代的方向. 如此进行下去。直到求得问题的最小点。 现以二维问题来说明 算法步骤
1
T
T
x1
(k )
T
2
T
x2
(k )
T
x 2 x1
(k )
(k )
3 4 5
( 5)
7.25 , 5.025 0.563 7.813, 5.625 0.282 7.813, 5.907 0.623 T 7.813, 5.907 0.141 7.954 , 5.917 0.071 7.954 , 5.978 0.158
7.954 , 5.978 0.035 7.989 , 5.978 0.018
T
T
7.989 , 5.996 0.04
T
计算第五轮的有
x2 x0
( 5)
(7.989 7.954) (5.996 5.978) 0.0394
2 2
近似优化解为：
x x2
(1) (1) x1 x 0 1e1 (1) (0) x 0 x1 0 0T (1)
求最步长 1 即极小化
(1) 2 min f ( x1 ) 1 101 60
0 1 1 x1 1 0 0 0
第四章无约束优化方法
F (X
(1) )
0
结论: 两个平行方向的极小点构成
即 S1T AS2 0
的新方向与原方向相互共轭 即S1与S2对A共轭
也即对于二维正定二次函数只要分别沿两个共轭方向寻优 14 即可找到最优点.
❖ 与此类似，可以推出对于n维正定二次函数，共轭方向的一 个十分重要的极为有用的性质：从任意初始点出发，依次沿 n个线性无关的与A共轭的方向S1，S2，…Sn各进行一维搜 索，那么总能在第n步或n步之前就能达到n维正定二次函数 的极小点；并且这个性质与所有的n个方向的次序无关。简 言之，用共轭方向法对于二次函数从理论上来讲，n步就可 达到极小点。因而说共轭方向法具有有限步收敛的特性。通 常称具有这种性质的算法为二次收敛算法。
第K+1环的方向组仍用老方向组
S1(k1),
S2(k 1) ,
... ...
S (k 1) n1
S (k 1) n
S1(k),
S2(k) ,
... ...
S(k) n1
,
S(k) n
初始点:
当F2 < F3时, 当F2≥F3时,
X (k 1) 0
X (k) n
X X (k 1)
(k)
0
n 1
F ( X ) 2 x12 x22 x1x127
4.2.1 鲍威尔基本算法（共轭方向的原始构成）
18
4.2.1 鲍威尔基本算法
x3
任取一初始点 X(0)→ X0(1)
第 第一环: e1, e2, e3 → S1 一 第二环: e2, e3 , S1 → S2 轮 第三环: e3 , S1 , S2 →S3
补上新增的方向
初始点:
X (k 1) 0
优化设计无约束优化方法第04章-2
k k 1
k : min f ( xk d k )
是 否 提供新的共轭方向
x k 1 x k
结束
共轭方向法 结语
在无约束方法中许多算法都是以共轭方向作为搜
索方向，它们具有许多特点。根据构造共轭方向的原
理不同，可以形成不同的共轭方向法。
第五节 共轭梯度法
一、共轭梯度法原理 共轭梯度法是共轭方向法中的一种，该方法中每一个共轭向 量都是依赖于迭代点处的负梯度而构造出来。 从xk出发，沿负梯度方向作一维搜索:
四、DFP算法
Ekyk=sk- Hkyk
由于前述变尺度矩阵的要求，校正矩阵Ek可取一种最简单的 形式，即令： DFP算法由Davidon于195 9年提出，1963年由Fletcher 其中， uk、vk 为待定向量，αk、βk为待定常量。 和Powell 加以发展和完善。 T则均为n维满秩的对称阵。 而ukukT 、 v v k k 当初始矩阵H 采用对称正定矩阵时，DFP算法将保证以
α0为一维搜索最佳步长，应满足
得:
2）第二次迭代：
代入目标函数
由 得 从而有：
因 收敛。
第六节 变尺度法
变尺度法是基于牛顿法的思想作出了重要的改进,成为现代公 认的较好的算法之一。
算法来源 这类算法于1959年由Davidon首次提出，此后被其他学者逐渐 改进、发展和完善，并衍生出一系列类似算法。 算法思路 通过逐步将目标函数的偏心程度加以降低而收敛到最优点。 算法特点
当Ak=I, 则得到梯度法 ；
当Ak=[▽2f(xk)]-1时，则得到阻尼牛顿法 ；
当矩阵Ak若能不断地迭代而能很好地逼近Ak=[▽2f(xk)]-1时， 就可以不再需要计算二阶导数，以及逆阵。
常用的无约束优化方法
➢基本原理：将一个 n 维的无约束最优化问题转化为
一系列沿坐标轴方向的一维搜索问题来求解。在每一 次迭代中，只改变 n 个变量中的一个，其余变量固定 不动，因此常称为单变量法或变量交错法或降维法
#
4.1 坐标轮换法-迭代步长的确定
(1) 最优步长
在沿坐标轴方向的搜索中，利用一维优化方法来确定沿该方向 上具有最小目标函数值的步长，即：
基本方向组为：
S1(
k
)
,S(k 2) Nhomakorabea,
各方向最优步长： a1(k ) , a2(k ) ,
,
S
(k n
)
, an(k )
新生方向：
Sk
x(k) n
x(k) 0
a S (k ) (k ) 11
a2(k ) S2(k )
an(k ) Sn(k )
若在优化搜索过程中出现1(k) =0(或近似等于0)，则方向 Sk
F2 < F3 F2 F3
其中： △ 是在第k 环方向组中，依次沿各方向优化搜索函数值下
降量的最大值，即Sm(k) 方向函数下降量最大
#
鲍威尔修正算法的方向淘汰
x
(k 2
)
S (k) 3
S
( 2
k
)
x1(k )
S1(k )
x(k) m
x(k) m 1
函数下降量△
S (k) n
x(k) 0
(F1)
S (k)
x(k) n
(F2)
第四章 常用的无约束优化 方法
王桂从
无约束优化问题的数学模型
min F(x)
x [x1 x2 xn ] Rn
求上述问题最优解(x*, F*)的方法称为无约束优化方法 无约束优化方法理论研究开展的比较早，构成的优 化方法已很多，也比较成熟。使用无约束优化方法 ，不仅可以直接求无约束优化设计问题的最优解， 而且通过对无约束优化方法的研究给约束优化方法 建立明确的概念及提供良好的基础，某些优化设计 方法就是先把优化设计问题转化为无约束问题后， 再直接用无约束优化方法求解。
一系列沿坐标轴方向的一维搜索问题来求解。在每一 次迭代中，只改变 n 个变量中的一个，其余变量固定 不动，因此常称为单变量法或变量交错法或降维法
#
4.1 坐标轮换法-迭代步长的确定
(1) 最优步长
在沿坐标轴方向的搜索中，利用一维优化方法来确定沿该方向 上具有最小目标函数值的步长，即：
基本方向组为：
S1(
k
)
,S(k 2) Nhomakorabea,
各方向最优步长： a1(k ) , a2(k ) ,
,
S
(k n
)
, an(k )
新生方向：
Sk
x(k) n
x(k) 0
a S (k ) (k ) 11
a2(k ) S2(k )
an(k ) Sn(k )
若在优化搜索过程中出现1(k) =0(或近似等于0)，则方向 Sk
F2 < F3 F2 F3
其中： △ 是在第k 环方向组中，依次沿各方向优化搜索函数值下
降量的最大值，即Sm(k) 方向函数下降量最大
#
鲍威尔修正算法的方向淘汰
x
(k 2
)
S (k) 3
S
( 2
k
)
x1(k )
S1(k )
x(k) m
x(k) m 1
函数下降量△
S (k) n
x(k) 0
(F1)
S (k)
x(k) n
(F2)
第四章 常用的无约束优化 方法
王桂从
无约束优化问题的数学模型
min F(x)
x [x1 x2 xn ] Rn
求上述问题最优解(x*, F*)的方法称为无约束优化方法 无约束优化方法理论研究开展的比较早，构成的优 化方法已很多，也比较成熟。使用无约束优化方法 ，不仅可以直接求无约束优化设计问题的最优解， 而且通过对无约束优化方法的研究给约束优化方法 建立明确的概念及提供良好的基础，某些优化设计 方法就是先把优化设计问题转化为无约束问题后， 再直接用无约束优化方法求解。
机械优化设计无约束优化方法培训课件
0 0
( y1) 0
经变换后，只需一次迭代，就可找到最优解。
这是因为经过尺度变换：
y1 x1 y2 5x2
等值线由椭圆变成圆。
24
15:12
4.2 最速下降法
（5） 举例 例： 用最速下降法求下面无约束优化问题：
25
15:12
4.2 最速下降法
（5） 举例
26
15:12
4.2 最速下降法
15:12
机械优化设计
上海海事大学
SHANGHAI MARITIME UNIVERSITY
何军良
2017年6月
1
上海海事大学
Shanghai Maritime University
1909
1912
1958
2004
15:12
2009
优化设计概述
优化设计的数学基础
一维搜索方法
目录
CONTENTS
无约束优化方法 线性规划
1. 有些实际问题，其数学模型本身就是一个无约束优化问题。 2. 通过熟悉它的解法可以为研究约束优化问题打下良好的基础。 3. 约束优化问题的求解可以通过一系列无约束优化方法来达到。
所以无约束优化问题的解法是优化设计方法的基本组成部分， 也是优化方法的基础。
4
4.1 概述
无约束优化问题是：
求n 维设计变量 X x1 x2 xn T 使目标函数 f X min
对于二次函数 ，海赛G是一个常矩阵，其中各元素均为常数。因 此，无论从任何点出发，只需一步就可找到极小点。
34
15:12
4.3 牛顿型方法
（3） 举例
例：求目标函数
f
(x)
x2 1
第4章机械优化设计
第4章 无约束优化方法与MATLAB实现
机械优化设计问题，一般都具有约束条件，例如强度、刚 度、尺寸等方面的约束。但是，把约束优化问题转换成无约束 优化问题是解约束优化问题的一类有效算法，这是因为无约束 问题的求解比较容易，并且已经有许多行之有效的算法。此外， 求解无约束问题的基本思想和方法，往往可以推广到有约束问 题的方面。所以，无约束优化方法的研究是十分必要的。 4.1 无约束优化方法概述
第4章 无约束优化方法与MATLAB实现
图4-4 坐标轮换法搜素过程几种情况
a) 搜索速度快
b)搜索速度慢
c)搜索无效
当目标函数的等值线出现与坐标轴斜交的“脊线”的情况，
坐标轮换法就完全失去求优的效能，如图4-4c所示。因为坐标
轮换法始终是沿着坐标轴平行方向进行搜索，因此一旦达到图
中点时，沿任何坐标轴的移动都无法使目标函数值下降。这时
在 X (k) 点展成二次函数推导出来的。
3. 梯度法计算步骤
⑴ 给定迭代的初始点 X (0) ，允许误差 ，置 k 0 。
⑵ 计算迭代点的梯度 f (X (k)) 和方向 S (k) f ( X (k) ) f ( X (k) )
⑶ 满足 f (X (k)) 时结束，否则进行下一步计算。
X (0)
(
x( 1
0
)
,
x(0) 2
)T
，其迭代格式
图4-3 坐标轮换法搜索过程
为
x x x (0)
(0)
2
1
S (0) (0)
22
，
S2
方向即为
2
轴方向，至此完成第一
轮搜索。
第4章 无约束优化方法与MATLAB实现
然后再从
机械优化设计问题，一般都具有约束条件，例如强度、刚 度、尺寸等方面的约束。但是，把约束优化问题转换成无约束 优化问题是解约束优化问题的一类有效算法，这是因为无约束 问题的求解比较容易，并且已经有许多行之有效的算法。此外， 求解无约束问题的基本思想和方法，往往可以推广到有约束问 题的方面。所以，无约束优化方法的研究是十分必要的。 4.1 无约束优化方法概述
第4章 无约束优化方法与MATLAB实现
图4-4 坐标轮换法搜素过程几种情况
a) 搜索速度快
b)搜索速度慢
c)搜索无效
当目标函数的等值线出现与坐标轴斜交的“脊线”的情况，
坐标轮换法就完全失去求优的效能，如图4-4c所示。因为坐标
轮换法始终是沿着坐标轴平行方向进行搜索，因此一旦达到图
中点时，沿任何坐标轴的移动都无法使目标函数值下降。这时
在 X (k) 点展成二次函数推导出来的。
3. 梯度法计算步骤
⑴ 给定迭代的初始点 X (0) ，允许误差 ，置 k 0 。
⑵ 计算迭代点的梯度 f (X (k)) 和方向 S (k) f ( X (k) ) f ( X (k) )
⑶ 满足 f (X (k)) 时结束，否则进行下一步计算。
X (0)
(
x( 1
0
)
,
x(0) 2
)T
，其迭代格式
图4-3 坐标轮换法搜索过程
为
x x x (0)
(0)
2
1
S (0) (0)
22
，
S2
方向即为
2
轴方向，至此完成第一
轮搜索。
第4章 无约束优化方法与MATLAB实现
然后再从
机械优化设计第四章无约束优化方法
PPT文档演模板
机械优化设计第四章无约束优化方法
•2、变尺度法的基本思想
• 对于一般函数
，当用牛顿法寻求极小点时，
•其牛顿迭代公式为：
• 其中：
•
为了避免迭代公式中计算海赛矩阵的逆阵，用对
称正定矩阵
近似
的逆，每迭代一次，尺度
就改变一次。而 的产生从给定 开始逐步修整
得到。
PPT文档演模板
机械优化设计第四章无约束优化方法
•4、共轭梯度法 • 程序框图
PPT文档演模板
机械优化设计第四章无约束优化方法
•六、变尺度 法 •1、问题的提出
•1）梯度 法
•* 简单，开始时目标函数值下降较快，但越来越慢。 •2）阻尼牛顿 法
•* 目标函数值在最优点附近时收敛快，但要用到 二阶导数和矩阵求逆。
•能否克服各自的缺点，综合发挥其优点？
PPT文档演模板
机械优化设计第四章无约束优化方法
•3、格拉姆—斯密特向量系共轭化法（共轭方向的确定）
• 1、选定线性无关向量系 单位向量；
，如n个坐标轴的
•2、取
，令
，根据共轭条件得
•3、递推可得：
PPT文档演模板
机械优化设计第四章无约束优化方法
•五、共轭梯度法
•1、共轭梯度法是共轭方向法中的一种，该方法中每一个 共轭向量都是依赖与迭代点处的负梯度而构造出来。
•，则
，停机；
•否则置
•返回到2），继续进行搜索。
PPT文档演模板
机械优化设计第四章无约束优化方法
•（3）阻尼牛顿法的
•
程序框图
PPT文档演模板
机械优化设计第四章无约束优化方法
•方法特点：
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 虽然阻尼牛顿法有上述缺点，但在特定条件下它具有 收敛最快的优点，可为其他算法提供思路和理论依据。
•把
•看作一个搜索方向，
•称其为牛顿方向，则阻尼牛顿法的迭代公式为：
•——阻尼因子，即沿牛顿方向进行一维搜索的最佳步长， •可通过如下极小化过程求得：
•（2）阻尼牛顿法的计算步骤
•1）给定初始点 ，收敛精度 ，置 •2）计算
•3）求
•4）检查收敛精度。若
•，则
，停机；
•否则置
•返回到2），继续进行搜索。
• 搜索方向取该点的负梯度方向即 数值在该点附近的范围内下降最快。
，使函
•2、最速下降法的原理
•（1）使
，按此规律不断走步，形成迭代算法：
•（2）其步长因子 取一维搜索的最佳步长，即
• 根据一元函数极值的必要条件和多元复合函数求导 公式，得
•或
• 由此可知，在最速下降 法中，相邻两个迭代点上 的函数梯度相互垂直。而 搜索方向就是负梯度方向 ，因此相邻两个搜索方向 互相垂直。这就是说在迭 代点向函数极小点靠近的 过程，走的是曲折的路线 ，形成“之”字形的锯齿现 象，而且越接近极小点锯 齿越细。
•解法2：引入变化
•，则目标函数
•变为
•
•，
•经过坐标（尺度）变化后，只需要经过一次迭代，就可找 到最优解：
•不同等值线的迭代过程
•讨论
• 可以看出二者的对角形矩阵不同，前者的 等值线为一族椭圆，后者的等值线为一族同 心圆，这说明对角形矩阵是表示度量的矩阵 或者是表示尺度的矩阵，最速下降法的收敛 速度和变量的尺度有很大关系。
机械优化设计_第四章无 约束优化方法
2020年5月31日星期日
• 实际中的工程问题大都是在一定限制条件下追 求某一指标为最小，属于约束优化问题。
• 为什么要研究无约束优化问题？
•1）有些实际问题，其数学模型本身就是一个无约束问题；
•2）通过熟悉它的解法可以为研究约束优化问题打下良好的 基础；
•3）约束优化问题的求解可用通过一系列无约束优化方法来 达到。
•（3）阻尼牛顿法的
•
程序框图
•方法特点：
•1）初始点应选在极小点附近，有一定难度；
•2）尽管每次迭代都不会是函数上升，但不能保证每次 都下降；
•3）若迭代点的海赛矩阵为奇异，则无法求逆矩阵，不 能构造牛顿法方向；
•4）不仅要计算梯度，还要求海赛矩阵及其逆矩阵，计 算量和存储量大。此外对于二阶不可微函数也不适用。
•所以无约束优化问题的解法是优化设计方法的基本 组成部分，也是优化方法的基础。
•一、概述
•1、无约束优化问题
•求 维设计变量
使目标函数
•，而对 没有任何限制条件。
•2、求解方法 •（1）利用极值条件来确定极值点的位置。
•（2）数值计算方法——搜索方法 •基本思想：从给定的初始点 出发，沿某一搜索方向
•对于多元函数 •，设 •为 •极小点 •的第一 •个近似点， •泰勒展开，保留到二次项，得:
•设 •为 •的极小点，它作为 •极小点 •的下一个近似点，根据极值必要条件：
•即
•---多元函数求极值 的牛顿法迭代公式。
•——•海赛矩阵
•对于二次函数，海赛矩阵是常矩阵，故从任何点出发，确定最佳步长 •使函数值沿 •下降
•最大。依此方式不断进行，形成迭代的下降算法：
•3、算法框图
•4、无约束优化方法的分 类
•搜索方向的构成问题是无约束优化方法的关键。 •根据确定其搜索方向 方法不同，可分为：
•（1）只利用目标函数值的无约束优化方法（或称直接法， 即不使用导数信息），如：坐标轮换法、单形替换法及鲍威 （Powell）法。 • 直接法不必求函数导数，只计算目标函数值。适用于求 解变量个数较少（小于20）的问题，一般情况下效率较低。
•（4）梯度法的收敛速度与目标函数的性质密切相关 。对于等值线（面）为同心圆（球）的目标函数，一 次搜索即可达到极小点。
•三、牛顿型方法
•基本思想：在 领域内用一个二次函数 来近似
代替原目标函数，并将 的极小值作为目标函数 求优的下一个迭代点 。经多次迭代，使之逼近目标 函数 的极小点。
•1、牛顿法
•最 速 下 降 法 的 程 序 框 图
•例：求目标函数
•解法1：取初始点
•及梯度分别为：
•的极小点
•，则初始点处的函数值
•为一维搜索最佳步长，应满足极值必要条件
•则第一次迭代设计点位置和函数值
•经过10次迭代后，得到最优解： • 该问题的目标函数的等值线为一族椭圆，迭 代点走的是一段锯齿形路线。
•最速下降法的搜索路 径
•函数梯度为局部性质，因此并非“最快”。
•梯度法的迭代历程
•方法特点
•1）初始点可任选，每次迭代计算量小，存储量 少，程序简短。即使从一个不好的初始点出发， 开始的几步迭代，目标函数值下降很快，然后慢 慢逼近局部极小点；
•2）任意相邻两点的搜索方向是正交的，它的迭 代路径为绕道逼近极小点。当迭代点接近极小点 时，步长变得很小，越走越慢。
•3、最速下降法收敛速度的估计式
•—— •的海赛矩阵最大特征值上界 •—— •的海赛矩阵最小特征值下界
•梯度法的特点：
•（1）理论明确，程序简单，对初始点要求不严格；
•（2）对一般函数而言，梯度法的收敛速度并不快， 因为最速下降法仅仅是指某点的一个局部性质；
•（3）梯度法相邻两次搜索方向的正交性决定了迭代 全过程的搜索路径呈锯齿形，在远离极小点时逼近速 度较快，而在接近极小点时逼近速度较慢；
•例:•用牛顿法求
•解：取初始点
•，则
的极小值
•代入牛顿法迭代公式可得:
•从而经过一次迭代即求得极小点和函数极小值。
•2、阻尼牛顿法
• 在牛顿法中，迭代点的位置是按照极值条件确定，并 未含有沿下降方向搜寻的概念，因此采用牛顿迭代公式， 对于非二次函数，有时会使函数值上升。
•（1）阻尼牛顿法的迭代公式
•（2）利用目标函数的一阶或二阶导数的无约束优化方法 （或称间接法）如：最速下降法（梯度法）、共轭梯度法 、牛顿法及变尺度法； • 间接法除了要计算目标函数值外，还要计算目标函数 的梯度，有的还要计算其海赛矩阵；
•二、最速下降法（梯度法）
•1、基本思想
• 函数的负梯度方向是函数值在该点下降最快的方向。 将n维问题转化为一系列沿负梯度方向用一维搜索方法寻 优的问题，即利用负梯度作为搜索方向，故称为最速下降 法或梯度法。
•把
•看作一个搜索方向，
•称其为牛顿方向，则阻尼牛顿法的迭代公式为：
•——阻尼因子，即沿牛顿方向进行一维搜索的最佳步长， •可通过如下极小化过程求得：
•（2）阻尼牛顿法的计算步骤
•1）给定初始点 ，收敛精度 ，置 •2）计算
•3）求
•4）检查收敛精度。若
•，则
，停机；
•否则置
•返回到2），继续进行搜索。
• 搜索方向取该点的负梯度方向即 数值在该点附近的范围内下降最快。
，使函
•2、最速下降法的原理
•（1）使
，按此规律不断走步，形成迭代算法：
•（2）其步长因子 取一维搜索的最佳步长，即
• 根据一元函数极值的必要条件和多元复合函数求导 公式，得
•或
• 由此可知，在最速下降 法中，相邻两个迭代点上 的函数梯度相互垂直。而 搜索方向就是负梯度方向 ，因此相邻两个搜索方向 互相垂直。这就是说在迭 代点向函数极小点靠近的 过程，走的是曲折的路线 ，形成“之”字形的锯齿现 象，而且越接近极小点锯 齿越细。
•解法2：引入变化
•，则目标函数
•变为
•
•，
•经过坐标（尺度）变化后，只需要经过一次迭代，就可找 到最优解：
•不同等值线的迭代过程
•讨论
• 可以看出二者的对角形矩阵不同，前者的 等值线为一族椭圆，后者的等值线为一族同 心圆，这说明对角形矩阵是表示度量的矩阵 或者是表示尺度的矩阵，最速下降法的收敛 速度和变量的尺度有很大关系。
机械优化设计_第四章无 约束优化方法
2020年5月31日星期日
• 实际中的工程问题大都是在一定限制条件下追 求某一指标为最小，属于约束优化问题。
• 为什么要研究无约束优化问题？
•1）有些实际问题，其数学模型本身就是一个无约束问题；
•2）通过熟悉它的解法可以为研究约束优化问题打下良好的 基础；
•3）约束优化问题的求解可用通过一系列无约束优化方法来 达到。
•（3）阻尼牛顿法的
•
程序框图
•方法特点：
•1）初始点应选在极小点附近，有一定难度；
•2）尽管每次迭代都不会是函数上升，但不能保证每次 都下降；
•3）若迭代点的海赛矩阵为奇异，则无法求逆矩阵，不 能构造牛顿法方向；
•4）不仅要计算梯度，还要求海赛矩阵及其逆矩阵，计 算量和存储量大。此外对于二阶不可微函数也不适用。
•所以无约束优化问题的解法是优化设计方法的基本 组成部分，也是优化方法的基础。
•一、概述
•1、无约束优化问题
•求 维设计变量
使目标函数
•，而对 没有任何限制条件。
•2、求解方法 •（1）利用极值条件来确定极值点的位置。
•（2）数值计算方法——搜索方法 •基本思想：从给定的初始点 出发，沿某一搜索方向
•对于多元函数 •，设 •为 •极小点 •的第一 •个近似点， •泰勒展开，保留到二次项，得:
•设 •为 •的极小点，它作为 •极小点 •的下一个近似点，根据极值必要条件：
•即
•---多元函数求极值 的牛顿法迭代公式。
•——•海赛矩阵
•对于二次函数，海赛矩阵是常矩阵，故从任何点出发，确定最佳步长 •使函数值沿 •下降
•最大。依此方式不断进行，形成迭代的下降算法：
•3、算法框图
•4、无约束优化方法的分 类
•搜索方向的构成问题是无约束优化方法的关键。 •根据确定其搜索方向 方法不同，可分为：
•（1）只利用目标函数值的无约束优化方法（或称直接法， 即不使用导数信息），如：坐标轮换法、单形替换法及鲍威 （Powell）法。 • 直接法不必求函数导数，只计算目标函数值。适用于求 解变量个数较少（小于20）的问题，一般情况下效率较低。
•（4）梯度法的收敛速度与目标函数的性质密切相关 。对于等值线（面）为同心圆（球）的目标函数，一 次搜索即可达到极小点。
•三、牛顿型方法
•基本思想：在 领域内用一个二次函数 来近似
代替原目标函数，并将 的极小值作为目标函数 求优的下一个迭代点 。经多次迭代，使之逼近目标 函数 的极小点。
•1、牛顿法
•最 速 下 降 法 的 程 序 框 图
•例：求目标函数
•解法1：取初始点
•及梯度分别为：
•的极小点
•，则初始点处的函数值
•为一维搜索最佳步长，应满足极值必要条件
•则第一次迭代设计点位置和函数值
•经过10次迭代后，得到最优解： • 该问题的目标函数的等值线为一族椭圆，迭 代点走的是一段锯齿形路线。
•最速下降法的搜索路 径
•函数梯度为局部性质，因此并非“最快”。
•梯度法的迭代历程
•方法特点
•1）初始点可任选，每次迭代计算量小，存储量 少，程序简短。即使从一个不好的初始点出发， 开始的几步迭代，目标函数值下降很快，然后慢 慢逼近局部极小点；
•2）任意相邻两点的搜索方向是正交的，它的迭 代路径为绕道逼近极小点。当迭代点接近极小点 时，步长变得很小，越走越慢。
•3、最速下降法收敛速度的估计式
•—— •的海赛矩阵最大特征值上界 •—— •的海赛矩阵最小特征值下界
•梯度法的特点：
•（1）理论明确，程序简单，对初始点要求不严格；
•（2）对一般函数而言，梯度法的收敛速度并不快， 因为最速下降法仅仅是指某点的一个局部性质；
•（3）梯度法相邻两次搜索方向的正交性决定了迭代 全过程的搜索路径呈锯齿形，在远离极小点时逼近速 度较快，而在接近极小点时逼近速度较慢；
•例:•用牛顿法求
•解：取初始点
•，则
的极小值
•代入牛顿法迭代公式可得:
•从而经过一次迭代即求得极小点和函数极小值。
•2、阻尼牛顿法
• 在牛顿法中，迭代点的位置是按照极值条件确定，并 未含有沿下降方向搜寻的概念，因此采用牛顿迭代公式， 对于非二次函数，有时会使函数值上升。
•（1）阻尼牛顿法的迭代公式
•（2）利用目标函数的一阶或二阶导数的无约束优化方法 （或称间接法）如：最速下降法（梯度法）、共轭梯度法 、牛顿法及变尺度法； • 间接法除了要计算目标函数值外，还要计算目标函数 的梯度，有的还要计算其海赛矩阵；
•二、最速下降法（梯度法）
•1、基本思想
• 函数的负梯度方向是函数值在该点下降最快的方向。 将n维问题转化为一系列沿负梯度方向用一维搜索方法寻 优的问题，即利用负梯度作为搜索方向，故称为最速下降 法或梯度法。