机械优化设计-无约束优化方法

f ( X k 1 )T f ( X k ) 0,
令
d k 1 f ( X k 1 ),
d k f ( X k ),
所以
d k 1 T d k 0.
最速下降法
由此可知： 在最速下降法中，相邻两个迭代点上的函数梯度 相互垂直。而搜索方向就是负梯度方向，因此 相邻两个搜索方向互相垂直。这就是说在迭代点向 函数极小点靠近的过程，走的是曲折的路线。形 成“之”字形的锯齿现象，而且越接近极小点锯齿 越细.


X k 1 X k k d k X k k H X k

1
f X k

牛顿型方法
其中是沿牛顿方向进行一维搜索的最佳步长，称为阻尼因子。 通过 f X k 1 f X k k d k min f X k k d k k 求得; f X k 1 f X k 这样就能保证
1
牛顿型方法
1. 一元函数求极值的牛顿型迭代法
对于一元函数，在 x 点进行泰勒展开，并忽略二次以上微量
f x f x k f x k x x k
k



根据一元函数极值存在的必要条件 f x 0 有
1 f x k x x k 2


2
0
2
沿负梯度方向 X 1 X 0 f ( X 0 ) 1 2 1 2 0 0 1 0 2 1 2 进行一维搜索 0 将 X 1 代入原方程，将n维问题化成一维问题。
最速下降法
f ( x) (1 20 )2 (1 20 )2 2(1 20 )2 (0 ),
解: 取初始点 x0 2,2
T
经过一次迭代即求得最小点 x* 0,0T
* 函数极小值 f x 0
1 2 2 1 0 2 0 1 0 x x f x f x 2 0


0 4 0 1 100 0 50
将 X 代入求梯度公式
1
2 x1 0 f ( X ) 2 x2 x1 0 0 x 0
1
2
最速下降法
显然 X 点满足收敛迭代准则，即 f ( X ) 1 。 因为该目标函数的等值线为圆簇，故只要经过一 轮迭代，即找到问题的极值点，计算效率很高。 其迭代示意图如图2所示。

牛顿型方法
阻尼牛顿法
牛顿法的缺陷是，在确定极值点的过程中，并不含 沿下降方向搜索的概念。因此对于非二次型函数， 在迭代过程中，可能出现 f X k 1 f X k 的现象。 为此人们提出了所谓的阻尼牛顿法 k k 1 令 d H X f X k 作为一个搜索方向，或称牛顿方向，则阻尼牛顿 法采用下述迭代公式：
最速下降法
图1
图2
最速下降法
2 (2) 求目标函数 f ( X ) x12 x2 的极小点 T X 0 1,1 解： 取初始点 则此点处函数值 f (X 0) 2
梯度
2 x1 2 f ( X ) 2 x2 x1 1 2 x 1
f x k f x k x x k 0
令



x x k 1
x
k 1 k
f xk x f x k

牛顿型方法
上式即为一元函数的牛顿型迭代 x k 可求得点 x k 1。 公式，即从 求 f x 的极小点，应满足极值 f x* 0 。所以求 f x 必要条件 的极小点，也就是求解方程 f x 0 的根,牛顿法又称作切 线法，如右图所示。
无约束优化方法
---最速下降法、牛顿型方 法
无约束优化方法
• 机械设计问题中，大部分都是约束优化问题。对于约束 优化问题的求解是通过转化为一系列的无约束优化问题 实现的。 • 因此，无约束优化问题的解法是优化设计方法的基本组 成部分，也就是优化方法的基础。
无约束优化方法
无约束问题的数学模型是: 迭代公式:
牛顿型方法
阻尼牛顿法的程序框图
•阻尼牛顿法程序框图如图所示。以上介绍的最速 下降法及牛顿法或称阻尼牛顿法，属于经典数学 方法。显然在这些方法中要用到某点函数的一阶 导数、二阶导数等信息，同时对牛顿法还要用到 逆矩阵的计算等。当变量维数较高时，计算工作 量相当大，影响计算速度。理论上，牛顿法的收 敛速度高于最速下降法。
1
f ( X ) 3.686164
最速下降法
将 X 1 的值代入求梯度公式得 2 x1 3.8 1 f ( x ) 0 0.15 50 x2 x 1.9
x2 0.003
1
显然 X 1 不是函数的极小点。仍需要继续迭代， 2 X 1 为初点，搜公式(1)可得 X ， 第二轮迭代以 T X 10 0, 0 ，将 X 10代入公式 依此类推，经过10轮迭代
最速下降法
4.最速下降法步骤：
(1)给定初始点 x0 Rn,允许误差 0 ，令 k 0 。 (2)计算搜索方向 d k f ( xk ); d k ，则停止计算，x k 为所求极值点； (3)若 否则，求最优步长 k 使得 f ( x k k d k ) min f ( x k k d k ) 。 (4)令 x k 1 x k k d k ，令 k k 1 ，转(2)。
最速下降法
5.例题
的极小 T 点. X 0 2, 2 ,则初始点处函数值及梯度分别为 解：取初始点
f ( X ) x12 25x22 (1) 求目标函数
f ( X ) 104,
0
2 x1 4 f ( X ) 50 x2 x1 2 100 x 2
k

k
1
f X k ，（k=0,1,2,„，n）

这就是多元函数求极值的牛顿型迭代公式。 对于二次函数 ，海赛矩阵是一个常矩阵，其中各元素 均为常数。因此，无论从任何点出发，只需一步就可找 到极小点。
牛顿型方法
2 2 (3) 求目标函数 f x x1 25x2 的极小点。
T k k T k k
• 设 X k 1 为 X 的一个极小点，它作为 f X 极小点 X * 的一个近似点，根据极值必要条件： X k 1 0 即 f X k H X k X k 1 X k 0
牛顿型方法
由上式解得
X
k 1
X H X
(0 ) 4(1 20 )(2) 8(1 20 ). 1 令 (0 ) 0 即 8(1 20 ) 0 ，解得： 0 2 1 0 代入 X 式得 将 1 2 0 0 1 X 0 , 1 2 0
开始
给定 X 0 、
k 0
d k 2 f X k


1
k f kk 1 X


k k 1
X k 1 X k a k d k a k : min f X k a k d k k
a
X X
*
k 1
是
X k 1 X k
否
结束
0
2
沿负梯度方向进行一维搜索，有
2 2 4 0 0 4 X X 0f ( X ) 2 100 2 100 0
1 0 0
最速下降法
0 为一维搜索的最佳步长，应满足极值必要条件 f ( X ) min f ( X f ( X )) min (2 4 ) 25(2 100 ) min ( ),
min f ( X )
k k
X [ x1, x2 , x3 ,..., xn ]T , X Rn
X
k 1
X d
k
d k 为第k次探索的方向向量 X k 沿着 d k 方向迈出的步长, X k 1为k次搜索获得的一个新点
k 为第k次探索的初始值,
无约束优化方法
• 可以把初始点 X 、搜索方向 d 、迭代步长 k 称 为优化方法算法的三要素。其中以搜索方向 d 更 为突出和重要，它从根本上决定一个算法的成败、 收敛速率的快慢等。
k
k
k
• 搜索方向问题是无约束优化方法的关键。 • 各种无约束优化方法的区别就是确定搜索方向的 方法不同。
• 最速下降法
最速下降法
1.基本思想
min 优化设计是追求 f ( X ) ，因此，会自然想到 X 从某点 出发，以该点的负梯度方向即最速下降 方向为搜索方向，使函数值在该点附近范围内下降 最快。 按此规律形成以下迭代算法： X k 1 X k k f ( X k ),(k 1, 2,..., n) （1）
以负梯度方向为搜索方向，所以称为最速下降法或梯度法
最速下降法
2.搜索方向: d k f ( xk ) ，也称最速下降方向； 3.搜索步长：取最优步长，即满足 f ( X k 1 ) f ( X k k f ( X k )) min ( )
( )
f ( X ) dX [f ( X k k f ( X k ))]T (f ( X k )) 0 X d
牛顿型方法
2.多元函数求极值的牛顿型迭代法
X* • 对于多元函数 f X ，设 x k 为 f X 极小点 的一个近似点，在 X k 处将 f X 进行泰勒展开，保留 到二次项，得：
f X X f X k f X k

X X 1 X X H X X X 2
2 x1 0 f ( X ) 50 x2 x1 0 0 x 0