无约束优化方法
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
等式两边同乘 d 0 T 得 d 0 T Gd1 0
d 0 d 1 是对G的共轭方向。
三、共轭方向法
1、选定初始点 x0 ，下降方向d 0 和收敛精度ε，k=0。
2、沿 d k 方向进行一维搜索，得 xk1 xk ak d k
3、判断 f xk1 是否满足，若满足则打印 xk1
2 时引出的。 首先考虑二维情况
1 共轭方向
定义1：设G为 n n阶实对称正定矩阵，而 d i , d 为j 在n
维欧氏空间中的两个非零向量，如果满足式：
(d i )T Gd j 0 则称向量 d i , d j 关于实对称正定矩阵G 是共轭的，或
简称d i与 d j 关于G 共轭
如果按最速下降法，选择负梯度方向为搜索方向，会 产生锯齿现象。 为避免锯齿的发生，取下一次的迭代搜索方向直接指 向极小点，如果选定这样的搜索方向，对于二元二次 函数只需进行两次直线搜索就可以求到极小点。
第四章 无约束优化方法
第一节 概述
从第一章列举的机械设计问题，大多数实际问题 是约束优化问题。
约束优化问题的求解——转化为一系列的无约束 优化问题实现的。
因此，无约束优化问题的解法是优化设计方法 的基本组成部分，也是优化方法的基础。
无约束优化问题的极值条件
f x* 0
解析法(间接解法)
数学模型复杂时不便求解
数值法(直接解法) 可以处理复杂函数及没有数学表达式 的优化设计问题
xk 1 xk ak d k
搜索方向问题是无约束优化方法的关键。
各种无约束优化方法的区别：确定搜索方向的方 法不同。
利用目标函数的一阶或二阶导数
无约束优化方 法分类
（最速下降法、共轭梯度法、牛顿法）
利用目标函数值 （坐标轮换法、鲍威尔法等）
由此可知，在最速下降法中，相邻两个迭代点上 的函数梯度相互垂直。而搜索方向就是负梯度方 向，因此相邻两个搜索方向互相垂直。
例4-1 求目标函数 f x x12 25x22 的极小点。
作业
• 第四章 习题
• 4-3设目标函数为 f X x12 x1x2 3x22，
试用最速下降法求其最优解。
是沿牛顿方向进行一维搜索的最佳步长,称为阻尼因子。
k 通过下式求得
f
( X k1)
f
(X k
kdk )
min
f
(X k
kdk )
这样就能保证
f ( X k1) f ( X k )
阻尼牛顿法程序框图
以上介绍的最速下降法及牛顿法或者阻尼牛顿法， 属于经典的数学方法。
显然在这些方法中要用到某点函数的一阶梯度，二 阶梯度等信息，同时对牛顿法还要用到逆矩阵的计算等。 当变量维数较高时，计算工作量相当大，影响计算速度。
程中，可能出现 f ( X k1) f ( X k )
的现象。为此人们提出了所谓的阻尼牛顿法。
令 d k H ( X k )1 f ( X k ) 作为一个搜索方向，则阻尼牛顿法采用下述迭代公式:
X k1 X k k d k X k k H ( X k )1 f ( X k )
。
其中 k
xk 1 xk ak d k
xk 1 xk ak d k 而在点xk、xk 1处的梯度分别为：
gk Gxk b gk1 Gxk1 b
gk1 gk G xk1 xk akGd k
理论上，牛顿法的收敛速度高于最速下降法。从 以上二种经典方法中，人们不断努力，发掘，提出了不 同的改进方法。
第四节共轭方向及共轭方向法
为了克服最速下降法的锯齿现象，提高收敛速度，发展 了一类共轭方向法。搜索方向是共轭方向。 一、共轭方向的概念
共轭方向的概念是在研究二次函数
f x 1 xTGx bT x c
否则转4。
4、提供新的共轭方向 d k1 ，使 d j T Gd k1 0
5、置 k k 1 ，转2。
共 轭 方 向 法 程 序 框 图
第五节 共轭梯度法
共轭梯度法是共轭方向法的一种，共轭向量有迭代点 的负梯度构造出来，所以称共轭梯度法。
f x 1 xTGx bT x c
2
从点xk出发，沿G某一共轭方向d k作一维搜索,到达xk 1
f
xk 1
f xk akf
xk
min
f
x k
akf
xk
min
f
x k 1
f xk akf
xk
min
f
x k
akf
xk
min
T
f xk akf xk f xk 0
f xk1 T f xk 0
d k1 T d k 0
x1 x0 a0d 0
f f x1 T d 0 0
d x1
x* x1 a1d 1
d1 应满足什么条件？
对于二次函数 f x 在 x* 处取得极小点的必要条件
f x* Gx* b 0
f x* G x1 a1d1 b Gx1 b a1Gd1
f x1 a1Gd1 0
2
设 xk1 为函数的极小点，根据极值的必要条件
( X k1) 0
fBiblioteka Baidu( X k ) H ( X k )( X k1 X k ) 0
X k1 X k H (X k )1 f ( X k ) (k=0,1,2,...,n)
这就是多元函数求极值的牛顿法迭代公式。
4.3.2 阻尼牛顿法 牛顿法的缺陷是，在确定极值点的过程中，并不含有沿 下降方向搜索的概念。因此对于非二次型函数，在迭代过
第三节牛顿型方法
在第三章中，我们已经讨论了一维搜索的牛顿方法。 得出一维情况下的牛顿迭代公式
xk 1
xk
f xk f xk
第三节牛顿型方法
对于多元函数，在 xk 泰勒展开，得
f ( X ) ( X ) f ( X k ) f ( X k )T ( X X k ) 1 ( X X k )T H (X k )(X X k )
第二节 最速下降法
优化设计追求目标函数值最小，若搜索方向取该点的负 梯度方向，使函数值在该点附近的范围内下降最快。 按此规律不断走步，形成以下迭代算法：
xk1 xk akf xk
以负梯度方向为搜索方向，所以称最速下降法或梯度法。
搜索方向确定为负梯度方向，还需确定步长因子ak
即求一维搜索的最佳步长，既有
d 0 d 1 是对G的共轭方向。
三、共轭方向法
1、选定初始点 x0 ，下降方向d 0 和收敛精度ε，k=0。
2、沿 d k 方向进行一维搜索，得 xk1 xk ak d k
3、判断 f xk1 是否满足，若满足则打印 xk1
2 时引出的。 首先考虑二维情况
1 共轭方向
定义1：设G为 n n阶实对称正定矩阵，而 d i , d 为j 在n
维欧氏空间中的两个非零向量，如果满足式：
(d i )T Gd j 0 则称向量 d i , d j 关于实对称正定矩阵G 是共轭的，或
简称d i与 d j 关于G 共轭
如果按最速下降法，选择负梯度方向为搜索方向，会 产生锯齿现象。 为避免锯齿的发生，取下一次的迭代搜索方向直接指 向极小点，如果选定这样的搜索方向，对于二元二次 函数只需进行两次直线搜索就可以求到极小点。
第四章 无约束优化方法
第一节 概述
从第一章列举的机械设计问题，大多数实际问题 是约束优化问题。
约束优化问题的求解——转化为一系列的无约束 优化问题实现的。
因此，无约束优化问题的解法是优化设计方法 的基本组成部分，也是优化方法的基础。
无约束优化问题的极值条件
f x* 0
解析法(间接解法)
数学模型复杂时不便求解
数值法(直接解法) 可以处理复杂函数及没有数学表达式 的优化设计问题
xk 1 xk ak d k
搜索方向问题是无约束优化方法的关键。
各种无约束优化方法的区别：确定搜索方向的方 法不同。
利用目标函数的一阶或二阶导数
无约束优化方 法分类
（最速下降法、共轭梯度法、牛顿法）
利用目标函数值 （坐标轮换法、鲍威尔法等）
由此可知，在最速下降法中，相邻两个迭代点上 的函数梯度相互垂直。而搜索方向就是负梯度方 向，因此相邻两个搜索方向互相垂直。
例4-1 求目标函数 f x x12 25x22 的极小点。
作业
• 第四章 习题
• 4-3设目标函数为 f X x12 x1x2 3x22，
试用最速下降法求其最优解。
是沿牛顿方向进行一维搜索的最佳步长,称为阻尼因子。
k 通过下式求得
f
( X k1)
f
(X k
kdk )
min
f
(X k
kdk )
这样就能保证
f ( X k1) f ( X k )
阻尼牛顿法程序框图
以上介绍的最速下降法及牛顿法或者阻尼牛顿法， 属于经典的数学方法。
显然在这些方法中要用到某点函数的一阶梯度，二 阶梯度等信息，同时对牛顿法还要用到逆矩阵的计算等。 当变量维数较高时，计算工作量相当大，影响计算速度。
程中，可能出现 f ( X k1) f ( X k )
的现象。为此人们提出了所谓的阻尼牛顿法。
令 d k H ( X k )1 f ( X k ) 作为一个搜索方向，则阻尼牛顿法采用下述迭代公式:
X k1 X k k d k X k k H ( X k )1 f ( X k )
。
其中 k
xk 1 xk ak d k
xk 1 xk ak d k 而在点xk、xk 1处的梯度分别为：
gk Gxk b gk1 Gxk1 b
gk1 gk G xk1 xk akGd k
理论上，牛顿法的收敛速度高于最速下降法。从 以上二种经典方法中，人们不断努力，发掘，提出了不 同的改进方法。
第四节共轭方向及共轭方向法
为了克服最速下降法的锯齿现象，提高收敛速度，发展 了一类共轭方向法。搜索方向是共轭方向。 一、共轭方向的概念
共轭方向的概念是在研究二次函数
f x 1 xTGx bT x c
否则转4。
4、提供新的共轭方向 d k1 ，使 d j T Gd k1 0
5、置 k k 1 ，转2。
共 轭 方 向 法 程 序 框 图
第五节 共轭梯度法
共轭梯度法是共轭方向法的一种，共轭向量有迭代点 的负梯度构造出来，所以称共轭梯度法。
f x 1 xTGx bT x c
2
从点xk出发，沿G某一共轭方向d k作一维搜索,到达xk 1
f
xk 1
f xk akf
xk
min
f
x k
akf
xk
min
f
x k 1
f xk akf
xk
min
f
x k
akf
xk
min
T
f xk akf xk f xk 0
f xk1 T f xk 0
d k1 T d k 0
x1 x0 a0d 0
f f x1 T d 0 0
d x1
x* x1 a1d 1
d1 应满足什么条件？
对于二次函数 f x 在 x* 处取得极小点的必要条件
f x* Gx* b 0
f x* G x1 a1d1 b Gx1 b a1Gd1
f x1 a1Gd1 0
2
设 xk1 为函数的极小点，根据极值的必要条件
( X k1) 0
fBiblioteka Baidu( X k ) H ( X k )( X k1 X k ) 0
X k1 X k H (X k )1 f ( X k ) (k=0,1,2,...,n)
这就是多元函数求极值的牛顿法迭代公式。
4.3.2 阻尼牛顿法 牛顿法的缺陷是，在确定极值点的过程中，并不含有沿 下降方向搜索的概念。因此对于非二次型函数，在迭代过
第三节牛顿型方法
在第三章中，我们已经讨论了一维搜索的牛顿方法。 得出一维情况下的牛顿迭代公式
xk 1
xk
f xk f xk
第三节牛顿型方法
对于多元函数，在 xk 泰勒展开，得
f ( X ) ( X ) f ( X k ) f ( X k )T ( X X k ) 1 ( X X k )T H (X k )(X X k )
第二节 最速下降法
优化设计追求目标函数值最小，若搜索方向取该点的负 梯度方向，使函数值在该点附近的范围内下降最快。 按此规律不断走步，形成以下迭代算法：
xk1 xk akf xk
以负梯度方向为搜索方向，所以称最速下降法或梯度法。
搜索方向确定为负梯度方向，还需确定步长因子ak
即求一维搜索的最佳步长，既有