合肥工业大学 解析法 无约束最优化问题

无约束最优化问题的解法

无约束最优化的解析法

无约束最优化的直接法

无约束最优化问题的解法

z 解析法数学模型复杂时不便求解无约束优化方法的分类

数值法

z 直接法

可以处理复杂函数及没有数学表达式的优化设计问题

无约束最优化的解析法

(Analytic Methods for Unconstrained Optimizations)

z 一般来说，无约束最优化问题的求解是通过一系列一维搜

索来实现的．因此，如何选择按索方向是无约束最优化方法的核心，且不同的搜索方向形成不同的最优化方法．

z 本章介绍无约束最优化方法中基本的并且主要利用目标函

数的解析性质(包括一阶导数和二阶导数)来构造搜索方向的一些方法，这些方法统称为解析法.

z 无约束优化问题的解法是优化设计方法的基本组成部分，

也是优化方法的基础.

无约束最优化的解析法

()

*0f x ∇=z 无约束优化问题的极值条件搜索方向问题是无约束优化方法的关键.

z 基本迭代格式k

k k k d x x λ+=+1

无约束最优化的解析法

最速下降法/梯度法(Steepest Descent Method) 共轭方向法

共轭梯度法(Conjugate Gradient Method) 变尺度法/拟牛顿法(Variable Metric Method)

在点k x 处，沿什么方向,k d ()x f 下降最快?

分析：()()()()

0>++=+λλλλk k T

k k k k d o d g x f d x f 考查：θcos k k k

T k d g d g =当1cos −=θ时，k T k d g 取极小值．

.

k k g d −=结论：负梯度方向使()x f 下降最快，亦即最速

下降方向．

最速下降法

问题的提出

)

(k k x f g ∇=最速下降法

迭代公式

最优步长

最速下降方向

,

k k g d −=其中,

1k k k k d x x λ+=+

计算下降方向.k k g d −=计算步长因子

使得

λ()c x b Gx x x f T T

++=

2

1设是正定二次函数,最速下降法

特例

用最速下降法求解：

()()

T

x x x x f 1,92

921min 02

221=+=

解：

()().90

01

)(,

9)(2

21⎟⎟⎠

⎞

⎜⎜⎝

⎛=∇=⎟⎟⎠⎞

⎜⎜⎝

⎛=∇=x f x G x x x f x g ()()(),

9,9,

1,9000T

T

x f g x =∇==.8.02.7000

001⎟⎟⎠

⎞⎜⎜⎝⎛−=−=g Gg g g g x x T T ,2.72.71⎟⎟⎠⎞⎜⎜⎝⎛−=g ()⎟⎟⎠

⎞⎜⎜⎝⎛×−×=−=2221111

1128.018.09g Gg g g g x x T T

最速下降法

举例

()

T

x 0,0*=()()L

,2,1,8.019

=⎟⎟⎠

⎞⎜⎜⎝

⎛−=k x k k

k 最速下降法

举例

解序列表达式：

()

k

k

k k x g 8.029 8.0)1(99=⎟⎟⎠

⎞⎜⎜⎝⎛−=

在最速下降法中，两个相邻的搜索方向是正交的，即

1=+k T k d d 最速下降法性质

几何

解释

最速下降法逼近极小点的路线是锯齿形的.

定理7.1.1:

最速下降法

收敛性分析

定理7.1.2:

全局收敛性

线性收敛速度

(1)程序设计简单计算量小, 存储量小, 并且计算效率在最初几

步迭代时较高,常与其他方法一起使用. ．

(2) 对初始点没有特别要求, 有着很好的全局收敛性.最速下降法

优点

缺点

最速下降法是线性收敛的，但当接近最优解时，收敛速度很慢．

原因：①k k g

d −=仅反映()x f 在k x 处的局部性质．

②.

01=+k T

k d d 相继两次迭代中搜索方向是正交的: