最优化计算方法(工程优化)第4章
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
f (x*) 0, 2 f x 正定，则 x 为 f (x) 的严格局部极小
点。
如果 2 f x 负定，则 x 为 f (x) 的严格局部极大点。
无约束优化的最优性条件----凸优化的一阶条件
定理(一阶充要条件)
设 f : Rn R 是凸函数且在 x 处连续可微，则 x 为 f (x)的全局极小点的充要条件是 f (x*) 0.
f (x p) f (x)+f (x)T p o( )
P是什么方向时，函数值 f (x p) 下降最快？也就是
p是什么方向时，f (x)T p 取得最小值？
f (x)T p f (x) p cos(f (x), p)
当 cos(f (x), p) 1 时，f (x)T p 最小，最小值为
令 f x 0, 即：
利用一阶条件 求驻点
利用二阶条件 判断驻点是否 是极小点
x12 1 0
x22
2x2
0
得到驻点： 1 1 1 1
x1
0 ,
x2
2 ,
x3
0
,
x4
2
.
无约束优化的最优性条件
函数 f x 的Hesse阵：
2
f
x
2x1
0
0
2
x2
2
利用二阶条件 判断驻点是否 是极小点
2 0
0 2
的行列式小于0；
x1, x4是鞍点；
2
f
x2
2 0
0
2
是正定矩阵；
x2 是极小点；
2
f
x3
2 0
0 2
是负定矩阵；
x3 是极大点。
• 对某些较简单的函数，这样做有时是可行的；
• 但对一般n元函数 f(x) 来说，由条件 f (x) 0 得到的是一个
非线性方程组，解它相当困难。
这里用到的一阶必要条件就是最优性条件。
所谓最优性条件，是指最优化问题的最优解所要满足的 必要条件或充分条件。
这些条件对于最优化算法的建立和最优化理论的推导都是 至关重要的。
无约束优化的最优性条件----一阶必要条件
定理(一阶必要条件)
设 f : Rn R ，若 x 为 f (x) 的局部极小点，且在 N (x*)
最速下降法的迭代格式
(1) 选定某一初始点 x1 ， 0 并令 k: 1 (2) 若 f (xk ) , x* xk，否则转（3）；
f
(x)
，此时由f
(x)T
p
f
(x)
可得
p
f (x) f (x)
最速下降法
最速下降法是求多元函数极值的最古老的数值算 法，早在1847年法国数学家Cauchy提出该算法，后来 Curry作了进一步的研究。
该方法直观，简单，计算方便，而且后来的一些新的 有效的方法大多数是对它的改进，或受它的启发而得到 的。
• 为此，常直接使用迭代法。
根据迭代点是否 沿某个方向产生
线搜索方法：迭代点沿某方向产生 信赖域方法：迭代点在某区域内搜索产生
线搜索迭代法的步骤
(1) 选定某一初始点 x1 ，并令 k: 1.
(2) 确搜索方向 d k .
(3) 从 xk 出发，沿方向 d k 求步长 k ，以产生下一个迭代点
xk +1. (4) 检查得到的新点 xk +1是否为极小点或近似极小点。
若是，则停止迭代。
否则，令k: k 1，转(2)继续进行迭代。
在以上步骤中，选取步长可选用精确一维搜索或者非精确一 维搜索，
下降方向的选取正是下面我们要介绍的，下降方向选取的不 同，得到不同的算法。
最速下降法
负梯度方向
这是函数值减少 最快的方向
假设 f 连续可微，
d k f (xk )
f
(xk
k d k )
min 0
f
(xk
dk )
步长 k由精确一维搜索得到。
从而得到第 k+1次迭代点，即
xk1 xk +k d k xk kf (xk )
最速下降法 负梯度方向d k f (xk )是函数值减少最快的方向 ？
令 p 是单位长度的向量， p 1, 0,
第4章 无约束最优化方法
• 最优性条件 • 最速下降法 • 牛顿法及其阻尼牛顿法 • 共轭方向法 • 共轭梯度法 • 变尺度法（DFP算法和BFGS算法）
无约束最优化问题：
min f (x) f : Rn R
(1)
目的是找 Rn 中的一点 x* ，使对x Rn ，均有 f (x*) f (x) ，称 x * 为(1)的全局极小点。
无约束优化方法
本章介绍解析法
收敛速度快，需要计算梯度或者Hesse矩阵
可求得目标函数的梯度时使用解析法
直接法：仅利用函数值的信息，寻找最优解
不涉及导数，适用性强，但收敛速度慢
在不可能求得目标函数的梯度或偏导数时使用直接法
最优性条件(Optimality Conditions)
解析法要用到目标函数的梯度或者Hesse矩阵，容易想到 利用一阶必要条件将无约束优化问题转化成一个梯度为0确定 的方程组。
在点 x1, x2, x3, x4 处的Hesse阵依次为：
2
f
x1
2 0
02 ,
2
f
x2
2 0
0
2
,
2
f
x3
2 0
0 2
,2
f
x4
2 0
0 2 .
1
1 1 1
x1
0
,
x2
2
,
x3
0
,
x4
2
.
无约束优化的最优性条件
2
f
x1
2 0
0 2 ,
2
f
x4
定理(一阶必要条件)
设 f : Rn R 是严格凸函数且在 x 处连续可微，若 f (x*) 0, 则 x 为 f (x) 的唯一全局极小点。
无约束优化的最优性条件
例： 利用最优性条件求解下列问题：
解：
min
f
x
1 3
x13
1 3
x23
x22
x1
f x1
x12 1,
f x2
x22 2x2,
求解 (1)的计算方法称为无约束最优化方法。
最优化方法中的基本方法---无约束优化方法
无约束最优化方法应用广泛，理论也比较成熟； 可将约束优化问题转化为无约束优化问题来处理；
min
xD
f
(x)
min
xRn
F ( x),
其中F ( x)
f (x), x D
,
others.
解析法：利用函数的一阶或二阶导数的方法
内连续可微，则
f (x*) 0.
无约束优化的最优性条件----二阶必要条件
定理（二阶必要条件）
若 x*为f x的局部极小点，且在 N x* 内 f x 二次连续
可微，则f (x*) 0,2 f (x*) 半正定。
无约束优化的最优性条件----二阶充分条件
定理(二阶充分条件)
设 f : Rn R ，若在 N (x*) 内 f (x) 二次连续可微，且
点。
如果 2 f x 负定，则 x 为 f (x) 的严格局部极大点。
无约束优化的最优性条件----凸优化的一阶条件
定理(一阶充要条件)
设 f : Rn R 是凸函数且在 x 处连续可微，则 x 为 f (x)的全局极小点的充要条件是 f (x*) 0.
f (x p) f (x)+f (x)T p o( )
P是什么方向时，函数值 f (x p) 下降最快？也就是
p是什么方向时，f (x)T p 取得最小值？
f (x)T p f (x) p cos(f (x), p)
当 cos(f (x), p) 1 时，f (x)T p 最小，最小值为
令 f x 0, 即：
利用一阶条件 求驻点
利用二阶条件 判断驻点是否 是极小点
x12 1 0
x22
2x2
0
得到驻点： 1 1 1 1
x1
0 ,
x2
2 ,
x3
0
,
x4
2
.
无约束优化的最优性条件
函数 f x 的Hesse阵：
2
f
x
2x1
0
0
2
x2
2
利用二阶条件 判断驻点是否 是极小点
2 0
0 2
的行列式小于0；
x1, x4是鞍点；
2
f
x2
2 0
0
2
是正定矩阵；
x2 是极小点；
2
f
x3
2 0
0 2
是负定矩阵；
x3 是极大点。
• 对某些较简单的函数，这样做有时是可行的；
• 但对一般n元函数 f(x) 来说，由条件 f (x) 0 得到的是一个
非线性方程组，解它相当困难。
这里用到的一阶必要条件就是最优性条件。
所谓最优性条件，是指最优化问题的最优解所要满足的 必要条件或充分条件。
这些条件对于最优化算法的建立和最优化理论的推导都是 至关重要的。
无约束优化的最优性条件----一阶必要条件
定理(一阶必要条件)
设 f : Rn R ，若 x 为 f (x) 的局部极小点，且在 N (x*)
最速下降法的迭代格式
(1) 选定某一初始点 x1 ， 0 并令 k: 1 (2) 若 f (xk ) , x* xk，否则转（3）；
f
(x)
，此时由f
(x)T
p
f
(x)
可得
p
f (x) f (x)
最速下降法
最速下降法是求多元函数极值的最古老的数值算 法，早在1847年法国数学家Cauchy提出该算法，后来 Curry作了进一步的研究。
该方法直观，简单，计算方便，而且后来的一些新的 有效的方法大多数是对它的改进，或受它的启发而得到 的。
• 为此，常直接使用迭代法。
根据迭代点是否 沿某个方向产生
线搜索方法：迭代点沿某方向产生 信赖域方法：迭代点在某区域内搜索产生
线搜索迭代法的步骤
(1) 选定某一初始点 x1 ，并令 k: 1.
(2) 确搜索方向 d k .
(3) 从 xk 出发，沿方向 d k 求步长 k ，以产生下一个迭代点
xk +1. (4) 检查得到的新点 xk +1是否为极小点或近似极小点。
若是，则停止迭代。
否则，令k: k 1，转(2)继续进行迭代。
在以上步骤中，选取步长可选用精确一维搜索或者非精确一 维搜索，
下降方向的选取正是下面我们要介绍的，下降方向选取的不 同，得到不同的算法。
最速下降法
负梯度方向
这是函数值减少 最快的方向
假设 f 连续可微，
d k f (xk )
f
(xk
k d k )
min 0
f
(xk
dk )
步长 k由精确一维搜索得到。
从而得到第 k+1次迭代点，即
xk1 xk +k d k xk kf (xk )
最速下降法 负梯度方向d k f (xk )是函数值减少最快的方向 ？
令 p 是单位长度的向量， p 1, 0,
第4章 无约束最优化方法
• 最优性条件 • 最速下降法 • 牛顿法及其阻尼牛顿法 • 共轭方向法 • 共轭梯度法 • 变尺度法（DFP算法和BFGS算法）
无约束最优化问题：
min f (x) f : Rn R
(1)
目的是找 Rn 中的一点 x* ，使对x Rn ，均有 f (x*) f (x) ，称 x * 为(1)的全局极小点。
无约束优化方法
本章介绍解析法
收敛速度快，需要计算梯度或者Hesse矩阵
可求得目标函数的梯度时使用解析法
直接法：仅利用函数值的信息，寻找最优解
不涉及导数，适用性强，但收敛速度慢
在不可能求得目标函数的梯度或偏导数时使用直接法
最优性条件(Optimality Conditions)
解析法要用到目标函数的梯度或者Hesse矩阵，容易想到 利用一阶必要条件将无约束优化问题转化成一个梯度为0确定 的方程组。
在点 x1, x2, x3, x4 处的Hesse阵依次为：
2
f
x1
2 0
02 ,
2
f
x2
2 0
0
2
,
2
f
x3
2 0
0 2
,2
f
x4
2 0
0 2 .
1
1 1 1
x1
0
,
x2
2
,
x3
0
,
x4
2
.
无约束优化的最优性条件
2
f
x1
2 0
0 2 ,
2
f
x4
定理(一阶必要条件)
设 f : Rn R 是严格凸函数且在 x 处连续可微，若 f (x*) 0, 则 x 为 f (x) 的唯一全局极小点。
无约束优化的最优性条件
例： 利用最优性条件求解下列问题：
解：
min
f
x
1 3
x13
1 3
x23
x22
x1
f x1
x12 1,
f x2
x22 2x2,
求解 (1)的计算方法称为无约束最优化方法。
最优化方法中的基本方法---无约束优化方法
无约束最优化方法应用广泛，理论也比较成熟； 可将约束优化问题转化为无约束优化问题来处理；
min
xD
f
(x)
min
xRn
F ( x),
其中F ( x)
f (x), x D
,
others.
解析法：利用函数的一阶或二阶导数的方法
内连续可微，则
f (x*) 0.
无约束优化的最优性条件----二阶必要条件
定理（二阶必要条件）
若 x*为f x的局部极小点，且在 N x* 内 f x 二次连续
可微，则f (x*) 0,2 f (x*) 半正定。
无约束优化的最优性条件----二阶充分条件
定理(二阶充分条件)
设 f : Rn R ，若在 N (x*) 内 f (x) 二次连续可微，且