第6章梯度法为基础的数值求解.
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
（1）牛顿法又叫二阶梯度法，不仅考虑了目标函 数的梯度，而且考虑了目标函数的二阶导数（即 梯度的变化方向），能更快的搜索出最优点。 其迭代公式如下：
X k1 X k Ak1f ( X k )
3.牛顿法及阻尼牛顿法
迭 代 过 程
给出 X 0 En , 0 k 0
计算f ( X k )
梯度法为基础的数值求解
内容提要
无约束非线性问题的数值求解，应用于连续 可导的目标函数。以梯度法为基础，要计算 目标函数的一阶和二阶偏导数。
➢ 最优梯度法 ➢ 共轭梯度法 ➢ 牛顿法及阻尼牛顿法 ➢ 变尺度法
1.最优梯度法
目标函数的负梯度方向作为每一步迭代的搜索 方向，每一步都取负梯度方向的最优步长。 （柯西提出）
Y f ( X k ) ?
N 计算 Ak1 A 1 A
停 X* Xk
X k 1 X k Ak1 f ( X k ) k k 1
优缺点分析
收敛速度很快
用到了赫森矩阵， 考虑了等值线曲率 的意义
在极值点附近可以 一步到达
计算繁琐 有可能是发散的
3.牛顿法及阻尼牛顿法
A）当 Ak I 时，则为最优梯度公式：
X
k 1
X
k
k
f ( X k ) f ( X k )
B）当k Ak1f (X k ) 时，则为牛顿法迭代公式：
X k1 X k Ak1f ( X k )
4.变尺度法
变尺度法是结合最优梯度法和牛顿法的优点一种综 合算法，也称为拟牛顿法。
k f ( X k ) 2
对于正定的二次函数，X En，最多经过n次 迭代就能得到最优点
2.共轭梯度法
迭代过程
给出 X 0 En , 0
P0 f ( X 0 ), k 0
求 k , 使 min f ( X k Pk ) f ( X k k Pk ) 取 X k1 X k k Pk
n维非线性函数f(X)的梯度定义如下：
f ( X ) f [ f , f ,, f ] X x1 x2 xn
1.最优梯度法
最优梯度法的迭代公式
X k 1 X k k Sk
其中单位向量和最优步长分别是：
Sk
f ( X k ) f ( X k )
3.牛顿法及阻尼牛顿法
（2）阻尼牛顿法解决了牛顿法的计算繁琐问题， 构造一个矩阵代替牛顿法中的赫森矩阵。因迭代 过程中使用最优步长，故能保障每步函数值都有 所下降，即使初始点选取不当，也能搜索成功。
其迭代公式如下：
X k1 X k k
Ak1f ( X k ) f ( X k )gAk1
停 X * X k 1
算 k k 1
4.变尺度法
算法特点
以逐次逼近的算法实现对 A1的计算 当目标函数可以用二次函数近似时，其方向矩阵 H
可以很快收敛 应用于二次函数时，变尺度法与共轭梯度法一样
具有二次终结性质，计算具有稳定性。
谢 谢！
k 0
Pk H k gk
求 k , min f ( X k P使k ) f ( X k k Pk )
X k1 X k k Pk
N
Y
g k1 ?
Y X0 Xn
k n?
N
计 g k1 gk Xk Zk Bk ,Ck
H k1 H k Bk C k
1.最优梯度法
优缺点分析 最速下降方向是局部性质而非全局性质 开始步长大，越接近极小点，步长越小。所
以在开始范围能较快接近最优点，适合解决 问题的开始阶段，作为收局结尾是不利的 （一般是锯齿状的收敛方向）
2.共轭梯度法
对负梯度方向进行修正（Fletcher&Reeves）
每一步迭代均利用上一步的 X k 的负梯度方向 f ( X k )与上一步搜索方向的向量 Pk1 进行线性
这种方法用一个对称矩阵 H k 去逼近 Ak1 ，得到的 搜索方向为：
Pk H kf ( X k )
其迭代公式为：
X k1 X k k Pk
迭代过程
给 出X 0 En , 0
N
g0 ?
YHale Waihona Puke Baidu
停
X* Xk
H 0 I , g 0 f ( X 0 )
k
min a
f (X k
Sk )
f (X k
kSk )
1.最优梯度法
收敛准则
梯度准则：梯度的模达 到充分小
点距准则：相邻两迭代 点之间的距离达到充分 小
函数下降量准则：相邻 两迭代点的函数值下降 量达到充分小
f ( X k1)
X k1 X k
f (X k1) f (X k )
k
T f ( X )Sk SkT ASk
1.最优梯度法
迭代过程
给出 X 0, 0 k=0
计算( X k )，Sk
f ( X k ) f ( X k )
X k 1 X k k Sk k k 1
f (X k ) ? N
Y
停
X* Xk
求
，使
组合，构成一个与 Pk1 方向互相共轭的方向 Pk 然后再沿 Pk 方向做唯一寻优
2.共轭梯度法
共轭方向的构成
迭代公式 Pk1 f ( X k1) k Pk 条件：Pk1 与 Pk 关于Q 互为共轭，即
(Pk1)T QPk 0
近似的取 k 为
f ( X k1) 2
X 0 X n1
f ( X k1) ?
Y
停 X * X k 1
N Y
k n?
N
f ( X k1) 2 f ( X k 1)T f ( X k )
k
f ( X k ) 2
Pk 1 f ( X k 1) k Pk k k 1
3.牛顿法及阻尼牛顿法
X k1 X k Ak1f ( X k )
3.牛顿法及阻尼牛顿法
迭 代 过 程
给出 X 0 En , 0 k 0
计算f ( X k )
梯度法为基础的数值求解
内容提要
无约束非线性问题的数值求解，应用于连续 可导的目标函数。以梯度法为基础，要计算 目标函数的一阶和二阶偏导数。
➢ 最优梯度法 ➢ 共轭梯度法 ➢ 牛顿法及阻尼牛顿法 ➢ 变尺度法
1.最优梯度法
目标函数的负梯度方向作为每一步迭代的搜索 方向，每一步都取负梯度方向的最优步长。 （柯西提出）
Y f ( X k ) ?
N 计算 Ak1 A 1 A
停 X* Xk
X k 1 X k Ak1 f ( X k ) k k 1
优缺点分析
收敛速度很快
用到了赫森矩阵， 考虑了等值线曲率 的意义
在极值点附近可以 一步到达
计算繁琐 有可能是发散的
3.牛顿法及阻尼牛顿法
A）当 Ak I 时，则为最优梯度公式：
X
k 1
X
k
k
f ( X k ) f ( X k )
B）当k Ak1f (X k ) 时，则为牛顿法迭代公式：
X k1 X k Ak1f ( X k )
4.变尺度法
变尺度法是结合最优梯度法和牛顿法的优点一种综 合算法，也称为拟牛顿法。
k f ( X k ) 2
对于正定的二次函数，X En，最多经过n次 迭代就能得到最优点
2.共轭梯度法
迭代过程
给出 X 0 En , 0
P0 f ( X 0 ), k 0
求 k , 使 min f ( X k Pk ) f ( X k k Pk ) 取 X k1 X k k Pk
n维非线性函数f(X)的梯度定义如下：
f ( X ) f [ f , f ,, f ] X x1 x2 xn
1.最优梯度法
最优梯度法的迭代公式
X k 1 X k k Sk
其中单位向量和最优步长分别是：
Sk
f ( X k ) f ( X k )
3.牛顿法及阻尼牛顿法
（2）阻尼牛顿法解决了牛顿法的计算繁琐问题， 构造一个矩阵代替牛顿法中的赫森矩阵。因迭代 过程中使用最优步长，故能保障每步函数值都有 所下降，即使初始点选取不当，也能搜索成功。
其迭代公式如下：
X k1 X k k
Ak1f ( X k ) f ( X k )gAk1
停 X * X k 1
算 k k 1
4.变尺度法
算法特点
以逐次逼近的算法实现对 A1的计算 当目标函数可以用二次函数近似时，其方向矩阵 H
可以很快收敛 应用于二次函数时，变尺度法与共轭梯度法一样
具有二次终结性质，计算具有稳定性。
谢 谢！
k 0
Pk H k gk
求 k , min f ( X k P使k ) f ( X k k Pk )
X k1 X k k Pk
N
Y
g k1 ?
Y X0 Xn
k n?
N
计 g k1 gk Xk Zk Bk ,Ck
H k1 H k Bk C k
1.最优梯度法
优缺点分析 最速下降方向是局部性质而非全局性质 开始步长大，越接近极小点，步长越小。所
以在开始范围能较快接近最优点，适合解决 问题的开始阶段，作为收局结尾是不利的 （一般是锯齿状的收敛方向）
2.共轭梯度法
对负梯度方向进行修正（Fletcher&Reeves）
每一步迭代均利用上一步的 X k 的负梯度方向 f ( X k )与上一步搜索方向的向量 Pk1 进行线性
这种方法用一个对称矩阵 H k 去逼近 Ak1 ，得到的 搜索方向为：
Pk H kf ( X k )
其迭代公式为：
X k1 X k k Pk
迭代过程
给 出X 0 En , 0
N
g0 ?
YHale Waihona Puke Baidu
停
X* Xk
H 0 I , g 0 f ( X 0 )
k
min a
f (X k
Sk )
f (X k
kSk )
1.最优梯度法
收敛准则
梯度准则：梯度的模达 到充分小
点距准则：相邻两迭代 点之间的距离达到充分 小
函数下降量准则：相邻 两迭代点的函数值下降 量达到充分小
f ( X k1)
X k1 X k
f (X k1) f (X k )
k
T f ( X )Sk SkT ASk
1.最优梯度法
迭代过程
给出 X 0, 0 k=0
计算( X k )，Sk
f ( X k ) f ( X k )
X k 1 X k k Sk k k 1
f (X k ) ? N
Y
停
X* Xk
求
，使
组合，构成一个与 Pk1 方向互相共轭的方向 Pk 然后再沿 Pk 方向做唯一寻优
2.共轭梯度法
共轭方向的构成
迭代公式 Pk1 f ( X k1) k Pk 条件：Pk1 与 Pk 关于Q 互为共轭，即
(Pk1)T QPk 0
近似的取 k 为
f ( X k1) 2
X 0 X n1
f ( X k1) ?
Y
停 X * X k 1
N Y
k n?
N
f ( X k1) 2 f ( X k 1)T f ( X k )
k
f ( X k ) 2
Pk 1 f ( X k 1) k Pk k k 1
3.牛顿法及阻尼牛顿法