最速下降法和共轭梯度法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
最速下降法和共轭梯度法
非线性规划问题数值求解
最速下降法
书p109页
最速下降法
梯度是函数某一点增长的方向 搜索最小值，搜索方向是梯度的反方向
最速下降法
最速下降法
最速下降法
缺点：当Hessian 矩阵对角线以外 有非零项时，梯 度反方向不直接 通过最优点。有 相互作用项加上 狭窄的函数图形， 都会使梯度方法 收敛变慢
最速下降法
最速下降法
最速下降法
最速下降法存在的问题 可能在驻点终止，例如鞍点
Z=X*Y
鞍点（0，0）
共轭梯度法
共轭梯度法是最速下降法的改进， 利用了当前梯度信息和前一Βιβλιοθήκη Baidu的梯 度信息。有点是仅在每步计算中储 存少量信息，所以能被应用到大型 问题中。
共轭梯度法
书p111
共轭梯度法
例题
非线性规划问题数值求解
最速下降法
书p109页
最速下降法
梯度是函数某一点增长的方向 搜索最小值，搜索方向是梯度的反方向
最速下降法
最速下降法
最速下降法
缺点：当Hessian 矩阵对角线以外 有非零项时，梯 度反方向不直接 通过最优点。有 相互作用项加上 狭窄的函数图形， 都会使梯度方法 收敛变慢
最速下降法
最速下降法
最速下降法
最速下降法存在的问题 可能在驻点终止，例如鞍点
Z=X*Y
鞍点（0，0）
共轭梯度法
共轭梯度法是最速下降法的改进， 利用了当前梯度信息和前一Βιβλιοθήκη Baidu的梯 度信息。有点是仅在每步计算中储 存少量信息，所以能被应用到大型 问题中。
共轭梯度法
书p111
共轭梯度法
例题