共轭梯度法简介

算法步骤—FR共轭梯度法 算法步骤 FR共轭梯度法 FR
共轭梯度法
Step1: Step2: Step3: Step4: Step5: Step6: Step7:
共轭梯度法
举例
参见 P187 例7.3.1.
共轭梯度法
收敛性分析
与Newton法相比，共轭梯度 法相比， 法相比 全局收敛性 法具有较弱的收敛条件. 法具有较弱的收敛条件
共轭方向法和共轭梯度法
问题1: 问题 如何建立有效的算法？ 如何建立有效的算法？ 从二次模型到一般模型. 从二次模型到一般模型
问题2: 什么Leabharlann 的算法有效呢？ 什么样的算法有效呢？ 问题 二次终止性. 二次终止性
简介
共轭方向法和共轭梯度法
共轭梯度法是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导 共轭梯度法是介于最速下降法与牛顿法之间的一个方法， 数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储 数信息，但克服了最速下降法收敛慢的缺点， 和计算Hesse矩阵并求逆的缺点，共轭梯度法不仅是解决大型线性方程组 和计算Hesse矩阵并求逆的缺点， Hesse矩阵并求逆的缺点 最有用的方法之一，也是解大型非线性最优化最有效的算法之一. 最有用的方法之一，也是解大型非线性最优化最有效的算法之一.
共轭方向法和共轭梯度法
特点 (1) 建立在二次模型上，具有二次终止性． 建立在二次模型上，具有二次终止性． (2) 一种有效的算法，克服了最速下降法的锯齿现象， 一种有效的算法，克服了最速下降法的锯齿现象 锯齿现象， 又避免了牛顿法的计算量大和局部收敛性的缺点． 又避免了牛顿法的计算量大和局部收敛性的缺点． (3) 算法简单，易于编程，无需计算二阶导数，存储 算法简单，易于编程，无需计算二阶导数， 空间小等优点， 空间小等优点，是求解中等规模优化问题的主要 方法． 方法．
注
共轭梯度法
优点 收敛速度优于最速下降法，存贮量小，计算简单. 收敛速度优于最速下降法，存贮量小，计算简单. 适合于优化变量数目较多的中等规模优化问题. 适合于优化变量数目较多的中等规模优化问题. 缺点
收敛速度是线性的. 当 p 0 = −∇f ( X 0 ) 时，收敛速度是线性的 收敛速度 不如Newton法快 法快. 不如 法快
共轭梯度法
基本思想
CG的基本思想是把共轭性与最速下降法相结合，利用已 的基本思想是把共轭性与最速下降法相结合， 的基本思想是把共轭性与最速下降法相结合 知点处的梯度构造一组共轭方向，并沿着此组方向进行搜索， 知点处的梯度构造一组共轭方向，并沿着此组方向进行搜索， 求出目标函数的极小点。 求出目标函数的极小点。
(1)最初是由计算数学家Hestenes和几何学家Stiefel于1952年 (1)最初是由计算数学家Hestenes和几何学家Stiefel于1952年 最初是由计算数学家Hestenes和几何学家Stiefel 为求正定系数矩阵线性方程组而独立提出的. 为求正定系数矩阵线性方程组而独立提出的.他们合作的著名 文章Method of conjugate gradients for solving linear systems 被认为是共轭梯度法的奠基性文章。 被认为是共轭梯度法的奠基性文章。 (2)1964年 Fletcher和Reeves将此方法推广到非线性最优化， (2)1964年，Fletcher和Reeves将此方法推广到非线性最优化， 1964 将此方法推广到非线性最优化 得到了求解一般函数极小值的共轭梯度法. 得到了求解一般函数极小值的共轭梯度法. 共轭梯度法的收敛性分析的早期工作主要由Fletcher Fletcher、 (3) 共轭梯度法的收敛性分析的早期工作主要由Fletcher、 Powell、Beale等学者给出 等学者给出. Powell、Beale等学者给出. (4) Nocedal、Gilbert、Nazareth、Al-Baali、Storey、 、 、 、 、 、 Dai、Yuan和Han等学者在收敛性方面得到了不少新成果 等学者在收敛性方面得到了不少新成果. 、 和 等学者在收敛性方面得到了不少新成果
共轭方向法
定义--共轭方向 定义--共轭方向 --
注： G = I , 则 若
因此, 因此 共轭是正交的推广． 定义--共轭方向法 定义--共轭方向法 --
是正交的， 是正交的，
共轭方向法
性质
特例
n
共轭方向法
算法步骤
Step1: Step2: Step3: Step4:
Step5:
共轭方向法
注意
由于R 由于 n中共扼方向最多有 n 个，因此在用上述二种方法求 解目标函数为非二次函数的无约束最优化问题(7.1.1)时，在 n 解目标函数为非二次函数的无约束最优化问题 时 步之后构造的搜索方向不再是共轭的， 步之后构造的搜索方向不再是共轭的，从而降低了收敛速度克 服的办法是重设初始点， 服的办法是重设初始点，即把经过 n 次迭代得到的 xn 作为初始 点重新迭代． 点重新迭代．
dk = −∇f ( xk ) + αk−1dk−1 , k = 1,2,..., n − 1.
定义--共轭梯度法 定义--共轭梯度法 -一
确定？ 确定？
共轭梯度法
共轭梯度法的形式 (A) 正定二次函数的无约束最优化问题的共轭梯度法形式
（Hestenes-Stiefel公式） 公式） 公式 消除Qd 消除 k 结合性质: 结合性质
特例
注
共轭方向法具有二次终止性
共轭梯度法
简介 共轭梯度法（ 共轭梯度法（conjugate gradient method, CG）是 ） 以共轭方向（ 以共轭方向（conjugate direction）作为搜索方向的一 ） 类算法。 法是由 法是由Hesteness和Stiefel于1952年为求解 类算法。CG法是由 和 于 年为求解 线性方程组而提出的。 线性方程组而提出的。后来用于求解无约束最优化问 它是一种重要的数学优化方法。 题，它是一种重要的数学优化方法。这种方法具有二 次终止性。 次终止性。
共轭梯度法
共轭梯度法的形式
一般最优 化问题的 共轭梯度 法形式
共轭梯度法
共轭梯度法的形式 (B) 一般无约束最优化问题的共轭梯度法形式
（1964） ） （1971） ） （1969） ）
共轭梯度法
说明
的上述三种形式，可分别绪出FR共轭梯度法 共轭梯度法、 根据 α k 的上述三种形式，可分别绪出 共轭梯度法、DM 共轭梯度法和PRP共轭梯度法．对于目标函数是正定二次函数 共轭梯度法． 共轭梯度法和 共轭梯度法 的无约束最优化问题(7. 和最优一维投索， 的无约束最优化问题 3. 3)和最优一维投索，这些方法是完全 和最优一维投索 等价的．但是， 等价的．但是，对于目标函数是非二次函数的无约束最优化问 题 (7. 1. 1)，它们所产生的按索方向是不同的． ，它们所产生的按索方向是不同的．