共轭梯度法课程设计

最优化方法课程设计报告题目：共轭梯度软件设计院（系）：专业：学生姓名：指导教师：题目类型：实验研究工程设计软件开发2010 年1月15 日摘要共轭梯度法最早是由Hestenes 和Stiefle （1952）提出来的，用于解正定系数矩阵的线性方程组，在这个基础上，Fletcher 和Reeves （1964）首先提出了解非线性最优化问题的共轭梯度法。

共轭梯度法是解决无约束非线性最优化问题的重要的方法之一（Conjugate gradient method to solve unconstrained nonlinear optimization problem, one of the important ways.），因为共轭梯度法是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse 矩阵并求逆的缺点，共轭梯度法不仅是解决大型线性方程组最有用的方法之一，也是解大型非线性最优化最有效的算法一。

共轭梯度对于无约束优化问题Mlnf(x)，x ∈R n 给出一初始值x1，算法选代产生x2，x3,x4,x 5，…．希望某一k X是目标函数解或点收敛于解，在我们这次的运筹学课程设计当中我们正是用这种方法要求解最小问题的最优解的。

关键字：共轭梯度法；无约束优化AbstractConjugate gradient method was first used by Hestenes and Stiefle (1952) put forward for the solution of positive definite coefficient matrix of linear equations, on this basis, Fletcher and Reeves (1964) first put forward about the problem of nonlinear optimization conjugate gradient method.The conjugate gradient method to solve unconstrained nonlinear optimization problems, one of the important ways, as the conjugate gradient method is between steepest descent method and Newton's method between a method, it requires the use of a first-order derivative information, But the steepest descent method to overcome the shortcomings of slow convergence, but also avoid the need to store and calculate Newton's method and the inverse Hesse matrix of the shortcomings of the conjugate gradient method is not only a large-scale linear equations to solve one of the ways the most useful, but also large-scale solution nonlinear optimization algorithm is the most effective one.Conjugate gradient for the unconstrained optimization problem Mlnf (x), x ∈ given an initial value of x1, the election algorithm is generated on behalf of the x2, x3, x4, x 5, .... Hope that is the objective function of a solution or point of convergence in the solution, in our curriculum design, operations research this is exactly what we were using this method requires the smallest solution of the problem the optimal solution.Keywords: conjugate gradient method；unconstrained nonlinear optimization目录一、共轭梯度法的概念....................................................... 错误！未定义书签。

二、共轭梯度法的思想....................................................... 错误！未定义书签。

三、共轭梯度的算法分析及程序设计思想 (3)3.1共轭梯度算法........................................................................ 错误！未定义书签。

3.2共轭梯度算法分析................................................................ 错误！未定义书签。

3.3设计流程图............................................................................ 错误！未定义书签。

四、运行结果分析...................................................................... 错误！未定义书签。

五、心得体会.............................................................................. 错误！未定义书签。

六、参考文献.............................................................................. 错误！未定义书签。

2.3构造变尺度矩阵的基本要求 ........................................ 错误！未定义书签。

2.4 BFGS方法原理思想.......................................................... 错误！未定义书签。

2.5 准牛顿法的原理思想与优缺点........................................... 错误！未定义书签。

2.5.1准牛顿法的原理思想......................................................... 错误！未定义书签。

2.5.2 准牛顿法的优缺点............................................................ 错误！未定义书签。

第3章准牛顿法的设计思想.................................................... 错误！未定义书签。

第4章队员感想........................................................................ 错误！未定义书签。

4.1 队员严少继的感想............................................................... 错误！未定义书签。

4.2 队员廖春梅的感想............................................................... 错误！未定义书签。

4.3 队员谭现阳的感想............................................................... 错误！未定义书签。

第5章软件说明（程序说明）与代码.................................... 错误！未定义书签。

5.1 软件说明（程序说明）....................................................... 错误！未定义书签。

5.2 源程序代码........................................................................... 错误！未定义书签。

参考文献. (22)一、共轭梯度法的概念：X),而往下计算的各共在共轭方向中，如果取初始是搜索方向do＝— f(轭方向k d 由第K 次迭代点的负梯度—∇f(k X )与已经得到的共轭方向1-k d 的线性组合来确定，这样就构成了一种具体的共轭方向法，因为每一个共轭方向都依赖于迭代点处的负梯度，所以称之为共轭梯度法。

二、共轭梯度法的思想：共轭梯度的思想是：1、以初始点)0(X 处的负梯度作为初始搜索方向，即)0(S ＝－∇f(0X ),利用求得0λ，并得到1X ＝0X +0λ0S ，然后依据1X 处的负梯度和0S 构造与0S 是H-共轭的方向1S ，在利用求得1λ，并得到2X ＝1X +1λ1S ，再依据2X 处的负梯度和0S 、1S 构造与0S 、1S 均是H-共轭方向。

以此重复，直到求得1-n λ和n X ，那么我们就可以求得最优解*X =n X 。

2、根据1中的基本思想进行进一步分析：令，用归纳法莱确定其中的参数，使0S 、1S ...1-k S 为非零H 共轭方向组，为此设0S 、1S ...1-k S 是H 共轭的，我们确定参数1-k β、i k -β（i=0，k-2），使k S 与0S 、1S ...1-k S 是H 共轭的。

首先对i=0…k ，设∇f(i X )≠0（若为零则得到最优解）。

我们有：（k g ）Tk S =－||∇f(k X )||2<00=(k S ）T H 1-k S =－（k g ）T H 1-k S +1-k β1-k S H 1-k S0=(k S ）T H i S =－（k g ）T H i S +k βi S H i S ,i=0…,k-2 即k S 是f 在k X 处的下降方向，并且 最后经过化简得：经过基本思想的分析我们可以基本获得共轭梯度的算法步骤。