共轭梯度法

题目：共轭梯度法及其数值实现院系：数理科学与工程学院应用数学系专业：数学与应用数学姓名学号：************************************************指导教师：张世涛日期：2015 年7 月 5 日最优化是一门应用性很强的学科，近年来，随着计算机的发展以及实际问题的需要，大规模优化问题越来越受到重视。

共轭梯度法是最优化中最常见的方法之一，他具有算法简单、存储需求少、有较快的收敛速度和二次终止性且易于实现等优点，十分适合于大规模优化问题。

非线性共轭梯度法已有五十多年的历史，最早由计算数学家Hestenes和几何学家Stiefel为求解线性方程组Ax=b，n Rx∈而独立提出的。

较著名的有FR方法、PRP方法、HS方法和LS方法等。

非线性最优化的共轭梯度算法的收敛性分析，也就是讨论各种共轭梯度算法在不同搜索下的收敛性质。

本文主要研究求解无约束优化问题的非线性共轭梯度法，并用Matlab软件对其数值实现。

关键词：无约束规划；非线性共轭梯度法；迭代；最优解；数值实现AbstractOptimization is strong discipline applied. In recent years, with the development of computer and practical issues,large-scale optimization problems are given more and more attention.Conjugate gradient method is one of the most commonly used methods in optimization. It is simply, storage needs less, easy to practice with faster convergence speed and quadratic termination. It is suitable for large-scale optimization problem.The conjugate gradient method have been more than 50 years of history. The pioneers were mathematician Hestenes and geometrician Stiefel. They independently proposed this method for solving system of linear equations Ax=b，n Rx∈. Well-known conjugate gradient method is FR method, PRP method, HS method, LS method and so on. The convergence analysis of the conjugate gradient algorithm for nonlinear optimization is also the convergence of various conjugate gradient algorithms under different search conditions. Global convergence and numerical result of nonlinear conjugate gradient method of unconstrained optimization is investigated in this paper. Besides, we use Matlab to get its numerical solution.Keywords:Unconstrained programming; Nonlinear conjugate gradient method;Iteration; Optimal solution; Numerical implementation第一章引言 (2)1.1无约束优化问题概述 (2)1.2 共轭方向 (2)1.3 共轭方向法 (3)第二章共轭梯度法 (4)2.1 基本原理 (4)2.2 算法步骤 (4)2.3 程序流程图 (5)第三章算例 (6)总结 (9)参考文献 (11)附录 (12)第一章引言1.1 无约束优化问题概述无约束最优化问题，即为在不对所求问题定义域或值域做任何限制情况下，对目标函数求最小值的一类问题。

无约束最优化问题的求解方法大多是采用逐次一维搜索的迭代算法。

这类迭代算法可分为两类。

一类需要用目标函数的导函数，称为解析法；另一类不涉及导数，只用到函数值，称为直接法。

其迭代算法的基本思想是：在一个近似点处选定一个有利搜索方向，沿这个方向进行一维寻查，得出新的近似点。

然后对新点施行同样手续，如此反复迭代，直到满足预定的精度要求为止。

而根据搜索方向的取法不同，又可以将其分为几种不同的算法。

其中属于解析型的算法有：（1）梯度法：又称最速下降法。

这是早期的解析法，收敛速度较慢。

（2）牛顿法：收敛速度快，但不稳定，计算也较困难。

（3）共轭梯度法：收敛较快，效果较好。

（4）变尺度法：这是一类效率较高的方法。

其中变尺度法，简称 DFP 法，是最常用的方法。

而属于直接型的算法分别有：交替方向法(又称坐标轮换法)、模式搜索法、旋转方向法、鲍威尔共轭方向法法和单纯形加速法等。

1.2共轭方向（1）：设A 是n ⨯n 得对称正定矩阵，对于中的两个非零向量, 若有021=Ad d T，则称21d d 和关于A 共轭。

设k d d d ,...,21是n R 中一组非零向量，如果他们两两关于A 共轭，即。

k j i j i Ad d j i T,...,2,1,,,0=≠= 则称这组方向是关于A 共轭的，也称它们是一组A 共轭方向。

注：如果A 是单位矩阵，则21212100d d d d d I d TTT⊥⇒=⋅⇒=⋅⋅ 从而共轭是正交得推广。

（2）：设直线AB 和CD 过椭圆中心，切CD 平行于椭圆在点A ，B 得切线，则称AB 与CD 为共轭直径，与得方向为共轭方向，或A,B 的切线方向与的方向称为共轭方向。

见下图。

1.3 共轭方向法对于极小化问题c x b Ax x x f T T++=21)(min 其中A 是正定矩阵，称下述算法为共轭方向法：(1)取定一组A 共轭方向)()3()2()1(...,,n d d d d (2)任取初始点)1(x ,依次按照下式由)(k x 确定)1(+k x ,⎪⎩⎪⎨⎧+=++=+)(min )()()()()()()()1(k k k k k k k k k d x f d x f d x x λλλλ直到某个)(k x 满足0)()(=∇k x f 。

注：由定理可知，若利用共轭梯度法解上述极小化问题，则至多经过n 次迭代必可得到最优解。

第二章共轭梯度法2.1 基本原理定理1：设A 是n 阶对称正定矩阵，k d d d d ,...,,,321是k 个A 共轭的非零向量，则这个向量组线性无关。

定理2：设有函数c x b Ax x x f T T++=21)(，其中A 是n 阶对称正定矩阵。

)()2()1(,...,,k d d d 是一组A 共轭向量。

以任意的)()1(n R x ∈为初始点，依次沿k d d d d ,...,,,321进行搜索，得到点)1()3()2(,...,,+k x x x ，则)1(+k x 是函数)(x f 在k B x +)1(上的极小点，其中},|{)(1R d x x B i i ki i k ∈==∑=λλ是由)()2()1(,...,,k d d d 生成的子空间。

特别地，当k=n 时，)1(+n x 是)(x f 在n R 上唯一的极小点。

推论：在上述定理条件下，必有k i d x f i T k ,...,2,1,0)()1(==∇+定理3：对于正定二次型函数c x b Ax x x f T T++=21)(，FR 算法在n m ≤次一维搜索后即终止，并且对所有的)1(m i i ≤≤，下列关系成立(1);1,...,2,1,0)()(-==i j Ad d j i T(2);1,...,2,1,0-==i j g g j Ti(3).)(i T i i T g g d g -=2.2算法步骤（1）任取初始点)1(x ，精确要求ε，令k=1。

（2）令)()1(1x f g ∇=，若ε<||||1g ，停止，)1(x 为所求极小点；否则，令1)1(g d-=，利用公式)()()(k k k T k k Ad d dg T-=λ计算1λ，令)1(1)1()2(d x x λ+=。

（3）令)()1(1++∇=k k xf g ，若ε<+||||1k g ，停止，)1(+k x 为所求极小点；否则，令)(1)1(k k k k dg dβ+-=++，其中k β用公式221||||||||k k k g g +=β计算。

令1:+=k k 。

（4）利用公式)()()(k k k T k k Ad d dg T-=λ计算k λ，令)()()1(k k k k d x xλ+=+，转3。

2.3 程序流程图第三章算例3.1 算例试用共轭梯度法求下述二次函数的极小点：121222122123)(x x x x x x f --+=取410-=ε，⎥⎦⎤⎢⎣⎡-=42)0(x。

解：首先将)(x f 化成标准格式：.)0,2(1113),(21)(212121⎥⎦⎤⎢⎣⎡-+⎥⎦⎤⎢⎣⎡⎥⎦⎤⎢⎣⎡--=x x x x x x x f 其中A=⎥⎦⎤⎢⎣⎡--1113是一个正定矩阵，b=⎥⎦⎤⎢⎣⎡-02，C=0. 因⎥⎦⎤⎢⎣⎡-=42)0(x故⎥⎦⎤⎢⎣⎡-=⎥⎦⎤⎢⎣⎡-+⎥⎦⎤⎢⎣⎡-=⎥⎦⎤⎢⎣⎡-+⎥⎦⎤⎢⎣⎡-⎥⎦⎤⎢⎣⎡--=+=∇6120261002421113)()0()0(b Axxf 所以.612)()0()0(⎥⎦⎤⎢⎣⎡-=-∇=xf p以)0(x为出发点，沿)0(p 方向作最佳一维搜索，可有公式求得步长：175)()()0()0()0()0(0=∇-=Ap p p x f T T λ ⎥⎦⎤⎢⎣⎡≈⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=+=235.2529.117381726)0(0)0()1(p x x λ.706.0353.0171217602173817261113)()1()1(⎥⎦⎤⎢⎣⎡≈⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡-+⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡⎥⎦⎤⎢⎣⎡--=+=∇b Ax x f 计算：.789.0)()1(ε>≈∇x f再计算:0β00346.02891)()()()()0()0()1()1(0≈=∇∇∇∇-=x f x f x f x f T T β故有.727.0311.028*********)()0(0)1()1(⎥⎦⎤⎢⎣⎡--≈⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡--=+-∇=p x f p β 再计算1λ：=1λ.1017)()()1()1()1()1(=∇-Ap p p x f T T 故有.11)1(1)1()2(⎥⎦⎤⎢⎣⎡=+=pxxλ 计算：.00)()2()2(⎥⎦⎤⎢⎣⎡=+=∇b Axxf所以.0)()2(ε<=∇x f故)2(x 即为本题最优解。