共轭梯度法

题目：共轭梯度法及其数值实现

院系：数理科学与工程学院应用数学系

专业：数学与应用数学

姓名学号：************

************

************

************

指导教师：张世涛

日期：2015 年7 月 5 日

最优化是一门应用性很强的学科，近年来，随着计算机的发展以及实际问题的需要，大规模优化问题越来越受到重视。共轭梯度法是最优化中最常见的方法之一，他具有算法简单、存储需求少、有较快的收敛速度和二次终止性且易于实现等优点，十分适合于大规模优化问题。

非线性共轭梯度法已有五十多年的历史，最早由计算数学家Hestenes和几何学家Stiefel

为求解线性方程组Ax=b，n R

x∈而独立提出的。较著名的有FR方法、PRP方法、HS方法和LS方法等。非线性最优化的共轭梯度算法的收敛性分析，也就是讨论各种共轭梯度算法在不同搜索下的收敛性质。本文主要研究求解无约束优化问题的非线性共轭梯度法，并用Matlab软件对其数值实现。

关键词：无约束规划；非线性共轭梯度法；迭代；最优解；数值实现

Abstract

Optimization is strong discipline applied. In recent years, with the development of computer and practical issues,large-scale optimization problems are given more and more attention.

Conjugate gradient method is one of the most commonly used methods in optimization. It is simply, storage needs less, easy to practice with faster convergence speed and quadratic termination. It is suitable for large-scale optimization problem.

The conjugate gradient method have been more than 50 years of history. The pioneers were mathematician Hestenes and geometrician Stiefel. They independently proposed this method for solving system of linear equations Ax=b，n R

x∈. Well-known conjugate gradient method is FR method, PRP method, HS method, LS method and so on. The convergence analysis of the conjugate gradient algorithm for nonlinear optimization is also the convergence of various conjugate gradient algorithms under different search conditions. Global convergence and numerical result of nonlinear conjugate gradient method of unconstrained optimization is investigated in this paper. Besides, we use Matlab to get its numerical solution.

Keywords:Unconstrained programming; Nonlinear conjugate gradient method;

Iteration; Optimal solution; Numerical implementation

第一章引言 (2)

1.1无约束优化问题概述 (2)

1.2 共轭方向 (2)

1.3 共轭方向法 (3)

第二章共轭梯度法 (4)

2.1 基本原理 (4)

2.2 算法步骤 (4)

2.3 程序流程图 (5)

第三章算例 (6)

总结 (9)

参考文献 (11)

附录 (12)

第一章引言

1.1 无约束优化问题概述

无约束最优化问题，即为在不对所求问题定义域或值域做任何限制情况下，对目标函数求最小值的一类问题。

无约束最优化问题的求解方法大多是采用逐次一维搜索的迭代算法。这类迭代算法可分为两类。一类需要用目标函数的导函数，称为解析法；另一类不涉及导数，只用到函数值，称为直接法。

其迭代算法的基本思想是：在一个近似点处选定一个有利搜索方向，沿这个方向进行一维寻查，得出新的近似点。然后对新点施行同样手续，如此反复迭代，直到满足预定的精度要求为止。

而根据搜索方向的取法不同，又可以将其分为几种不同的算法。 其中属于解析型的算法有：（1）梯度法：又称最速下降法。这是早期的解析法，收敛速度较慢。（2）牛顿法：收敛速度快，但不稳定，计算也较困难。（3）共轭梯度法：收敛较快，效果较好。（4）变尺度法：这是一类效率较高的方法。其中变尺度法，简称 DFP 法，是最常用的方法。

而属于直接型的算法分别有：交替方向法(又称坐标轮换法)、模式搜索法、旋转方向法、鲍威尔共轭方向法法和单纯形加速法等。

1.2共轭方向

（1）：设A 是n ⨯n 得对称正定矩阵，对于中的两个非零向量, 若有021=Ad d T

，则称21d d 和关于A 共轭。

设k d d d ,...,21是n R 中一组非零向量，如果他们两两关于A 共轭，即

。

k j i j i Ad d j i T

,...,2,1,,,0=≠= 则称这组方向是关于A 共轭的，也称它们是一组A 共轭方向。

注：如果A 是单位矩阵，则212

12

100d d d d d I d T

T

T

⊥⇒=⋅⇒=⋅⋅ 从而共轭是正交得推广。

（2）：设直线AB 和CD 过椭圆中心，切CD 平行于椭圆在点A ，B 得切线，则称AB 与CD 为共轭直径，与得方向为共轭方向，或A,B 的切线方向与的方向称为共轭方向。见下图。