最速下降法原理及其算法实现

课程论文

论文题目：最速下降法原理及其算法实现课程名称：现代信号处理新方法

学院：自动化学院

专业班级：控制科学与工程1班学号： 92

*名：***

任课教师：***

2014年6月20日

最速下降法原理及其算法实现

内容摘要

摘要：基于最速下降法在解决无约束非线性规划问题中的重要性，对其原理与算法予以讨论。论文主要是参阅大量数学分析和运筹学书籍以及一些学术资料，结合自己在平时学习中掌握的知识，并在指导老师的建议下，针对最速下降法的基本思路和原理进行研究。

关键词：运筹学最速下降法无约束梯度法最优解

The steepest descent method, principle and its algorithm

Abstract

Based on the steepest descent method in solving unconstrained nonlinear programming problem, the importance of the principle and the algorithm is discussed. Paper mainly refer to a mathematical analysis and operations research books and some academic material, usually in the study of knowledge and mastery in teacher's suggestion, the steepest descent method according to the basic ideas and principles were studied.

Key words：operational research steepest descent method Unconstrained gradient method optimal solution

序言

最速下降法又称为梯度法，是1847年由著名数学家Cauchy 给出的，它是解析法中最古老的一种，其他解析方法或是它的变形，或是受它的启发而得到的，因此它是最优化方法的基础。作为一种基本的算法，他在最优化方法中占有重要地位。其优点是工作量少，存储变量较少，初始点要求不高；缺点是收敛慢，效率不高，有时达不到最优解。非线性规划研究的对象是非线性函数的数值最优化问题。它的理论和方法渗透到许多方面，特别是在军事、经济、管理、生产过程自动化、工程设计和产品优化设计等方面都有着重要的应用。而最速下降法正是n 元函数的无约束非线性规划问题min ()f x 的一种重要解析法，研究最速下降法原理及其算法实现对我们有着极其重要的意义。

一、最速下降法基本原理

(一)无约束问题的最优性条件

无约束问题的最优解所要满足的必要条件和充分条件是我们设计算法的依据，为此我们有以下几个定理。

定理1 设f :1n R R →在点n

x R ∈处可微。若存在n p R ∈，使

()0T f x p ∇<

则向量p 是f 在点x 处的下降方向。

定理2 设1

:n

f R R →在点n x R *∈处可微。若x *

是无约束问题的局部最优解，则

()0f x *∇=

由数学分析中我们已经知道，使()0f x ∇=的点x 为函数f 的驻点或平稳点。函数f 的一个驻点可以是极小点；也可以是极大点；甚至也可能既不是极小点也不是极大点，此时称它为函数f 的鞍点。以上定理告诉我们，x *是无约束问题的的局部最优解的必要条件是：x *

是其目标函数f 的驻点。

现给出无约束问题局部最优解的充分条件。

定理3 设1

:n

f R R →在点n

x R *∈处的Hesse 矩阵2

()f x *

∇存在。若

()0f x *∇=，并且2()f x *∇正定

则x *

是无约束问题的严格局部最优解。

一般而言，无约束问题的目标函数的驻点不一定是无约束问题的最优解。但对于其目标函数是凸函数的无约束凸规划，下面定理证明了，它的目标函数的驻点就是它的整体最优解。

定理4 设1

:n

f R R →，n

x R *∈，f 是n R 上的可微凸函数。若有

()0f x *∇=

则x *

是无约束问题的整体最优解。

(二)最速下降法的基本思想和迭代步骤

最速下降法又称为梯度法，是1847年由著名数学家Cauchy 给出的。他是解析法中最古老的一种，其他解析方法或是它的变形，或是受它的启发而得到的，因此它是最优化方法的基础。

设无约束问题中的目标函数1

:n f R R →一阶连续可微。

最速下降法的基本思想是：从当前点k x 出发，取函数()f x 在点k

x 处下降最快的方向作为我们的搜索方向k

p .由()f x 的Taylor 展式知

()()()(k k k k T k k f x f x tp t f x p o tp -+=-∇+‖‖)

略去t 的高阶无穷小项不计，可见取k

p =()k

f x -∇时，函数值下降得最多。于是，我们可以构造出最速下降法的迭代步骤。

解无约束问题的的最速下降法计算步骤

第1步 选取初始点0

x ，给定终止误差0ε>，令:0k =；

第2步 计算()k f x ∇，若

(k

f x ε∇≤‖)‖，停止迭代.输出k x .否则进行第三步； 第3步 取()k

k

p f x =-∇； 第4步 进行一维搜索，求k t ，使得

()min ()k k k k k t f x t p f x tp ≥+=+

令1

k k k k x

x t p +=+，:1k k =+，转第2步。

由以上计算步骤可知，最速下降法迭代终止时，求得的是目标函数驻点的一个近似点。 确定最优步长k t 的方法如下： 方法一：采用任一种一维寻优法

此时的(())k

k

f x t f x -∇已成为步长t 的一元函数，故可用任何一种一维寻优法求出k t ，即

1()(())min (())k k k k k k t

f x f x t f x f x t f x +=-∇=-∇

方法二：微分法 因为