最速下降法与牛顿法及其区别

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

最速下降法与牛顿法及其区别

摘要:无约束优化方法是优化技术中极为重要和基本内容之一。它不仅可以直接用来求解无约束优化问题,而且很多约束优化问题也常将其转化为无约束优化问题,然后用无约束优化方法来求解。最速下降法和牛顿法是比较常见的求解无约束问题的最优化方法,这两种算法作为基本算法,在最优化方法中占有重要的地位。其中最速下降法又称梯度法,其优点是工作量少,存储变量较少,初始点要求不高;缺点是收敛慢,效率低。牛顿法的优点是收敛速度快;缺点是对初始点要求严格,方向构造困难,计算复杂且占用内存较大。同时,这两种算法的理论和方法渗透到许多方面,特别是在军事、经济、管理、生产过程自动化、工程设计和产品优化设计等方面都有着重要的应用。因此,研究最速下降法和牛顿法的原理及其算法对我们有着及其重要的意义。

关键字:无约束优化最速下降法牛顿法

Abstract: unconstrained optimization method is to optimize the technology is extremely important and basic content of. It not only can be directly used to solve unconstrained optimization problems, and a lot of constrained optimization problems are often transformed into unconstrained optimization problem, and then use the unconstrained optimization methods to solve. The steepest descent method and Newton-Raphson method is relatively common in the unconstrained problem optimization method, these two kinds of algorithm as the basic algorithm, the optimization method plays an important role in. One of the steepest descent method also known as gradient method, its advantages are less workload, storage variable is less, the initial requirements is not high; drawback is the slow convergence, low efficiency. Newtonian method has the advantages of fast convergence speed; drawback is the initial point of strict construction difficulties, directions, complicated calculation and larger memory. At the same time, these two kinds of algorithm theory and methods into many aspects, especially in the military, economic, management, production process automation, engineering design and product optimization design has important applications. Therefore, to study the steepest descent method and Newton-Raphson method principle and algorithm for us with its important significance.

Keywords: unconstrained optimization steepest descent method

一、算法的基本原理

1.1 最速下降法的基本原理

在基本迭代公式k k k k P t X X +=+1中,每次迭代搜索方向k P 取为目标函数)(X f 的负梯度方向,即)(k k X f P -∇=,而每次迭代的步长k t 取为最优步长,由此确定的算法称为最速下降法。

为了求解问题)(min X f ,假定我们已经迭代了k 次,获得了第k 个迭代点k X 。现在从k X 出发,可选择的下降方法很多,一个非常自然的想法是沿最速下降方向(即负梯度方向)进行搜索应该是有利的,至少在k X 邻近的范围内是这样。因此,去搜索方向为

)(k k X f P -∇=.

为了使目标函数在搜索方向上获得最多的下降,沿k P 进行一维搜索,由此得到第1+k 个跌带点,即

)(1k k k k X f t X X ∇-=+,

其中步长因子k t 按下式确定

))((m in ))((k k k k k k X f t X f X f t X f ∇-=∇-,

))(,(1k k k X f X ls X -∇=+. (1) 显然,令 ,2,1,0=k 就可以得到一个点列 ,,,210X X X ,其中0X 是初始点,由计算者任意选定。当)(X f 满足一定的条件时,由式(1)所产生的点列}{k X 必收敛于)(X f 的极小点。

下面为书写方便,记)()(X f X g ∇=。因此)()(k k k X f X g g ∇==.

1.2 牛顿法的基本原理

设最优化问题为)(min X f ,其中1

:R R f n

→二阶可导,Hesse 矩阵)(2

X f ∇正定。 不妨设经过k 次迭代已获点k X ,现将)(X f 在k X X =处展成二阶泰勒公式,于是有

))(()(2

1

)()()()()(2k k T k k T k k X X X f X X X X X f X f X Q X f -∇-+-∇+=≈

相关文档
最新文档