最优化课程设计

《最优化》课程设计

题目：牛顿法与阻尼牛顿法算法分析

学院: 数学与计算科学学院

专业：数学与应用数学

姓名学号：廖丽红 1000730105

欧艳 1000730107

骆宗元 1000730122

沈琼赞 1000730127

指导教师：李向利

日期：2012年11月08日

摘要

本文基于阻尼牛顿法在解决无约束最优化问题中的重要性，对其原理与算法予以讨论。论文主要是参阅大量数学分析和最优化理论方法，还有最优化方法课程以及一些学术资料，结合自己在平时学习中掌握的知识，并在指导老师的建议下，拓展叙述牛顿法和其改进方法——阻尼牛顿法的优缺点，同时针对阻尼牛顿法的基本思路和原理进行研究，其搜索方向为负梯度方向，改善了牛顿法的缺点，保证了下降方向。

关键词：无约束牛顿法下降方向阻尼牛顿法最优解

Abstract

This thesis is based on the importance of the damping Newton's method to solve unconstrained optimization problems, we give the discussion about its principles and algorithms. We search a large number of mathematical analysis and optimization theory methods, optimization methods courses, as well as some academic information ,and at the same time combined with knowledge we have learning in peacetime and thanks to the instructor's advice, we also give an expanding narrative for the Newton's method and the improved method -- damping Newton method's advantages and disadvantages, and make a study of the basic ideas and principles for damping Newton method at the same time , we find that a negative gradient direction is for the search direction of the damping Newton method, this method improves the shortcomings of the Newton method which can ensure the descent direction.

Keywords: unconstrained , Newton's method , descent direction , damping Newton's method ,optimal solution

目录

1．引言——————————————————————————4

2.基本原理

2.1无约束问题的最优性条件——————————————5

2.2牛顿法的基本思想—————————————————6

2.3阻尼牛顿法的基本思想和迭代步骤——————————7

3.阻尼牛顿法与牛顿法的比较———————————————8

3.1牛顿法—————————————————————8

3.2阻尼牛顿法———————————————————10

4.算法实现———————————————————————13

4.1牛顿法C++程序—————————————————13

4.2阻尼牛顿法Matlab算法——————————————14

5.总结——————————————————————————15

5.1总结慨括————————————————————15

5.2具体分工及个人感言———————————————16

6.参考文献———————————————————————21

一、引言

最优化方法是近几十年形成的，它主要运用数学方法研究各种系统各种问题的优化途径及方案，为决策者提供科学决策的依据。而无约束优化问题是最优化问题的基础，是数值计算领域中十分活跃的研究课题之一。其中非线性无约束最优化方法在科学计算和工程分析中起着越来越重要的作用。对于无约束优化问题min f(x) (其中x∈R n，f:R n->R是一个连续可微函数)，牛顿法则是解决最优化问题的有效方法之一。然而牛顿法虽具有较好的局部收敛性质，但却存在有一定的局限性的，只在初始点充分接近目标函数极小点时收敛速度才相对较快，对目标函数要求严格，也不能保证下降方向。是以，在解决非线性无约束优化问题的过程中，我们改用牛顿法的改进方法——阻尼牛顿法来解决问题。并详细分析其过程且对结果进行讨论研究。

二、基本原理

2.1、无约束问题的最优性条件

无约束问题的最优解所要满足的必要条件和充分条件是我们设计算法的依据，为此我们有以下几个定理。

定理1：设f:R n→R1在点X*∈R n处可微。若存在p∈R n，使∇f(x*)T p < 0,则向量p是f在点X*的下降方向。

定理2：设设f:R n→R1在点X*∈R n处可微。若X*是无约束问题的局部最优解，则∇f(x*) =0。

由上课所学知识我们知道，使∇f(x)=0的点x为函数f的平稳点。

函数f的稳定点。函数f的一个稳定点可以是极小点，也可以是极大点，甚至两者都不是。若是最后一种情况，则成它为函数f的鞍点。

以上定理告诉我们，X*是无约束问题的局部最优解的必要条件是：X*是目标函数f的稳定点。现给出无约束问题局部最优解的充分条件。

定理3：设f:R n→R1在点X*∈R n处的Hesse阵∇2f((x*)存在可微。

若∇f(x*) =0，并且∇2f((x*)正定，则X*是无约束问题的严格局部最优解。

一般而言，无约束问题的目标函数的稳定点不一定是无约束问题的最优解。但对于其目标函数是凸函数的无约束凸规划，下面定理证明了，它的目标函数的稳定点就是它的整体最优解。

定理4：设f:R n→R1，X*∈R n，f是R n上的可微凸函数。若有∇f(x*) =0，则X*无约束问题的整体最优解。