非线性规划的论文

摘要

本文旨在对非线性规划的算法和应用进行研究。非线性规划是20世纪50年代才开始形成的一门新兴学科。1951年库恩和塔克发表的关于最优性条件(后来称为库恩－塔克条件，又称为K-T条件)的论文是非线性规划正式诞生的一个重要标志。非线性规划在管理、工程、科研、军事、经济等方面都有广泛的应用，并且为最优设计提供了有力的工具。

在第一章我们主要介绍了非线性规划的基础知如非线性规划的数学模型，凸函数和凹函数，极值问题以及下降迭代算法等。

在第二章我们主要对约束条件的线性规划进行了具体介绍。在无约束非线性规划中主要讨论了一维搜索法和多变量函数极值的下降方法。

第三章介绍了求解非线性规划的计算机软件并通过一些基本的例子，从而进一步加深对非线性规划进行理解。

关键词：非线性规划；约束非线性规划；最优解

第一章绪论

1.1非线性规划综述

非线性规划是具有非线性目标函数或约束条件的数学规划，是运筹学的一个重要分支[1]。非线性规划属于最优化方法的一种，是线性规划的延伸。早在17世纪，Newton和Leibniz发明微积分的时代，已经提出函数的极值问题，后来又出现了Lagrange乘子法，Cauchy的最速下降法。但直到20世纪30年代，最优化的理论和方法才得以迅速发展，并不断完善，逐步成为一门系统的学科[2]。

1939年，Kantorovich和Hitchcock等人在生产组织管理和制定交通运输方案方面首先研究和应用了线性规划。

1947年，Dantzig提出了求解线性规划的单纯形法，为线性规划的理论和算法奠定了基础，单纯形法被誉为“20世纪最伟大的创造之一”。

1951年，由Kuhn和Tucker完成了非线性规划的基础性工作 [3]。

1959—1963年，由三位数学家共同研究成功求解无约束问题的DFP变尺度法(该算法是由英国数学家W．C．Davidon提出，由法国数学家R．Fletcher和美国数学家M．J．D.Powell加以简化)，该算法的研究成功是无约束优化算法的一个大飞跃，引起了一系列的理论工作，并陆续出现了多种新的算法[4]。

1965年，德国数学家C．G Broyden提出了求解非线性方程组的拟牛顿算法，并且该算法还包含了DFP算法。

1970年，四位数学家以不同角度对变尺度算法进行了深入研究，提出了BFGS 公式 (C．G Broyden，R Fletcher，D．Goldfarb，D．E Shanno) 。实践表明该算法较之DFP算法和拟Newton法具有更好的数值稳定性。

1970年，无约束优化方法的研究出现了引入注目的成果，英国数学家L．C．W Dixon和美籍华人H．Y．Huang提出了关于“二阶收敛算法的统一研究”的研究成果，提出了一个令三个自由参数的公式族．Huang族和拟牛顿公式，它可包容前面所介绍的所有无约束优化算法。

20世纪70年代，最优化无论在理论和算法上，还是在应用的深度和广度上都有了进一步的发展。随着电子计算机的飞速发展，最优化的应用能力越来越强，从而成为一门十分活跃的学科[5]。

近代最优化方法的形成和发展过程中最重要的事件有：

1、以苏联康托罗维奇和美国丹齐克为代表的线性规划；

2、以美国库恩和塔克尔为代表的非线性规划；

3、以美国贝尔曼为代表的动态规划；

4、以苏联庞特里亚金为代表的极大值原理等。

这些方法后来都形成体系，成为近代很活跃的学科，对促进运筹学、管理科学、控制论和系统工程等学科的发展起了重要作用

非线性规划在经营管理、工程设计、科学研究、军事指挥等方面普遍地存在着最优化问题。例如：如何在现有人力、物力、财力条件下合理安排产品生产，以取得最高的利润；如何设计某种产品，在满足规格、性能要求的前提下，达到最低的成本；如何确定一个自动控制系统的某些参数，使系统的工作状态最佳；如何分配一个动力系统中各电站的负荷，在保证一定指标要求的前提下，使总耗费最小；如何安排库存储量，既能保证供应，又使储存费用最低；如何组织货源，既能满足顾客需要，又使资金周转最快等。对于静态的最优化问题，当目标函数或约束条件出现未知量的非线性函数，且不便于线性化，或勉强线性化后会招致较大误差时，就可应用非线性规划的方法去处理。

1.2非线性规划的基础知识

对于一个实际问题，在把它归结成非线性规划问题时，一般要注意如下几点：

（1）确定供选方案：首先要收集同问题有关的资料和数据，在全面熟悉问题的基础上，确认什么是问题的可供选择的方案，并用一组变量来表示它们。

（2）提出追求目标：经过资料分析，根据实际需要和可能，提出要追求极小化或极大化的目标。并且，运用各种科学和技术原理，把它表示成数学关系式。

（3）给出价值标准：在提出要追求的目标之后，要确立所考虑目标的“好”或“坏”的价值标准，并用某种数量形式来描述它。

（4）寻求限制条件：由于所追求的目标一般都要在一定的条件下取得极小化或极大化效果，因此还需要寻找出问题的所有限制条件，这些条件通常用变量之间的一些不等式或等式来表示。

1.2.1非线性规划问题的数学模型

非线性规划是具有非线性目标函数或约束条件的数学规划。它的数学模型常表示成以下形式：

min ()()0,1,2,...,()0,1,2,...,i j

f X h X i m

g X j l ⎧⎪==⎨⎪≥=⎩ （1.1）

其中自变量12(,,...,)T n X x x x =是n 维欧氏空间n E 中的向量；()f X 是目标函

数()0i h X =和()0j g X ≥是约束条件。

也可以将非线性规划的数学模型写成以下形式

min ()()0,1,2,...,j

f X

g X j l ⎧⎨≥=⎩ （1.2） 对于求目标函数的最大值问题，我们可以转换成求其负函数的最小值问题，

从而转换成非线性规划的标准形式。

1.2.2极值问题

1、局部极值和全局极值

设()f X 是n 维欧氏空间中某一区域D 的函数，这一区域D 叫做可行域。

对于

，如果存在，对x D ∈且||X-||，都有f(

)()f X ,则称为()f X 在D 上的局部极小点，f()为局部极小值。

对于

，如果存在，对X 且||X ||，都有f()f(X),则称为()f X 在D 上的严格局部极小点，f()为严格局部极小值。

如果对于一切X

，都有f()()f X ，则称为f(X)在D 上的全局极小点，f()为全局极小值。

如果对于一切X

，都有f()f(X)，则称为f(X)在D 上的严格全局极小

点，f()为严格全局极小值。

2、极值点存在的判定

首先引入梯度和海赛(Hessian)矩阵的定义。

设n 元函数f(X)的一阶偏导数存在，则称