第十讲--非线性规划解析
非线性规划
1. 非线性规划我们讨论过线性规划,其目标函数和约束条件都是自变量的线性函数。
如果目标函数是非线性函数或至少有一个约束条件是非线性等式(不等式),则这一类数学规划就称为非线性规划。
在科学管理和其他领域中，很多实际问题可以归结为线性规划，但还有另一些问题属于非线性规划。
由于非线性规划含有深刻的背景和丰富的内容，已发展为运筹学的重要分支，并且在最优设计,管理科学,风险管理,系统控制,求解均衡模型,以及数据拟合等领域得到越来越广泛的应用。
非线性规划的研究始于三十年代末,是由W.卡鲁什首次进行的，40年代后期进入系统研究，1951年.库恩和.塔克提出带约束条件非线性规划最优化的判别条件,从而奠定了非线性规划的理论基础,后来在理论研究和实用算法方面都有很大的发展。
非线性规划求解方法可分为无约束问题和带约束问题来讨论，前者实际上就是多元函数的极值问题，是后一问题的基础。
无约束问题的求解方法有最陡下降法、共轭梯度法、变尺度法和鲍威尔直接法等。
关于带约束非线性规划的情况比较复杂，因为在迭代过程中除了要使目标函数下降外，还要考虑近似解的可行性。
总的原则是设法将约束问题化为无约束问题；把非线性问题化为线性问题从而使复杂问题简单化。
求解方法有可行方向法、约束集法、制约函数法、简约梯度法、约束变尺度法、二次规划法等。
虽然这些方法都有较好的效果，但是尚未找到可以用于解决所有非线性规划的统一算法。
非线性规划举例[库存管理问题] 考虑首都名酒专卖商店关于啤酒库存的年管理策略。
假设该商店啤酒的年销售量为A 箱,每箱啤酒的平均库存成本为H 元,每次订货成本都为F 元。
如果补货方式是可以在瞬间完成的,那么为了降低年库存管理费用,商店必须决定每年需要定多少次货,以及每次订货量。
我们以Q 表示每次定货数量,那么年定货次数可以为QA,年订货成本为Q A F ⨯。
由于平均库存量为2Q,所以,年持有成本为2Q H ⨯,年库存成本可以表示为:Q HQ A F Q C ⨯+⨯=2)( 将它表示为数学规划问题:min Q H Q A F Q C ⋅+⋅=2)( ..t s 0≥Q其中Q 为决策变量,因为目标函数是非线性的,约束条件是非负约束,所以这是带约束条件的非线性规划问题。
非线性规划
非线性规划非线性规划是一种涉及非线性目标函数和/或非线性约束条件的优化问题。
与线性规划不同，非线性规划可能存在多个局部最优解，而不是全局最优解。
非线性规划在许多领域都有广泛的应用，如经济学、工程学和管理学等。
非线性规划的一般形式可以表示为：最小化或最大化 f(x)，其中 f(x) 是一个非线性函数，x 是决策变量向量。
满足一组约束条件g(x) ≤ 0 和 h(x) = 0，其中 g(x) 和 h(x) 是非线性函数。
为了求解非线性规划问题，可以使用不同的优化算法，如梯度下降法、牛顿法和拟牛顿法等。
这些算法的目标是找到目标函数的最小值或最大值，并满足约束条件。
非线性规划的难点在于寻找全局最优解。
由于非线性函数的复杂性，这些问题通常很难解析地求解。
因此，常常使用迭代算法来逼近最优解。
非线性规划的一个重要应用是在经济学中的生产计划问题。
生产活动通常受到多个因素的限制，如生产能力、原材料和劳动力等。
非线性规划可以帮助确定最佳的生产数量，以最大化利润或最小化成本。
另一个应用是在工程学中的优化设计问题。
例如，优化某个结构的形状、尺寸和材料以满足一组要求。
非线性规划可以帮助找到最佳设计方案，以最大程度地提高性能。
在管理学中，非线性规划可以用于资源分配和风险管理问题。
例如，优化一个公司的广告预算，以最大程度地提高销售额。
非线性规划可以考虑多种因素，如广告投入和市场需求，以找到最佳的广告投放策略。
总之，非线性规划是一种重要的优化方法，用于解决涉及非线性目标函数和约束条件的问题。
它在经济学、工程学和管理学等领域有广泛的应用。
尽管非线性规划的求解难度较大，但通过合适的优化算法，可以找到最佳的解决方案。
非线性规划算法
非线性规划算法现代数学算法的发展，使得计算机在解决多种实际问题中发挥出越来越重要的作用。
其中，非线性规划算法作为一种重要的优化算法，被广泛应用于生产、经济、地质和金融等领域。
本文将介绍非线性规划问题的定义、特点、求解方法和应用。
一、非线性规划问题的定义非线性规划问题是指在目标函数和约束条件中至少有一项是非线性函数的数学规划问题。
具体的表示形式可以是以下形式：$$\min f(x)$$$$s.t.\ \ \ \ \ \ \ \ \ \ \ g_i(x) \leq 0, \ \ i=1,2, \cdots, m $$$$h_j(x) =0,\ \ j=1,2, \cdots, n$$其中，$x$为决策变量，$f(x)$为目标函数，$g_i(x)$和$h_j(x)$分别是不等式约束和等式约束条件。
二、非线性规划问题的特点非线性规划问题与线性规划问题相比，具有以下几个特点：1. 非线性规划问题的数学模型较为复杂。
在考虑实际问题时，目标函数中经常包含各种复杂的非线性函数，如三角函数、指数函数、对数函数等等。
同时，约束条件的不等式表达式也可能是非线性函数。
2. 非线性规划问题的求解难度较大。
因为非线性规划问题的目标函数和约束条件不再满足线性性质，导致求解过程中出现很多非线性优化问题。
这也意味着，非线性规划问题中需要用到高级的优化算法，这些算法的计算成本和正确性都需要严格考虑。
3. 非线性规划问题的解可能存在多个局部最优解。
相比线性规划问题，非线性规划问题的解集合往往具有多个局部最优解。
这意味着，解决这类问题时需要针对不同的局部解进行分析，从而找到全局最优解。
三、非线性规划求解方法通常情况下，非线性规划问题的求解方法包括以下几种:1. 梯度方法。
梯度方法是一种基于梯度信息的优化算法，能保证解的收敛性和稳定性。
这种方法的主要思想是通过计算目标函数的梯度信息来确定下一步迭代的方向和步长。
2. 共轭梯度法。
共轭梯度法是在梯度法基础上改进而来的算法，更加高效和优化。
第十讲非线性规划一运筹学清华大学林谦
·凸函数：定义在凸集上的函数f(X)称为凸函数，条件是 对于每一对x1，x2及每一个a，0≤a≤1存在：
f(ax1+(1－a)x2)≤a f(x1)+1(1－a)f(x2)
上式中，若≤变为<，则称为严格凸函数。
page 12 3 August 2019
Prof. Wang School of Economics & Management
B) 对于所有d，则dT▽2 f(X*)·d≥0
ii)判断极小点的充分条件
命题（二阶充分条件——无约束）：设f(X)C2 是定义在 以X*为内点的一个区域上的函数，若
A) ▽f(X*)=0 B) Hess阵H(X*)正定（或负定）
则X*是f(X)的严格极小点（或极大点）
page 11 3 August 2019
目标函数 约束条件
page 3 3 August 2019
max：f(X) =30x1+450x2
0.5x1+2x2+0.25x22≤800
x1≥0，x2≥0
Prof. Wang School of Economics & Management
Operations Research
第二十一讲
§2 非线性规划的数学模型及 特点 （1）
page 15 3 August 2019
Prof. Wang School of Economics & Management
Operations Research
第二十一讲
§4 非线性规划求解方法分类（1）
1．一维最优化 ①斐波那契（Fibonacci）法 ②黄金分割法（0.618法） ③牛顿法（切线法） ④抛物线逼近法 ⑤成功和失败法
非线性规划问题的求解及其应用
非线性规划问题的求解及其应用非线性规划，可以说是一种非常复杂的数学问题。
在实际应用中，许多系统的优化问题，都可以被转化为非线性规划问题。
但是，由于这种问题的复杂性，非线性规划的求解一直是数学界的一个研究热点。
一、非线性规划的基本概念1. 可行域在非线性规划中，可行域指的是满足所有约束条件的点集。
在二维平面上，可行域能够很容易地表示出来，但在多维空间中，可行域的表示就变得非常困难。
2. 目标函数目标函数是一个数学公式，它用来评估在可行域中各个点的“好坏程度”。
一个非线性规划问题的求解，其实就是在可行域内寻找一个能够最大化目标函数值的点。
3. 约束条件约束条件是指规划问题中需要满足的条件。
这些条件包括函数值的范围限制、变量之间相互制约等。
通常来说，非线性规划的约束条件相对于线性规划而言更加复杂。
二、非线性规划的求解方法在非线性规划问题的求解中，有很多种方法可供选择。
下面，我们来介绍其中一些常用的方法。
1. 半定规划半定规划（Semi-definite Programming, SDP）是非线性规划的一个子集，它具有线性规划的一些特性，但可以解决一些非线性问题。
与线性规划不同的是，半定规划中的目标函数和约束条件都可以是非线性的。
2. 内点法内点法是一种非常流行的求解非线性规划问题的方法。
它是一种基于迭代的算法，可以在多项式时间内求解最优解。
内点法的一个优点是，它能够解决带有大量约束条件的规划问题。
3. 外点法外点法是另一种常用的求解非线性规划问题的方法。
外点法首先将非线性规划问题转化为一组等式和不等式约束条件的问题。
然后，采用一种迭代的方法，不断地拟合目标函数，以求得最优解。
4. 全局优化法全局优化法是非线性规划问题中最难的问题之一。
全局优化法的目标是寻找一个区域内的全局最优解，这个解要在这个区域中所有可能的解中处于最佳位置。
由于非线性规划问题的复杂性，全局优化法通常需要使用一些高级算法来求解。
三、非线性规划的应用非线性规划被广泛地应用于各种领域，下面我们来介绍其中一些应用。
非线性规划知识点讲解总结
非线性规划知识点讲解总结1. 非线性规划的基本概念非线性规划是指目标函数和/或约束条件包含非线性项的优化问题。
一般来说，非线性规划问题可以表示为如下形式：\[\min f(x)\]\[s.t. \ g_i(x) \leq 0, \ i=1,2,...,m\]\[h_j(x)=0, \ j=1,2,...,p\]其中，\(x \in R^n\)是优化变量，\(f(x)\)是目标函数，\(g_i(x)\)和\(h_j(x)\)分别表示不等式约束和等式约束。
目标是找到使目标函数取得最小值的\(x\)。
2. 非线性规划的解决方法非线性规划问题的求解是一个复杂的过程，通常需要使用数值优化方法来解决。
目前，常用的非线性规划求解方法主要包括梯度方法、牛顿方法和拟牛顿方法。
（1）梯度方法梯度方法是一种基于目标函数梯度信息的优化方法。
该方法的基本思想是在迭代过程中不断沿着梯度下降的方向更新优化变量，以期望找到最小值点。
梯度方法的优点是简单易实现，但缺点是可能陷入局部最优解，收敛速度慢。
（2）牛顿方法牛顿方法是一种基于目标函数的二阶导数信息的优化方法。
该方法通过构造目标函数的泰勒展开式，并利用二阶导数信息来迭代更新优化变量，以期望找到最小值点。
牛顿方法的优点是收敛速度快，但缺点是计算复杂度高，需要计算目标函数的二阶导数。
（3）拟牛顿方法拟牛顿方法是一种通过近似求解目标函数的Hessian矩阵来更新优化变量的优化方法。
该方法能够克服牛顿方法的计算复杂度高的问题，同时又能保持相对快速的收敛速度。
拟牛顿方法的典型代表包括DFP方法和BFGS方法。
3. 非线性规划的应用非线性规划方法在实际生活和工程问题中都有着广泛的应用。
以下将介绍非线性规划在生产优化、资源分配和风险管理等领域的应用。
（1）生产优化在制造业中，生产线的优化调度问题通常是一个非线性规划问题。
通过对生产线的机器设备、生产工艺和生产速度等因素进行建模，并设置相应的目标函数和约束条件，可以使用非线性规划方法来求解最优的生产调度方案，以最大程度地提高生产效率和减少成本。
非线性规划的解法
非线性规划的解法非线性规划是一类重要的数学规划问题，它包含了很多实际应用场景，如金融市场中的资产配置问题，工程界中的最优设计问题等等。
由于非线性目标函数及约束条件的存在，非线性规划问题难以找到全局最优解，面对这样的问题，研究人员提出了众多的解法。
本文将从梯度法、牛顿法、共轭梯度法、拟牛顿法等方法进行介绍，着重讨论它们的优劣性和适用范围。
一、梯度法首先介绍的是梯度法，在非线性规划中，它是最简单的方法之一。
梯度法的核心思想是通过寻找函数的下降方向来不断地优化目标函数。
特别是在解决单峰函数或弱凸函数方面优势明显。
然而，梯度算法也存在一些不足之处，例如：当函数的梯度下降速度过慢时，算法可能会陷入局部最小值中无法跳出，还需要关注梯度方向更新的频率。
当目标函数的梯度非常大，梯度法在求解时可能会遇到局部性和发散性问题。
因此，它并不适合解决多峰、强凸函数。
二、牛顿法在牛顿法中，通过多项式函数的二阶导数信息对目标函数进行近似，寻找下降方向，以求取第一个局部极小值，有时还可以找到全局最小值。
牛顿法在计算方向时充分利用二阶导数的信息，使梯度下降速度更快，收敛更快。
因此，牛顿法适用于单峰性函数问题，同时由于牛顿法已经充分利用二阶信息，因此在解决问题时更加精确，准确性更高。
但牛顿法的计算量比梯度法大，所以不适合大规模的非线性规划问题。
此外，当一些细节信息不准确时，牛顿法可能会导致计算数值不稳定和影响收敛性。
三、共轭梯度法共轭梯度法是非线性规划的另一种解法方法。
共轭梯度法沿预定义的方向向梯度下降，使梯度下降的方向具有共轭性，从而避免了梯度下降法中的副作用。
基于共轭梯度的方法需要存储早期的梯度，随着迭代的进行，每个轴线性搜索方向的计算都会存储预定的轴单位向量。
共轭梯度方法的收敛速度比梯度方法快，是求解非线性规划的有效方法。
四、拟牛顿法拟牛顿法与牛顿法的思路不同，它在目标函数中利用Broyden、Fletcher、Goldfarb、Shanno（BFGS）算法或拟牛顿法更新的方法来寻找下降方向。
非线性规划
全局极小 global minimum
假设f ( x )为定义在n维欧氏空间E n的某一区域R上 的n元实函数， 若存在x * R使得对所有x R都有 f ( x ) f ( x * ), 则称f ( x * )为f ( x )在R上的全局极小值， x 为f ( x )在R上的全局极小点。
f ( X 0 ) ( f ( X 0 ) f ( X 0 ) f ( X 0 ) T , , , ) x1 x 2 x n
f ( X )是 f ( X )的等值面（线）在 X 处的法线方向
梯度方向是函数值增加最快的方向，负梯度 方向是函数值减少最快的方向。
二阶可微 (second order differentiable)
（3）
图解法(Graphical Solution)
非线性规划二维问题的图解法步骤与线性规划相似，但是 作ቤተ መጻሕፍቲ ባይዱ相对比较复杂，也很难求出坐标的值。
例4
Minf ( X ) ( x1 2) 2 ( x 2 1) 2 s.t. x1 x 2 5x 2 0 x1 x 2 5 0 x1 , x 2 0
由向量内积的性质知， 必有 ▽f (X* ) = 0。
满足（3）式的点称为平稳点或驻点，在区
域内部极值点一定是平稳点，而平稳点不 一定是极值点
分析
假设下月玩具的生产量为x个
下个月的利润为： (100 0.5x)x 100x - 0.5x 2
下月原材料消耗为：x 下月需要的人工为：2x
问题的数学模型为
max z 100x 0.5x x 200 s.t.2x 350 x 0
非线性规划
非线性规划（nonlinear programming）1.非线性规划概念非线性规划是具有非线性约束条件或目标函数的数学规划，是运筹学的一个重要分支。
非线性规划研究一个n元实函数在一组等式或不等式的约束条件下的极值问题，且目标函数和约束条件至少有一个是未知量的非线性函数。
目标函数和约束条件都是线性函数的情形则属于线性规划。
2.非线性规划发展史公元前500年古希腊在讨论建筑美学中就已发现了长方形长与宽的最佳比例为0.618,称为黄金分割比。
其倒数至今在优选法中仍得到广泛应用。
在微积分出现以前，已有许多学者开始研究用数学方法解决最优化问题。
例如阿基米德证明：给定周长，圆所包围的面积为最大。
这就是欧洲古代城堡几乎都建成圆形的原因。
但是最优化方法真正形成为科学方法则在17世纪以后。
17世纪，I.牛顿和G.W.莱布尼茨在他们所创建的微积分中，提出求解具有多个自变量的实值函数的最大值和最小值的方法。
以后又进一步讨论具有未知函数的函数极值，从而形成变分法。
这一时期的最优化方法可以称为古典最优化方法。
最优化方法不同类型的最优化问题可以有不同的最优化方法，即使同一类型的问题也可有多种最优化方法。
反之,某些最优化方法可适用于不同类型的模型。
最优化问题的求解方法一般可以分成解析法、直接法、数值计算法和其他方法。
(1)解析法：这种方法只适用于目标函数和约束条件有明显的解析表达式的情况。
求解方法是：先求出最优的必要条件，得到一组方程或不等式，再求解这组方程或不等式，一般是用求导数的方法或变分法求出必要条件，通过必要条件将问题简化，因此也称间接法。
(2)直接法：当目标函数较为复杂或者不能用变量显函数描述时，无法用解析法求必要条件。
此时可采用直接搜索的方法经过若干次迭代搜索到最优点。
这种方法常常根据经验或通过试验得到所需结果。
对于一维搜索(单变量极值问题)，主要用消去法或多项式插值法；对于多维搜索问题(多变量极值问题)主要应用爬山法。
非线性规划的基本概念和基本原理
非线性规划的基本概念 和基本原理
1
7.1 数学模型和基本概念
非线性规划是运筹学中包含内容最多， 应用最广泛的一个分支，计算远比线性 规划复杂。
2
一、数学模型 例 某单位拟建一排 厂房，厂房建筑平面如图 所示。由于资金及材料的 限制，围墙及隔墙的总长 度不能超过80米。为使建 筑面积最大，应如何选择 长宽尺寸？
f ( X * ) 为严格全局极小值。
7
若存在 X * S , 0 ，令 N { X | X X * , 0} ， X S N ( X * ) 都有 f ( X ) f ( X * ) ， 则称 X *为 该问题的局部极小点，f ( X * ) 为局部极小值。
6
二、基本概念
1、全局极值和局部极值
f ( X ) 为目标函数，S 为可行域。若存在 X * S ， X S ，都 * 有 f ( X ) f ( X * )，则称 X 为该问题的全局极小点，
f ( X * ) 为全局极小值。
f ( X ) 为目标函数，S 为可行域。若有X * S , X X * ， X S ， * * 都有 f ( X ) f ( X ) ，则称 X 为该问题的严格全局极小点，
o如果H(x) 不定的，该驻点X*就不是f(X)极值点。
22
二、极值点的必要条件和充分条件
最优性条件的研究是非线性规划理论研究的一个 中心问题。
为什么要研究最优性条件？ o本质上把可行解集合的范围缩小。 o它是许多算法设计的基础。
23
无约束问题的最优性条件 （P1） Min f(X) X En 定理3（一阶必要条件） 设f(X)在X*点可微，则X*为（P1） 的一个局部极值点，一定有 f(X*)=grad f(X*)=0（ X*称为驻点）
非线性规划
非线性规划报告一、什么是非线性规划？因为在实际问题求解中，很多情况下，目标函数以及约束条件不可能都是线性的，往往包含非线性函数，那么这时就是非线性规划问题。
简单概括，非线性规划研究一个n 元实函数在一组等式或不等式的约束条件下的极值问题，且目标函数和约束条件至少有一个是未知量的非线性函数。
二、非线性规划和线性规划的区别是什么？除了目标函数和约束条件的形式不同外，线性规划的最优解只可能在可行域的边界达到（特别是顶点处），而非线性规划可能在可行域的任意一点达到。
三、非线性规划的一般模型：min f(x)()0,j 1,...q s.t. ()0,i 1,...j i h x g x p≤=⎧⎪⎨==⎪⎩ 其中：1,2,,[...]n x x x x =称为决策变量，f 为目标函数，j h 和i g 称为约束函数，()0i g x =称为等式约束，()0j h x ≤称为不等式约束。
四、非线性规划的两类问题 1、无约束的极值问题我们一般都将求解的非线性规划问题都转化为无约束的最优化问题。
这里主要介绍求解无约束问题的解析法，解析法就是通过计算()fx 的一阶，二阶偏导数及其函数的解析性质来实现极值的求解方法。
这里介绍牛顿法（详见手写稿件）。
2、有约束的极值问题带有约束条件的极值问题称为约束极值问题，求解约束极值问题要比求解无约束极值问题困难得多。
为了简化优化工作，通常采取以下解题思路： （1） 将约束极值问题转化为无约束极值问题。
（2） 将非线性规划问题转化为线性规划问题。
（3） 将复杂的问题分解为若干简单问题。
这里主要介绍二次规划模型。
二次规划的显著特征是“目标函数”是二次函数，且约束条件又是线性的。
在matlab 中二次规划模型表示如下：1min2,.. ,.TT x Hx f x Ax b s t Aeq x beq lb x ub +≤⎧⎪⋅=⎨⎪≤≤⎩其中：H 表示实对称矩阵；f ，b ，beq ，lb ，ub 是列向量；A ，Aeq 是相应维数矩阵。
非线性规划讲解
定理 4.2.4 设 S R n 是非空开凸集， f : S R 二阶连续可导，则 f 是
S 上的凸函数的充要条件是 f 的 Hesse 矩阵 2 f ( x) 在 S 上是半正定的。
当 2 f ( x) 在 S 上是正定矩阵时，f 是 S 上的严格凸函数。
（注意：该逆命题不成立。）
2 f (x) 2 f (x)
展g ( 开 t) ( t k ) 式 ( t k )t ( t k ) ： 1 2 ( t k )t ( t k ) 2
g(t)的最小点即 0的导点 ,求 数导 为 : 得
tk1tk((ttkk))
前一页 后一页 退 出
➢解题步骤：
给定初始点t1和精度
否
||(t1)||
是 停止，输出t1
前一页 后一页 退 出
1、0.618法（近似黄金分割法） ➢单谷函数
如果 t [a,b]使 , 得(函 t)在 [a数 ,t]上严格 , 递减 且[t在 ,b]上严格 ,称 (递 t)为 [a增 ,b]上的单谷函
[a,b]称为 (t)的单谷区间。
显然 t为 此 (t)在 时 [a,b]上唯一的极小
c1 c2t e c3t
(*)
其中 c1 ， c2 ， c3 是待定参数。现通过测
试获得 n 组 与 t 之间的实验数据(t i , i ) ，
i=1，2，…,n。试确定参数 c1 ， c2 ， c3 ，
使理论曲线(*)尽可能地与 n 个测试点
t
(ti ,i ) 拟合。
n
min[ i (c1c2ti ec3ti)2] i1
前一页 后一页 退 出
➢假定：已经确定了单谷区间[a,b]
mi n(t) t0 min(t) 0ttmax
非线性规划的概念和原理
第五章 非线性规划的概念和原理非线性规划的理论是在线性规划的基础上发展起来的。
1951年，库恩（H.W.Kuhn ）和塔克（A.W.Tucker ）等人提出了非线性规划的最优性条件，为它的发展奠定了基础。
以后随着电子计算机的普遍使用，非线性规划的理论和方法有了很大的发展，其应用的领域也越来越广泛，特别是在军事，经济，管理，生产过程自动化，工程设计和产品优化设计等方面都有着重要的应用。
一般来说，解非线性规划问题要比求解线性规划问题困难得多，而且也不像线性规划那样有统一的数学模型及如单纯形法这一通用解法。
非线性规划的各种算法大都有自己特定的适用范围。
都有一定的局限性，到目前为止还没有适合于各种非线性规划问题的一般算法。
这正是需要人们进一步研究的课题。
5.1 非线性规划的实例及数学模型[例题6.1] 投资问题：假定国家的下一个五年计划内用于发展某种工业的总投资为b 亿元，可供选择兴建的项目共有几个。
已知第j 个项目的投资为j a 亿元，可得收益为j c 亿元，问应如何进行投资，才能使盈利率（即单位投资可得到的收益）为最高？解：令决策变量为j x ，则j x 应满足条件()10j j x x -= 同时j x 应满足约束条件1nj jj a xb =≤∑目标函数是要求盈利率()1121,,,njjj n nj jj c xf x x x a x===∑∑最大。
[例题6.2] 厂址选择问题：设有n 个市场，第j 个市场位置为(),j j p q ，它对某种货物的需要量为j b ()1,2,,j n =。
现计划建立m 个仓库，第i 个仓库的存储容量为i a ()1,2,,i m =。
试确定仓库的位置，使各仓库对各市场的运输量与路程乘积之和为最小。
解：设第i 个仓库的位置为(),i i x y ()1,2,,i m =，第i 个仓库到第j 个市场的货物供应量为i j z ()1,2,,,1,2,,i m j n ==，则第i 个仓库到第j 个市场的距离为i j d =目标函数为1111mnmni ji j i ji j i j zd z =====∑∑∑∑约束条件为：（1） 每个仓库向各市场提供的货物量之和不能超过它的存储容量； （2） 每个市场从各仓库得到的货物量之和应等于它的需要量； （3） 运输量不能为负数。
非线性规划基本概念
序列二次规划法原理及步骤
• 原理：序列二次规划法是一种迭代求解非线性规划问题的方法。它在每次迭代中构造一个二次规划子问题，通 过求解该子问题得到原问题的一个近似解，然后利用该近似解的信息构造下一个二次规划子问题，如此循环直 至收敛到最优解。
序列二次规划法原理及步骤
2. 求解二次规划子问题，得到近 似解。
与线性规划不同，非线性规划中的目标函数或约 束条件至少有一个是非线性的。
非线性规划问题通常更加复杂，需要采用特定的 算法和工具进行求解。
非线性规划重要性
01
广泛适用性
非线性规划在各个领域都有广泛 应用，如经济、金融、工程、管 理等。
02
解决复杂问题
03
推动技术进步
非线性规划能够处理涉及复杂非 线性关系的问题，提供更精确的 解决方案。
THANKS
感谢观看
REPORTING
https://
VS
5. 判断终止条件
若满足终止条件，则停止迭代，输出当前 迭代点作为近似最小值点；否则，返回步 骤2继续迭代。
拟牛顿法原理及步骤
原理
1. 初始化
拟牛顿法是一种改进牛顿法的方法， 其基本思想是通过构造一个近似海森 矩阵的逆矩阵来避免直接计算海森矩 阵及其逆矩阵。拟牛顿法利用目标函 数的一阶导数信息来构造一个满足拟 牛顿条件的矩阵来逼近海森矩阵的逆 矩阵，从而在保证收敛速度的同时降 低了计算复杂度。
选择初始点 x0，设置迭代终止条件。 初始化拟牛顿矩阵 B0（或其逆矩阵 H0）。
2. 计算梯度
计算函数在 x0 处的梯度 g0 和 g1。
拟牛顿法原理及步骤
3. 求解搜索方向 通过解线性方程组 Bdp = -gp 或 Hdp = -gp 得到搜索方向 dp。
非线性规划课件
②再固定x₂=x₂ (1): 求以x₁为单变量的目标函数的极值点，
得 X(2)=(x,(2),x₂ (1))T ,S(2)=f(X(2))
此时S(2)优于S(1), 且搜索区间缩短为x₁*∈[x,(2),b,],x₂*∈[x₂ (1),b₂] 第二步：如此交替搜索，直至满足给定精度ε为止
否则，继续缩短区间，
直至满足给定的精度为
①f(x₂)≥f(xq), 取[aq=ao,b,=x,]
X₁ =X2
x'2=b₁-λ(b₁-aq) ②f(x₂)<f(x₁), 取[a=x2,b,=b,]
x=aq+λ(b₁-aq)
10
x₂ =x₁
例 求 解 f(x)=-18x²+72x+28 的极大值点，δ≤0.1,起始搜索区间为[0,3] 解：①用间接法：令 f'(x)=-36x+72=0, 得驻点 x=2
xq*∈[aq,b,],x²*∈[a₂ ,b₂ ],.,x*∈[an,b,]
1、原理： ①从起点 X(0) 出发，沿平行于 x, 轴的方向P(1)进行一维搜索，
求得 f(X) 在该方向P(1)上近似极值点 X(1);
②从点 X(1) 出发，沿平行于 x₂ 轴的方向P(2)进行一维搜索，
求得 f(X) 在该方向P(2)上近似极值点 X(2); ③从点 X(2) 出发，照此交替进行下去，直至满足给定的精度ε为止
六、 寻优方法概述：
1、N.L.P.问题分类
① 无约束条件的NLP问题。 ② 有约束条件的NLP问题。 2、寻优方法
① 间接法(解析法):适应于目标函数有简单明确的数学表达式。
非线性规划
非线性规划非线性规划(Nonlinear Programming ，简记为NP)研究的对象是非线性函数的数值最优化问题，是运筹学的最重要分支之一，20世纪50年代形成一门学科，其理论和应用发展十分迅猛，随着计算机的发展，非线性规划应用越来越广泛，针对不同的问题提出了特别的算法，到目前为止还没有适合于各种非线性规划问题的一般算法，有待人们进一步研究.§1 非线性规划基本概念一、引例例7.1 一容器由圆锥面和圆柱面围成. 表面积为S ，圆锥部分高为h ，h 和圆柱部分高2x 之比为a ,1x 为圆柱底圆半径.求21,x x 使面积最大.解： 由条件 a x h =2/22121231x x x ax V ππ+=21212222112221x x x x a x x S πππ+++⋅⋅=所以，数学模型为：212)311(max x x a V π+=s.t. S x x x x a x x =+++21212222112πππ0,21≥x x例7.2 某高校学生食堂用餐，拟购三种食品，馒头0.3元/个，肉丸子1元/个，青菜0.6/碗.该学生的一顿饭支出不能够超过5元.问如何花费达到最满意？解： 设该学生买入馒头，肉丸子，青菜的数量分别为321,,x x x ； 个人的满意度函数即为效用函数为321321321),,(aaax x Ax x x x u =.于是数学模型为321321321),,(max aaax x Ax x x x u =s.t.56.03.0321≤++x x x 321,,x x x 为非负整数二、数学模型称如下形式的数学模型为数学规划（Mathematical Programming 简称MP ） )(min x f z = （7.1） （MP ） t s . 0)(≥x g i m i ,,1 = （7.2） 0)(=x h j l j ,,1 = （7.3）其中Tn x x x x ),,,(21 =是n 维欧几里得空间nR 中的向量（点），)(x f 为目标函数，0)(,0)(=≥x h x g j i 为约束条件.称满足约束条件的向量x 为（MP ）问题的一个可行解，全体可行点组成的集合称为可行域.K ={}l j x h mi x g R x j i n,,2,10)(,,2,10)( ===≤∈如果)(),(),(x h x g x f j i 均为线性函数，就是前面所学的线性规划问题(LP).如果至少有一个为非线性函数称为非线性规划问题.由于等式约束0)(=x h j 等价于下列两个不等式约束 0)(,0)(≥-≥x h x h j j 所以(MP)问题又可表示为 )(min x f z =s.t. 0)(≥x g i m i ,,1 = （7.4） 三、数学基础 1、线性代数知识考虑二次型Az z T ，z 为n 维向量正定的二次型：若对于任意0≠z ，有0>Az z T； 半正定的二次型：若对于任意0≠z ，有0≥Az z T ； 负定的二次型：若对于任意0≠z ，有0<Az z T ； 半负定的二次型：若对于任意0≠z ，有0≤Az z T ；不定二次型：0≠∃z ，有0>Az z T，又0≠∃z ，有0<Az z T.二次型Az z T 为正定的充要条件是它的矩阵A 的左上角各阶主子式都大于零. 二次型Az z T 为负定的充要条件是它的矩阵A 的左上角各阶主子式负正相间.2、分析数学知识（1）方向导数和梯度(二维为例)考虑函数),(21x x f Z =，及方向j i lϕϕsin cos +=梯度：Tx f x f j x f i x f x x f ),(),(212121∂∂∂∂=∂∂+∂∂=∇ ； 方向导数：⎪⎪⎭⎫⎝⎛∂∂∂∂=∂∂+∂∂=∂∂ϕϕϕϕsin cos ),(sin cos 2121x f x f x f x f l f )),,(cos(||),(||),(),(21212121l x x gardf x x gardf lx x gardf lx x f T=⋅=⋅∇=考虑等值线00201),(c x x f =上一点),(0201x x 梯度方向 ),(0201x x gardf 即为法线方向n.如果)(x f 二次可微，称⎪⎪⎪⎪⎪⎭⎫⎝⎛=)()()()()()()()()()(212222111211x h x h x h x h x h x h x h x h x h x H nn n n n n为)(x f 在点 x 处的Hesse 矩阵.（2）多元函数泰勒公式：若)(,),(0x f R S x x f u n⊆∈=在点0x 处的某个领域具有二阶连续偏导数，则有x x x f x x x f x f x x f T T∆∆+∇∆+∆∇+=∆+)(21)()()(02000θ 10≤≤θ )||(||)(21)()(||)(||)()(2020000x x x f x x x f x f x x x f x f T TT ∆+∆∇∆+∆∇+=∆+∆∇+=οο 四、最优解的类型定义7.1 (MP)问题的一个可行点*x 被称为整体极小点，如果对于任意的可行点K x ∈，都有不等式)()(*x f x f ≥成立.如果对于任意可行点*,x x K x ≠∈均有)()(*x f x f >，称点*x 是)(x f 的可行解集K上的严格整体极小点.定义7.2 问题(MP)的一个可行点*x 被称为一个局部极小点，如果存在一个正数ε使得对于所有满足关系式ε<-*x x 的可行点x 都有)()(*≥x f x f 成立.如果对任意的可行点K x ∈，*≠x x ，存在一个正数ε使得对于所有满足关系式ε<-*x x 的可行点x 都有)()(*>x f x f 成立.则称*x 是)(x f 在K 上的一个局部严格极小点.显然整体极小点一定是局部极小点，反之不然. 五、凸规划定义7.3 集合K 被称为nR 中的一个凸集，如果对于K 中任意两点21,x x 和任一实数]1,0[∈λ，点K x x ∈-+21)1(λλ.几何解释：当一个集合是凸集时，连接此集合中任意两点的线段也一定包含在此集合内，规定φ空集是凸集.定义7.4 凸函数：)(x f 是凸集K 上的实值函数，如果对于K 中任意两点21,x x 和任意实数]1,0[∈λ有不等式)()1()())1((2121x f x f x x f λλλλ-+≤-+成立.严格凸函数：)(x f 是凸集K 上的实值函数，如果对于K 中任意两点21,x x ，21x x ≠和任意实数)1,0(∈λ，有不等式)()1()())1((2121x f x f x x f λλλλ-+<-+成立.定义7.5 )(x f 是定义在凸集K 上的实值函数，如果)(x f -是K 上凸函数，称)(x f 是凹函数.定理7.1 设)(x f 是凸集K 上的凸函数，则)(x f 在K 中的任一局部极小点都是它的整体极小点.证明： 设*x 是一局部极小点而非整体极小点，则必存在可行点K x ∈(可行域))()(*x f x f <∍.对任一]1,0[∈λ，由于)(x f 的凸性，有 )()()1()())1((***x f x f x f x x f ≤-+≤-+λλλλ当0→λ时，*)1(x x λλ-+与*x 充分接近，与*x 是局部极小矛盾. 证毕. 定义7.6 设有(MP)问题)(min x f kx ∈，若可行域K 是凸集，)(x f 是K 上的凸函数，则称此规划问题为凸规划.定理7.2 凸规划的任一局部极小解为整体极小解. 六、非线性规划问题的求解方法 考虑(MP)问题：lj x h m i x g t s x f j i ,,10)(,,10)(.)(min ===≥ （7.5） 一般来说，MP 问题难以求得整体极小点，只能求得局部极小点.以后我们说求(MP)问题，指的是求局部极小点.1、无约束极小化问题（UMP ） )(min x f nRx ∈ （7.6） 这里)(x f 是定义在n R 上的一个实值函数定理7.3（一阶必要条件）如果)(x f 是可微函数.*x 是上述无约束问题（UMP ）的一个局部极小点或局部极大点的必要条件是：0)(*=∇x f .满足0)(=∇x f 的点称为平稳点或驻点.定理7.4 设)(x f 为定义在n R 上的二阶连续可微函数，如果*x 是)(x f 的一个局部极小点，必有nT Ry y x H y x f ∈∀≥=∇0)(0)(**这里)(*x H 表示)(x f 在*x 处的Hesse 矩阵.证明：nE y ∈∀，根据)(x f 在点*x 处的展开式有)()(21)()(2*2**λολλ++=+y x H y x f y x f T)0)((*=∇x f若0)(,*<∍∈∃y x H y R y T n ，当λ充分小时，有 )()(21|2*2λολ>y x H y T∴有)()(**x f y x f <+λ.这和*x 是)(x f 的极小矛盾.定理7.5 设)(x f 是定义在nR 上的二阶连续可微函数，如果点*x 满足0)(*=∇x f ，而且存在*x 的一个邻域0)(),(,),(*≥∈∀∈∀∍*y x H y x x R y x T n 有 ，则*x 是)(x f 的一个局部极小点.在高等数学中求解极值点方法先求出满足0)(=∇x f 的点及不可导点.在这些点判断)(x f 是否取得极小值.2、等式约束的极小化问题考虑 )(min x fl j x h t s j ,,10)(. == （7.7）定义7.7 如果)(,),(),(21x h x h x h l ∇∇∇ 在点x 处线性无关，则称点x 是此约束条件的一个正则点.Langrange 乘子法：引进拉格朗日函数 ∑=-=lj jj x h u x f u x L 1)()(),(其中Tl u u u u ),,,(21 =被称为拉格朗日乘子向量.定理7.6 设l j x h x f j ,,1),(),( =是连续可微函数，*x 是)(x f 在可行集中的一个局 部极小点.在*x 是正则点的假定下必存在一个拉格朗日乘子向量u ，使得),(*u x 满足方程组)(0)()(*1**==∇-∇∑=x h x h u x f lj j j对等式约束，用拉格朗日乘子法求解出平稳点，判断是否极值点.用上述解析法求解无约束和等式约束极值问题的平稳点，再判断是否为极值点.该方法有一定的局限性：（1）它们要求函数是连续的，可微的，实际问题中不一定满足这一条件； （2）上述求平稳点的方程组求解比较困难，有些解不出来； （3）实际问题中有大量的不等式约束.因此求解非线性规划应有更好的新方法.实际应用中一般用迭代法来求解非线性规划问题，即求近似最优解的方法.3、非线性规划问题的求解方法—迭代法迭代法一般过程为：在(MP)问题的可行域K 内选择初始点0:,0=k x ，确定某一方向k p ，使目标函数)(x f 从k x 出发，沿k p 方向使目标函数值下降，即)0(,>∈+=λλK p x x k ，有)()(0x f x f <，进一步确定kλ，使)(m i n )(0k k k k k p x f p x f λλλ+=+>，令k k k k p x x λ+=+1.如果1+k x 已满足某终止条件，1+k x 为近似最优解.否则，从1+k x 出发找一个方向1+k p ，确定步长1+k λ，使K p x x k k k k ∈+=++++1112λ，有)(min )(1102++>++=k k k p x f x f λλ.如此继续，将得到点列{}kx .显然有 >>>>)()()(1kx f x f x f ,即点列{}kx 相对应的目标函数是一个单调下降的数列.当{}kx 是有穷点列时，希望最后一个点是(MP)问题的某种意义下的最优解.当{}kx 为无穷点列时，它有极限点，其极限点是(MP)的某种意义下的最优解（此时称该方法是收敛的）.迭代法求解(MP)的注意点：该方法构造的点列{}kx ，其极限点应是近似最优解，即该算法必须是收敛的.迭代法一般步骤：①. 选取初始点0x ，0:=k ②. 构造搜索方向kp ③. 根据kp 方向确定k λ ④. 令k k k k p x xλ+=+1⑤. 若1+k x已满足某终止条件，停止迭代，输出近似最优解1+k x.否则令1:+=k k ，转向第②步.计算终止条件在上述迭代中有：若1+k x满足某终止条件则停止计算，输出近似最优解1+k x.这里满足某终止条件即到达某精确度要求.常用的计算终止条件有以下几个：（1）自变量的改变量充分小时，11||||ε<-+k k x x，或21||||||||ε<-+kk k x x x ，停止计算. （2）当函数值的下降量充分小时，31)()(ε<-+k kx f x f ，或41|)(|)()(ε<-+k k k x f x f x f ， 停止计算.（3）在无约束最优化中，当函数梯度的模充分小时51||)(||ε<∇+k x f ，停止计算.迭代法的关键：① 如何构造每一轮的搜索方向kp ② 确定步长k λ关于k λ，前面是以)(min kk p x f λλ+产生的，也有些算法k λ取为一个固定值，这要根据具体问题来确定.关于kp 的选择，在无约束极值问题中只要是使目标函数值下降的方向就可以了，对于约束极值问题则必需为可行下降方向.定义7.8 设0,,:1≠∈→p R x R R f nn，若存在0>δ使),0(δλ∈∀，)()(x f p x f <+λ则称向量p 是函数)(x f 在点x 处的下降方向.定义7.9 设0,,,≠∈∈∈p R p K x R K nn，若存在0>λ使得K p x ∈+λ，称向量p 是点x 处关于K 的可行方向. 若一个向量p 既是目标函数f 在点x 处的下降方向，又是该点处关于可行域K 的可行方向，则称p 为函数f 在点x 处关于区域K 的可行下降方向.根据不同原理产生了不同的kp 和k λ的选择方法，就产生了各种算法. 在以后的讨论中，一维极值的优化问题是讨论求解步长k λ.无约束极值中讨论的最速下降法，共轭方向法，坐标轮换法，牛顿法，变尺度法及有约束极值中讨论的可行方向法都是根据不同的原理选择kp 得到的迭代算法.七、迭代算法的收敛性定义7.10 设有一算法A ，若对任一初始点（可行点），通过A 进行迭代时，或在有限步后停止得到满足要求的点；或得到一个无穷点列，它的任何一个聚点均是满足要求的点，则称此算法A 具有全局收敛性.定义7.11 设（UMP ）问题的目标函数Px Qx x x f T+=21)(，Q 为对称半正定矩阵， 若由算法A 进行迭代时，不论初始点0x 如何选择，必能在有限步后停止迭代，得到所要求的点，则称此算法A 有二次有限终止性.定义7.12 设序列{}kr收敛于*r，定义满足∞<=--≤**+∞−→−βhkk k rr r r 1______lim0的非负数h 的上确界为{}k r 的收敛级.若序列的收敛级为h ，就称序列是h 级收敛的.若1=h 且1<β就称序列是以收敛比β线性收敛的. 若1>h 或1=h 且0=β就称序列是超线性收敛的. 如何判别算法的收敛性和收敛速度问题本书不讨论.本书给出的算法中，最速下降法具有全局收敛性、是线性收敛的；改进牛顿法具有全局收敛性、二次有限终止性、是二阶线性收敛的；变尺度法和共轭方向法具有全局收敛性和二次有限终止性、是超线性收敛的；Zoutenddijk 法不具有全局收敛性、改进的T-V 法具有全局收敛性；制约函数法具有全局收敛性.关于这些算法的收敛性的讨论和证明有兴趣的读者可参考其他文献.§2 一维极值问题的优化方法前面讨论迭代算法时,从kx 出发确定沿k p 方向的步长k λ是这样求解的),(min 0k k p x f λλ+>这里k x ,k p 已知.所以,若记)()(λλg p x f k k =+,则为求解)(min 0λλg >的过程.于是我们考虑如下形式的极值问题.)(min x f bx a ≤≤ (7.8)b a R x ,,1∈为任意实数很显然可应用高等数学中学过的解析法,即令0)('=x f 求出平稳点,但如前面所述如果该方程解不出来,怎么办?可用下述迭代算法—0.618法.定义7.13 )(x f 定义在],[b a 上,若存在点∍∈],[*b a x 当*x y x ≤<,有)()(y f x f >,当*x y x ≥>时,)()(y f x f >,称)(x f 在],[b a 中为单峰函数(单谷函数).显然满足定义要求的点*x 是)(x f 在],[b a 中的极小点.在],[b a 中任选两点21,x x ,且b x x a <<<21,根据)(x f 的单峰性,若)()(21x f x f <,则*x 必然位于],[2x a 内,如果)()(21x f x f >,则*x 必然位于],[1b x 内.如果)()(21x f x f =,则*x 必然位于],[21x x ,记此区间为],[11b a .如此继续,得闭区间套⊃⊃⊃⊃],[],[],[11n n b a b a b a .显然 ,1,0],,[*=∈i b a x i i ，又0→-i i a b .由闭区间套性质, *x 为极小值点.闭区间套的选择方法不同,求得的*x 的快慢及求解过程的计算量是不一样的，有一个常用的方法是0.618法.0.618法： 取],[],[b a =βα① 在],[βα中选取1λ和2λ,)(618.0),(382.021αβαλαβαλ-+=-+=,求出)(1λf 和)(2λf 进入②.② 若)()(21λλf f <,取],[],[2λαβα=,若αλ-2已足够小,停止,否则进入③.若)()(21λλf f >,取],[],[1βλβα=,若1λβ-已足够小,停止,否则进入④. 若)()(21λλf f =,取],[],[21λλβα=,若12λλ-已足够小,停止,否则进入①. ③ 取上一步中的1λ为2λ,显然有)(618.02αβαλ-+=,令)(382.01αβαλ-+=,求出)(1λf ,返回②.④ 取上一步的2λ为1λ,则有)(382.01αβαλ-+=,令)(618.02αβαλ-+=,求出)(2λf 返回②.设初始区间为],[b a ，用0.618法，经过k 次迭代后],[βα的长度ka b 618.1)(-=-αβ，只要k 充分大αβ-可以小于任何给定的正数.例7.3 用0.618法求解λλλ2)(min 2+=f单峰区间为[-3，5]，2.0=ε解：[α，β]=[-3，5]1λ=-3+0.382×8=0.056 )(1λf =0.1152λ=-3+0.618×8=1.944 )(2λf =7.667由于)(1λf <)(2λf 所以新的不定区间为[α，β] =[-3，1.944] 由于β-α=4.944>0.22λ:=1λ=0.056 )(2λf :=)(1λf =0.115 1λ=-3+0.382×4.944=-1.112 )(1λf =-0.987如此反复得下表7-1：在进行8次迭代后,2.0112.1936.0<+-=-αβ取中间值024.1*-=λ或032.12-=λ作为近似最优解.显然真正极小点是-1.0.一维收索方法很多，如函数逼近法、牛顿法等可参考其他文献.§3 无约束极值的优化方法考虑无约束最优化问题（UMP ）)(min x f nR x ∈ (7.9) 前面已经讨论过,求解此无约束优化问题,可以求出平稳点及不可导点的方法.令0)(*=∇x f ,求出平稳点.如果)(*2x f ∇是正定的,则*x 是UMP 的严格局部最优解.若)(x f 在n R 上是凸函数,则是整体最优解.在求解0)(*=∇x f 这n 维方程组比较困难时，就用最优化算法——迭代法.本节将介绍最速下降法,牛顿法,共轭方向法,坐标轮换法,变尺度法.这些算法就是用不同的方法来选择搜索方向k p 而得到的.当然kp 必须是下降方向.定理7.7 设R R f n→:，在点x 处可微,若存在nR p ∈,使0)(<∇p x f T,则向量p是f 在x 处的下降方向.证明:)(x f 可微(在x 处)，由泰勒展开式,有 ||)(||)()()(p p x f x f p x f Tλολλ+∇+=+ ,0,0)(><∇λp x f T0)(<∇∴p x f Tλ），（当δλδ0∈∃∴时,有0||)(||)(<+∇p p x f Tλολ),0()()(δλλ∈∀<+∴x f p x fp ∴是)(x f 在点x 的下降方向. 证毕.一、最速下降法最速下降法又称梯度法,选择负梯度方向作为目标函数值下降的方向,是比较古老的一种算法，其它的方法是它的变形或受它的启发而得到的，因此它是最优化方法的基础. 基本思想:迭代法求解无约束最优化(5.9)问题的关键是求下降方向kp .显然最容易想到的是使目标函数值下降速度最快的方向.从当前点kx 出发,什么方向是使)(x f 下降速度最快呢? 由泰勒展开知:||)(||)()()(k k T k k k k p p x f p x f x f λολλ+∇-=+-略去λ的高阶无穷小项,取)(kkx f p -∇=时,函数值下降最多.而)(kx f ∇为)(x f 在kx 处的梯度，所以下降方向kp 取为负梯度方向时,目标函数值下降最快.最速下降法:①. 取初始点0x ,允许误差0>ε,令0:=k ②. 计算)(kkx f p -∇=③. 若ε<||||k p ,停止，点k x 为近似最优解.否则进入④.④. 求 k λ,使)(min )(0kk k k k p x f p x f λλλ+=+≥ ⑤. 令kk k k p x xλ+=+1，1:+=k k ，返回②例7.4 用最速下降法求解下列无约束优化问题1222121225),(m in x x x x x f -+=取初始点Tx )2,2(0= 终止误差 610-=ε解：很显然，该问题的整体最优解为Tx )0,1(*=⎪⎪⎭⎫⎝⎛-=∇215022)(x x x f ，令0,10)(21==⇒=∇x x x f易验证)(*2x f ∇是正定的， ∴是整体最优解. 下面用最速下降法求解T T x x x f x f x f )50,22(),()(2121-=∂∂∂∂=∇ T x )2,2(0=T x f )100,2()(0=∇∴取Tp )100,2(0-=由⎪⎪⎭⎫⎝⎛--=⎪⎪⎭⎫ ⎝⎛--+⎪⎪⎭⎫ ⎝⎛=+λλλλ10022210022200p x4)22(2)1002(25)22()(2200+---+-=+λλλλp x f得0)1002(5000)22(4=----=λλλd df020007679.0500008100080==⇒λ⎪⎪⎭⎫⎝⎛-=⎪⎪⎭⎫ ⎝⎛--+⎪⎪⎭⎫ ⎝⎛=+=0007679.0959984642.11002020007679.0220001p x x λ重复上述过程得 Tx )01824717.0,009122542.1(2=789850288.0)(,078282.0)(,100)(21-=-==x f x f x f图7-1从图7-1可知，{}kx 随着迭代次数的增加，越来越接近与最优解)0,1(，同时也看到，随着迭代次数的增加，收敛速度越来越慢.极小点附近沿着一种锯齿形前进，即产生“拉锯”现象：{}kx沿相互正交的方向小步拐进，趋于最优解的过程非常缓慢.这种现象怎样解释？如何克服？在求k λ时，由于)()(kkp x f λλϕ+=，求导得0)('=λϕ，k λ是)(λϕ的极小点.故有0)()('=⋅+∇=k T k k k k p p x f λλϕ，即0)(=⋅+∇kk k k p p x f λ，又)(11++-∇=k k x f p，即0)(1=⋅+k T k p p 或0)()(1=∇⋅∇+k T k x f x f .也就是最速下降法相邻两个搜索方向是彼此正交的.因此最速下降法是局部下降最快，但不一定是整体下降最快的.在实际应用中一般开始几步用最速下降法，后来用下面介绍的牛顿法.这样两个算法结合起来，求解速度较快.二、牛顿法 基本思想：考虑无约束优化问题(5.9))(min x f nRx ∈ 由前面的讨论知，若能解出方程组0)(=∇x f ，求出平稳点*x ，则可验证*x 是否为极值点.由于0)(=∇x f 难以求解.如果)(x f 具有连续的二阶偏导数,则考虑用)(x f 在点*x 二阶泰勒展开式条件替代)(x f ∇，即由22||)(||))(()(21)()()()(k k k T k k T k k x x x x x f x x x x x f x f x f -+-∇-+-∇+=ο))(()(21)()()()()(2kk T k k T k k x x x f x x x x x f x f x g x f -∇-+-∇+=≈⇒令0))(()()()(2=-∇+∇=∇≈∇kk k x x x f x f x g x f)())((121k k k k x f x f x x ∇∇-=⇒-+即从kx 出发，搜索方向为)())((12kkkx f x f p ∇∇-=-，步长恒为1，得到下一个迭代点1+k x.牛顿法：①． 选取初始点0,0=：k x ，精度0>ε ②． 计算)(kx f ∇，如果ε≤∇||)(||kx f ，计算终止.否则计算)(2kx f ∇，求出搜索方向)())((12kk k x f x f p ∇∇-=-. ③． 令1:,1+=+=+k k p x x k k k ，返回②.例7.5 考虑无约束问题22122214)(m in x x x x x f -+=试分别取初始点（1）T x )1,1(0=，（2）T x )4,3(0=（3）Tx )0,2(0=，取精度要求310-=ε，用牛顿法求解.解：⎪⎪⎭⎫ ⎝⎛--=∇212211228)(x x x x x x f ⎪⎪⎭⎫⎝⎛---=∇22228)(1122x x x x f (1) 取Tx )1,1(0=有Tx f )1,6()(0=∇ ε>=∇0828.6||)(||0x f⎪⎪⎭⎫⎝⎛--=∇2226)(02x fT x f x f p )2500.2,7500.1()())((01020--=∇⋅∇-=-Tp x x )2500.1,7500.0(01--=+= 重复计算结果得表7-2.ε<=0||)(||4x f T x )0,0(4=∴为近似最优解.实际上，该问题最优解为**)0,0(=x(2) 取Tx )4,3(0=,同上计算,得TT x x x )4,8284.2(,)4,8333.2(),4,3(21===有ε<=∇=∇=∇0||)(||,1667.0||)(||,1||)(||210x f x f x f ，这一迭代结果收敛到)(x f 的鞍点T)4,22(.(3) 取Tx )0,2(0=T x f )4,16()(0-=∇ ⎪⎪⎭⎫⎝⎛--=∇2448)(02x f0)(02=∇x f , 即)(02x f ∇不可逆，所以无法求得点1x .牛顿法的主要缺点:（1） 该法的某次迭代反而使目标函数值增大(见上例).（2） 初始点0x 距极小点*x 较远时,产生的点列{}kx可能不收敛,还会出现)(*2x f ∇的奇异情况.（3） )(*2x f ∇的逆矩阵计算量大. 牛顿迭代法的主要优点:当目标函数)(x f 满足一定条件,初始点0x 充分接近极小点*x 时,由牛顿法产生的点列{}kx 不仅能够收敛到*x,而且收敛速度非常快.实际应用中常将最速下降法和牛顿法结合起来使用.牛顿法的改进:上面介绍的牛顿法中,kx 处的搜索方向为)())((12kkkx f x f p ∇∇-=-,步长恒为 1.若通过一维搜索来取最优步长k λ,可防止在迭代中步长恒为1时标目标函数值增大的可能. 改进的牛顿法:①. 取初始点nR x ∈0,允许误差0:,0=>k ε.②. 检验是否满足ε<∇||)(||kx f ,若是,迭代停止,得到k x 为近似最优解.否则进入③.③. 令)())((12kk k x f x f p ∇∇-=-.④. 求k λ,使)()(min kk k k k p x f p x f λλλ+=+. ⑤. 令k k k k p x x λ+=+1,令1+=k k ：转②.三、坐标轮换法既然求解非线性规划问题的迭代法是给出初始点0x ,求出一个方向kp ,根据kp 确定步长k λ,使k k k k p x xλ+=+1，如果1+k x 满足某精度要求则停止，否则继续找方向1+k p .显然构造出搜索方向有一定的困难，能否按既定的搜索方向寻找最优解,省去找搜索方向kp 呢?在最速下降法中我们看到相邻两个搜索方向kp 和1+k p是正交的.我们知道在n 维欧氏空间中坐标轴向量n εεε,,,21 是正交的，可否选坐标轴向量为搜索方向kp 为呢?回答是肯定的，这样我们得到了坐标轮换法.基本思想:从1x 出发,取11ε=p ,沿1p 进行一维搜索得到1112p x x λ+=.若2x 满足精度要求,则停止.否则取22ε=p ,2223p x x λ+=.如此继续,, 取n n n n n n p x x p λε+==+1,，若1+n x 满足精度要求,则停止.否则令11ε=+n p ,1112+++++=n n n n p x x λ,如此反复连续,可以求出近似最优解.坐标轮换法的缺点是收敛速度较慢,搜索效率较低,但基本思想简单,沿坐标轴的方向进行搜索.四、共轭方向法和共轭梯度法共轭方向法是一类方法的总称,它原来是为求解目标函数为二次函数的问题而设计的.这类方法的特点是:方法中的搜索方向是与二次函数的系数矩阵Q 有关的所谓共轭方向，用这类方法求解n 元二次函数的极小化问题最多进行n 次一维搜索便可以得到极小点.由于可微的非二次函数在极小点附近的性态近似于二次函数,因此这类方法也用于求可微的非二次函数的UMP 问题.定义7.14 设Q 为n n ⨯对称正定矩阵,如果0=Qy x T称n 维向量x 和y 关于Q 共轭.定义7.15 设k p p p ,,,21 为nR 中一组向量, Q 是一个n n ⨯对称正定矩阵.如果k j i j i Qp p Qp p i T i j T i ,,2,1,,,0,0 =≠≠=,称k p p p ,,,21 为Q 共轭向量组,也称它们为一组Q 共轭方向.当E Q =(单位矩阵)时,为正交方向.定理7.8 若k p p p ,,,21 为矩阵Q 共轭向量组,则它们必线性无关. 证明: 若存在k l l l ,,,21 ,使011=++k k p l p l ,则对任一k j ,,2,1 =,由 0)(11===∑∑==j T j j ki j T j iki iiT jQp p l Qp pl p l Q p又0>j Tj Qp p , 0=∴j l∴ k p p p ,,,21 线性无关. 证毕.由高等代数知识可知, Q 共轭向量组中最多包含n 个向量, n 是向量的维数.反之,可以证明,由n 维空间的任一组基出发可以构造出一组Q 共轭方向11,,,-n pp p .前面我们已经讲述了坐标轮换法，在n 维欧几里德空间中, n εεε,,,21 是一组线性无关的正交向量.从0x 出发,依次使用n εεε,,,21 作为下降方向进行一维精确搜索来确定n x x x ,,,21 ,重复进行得点列{}k x ,最终求得满足精度要求的最优解.刚才我们引进了共轭向量组11,,,-n p p p ,又证明了它们的线性无关性,那么是否可以用这共轭向量组像坐标轮换法一样,从0x 出发依次用11,,,-n pp p 作为下降方向来确定{}kx,最终求得近似最优解?回答是肯定的.这个方法称为共轭方向法.共轭方向法适合任何可微凸函数,且对于二次函数极值)(min x f x p Qx x T T+=21特 别有效.下面的定理告诉我们用共轭方向法求解二次函数的极值，经过n 次迭代就能求得最优解.定理7.9 设Q 为n n ⨯对称正定矩阵,函数x p Qx x x f T T+=21)(,又设 110,,,-n p p p 为一组Q 共轭向量组,且每个i p 是(下面形成的)i x 点处的下降方向.则由任一点0x 出发,按如下迭代至多n 步后收敛,k k k k p x xλ+=+1,这里k λ满足)(m i n )(0k k k k k p x f p x f λλλ+=+>.证明: 欲证至多n 步收敛,即证0)(=∇nx f .下证)(nx f ∇和11,,,-n pp p 正交.p Qx x f +=∇)( p Qx x f kk+=∇∴)( p p x Q p Qx xf k k k k k ++=+=∇++)()(11λkk k k k k Qp x f p Qp Qx λλ+∇=++=)( =+∇=∇---111)()(n n n n Qpx f x f λ 11111)(--++++++∇=n n k k k Qp Qp xf λλQ p Q p x f x f Tn n T k k T k T n )()()()(11111--++++++∇=∇λλkT n n k T k k k T k k T n Qp p Qp p p x f p x f )()()()(11111--++++++∇=∇λλ000+++= )2,,2,1,0(-=n k 又0)(1=∇-n Tn px f0)(=∇∴kT n p x f )1,,1,0(-=n k)(nx f ∇∴和11,,,-n pp p 正交， 又110,,,-n pp p 线性无关.0)(=∇∴nx fnx ∴是问题的最优解. 证毕. 共轭方向法具有二次有限终止性. 由于共轭方向组11,,,-n p p p 的取法有很大的随意性,用不同方式产生一组共轭方向就得到不同的共轭方向法.如果利用迭代点处的负梯度向量为基础产生一组共轭方向,这样的方法叫共轭梯度法.下面对二次函数讨论形成Q 共轭梯度方向的一般方法,然后引到求解无约束化问题上.任取初始点n R x ∈0,若0)(0≠∇x f ,取)(0x f p -∇=,从0x 点沿方向0p 进行一维搜索 ,求得0λ.令0001p x x λ+=,若0)(1=∇x f ,则已获得最优解1*x x =.否则，取0011)(p x f p υ+-∇=,其中0υ的选择要使1p 和0p 关于Q 共轭，由0)(01=Qp p T ,得0100)()()(Qp p x f Q p T T ∇=υ一般地,若已获得Q 共轭方向kp p p ,,,1和依次沿它们进行一维搜索的得到的点列110,,,+k x x x ,若0)(1=∇+k x f ,则最优解为1*+=k x x ,否则∑=+++-∇=ki i i k k p xf p011)(α为使1+k p 和11,,,-k pp p 是共轭,可证0110====-k ααα所以有 k k k k p x f pυ+-∇=++)(11又1+k p和kp 是Q 共轭的.有0)(1=+k Tk Qp p，得kT k k T k k Qpp x f Q p )()()(1+∇=υ 2,,2,1,0-=n k 进一步可得k υ221||)(||||)(||k k x f x f ∇∇=+ 2,,1,0-=n k综合起来得 Fletcher-Reeves 公式2)21110||(||||)(||)()(k k k k k k k x f x f p x f px f p ∇∇=+-∇=-∇=+++υυ 2,,2,1,0-=n k （7.10）共轭梯度法： ①． 选取初始点0x ，给定终止误差0>ε. ②． 计算)(0x f ∇，若ε≤∇||)(||0x f ,停止迭代，输出0x .否则进行③.③． 取)(0x f p -∇=，令0:=k④． 求k λ，)(min )(0kkkk kp x f p x f λλλ+=+≥，令k k k k p x xλ+=+1⑤． 计算)(1+∇k xf ，若ε≤∇+||)(||1k x f ，停止迭代，1*+=k x x 为最优解.否则转⑥.⑥． 若n k =+1，令nx x =:0，转③(已经完成一组共轭方向的迭代,进入下一轮)否则转⑦ ⑦． 取kk k k p xf pυ+-∇=++)(11,其中221||)(||||)(||k k k x f x f ∇∇=+υ,令1:+=k k ,转④当)(x f 是二次函数时上述共轭梯度法至多进行n 步可求得最优解.当)(x f 不是二次函数,共轭梯度法也可以构造11,,,-n p p p ,但已不具有有限步收敛的性质，于是和坐标轮换法一样经过一轮迭代后,采用重新开始的技巧.上述共轭梯度法就是带有再开始技巧的F-R 法.例7.6 用F-R 法求下面问题 2212121252),(m in x x x x x f +-=取初始点T x )2,2(0=,终止误差为610-=ε解:在例7.4中已得Tx f p )100,2()(0-=-∇= Tx )0007679.0,959984642.1(1-= Tx f )038395.0,919969284.1()(1-=∇000368628.010004687756228.3||)(||||)(||20210==∇∇=x f x f υ ⎪⎪⎭⎫ ⎝⎛-=⎪⎪⎭⎫ ⎝⎛--+⎪⎪⎭⎫ ⎝⎛-=+-∇=0015322.092070654.11002000368628.0038395.0919969284.1)(0011p x f p υ⎪⎪⎭⎫ ⎝⎛+--=+0015322.00007679.092070654.1959984642.111λλλp x0378228399.7687703443.3)(11=+-=+λλλd p x df499808794.01=∴λ⎪⎪⎭⎫ ⎝⎛≈⎪⎪⎭⎫ ⎝⎛-=⎪⎪⎭⎫⎝⎛⨯+--⨯+=+=010********.0999998622.00015322.0499808794.00007679.0)92070654.1(499808794.0959984642.11112p x x λε<=∇0||)(||2x f , ∴最优解⎪⎪⎭⎫⎝⎛==012*x x .五、变尺度法当初始点为)(x f 的其极值点附近时牛顿法收敛速度很快，但缺点是需计算)(2kx f ∇的逆矩阵，在实际问题中目标函数往往相当复杂，计算二阶导数的工作量或者太大或者不可能，在x 的维数很高时，计算逆矩阵也相当费事.如果能设法构造另一个矩阵kH ，用它来逼近二阶导数矩阵的逆矩阵12))((-∇kx f 则可避免上述问题.下面就来研究如何构造12))((-∇kx f 的近似矩阵kH .我们希望：每一步都能以现有的信息来确定下一个搜索方向，每做一次迭代，目标函数值均有所下降，这些近似矩阵最后应收敛于最优解处的海赛矩阵的逆矩阵12))((-∇kx f .p Qx x f xp Qx x x f T T+=∇+=)(21)(考虑于是 )]()([)()()(11111k k k k k k k k x f x f Q x x x x Q x f xf ∇-∇=-⇒-=∇-∇+-+++当)(x f 是非二次函数时，令)]()([111k k k k k x f x f H x x ∇-∇=-+++ （7.11）称为拟牛顿条件.显然，我们构造出来的近似矩阵k H 必须满足上述拟牛顿条件及递推性：k k k H H H ∆+=+1，这里k H ∆称为矫正矩阵.记 k k k kk k x x x x f x f G -=∆∇-∇=∆++11)()( 有 kk k k k k G H H G H x ∆∆+=∆=∆+)(1 .变尺度法即DEP 法是由Davidon 首先提出，后来又被Fletcher 和Powell 改进的算法.记kk T k kT k k k k T k T k k k k kk T k kT k k k k T k T k k kG H G HG G H x G x x H H G H G H G G H x G x x H ∆∆∆∆-∆∆∆∆+=∆∆∆∆-∆∆∆∆=∆+)()()()()()()()(1 （7.12）容易验证1+k H 满足拟牛顿条件，称上式为DEP 公式.变尺度方法计算步骤：（１） 给出初始点nR x ∈0，允许误差0>ε.（２） 若ε<∇||)(||0x f ，停止，0x 为近似最优解；否则转下一步.（３） 取I H =0（单位矩阵），0=：k . （４） )(kk k x f H p ∇-=（５） 求k λ，使)(min )(0kk k k k p x f p x f λλλ+=+≥. （６） 令kk k k p x xλ+=+1（７） 若ε<∇+||)(||1k xf ，1+k x 为最优解，停止；否则当1-=n k 时，令n x x =：0转（３）.（即迭代一轮n 次仍没求得最优解，以新的0x 为起点重新开始一轮新的迭代）.k k k k k kx x x x f xf G n k -=∆∇-∇=∆-<++11),()(1时，令当.计算kk T k kT k k k k T k T k k kk G H G H G G H x G x x H H∆∆∆∆-∆∆∆∆+=+)()()()(1，令1+=k k ：，转（４）. §4 约束极值的最优化方法考虑(MP)问题：0)(0)(..)(min =≥x H x g t s x f （7.13）其中Tl T m x h x h x h x g x g x g ))(,),(()(,))(,),(()(11 ==是向量函数.显然 0)(0)(0)(≥-≥⇔=x h x h x h ， 于是（MP ）问题可以写为：Tm x g x g x g x g t s x f ))(,),(()(0)(..)(min 1 =≥ （7.14）一、积极约束设0x 是（MP ）问题（5.14）的一个可行解.对0)(0≥x g i 来说，在点0x 有两种情况：或者0)(0>x g i ，或者0)(0=x g i .0)(0>x g i 时，则0x 不在0)(0=x g i 形成的边界上，称这一约束为0x 的非积极约束；0)(0=x g i 时，0x 处于由0)(0≥x g i 这个约束条件形成的可行域边界上，当0x 有变化时就不满足0)(0=x g i 的条件，所以称为积极约束，记为：{}()|()0,1i I x i g x i m ==≤≤.定义7.16 设x 满足约束条件0)(0≥x g i ),,1(m i =，0)(|{)(==x g i x I i ，}m i ≤≤1，如果)(x g i ∇，)(x I i ∈线性无关，则称点x 是约束条件的一个正则点.二、可行方向、下降方向的代数条件前面我们已经给出可行方向和下降方向的定义，下面给出其代数条件.可行方向：设K 是（MP ）问题（5.14）的可行域，K x ∈,0,≠∈p R p n.若存在00>λ使得],0[0λλ∈时有K p x ∈+λ，称p 为x 点处的一个可行方向.由泰勒公式：||)(||)()()(p p x g x g p x g T i i i λολλ+∇+=+当x 为)(x g i 的积极约束时，有0)(=x g i .只要0>λ足够小，)(p x g i λ+和p x g T i )(∇λ同号，于是当0)(>∇p x g T i 时有0)(≥+p x g i λ )(x I i ∈.当x 为)(x g i 的非积极约束时，有0)(>x g i .由)(x g i 的连续性，当0>λ足够小时，由保号性知 0)(≥+p x g i λ )(x I i ∉.所以只要 0)(>∇p x g T i ，)(x I i ∈就可保证0)(≥+p x g i λ，于是p 为x 点处的一个可行方向.称0)(>∇p x g T i ，)(x I i ∈ 为p 在点x 处是可行方向的代数条件.下降方向：设K 是（MP ）问题的可行域，K x ∈,0,≠∈p R p n.若存在00>λ使得],0[0λλ∈时，有)()(x f p x f <+λ，称p 为x 点处的一个下降方向.由泰勒公式：||)(||)()()(p p x f x f p x f Tλολλ+∇+=+.当λ足够小时，只要0)(<∇p x f T，有)()(x f p x f <+λ. 称0)(<∇p x f T为p 在x 点处的一个下降方向的代数条件.三、可行下降方向设K 为（MP ）问题（5.14）的可行域，K x ∈，若存在0,≠∈p R p n，p 既是x 点处的下降方向又是可行方向，则称p 为点x 处的可行下降方向.定理7.10 考虑非线性规划问题（5.14），K x ∈，),,1)()(m i x g x f i =（和在x点处可微，若*x 是局部极小点，则x 点处必不存在可行下降方向，即不存在p 同时满足：⎪⎩⎪⎨⎧∈>∇<∇)(0)(0)(x I i p x g p x f Ti T证明：反证法，设局部极小点x 处存在可行下降方向p ，于是1λ∃，当],0[1λλ∈时有)()(x f p x f <+λ，又p 为可行方向．2λ∃∴当],0[2λλ∈时K p x ∈+λ，这与x 是。
非线性规划
返回
结束
非线性规划
解：确定决策变量
设 x i 表示第 i个季度的产量 ( i = 1,2,3 )。 约束条件： 1 （）每季度的最大生产能 力为100：x i ≤ 100( i = 1,2,3)
限制： （2 每季度的交货数量的 限制： ） 第一季度： 第一季度： x1 ≥ 40 第二季度： 第二季度：( x 1 − 40 ) + x 2 ≥ 60
料场位置为 ( h j , g j ),日储量为 e j , j = 1, 2 .
决策变量：
设 x ij 为从料场 j向工地 i的运送量 , j = 1, 2 .i = 1, 2 ,L ,6
返回 结束
非线性规划
在问题 ( 2)中, 两个新建料场的位置 ( h j , g j )也是决策变量 .
约束条件： (1 )各工地的日用量必须满 足 : ∑ x ij = d i ( i = 1, 2 ,L ,6 ).
一、模型的建立
返回
结束
非线性规划
[实例 某工厂向用户提供发动机，按合同规定，其交货 实例] 某工厂向用户提供发动机，按合同规定， 实例 数量和日期是：第一季度末交40台 第二季末交60台 数量和日期是：第一季度末交 台，第二季末交 台，第 三季末交80台 工厂的最大生产能力为每季100台，每季 三季末交 台。工厂的最大生产能力为每季 台 ），其中 的生产费用是 f ( x ) = 50 x + 0 .2 x 2 ( 元），其中 x 为该季生
返回
结束
非线性规划
练习题 飞行管理问题 在约10，000m高空的某边长160km的正方形区域内，经 常有若干架飞机作水平飞行。区域内每架飞机的位置和速 度向量均由计算机记录其数据，以便进行飞行管理。当一 架欲进入该区域的飞机到达区域边缘时，记录其数据后， 要立即计算并判断是否会与区域内的飞机发生碰撞。如果 会碰撞，则应计算如何调整各架（包括新进入的）飞机飞 行的方向角，以避免碰撞。现假定条件如下： 1）不碰撞的标准为任意两架飞机的距离大于8km; 2）飞机飞行方向角调整的幅度不应超过30度； 3）所有飞机飞行速度均为每小时800km;
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
min f(X)=(x1－2)2+(x2－2)2 h(X)=x1+x2－6≤0
显然，此时的最优解为C点(x1*=x2*=2 ，f(X*)=0)，该点落在可 行或内部，其边界约束失去作用。
从前面例中看出，非线性规划的最优解（如果存在）可在其 可行域上任一点达到。因而，非线性规划数学模型可以没有 约束条件，即存在无约束最优化问题。
A) ▽f(X*)=0 B) 对于所有d，则dT▽2 f(X*)·d≥0 ii)判断极小点的充分条件 命题（二阶充分条件——无约束）：设f(X)C2 是定义在 以X*为内点的一个区域上的函数，若 A) ▽f(X*)=0 B) Hess阵H(X*)正定（或负定） 则X*是f(X)的严格极小点（或极大点）
§3 解和算法的基本性质 （4）
命题1 （一阶必要条件）：设是En子集，f(X) C1(C1表 明存在一阶导数)是上函数，若X*是f( X)在上一个相对
极小点，则对于任一X*的可行方向dEn必有▽f(X*)·d≥0。 （其中，▽f(X*)表示函数f( X)的一阶梯度或导数）
命题2 （二阶必要条件——有约束情况）：设是En的一 个子集，且f( X) Ｃ2（Ｃ2表明存在二阶导数）是上的一 个函数。若X*是f( X)在上的一个相对极小点。则对于任 一X*处的可行方向dＥn有：
就现实问题，严格讲来，基本属于非线性规划模型。
现举例说明非线性规划的现实背景。
[例4-1]某公司经营两种设备。第一种设备每件售价为30元， 第二种设备每件售价为450元。且知，售出第一、二种设 备分别需时为每件约0.5小时和（2+0.25x2）小时，其中x2 为第二种设备售出数量。公司的总营业时间为800小时。
第十讲 非线性规划（一）
§1 非线性规划问题的现实来源－问题的提出 §2 非线性规划的数学模型及特点 §3 解和算法的基本性质 §4 非线性规划求解方法分类
§1 非线性规划问题的现实来 源－问题的提出 （1）
在规划模型中，如果在目标函数或在约束条件中有一个或 多个是自变量的非线性函数，则称这种规划为非线性规划 问题。
§2 非线性规划的数学模型及 特点 （2）
显然，与直线AB相切的点必 为最优解。
图 4-1(a) 中 的 D 点 即 为 最 优 点，此时目标函数值为：
f(X*)=2，x1*=x*2=3
x1 6
A
f(X)=4
3
D
2C
f(X)=2
B
a)
§2 非线性规划的数学模型及 特点 （3）
目标函数 约束条件
max：f(X) =30x1+450x2 0.5x1+2x2+0.25x22≤800 x1≥0，x2≥0
§2 非线性规划的数学模型及 特点 （1）
非线性规划的数学模型通常表示成以下形式。 min f(X) hi(X)=0 i=1，2，…，m gj(X)≥0 j=1，2，…，l
[例4-3]求解下述非线性规划 min f(X)=(x1－2)2+(x2－2)2 h(X)=x1+x2－6=0
求：公司为获取最大营业额（销售额）的最优营业计划。
§1 非线性规划问题的现实来 源－问题的提出 （2）
[解]设公司应经营销售第一、二种设备数额分别为x1件和x2 件，追求的目标为最大销售额，即：
目标函数f(X)=30x1+450x2取极大 由于营业时间有限，必须满足：0.5x1+(2+0.25x2)x2≤800 当然，销售设备数不会为负数，即：x1≥0，x2≥0 综合得出该问题数学模型为：
凸x 图 4-2
非凸 x
§3 解和算法的基本性质 （8）
§3 解和算法的基本性质 （3）
②相对极小点的判定
可行方向概念：沿给定方向作离开该点运动，若运动轨迹 在可行域内，则称该运动方向为可行方向（通常用d表 示）。
若从某点开始，沿任一可行方向运动（运动距离很小）都 不能使目标函数减少，则据定义，知该点即为相对极小点。
i) 判定极小点的必要条件（证明从略）
§3 解和算法的基本性质 （6）
iii)极小点的充分必要条件——无约束情形。（略） ③凸函数与凹函数
i)定义：
·凸集：若在X集合中，任意两点之联线都落在该集合 内，则称该集合为X的凸集。 ·凸函数：定义在凸集上的函数f(X)称为凸函数，条件是 对于每一对x1，x2及每一个a，0≤a≤1存在：
f(ax1+(1－a)x2)≤a f(x1)+1(1－a)f(x2) 上式中，若≤变为<，则称为严格凸函数。
f(X)>f(X*)，则称X*为f在Q上的一个严格相对极小点。
§3 解和算法的基本性质 （2）
ii)点X* Q，如果对于所有X Q成立f(X)≥f(X*)，则称X* 为f在Q上的全局极小点。同样，若对于所有X Q， X≠X*时，存在f(X)>f(X*)，则称X*为f在Q上的严格全局极 小点。
尽管问题的提法往往求全局极小点，然而，无论从 理论上或从计算观点看，实践现实性表明我们必须以很 多情形上满足一个相对极小点。当然，对于凸规划，这 二者是统一的。
§3 解和算法的基本性质 （1）
1．极小点、凸集及其关系 ①极小点定义
i) 对于X* Q，如果存在一个 >0，使所有与X*的距离 小于 的X Q（即X Q，且|X－X*|<）都满足不等式
f(X)≥f(X*)，则称X*为f在Q上的一个相对极小点或局部极
小点。若对于所有X Q，X≠X*且与X*距离小于 ，有
A) ▽f(X*)·d≥0 B) ▽f(X*)·d=0，则必有dT·▽2 f(X*)·d≥0
▽2 f( X)表示f( X)的第二阶梯度或二阶导数，又称Hess或海 森阵，亦可用H或F表示。
§3 解和算法的基本性质 （5）
命题3 （二阶必要条件——无约束情况）：设X*是集合 的内点，且X*是函数f(X)C2在上一个相对极小点。则：
§3 解和算法的基本性质 （7）
凸函数在2维空间的形状象一口锅的纵剖面，参见图4-2。
·凹函数：定义在凸集上的函数g(X)称为凹函数，条件是
函数f(X)= －g(X)是凸的。若 －g(X)是严格凸的，则g(X)是 严格凹的，因此凸与凹是严格对应的，以后就只研究凸函 数即可。
(a)
(b)
(c)
严格凸 x