非线性规划基本概念讲解
非线性规划知识点讲解总结
非线性规划知识点讲解总结1. 非线性规划的基本概念非线性规划是指目标函数和/或约束条件包含非线性项的优化问题。
一般来说，非线性规划问题可以表示为如下形式：\[\min f(x)\]\[s.t. \ g_i(x) \leq 0, \ i=1,2,...,m\]\[h_j(x)=0, \ j=1,2,...,p\]其中，\(x \in R^n\)是优化变量，\(f(x)\)是目标函数，\(g_i(x)\)和\(h_j(x)\)分别表示不等式约束和等式约束。
目标是找到使目标函数取得最小值的\(x\)。
2. 非线性规划的解决方法非线性规划问题的求解是一个复杂的过程，通常需要使用数值优化方法来解决。
目前，常用的非线性规划求解方法主要包括梯度方法、牛顿方法和拟牛顿方法。
（1）梯度方法梯度方法是一种基于目标函数梯度信息的优化方法。
该方法的基本思想是在迭代过程中不断沿着梯度下降的方向更新优化变量，以期望找到最小值点。
梯度方法的优点是简单易实现，但缺点是可能陷入局部最优解，收敛速度慢。
（2）牛顿方法牛顿方法是一种基于目标函数的二阶导数信息的优化方法。
该方法通过构造目标函数的泰勒展开式，并利用二阶导数信息来迭代更新优化变量，以期望找到最小值点。
牛顿方法的优点是收敛速度快，但缺点是计算复杂度高，需要计算目标函数的二阶导数。
（3）拟牛顿方法拟牛顿方法是一种通过近似求解目标函数的Hessian矩阵来更新优化变量的优化方法。
该方法能够克服牛顿方法的计算复杂度高的问题，同时又能保持相对快速的收敛速度。
拟牛顿方法的典型代表包括DFP方法和BFGS方法。
3. 非线性规划的应用非线性规划方法在实际生活和工程问题中都有着广泛的应用。
以下将介绍非线性规划在生产优化、资源分配和风险管理等领域的应用。
（1）生产优化在制造业中，生产线的优化调度问题通常是一个非线性规划问题。
通过对生产线的机器设备、生产工艺和生产速度等因素进行建模，并设置相应的目标函数和约束条件，可以使用非线性规划方法来求解最优的生产调度方案，以最大程度地提高生产效率和减少成本。
生产运筹非线性规划的基本概念
生产运筹非线性规划的基本概念引言生产运筹是一种管理技术，通过运用经济原理和数学模型，来解决实际生产和运输中的各种问题。
非线性规划是生产运筹中的一种重要工具，可以用于优化生产过程中的决策问题。
本文将介绍生产运筹非线性规划的基本概念。
非线性规划的定义非线性规划是一类优化问题，其中目标函数和约束条件都是非线性的。
一般来说，非线性规划的目标是找到一组决策变量的取值，使得目标函数达到最大或最小值，同时满足一系列约束条件。
非线性规划的基本要素非线性规划包含以下几个基本要素：1. 决策变量决策变量是非线性规划中的可调整参数，用于描述决策者所要做的选择。
在生产运筹中，决策变量可以是产品的产量、投入资源的数量或者是生产过程中的各种参数。
2. 目标函数目标函数是非线性规划中要优化的函数，可以是生产成本、利润、产量或其他决策者关心的指标。
在非线性规划中，目标函数的形式可以是任意的非线性函数。
3. 约束条件约束条件描述了决策变量的取值范围或者彼此之间的关系。
约束条件可以是等式约束或者不等式约束。
在生产运筹中，约束条件可以包括物料的平衡方程、设备的容量限制等。
4. 可行域可行域是指满足约束条件的所有决策变量取值的集合。
在非线性规划中，决策变量的取值必须落在可行域内，才被认为是合理的解。
5. 优化算法非线性规划的求解过程需要使用优化算法来搜索最优解。
常用的优化算法包括梯度下降法、牛顿法、拟牛顿法等。
生产运筹非线性规划的应用生产运筹非线性规划的应用非常广泛，涵盖了生产计划、资源分配、供应链优化等领域。
以下是一些非线性规划在生产运筹中的应用案例：1.生产计划优化：通过优化决策变量，如产量、物料分配等，来最大化产量、最小化成本或缩短生产周期。
2.设备选择优化：通过优化设备的选择和使用策略，来最大化产量、降低能耗或最小化故障率。
3.供应链优化：通过优化物流和分配的决策变量，如运输路线、库存水平等，来最小化供应链成本或缩短物流时间。
chap7非线性规划的基本概念和基本原理
某些情况下，非线性规划问题可能存在多个等价的最优解，我们需要进行多解分析和判 断。
3 高维度问题
当变量的维度很大时，非线性规划问题的复杂性会急剧增加，需要高效的算法和技术来 求解。
非线性规划的实际案例分析
生产优化
通过优化生产过程中的各项指 标，提高产能和质量，降低成 本。
投资组合优化
非线性规划的基本概念
目标函数
目标函数是非线性规划中需要最小化或最大化的函数，用于衡量问题的优劣。
约束条件
约束条件是非线性规划中对变量的限制条件，限制了问题的可行解空间。
非线性规划的基本原理
1
牛Байду номын сангаас法
2
牛顿法利用二阶导数信息寻找最优解，
它比梯度法更快，但对初始点的选择要
求较高。
3
梯度法
梯度法是一种基于目标函数的导数信息 进行搜索的优化方法，通过迭代逐步优 化模型。
拟牛顿法
拟牛顿法是一种综合了梯度和牛顿法优 点的求解方法，对高维度问题更具可行 性。
非线性规划的求解方法
• 单纯形法 - 经典的线性规划求解方法 • 内点法 - 用于处理大规模非线性规划问题的方法 • 遗传算法 - 基于生物进化原理的全局优化算法
非线性规划的挑战和困难
1 局部最优解
非线性规划问题往往存在多个局部最优解，需要采用合适的方法来避免陷入局部最优。
chap7非线性规划的基本 概念和基本原理
本节将介绍非线性规划的定义、应用领域，以及其基本概念和基本原理。我 们还将探讨非线性规划的求解方法，并讨论该领域面临的挑战和解决方案， 并提供实际案例分析。
非线性规划的定义和应用领域
非线性规划是一种对目标函数和约束条件是非线性的最优化问题。它在各个领域都有广泛的应用，例如工程设 计、经济决策、资源分配和供应链优化。
非线性规划的基本概念及问题概述
牛顿法在凸优化问题上表现较好，但在非凸问题 上可能陷入局部最优解。
拟牛顿法
01
拟牛顿法是一种改进的牛顿法，通过构造海森矩阵 的近似来降低计算成本。
02
拟牛顿法在每一步迭代中更新搜索方向，并逐渐逼 近最优解。
03
拟牛顿法在处理大规模非线性规划问题时表现较好 ，但仍然需要计算目标函数的二阶导数。
共轭梯度法
共轭梯度法结合了梯度法和牛 顿法的思想，通过迭代更新搜 索方向来寻找最优解。
共轭梯度法的迭代方向是梯度 方向和上一次迭代方向的线性 组合，可以加快收敛速度。
共轭梯度法适用于大规模优化 问题，尤其在约束条件较多或 非凸函数情况下表现较好。
05
非线性规划的挑战与解决方 案
局部最优解问题
局部最优解问题
案例二：生产计划优化问题
总结词
生产计划优化问题旨在通过合理安排生 产计划，降低生产成本并满足市场需求 。
VS
详细描述
生产计划优化问题需要考虑生产过程中的 各种因素，如原材料需求、设备能力、劳 动力成本等。目标函数通常是非线性的， 因为生产成本和产量之间的关系是非线性 的。约束条件可能包括资源限制、交货期 限制等。
例子
最小化成本函数，其中成本是生产量 的函数，生产量受到资源、生产能力 等约束。
最大化问题
最大化目标函数
在给定的约束条件下，找到一组变量 ，使得目标函数达到最大值。
例子
最大化收益函数，其中收益是销售量 的函数，销售量受到市场需求、价格 等约束。
约束条件下的优化问题
01
在满足一系列约束条件下，寻找最优解，使得目标函数达到最 优值。
梯度法适用于目标函数和约束条件比较简单的情况，但对于非凸函数或约束条件复 杂的情况可能不收敛或收敛到局部最优解。
第5章 非线性规划
(水力约束) (水力摩阻系数约束)
KD GC
L (热力约束)
(粘温关系约束)
(工艺要求约束) (管道强度约束)
在目标函数中，f1(TR)、f2(Pd)一般为非线性函数，约束条 件中亦存在不少非线性函数，显然是一个NLP问题。
非线性规划的基本概念和定理
例3：最小二乘问题：该问题大量存在于工业生产和科学 实验的数据处理中。例如原油的粘度可以表示为：
凹函数的几何意义：
对 于 一 元 函 数 f(x) ， 若
函数曲线上任意两点之 间的连线永远不在曲线
的 上 方 ， 则 f(x) 为 凹 函
数(参见右图) 。
非线性规划的基本概念和定理 f(X)
f [X 1 (1 ) X 2 ]
对于二元函数 f(x1,x2)， 若函数曲面上任意两点 之间的连线永远不在曲 面的上方，则f(x1,x2)为 凹函数(参见右图)。
1、一元函数：
①必要条件：f(x)在x*处取得极值的必要条件是f'(x*)＝0；
②充分条件：若f"(x*)＜0，则x*为极大点； 若f"(x*)＞0，则x*为极小点。 2、多元函数： ①必要条件： f(X)在D域内存在极值点X*的必要条件为 * f ( X ) 0 (即f(X)在X*处的所有一阶偏导数等于0)。
非线性规划的基本概念和定理
根据定义，线性函数既是凸函数，又是凹函数。 凸函数的几何意义： 对 于 一 元 函 在曲线的下方， 则 f(x) 为 凸 函 数 ( 参 见 右
图) 。
非线性规划的基本概念和定理 f(X)
f ( X 1 ) (1 ) f ( X 2 )
§5.1 非线性规划的基本概念和定理
一、什么是非线性规划?
非线性规划的相关概念
非线性规划的相关概念引言非线性规划是数学规划领域中的一个重要研究方向，它是线性规划的推广和扩展。
在许多实际问题中，约束条件和目标函数往往是非线性的，因此需要非线性规划方法来解决这些问题。
本文将介绍非线性规划的基本概念和相关理论。
基本概念1. 可行解在非线性规划中，可行解指的是满足约束条件的解。
具体地，给定约束条件和目标函数，如果存在一组解使得所有约束条件都得到满足，那么这组解就是可行解。
非线性规划的目标是找到一个可行解，使得目标函数值最小或最大。
2. 局部极小解和全局极小解在非线性规划中，局部极小解指的是在某个局部范围内，目标函数值最小的可行解。
全局极小解指的是在整个可行域内，目标函数值最小的可行解。
在非线性规划中，寻找全局极小解往往非常困难，因为非线性规划问题一般没有全局最优解的性质。
因此，通常采用近似算法来寻找接近全局极小解的解。
3. 无约束问题和约束问题非线性规划可以分为无约束问题和约束问题。
无约束问题是指在没有约束条件的情况下，找到目标函数的最小值或最大值。
约束问题是指在满足一组约束条件的情况下，找到目标函数的最小值或最大值。
约束问题通常比无约束问题更加复杂，因为需要考虑约束条件的影响。
相关理论1. 梯度下降法梯度下降法是非线性规划中常用的优化方法之一。
基本思想是通过迭代更新解，使得目标函数值逐渐降低。
具体地，梯度下降法使用目标函数的梯度信息来指导搜索方向，并选择适当的步长来更新解。
该方法通常在局部范围内找到局部极小解，并且易于实现。
2. 牛顿法牛顿法是一种经典的非线性优化方法，广泛应用于非线性规划问题的求解。
它利用目标函数和约束条件的一阶和二阶导数信息来更新解。
具体地，牛顿法通过计算目标函数的海森矩阵来确定搜索方向，并选择适当的步长来更新解。
该方法在局部范围内通常能够快速收敛到极小解。
3. 二次规划二次规划是非线性规划中的一种特殊形式，目标函数是二次函数，约束条件是线性条件。
它可以通过求解一组二次方程组来得到最优解。
非线性规划
非线性规划（nonlinear programming）1.非线性规划概念非线性规划是具有非线性约束条件或目标函数的数学规划，是运筹学的一个重要分支。
非线性规划研究一个n元实函数在一组等式或不等式的约束条件下的极值问题，且目标函数和约束条件至少有一个是未知量的非线性函数。
目标函数和约束条件都是线性函数的情形则属于线性规划。
2.非线性规划发展史公元前500年古希腊在讨论建筑美学中就已发现了长方形长与宽的最佳比例为0.618,称为黄金分割比。
其倒数至今在优选法中仍得到广泛应用。
在微积分出现以前，已有许多学者开始研究用数学方法解决最优化问题。
例如阿基米德证明：给定周长，圆所包围的面积为最大。
这就是欧洲古代城堡几乎都建成圆形的原因。
但是最优化方法真正形成为科学方法则在17世纪以后。
17世纪，I.牛顿和G.W.莱布尼茨在他们所创建的微积分中，提出求解具有多个自变量的实值函数的最大值和最小值的方法。
以后又进一步讨论具有未知函数的函数极值，从而形成变分法。
这一时期的最优化方法可以称为古典最优化方法。
最优化方法不同类型的最优化问题可以有不同的最优化方法，即使同一类型的问题也可有多种最优化方法。
反之,某些最优化方法可适用于不同类型的模型。
最优化问题的求解方法一般可以分成解析法、直接法、数值计算法和其他方法。
(1)解析法：这种方法只适用于目标函数和约束条件有明显的解析表达式的情况。
求解方法是：先求出最优的必要条件，得到一组方程或不等式，再求解这组方程或不等式，一般是用求导数的方法或变分法求出必要条件，通过必要条件将问题简化，因此也称间接法。
(2)直接法：当目标函数较为复杂或者不能用变量显函数描述时，无法用解析法求必要条件。
此时可采用直接搜索的方法经过若干次迭代搜索到最优点。
这种方法常常根据经验或通过试验得到所需结果。
对于一维搜索(单变量极值问题)，主要用消去法或多项式插值法；对于多维搜索问题(多变量极值问题)主要应用爬山法。
非线性规划
: 风险系数； ij : 第i种与第j种股票收益的协方差
max f ( x ) j x j xi x j
j 1 i 1 j 1 n n n
n Pj x j B s.t. j 1 x 0 j
2.模型
min f ( X ) hi ( X ) 0, i 1, , m ( NLP ) s.t. g j ( X ) 0, j 1, , l 其中X [ x1 , , xn ]T 记D { X R n | hi ( X ) 0, g j ( X ) 0} 则（NLP）也可以表示为 min f ( X )
X D
其中D称为（NLP）的约束集或可行域。 当D＝R n时，（NLP）称做无约束极值问题； 当D R n时，（NLP）称做约束极值问题。
二 、模型的解及相关概念
1.可行解与最优解
★可行解：约束集D中的X。 ★最优解：如果有 X * D，对于任意的 X D ， 都有 f ( X * ) f ( X ) ，则称 X *为（NLP）的最优 解，也称为全局最小值点。 ★局部最优解：如果对于 X D ，使得在 X 的邻
因此，本模型是凸规划。
计算
说明 f ( X )是凸函数，g1 ( X )、g 2 ( X )、g3 ( X )是凹函数
第二节 无约束极值问题
★一般模型：
min f ( X )
其中X R n
★求解（f(X)可微）：应用极值条件求解，往往得到一个非线
性的方程组，求解十分困难。因此，求 解无约束问题一般 采用迭代法，称为下降类算法。
几何意义： 梯度是过X 0点且与f ( X )在X 0的切平面垂直的向量， 梯度向量的方向是函数值在该点增加最快的方向。
非线性规划基本概念
序列二次规划法原理及步骤
• 原理：序列二次规划法是一种迭代求解非线性规划问题的方法。它在每次迭代中构造一个二次规划子问题，通 过求解该子问题得到原问题的一个近似解，然后利用该近似解的信息构造下一个二次规划子问题，如此循环直 至收敛到最优解。
序列二次规划法原理及步骤
2. 求解二次规划子问题，得到近 似解。
与线性规划不同，非线性规划中的目标函数或约 束条件至少有一个是非线性的。
非线性规划问题通常更加复杂，需要采用特定的 算法和工具进行求解。
非线性规划重要性
01
广泛适用性
非线性规划在各个领域都有广泛 应用，如经济、金融、工程、管 理等。
02
解决复杂问题
03
推动技术进步
非线性规划能够处理涉及复杂非 线性关系的问题，提供更精确的 解决方案。
THANKS
感谢观看
REPORTING
https://
VS
5. 判断终止条件
若满足终止条件，则停止迭代，输出当前 迭代点作为近似最小值点；否则，返回步 骤2继续迭代。
拟牛顿法原理及步骤
原理
1. 初始化
拟牛顿法是一种改进牛顿法的方法， 其基本思想是通过构造一个近似海森 矩阵的逆矩阵来避免直接计算海森矩 阵及其逆矩阵。拟牛顿法利用目标函 数的一阶导数信息来构造一个满足拟 牛顿条件的矩阵来逼近海森矩阵的逆 矩阵，从而在保证收敛速度的同时降 低了计算复杂度。
选择初始点 x0，设置迭代终止条件。 初始化拟牛顿矩阵 B0（或其逆矩阵 H0）。
2. 计算梯度
计算函数在 x0 处的梯度 g0 和 g1。
拟牛顿法原理及步骤
3. 求解搜索方向 通过解线性方程组 Bdp = -gp 或 Hdp = -gp 得到搜索方向 dp。
非线性规划作业
非线性规划作业非线性规划是一种数学优化方法，用于解决包含非线性约束条件的最优化问题。
在这个作业中，我们将探讨非线性规划的基本概念、算法和应用。
一、基本概念1.1 非线性规划问题非线性规划问题是指目标函数或约束条件中至少包含一个非线性函数的最优化问题。
它的一般形式可以表示为：最小化 f(x)约束条件g_i(x) ≤ 0, i = 1,2,...,mh_j(x) = 0, j = 1,2,...,p其中，x = (x_1, x_2,...,x_n) 是决策变量向量，f(x) 是目标函数，g_i(x) 和 h_j(x) 是约束条件。
1.2 凸优化与非凸优化凸优化是指目标函数和约束条件都是凸函数的最优化问题。
非凸优化则是指目标函数或约束条件中至少有一个非凸函数的最优化问题。
凸优化问题具有良好的性质，可以使用全局最优化算法求解；而非凸优化问题更加复杂，可能存在多个局部最优解。
二、算法2.1 一阶优化方法一阶优化方法是指只利用目标函数的一阶导数信息进行优化的方法。
常用的一阶优化方法有梯度下降法、牛顿法和拟牛顿法等。
这些方法通过迭代更新决策变量的值，使目标函数逐渐收敛到最优解。
2.2 二阶优化方法二阶优化方法是指利用目标函数的二阶导数信息进行优化的方法。
其中，牛顿法和拟牛顿法是常用的二阶优化方法。
与一阶优化方法相比，二阶优化方法通常收敛更快，但计算复杂度更高。
2.3 全局优化方法全局优化方法是指能够找到非凸优化问题全局最优解的方法。
常用的全局优化方法包括遗传算法、模拟退火算法和粒子群算法等。
这些方法通过随机搜索和全局探索，寻找最优解的可能性更大。
三、应用非线性规划在实际问题中有广泛的应用。
以下是一些典型的应用领域：3.1 经济学非线性规划在经济学中被广泛应用于生产计划、资源分配、投资组合和市场均衡等问题。
通过优化决策变量，可以使得经济系统的效益最大化。
3.2 工程学在工程学中，非线性规划被用于设计优化、参数估计和控制系统设计等问题。
非线性规划
非线性规划非线性规划(Nonlinear Programming ，简记为NP)研究的对象是非线性函数的数值最优化问题，是运筹学的最重要分支之一，20世纪50年代形成一门学科，其理论和应用发展十分迅猛，随着计算机的发展，非线性规划应用越来越广泛，针对不同的问题提出了特别的算法，到目前为止还没有适合于各种非线性规划问题的一般算法，有待人们进一步研究.§1 非线性规划基本概念一、引例例7.1 一容器由圆锥面和圆柱面围成. 表面积为S ，圆锥部分高为h ，h 和圆柱部分高2x 之比为a ,1x 为圆柱底圆半径.求21,x x 使面积最大.解： 由条件 a x h =2/22121231x x x ax V ππ+=21212222112221x x x x a x x S πππ+++⋅⋅=所以，数学模型为：212)311(max x x a V π+=s.t. S x x x x a x x =+++21212222112πππ0,21≥x x例7.2 某高校学生食堂用餐，拟购三种食品，馒头0.3元/个，肉丸子1元/个，青菜0.6/碗.该学生的一顿饭支出不能够超过5元.问如何花费达到最满意？解： 设该学生买入馒头，肉丸子，青菜的数量分别为321,,x x x ； 个人的满意度函数即为效用函数为321321321),,(aaax x Ax x x x u =.于是数学模型为321321321),,(max aaax x Ax x x x u =s.t.56.03.0321≤++x x x 321,,x x x 为非负整数二、数学模型称如下形式的数学模型为数学规划（Mathematical Programming 简称MP ） )(min x f z = （7.1） （MP ） t s . 0)(≥x g i m i ,,1 = （7.2） 0)(=x h j l j ,,1 = （7.3）其中Tn x x x x ),,,(21 =是n 维欧几里得空间nR 中的向量（点），)(x f 为目标函数，0)(,0)(=≥x h x g j i 为约束条件.称满足约束条件的向量x 为（MP ）问题的一个可行解，全体可行点组成的集合称为可行域.K ={}l j x h mi x g R x j i n,,2,10)(,,2,10)( ===≤∈如果)(),(),(x h x g x f j i 均为线性函数，就是前面所学的线性规划问题(LP).如果至少有一个为非线性函数称为非线性规划问题.由于等式约束0)(=x h j 等价于下列两个不等式约束 0)(,0)(≥-≥x h x h j j 所以(MP)问题又可表示为 )(min x f z =s.t. 0)(≥x g i m i ,,1 = （7.4） 三、数学基础 1、线性代数知识考虑二次型Az z T ，z 为n 维向量正定的二次型：若对于任意0≠z ，有0>Az z T； 半正定的二次型：若对于任意0≠z ，有0≥Az z T ； 负定的二次型：若对于任意0≠z ，有0<Az z T ； 半负定的二次型：若对于任意0≠z ，有0≤Az z T ；不定二次型：0≠∃z ，有0>Az z T，又0≠∃z ，有0<Az z T.二次型Az z T 为正定的充要条件是它的矩阵A 的左上角各阶主子式都大于零. 二次型Az z T 为负定的充要条件是它的矩阵A 的左上角各阶主子式负正相间.2、分析数学知识（1）方向导数和梯度(二维为例)考虑函数),(21x x f Z =，及方向j i lϕϕsin cos +=梯度：Tx f x f j x f i x f x x f ),(),(212121∂∂∂∂=∂∂+∂∂=∇ ； 方向导数：⎪⎪⎭⎫⎝⎛∂∂∂∂=∂∂+∂∂=∂∂ϕϕϕϕsin cos ),(sin cos 2121x f x f x f x f l f )),,(cos(||),(||),(),(21212121l x x gardf x x gardf lx x gardf lx x f T=⋅=⋅∇=考虑等值线00201),(c x x f =上一点),(0201x x 梯度方向 ),(0201x x gardf 即为法线方向n.如果)(x f 二次可微，称⎪⎪⎪⎪⎪⎭⎫⎝⎛=)()()()()()()()()()(212222111211x h x h x h x h x h x h x h x h x h x H nn n n n n为)(x f 在点 x 处的Hesse 矩阵.（2）多元函数泰勒公式：若)(,),(0x f R S x x f u n⊆∈=在点0x 处的某个领域具有二阶连续偏导数，则有x x x f x x x f x f x x f T T∆∆+∇∆+∆∇+=∆+)(21)()()(02000θ 10≤≤θ )||(||)(21)()(||)(||)()(2020000x x x f x x x f x f x x x f x f T TT ∆+∆∇∆+∆∇+=∆+∆∇+=οο 四、最优解的类型定义7.1 (MP)问题的一个可行点*x 被称为整体极小点，如果对于任意的可行点K x ∈，都有不等式)()(*x f x f ≥成立.如果对于任意可行点*,x x K x ≠∈均有)()(*x f x f >，称点*x 是)(x f 的可行解集K上的严格整体极小点.定义7.2 问题(MP)的一个可行点*x 被称为一个局部极小点，如果存在一个正数ε使得对于所有满足关系式ε<-*x x 的可行点x 都有)()(*≥x f x f 成立.如果对任意的可行点K x ∈，*≠x x ，存在一个正数ε使得对于所有满足关系式ε<-*x x 的可行点x 都有)()(*>x f x f 成立.则称*x 是)(x f 在K 上的一个局部严格极小点.显然整体极小点一定是局部极小点，反之不然. 五、凸规划定义7.3 集合K 被称为nR 中的一个凸集，如果对于K 中任意两点21,x x 和任一实数]1,0[∈λ，点K x x ∈-+21)1(λλ.几何解释：当一个集合是凸集时，连接此集合中任意两点的线段也一定包含在此集合内，规定φ空集是凸集.定义7.4 凸函数：)(x f 是凸集K 上的实值函数，如果对于K 中任意两点21,x x 和任意实数]1,0[∈λ有不等式)()1()())1((2121x f x f x x f λλλλ-+≤-+成立.严格凸函数：)(x f 是凸集K 上的实值函数，如果对于K 中任意两点21,x x ，21x x ≠和任意实数)1,0(∈λ，有不等式)()1()())1((2121x f x f x x f λλλλ-+<-+成立.定义7.5 )(x f 是定义在凸集K 上的实值函数，如果)(x f -是K 上凸函数，称)(x f 是凹函数.定理7.1 设)(x f 是凸集K 上的凸函数，则)(x f 在K 中的任一局部极小点都是它的整体极小点.证明： 设*x 是一局部极小点而非整体极小点，则必存在可行点K x ∈(可行域))()(*x f x f <∍.对任一]1,0[∈λ，由于)(x f 的凸性，有 )()()1()())1((***x f x f x f x x f ≤-+≤-+λλλλ当0→λ时，*)1(x x λλ-+与*x 充分接近，与*x 是局部极小矛盾. 证毕. 定义7.6 设有(MP)问题)(min x f kx ∈，若可行域K 是凸集，)(x f 是K 上的凸函数，则称此规划问题为凸规划.定理7.2 凸规划的任一局部极小解为整体极小解. 六、非线性规划问题的求解方法 考虑(MP)问题：lj x h m i x g t s x f j i ,,10)(,,10)(.)(min ===≥ （7.5） 一般来说，MP 问题难以求得整体极小点，只能求得局部极小点.以后我们说求(MP)问题，指的是求局部极小点.1、无约束极小化问题（UMP ） )(min x f nRx ∈ （7.6） 这里)(x f 是定义在n R 上的一个实值函数定理7.3（一阶必要条件）如果)(x f 是可微函数.*x 是上述无约束问题（UMP ）的一个局部极小点或局部极大点的必要条件是：0)(*=∇x f .满足0)(=∇x f 的点称为平稳点或驻点.定理7.4 设)(x f 为定义在n R 上的二阶连续可微函数，如果*x 是)(x f 的一个局部极小点，必有nT Ry y x H y x f ∈∀≥=∇0)(0)(**这里)(*x H 表示)(x f 在*x 处的Hesse 矩阵.证明：nE y ∈∀，根据)(x f 在点*x 处的展开式有)()(21)()(2*2**λολλ++=+y x H y x f y x f T)0)((*=∇x f若0)(,*<∍∈∃y x H y R y T n ，当λ充分小时，有 )()(21|2*2λολ>y x H y T∴有)()(**x f y x f <+λ.这和*x 是)(x f 的极小矛盾.定理7.5 设)(x f 是定义在nR 上的二阶连续可微函数，如果点*x 满足0)(*=∇x f ，而且存在*x 的一个邻域0)(),(,),(*≥∈∀∈∀∍*y x H y x x R y x T n 有 ，则*x 是)(x f 的一个局部极小点.在高等数学中求解极值点方法先求出满足0)(=∇x f 的点及不可导点.在这些点判断)(x f 是否取得极小值.2、等式约束的极小化问题考虑 )(min x fl j x h t s j ,,10)(. == （7.7）定义7.7 如果)(,),(),(21x h x h x h l ∇∇∇ 在点x 处线性无关，则称点x 是此约束条件的一个正则点.Langrange 乘子法：引进拉格朗日函数 ∑=-=lj jj x h u x f u x L 1)()(),(其中Tl u u u u ),,,(21 =被称为拉格朗日乘子向量.定理7.6 设l j x h x f j ,,1),(),( =是连续可微函数，*x 是)(x f 在可行集中的一个局 部极小点.在*x 是正则点的假定下必存在一个拉格朗日乘子向量u ，使得),(*u x 满足方程组)(0)()(*1**==∇-∇∑=x h x h u x f lj j j对等式约束，用拉格朗日乘子法求解出平稳点，判断是否极值点.用上述解析法求解无约束和等式约束极值问题的平稳点，再判断是否为极值点.该方法有一定的局限性：（1）它们要求函数是连续的，可微的，实际问题中不一定满足这一条件； （2）上述求平稳点的方程组求解比较困难，有些解不出来； （3）实际问题中有大量的不等式约束.因此求解非线性规划应有更好的新方法.实际应用中一般用迭代法来求解非线性规划问题，即求近似最优解的方法.3、非线性规划问题的求解方法—迭代法迭代法一般过程为：在(MP)问题的可行域K 内选择初始点0:,0=k x ，确定某一方向k p ，使目标函数)(x f 从k x 出发，沿k p 方向使目标函数值下降，即)0(,>∈+=λλK p x x k ，有)()(0x f x f <，进一步确定kλ，使)(m i n )(0k k k k k p x f p x f λλλ+=+>，令k k k k p x x λ+=+1.如果1+k x 已满足某终止条件，1+k x 为近似最优解.否则，从1+k x 出发找一个方向1+k p ，确定步长1+k λ，使K p x x k k k k ∈+=++++1112λ，有)(min )(1102++>++=k k k p x f x f λλ.如此继续，将得到点列{}kx .显然有 >>>>)()()(1kx f x f x f ,即点列{}kx 相对应的目标函数是一个单调下降的数列.当{}kx 是有穷点列时，希望最后一个点是(MP)问题的某种意义下的最优解.当{}kx 为无穷点列时，它有极限点，其极限点是(MP)的某种意义下的最优解（此时称该方法是收敛的）.迭代法求解(MP)的注意点：该方法构造的点列{}kx ，其极限点应是近似最优解，即该算法必须是收敛的.迭代法一般步骤：①. 选取初始点0x ，0:=k ②. 构造搜索方向kp ③. 根据kp 方向确定k λ ④. 令k k k k p x xλ+=+1⑤. 若1+k x已满足某终止条件，停止迭代，输出近似最优解1+k x.否则令1:+=k k ，转向第②步.计算终止条件在上述迭代中有：若1+k x满足某终止条件则停止计算，输出近似最优解1+k x.这里满足某终止条件即到达某精确度要求.常用的计算终止条件有以下几个：（1）自变量的改变量充分小时，11||||ε<-+k k x x，或21||||||||ε<-+kk k x x x ，停止计算. （2）当函数值的下降量充分小时，31)()(ε<-+k kx f x f ，或41|)(|)()(ε<-+k k k x f x f x f ， 停止计算.（3）在无约束最优化中，当函数梯度的模充分小时51||)(||ε<∇+k x f ，停止计算.迭代法的关键：① 如何构造每一轮的搜索方向kp ② 确定步长k λ关于k λ，前面是以)(min kk p x f λλ+产生的，也有些算法k λ取为一个固定值，这要根据具体问题来确定.关于kp 的选择，在无约束极值问题中只要是使目标函数值下降的方向就可以了，对于约束极值问题则必需为可行下降方向.定义7.8 设0,,:1≠∈→p R x R R f nn，若存在0>δ使),0(δλ∈∀，)()(x f p x f <+λ则称向量p 是函数)(x f 在点x 处的下降方向.定义7.9 设0,,,≠∈∈∈p R p K x R K nn，若存在0>λ使得K p x ∈+λ，称向量p 是点x 处关于K 的可行方向. 若一个向量p 既是目标函数f 在点x 处的下降方向，又是该点处关于可行域K 的可行方向，则称p 为函数f 在点x 处关于区域K 的可行下降方向.根据不同原理产生了不同的kp 和k λ的选择方法，就产生了各种算法. 在以后的讨论中，一维极值的优化问题是讨论求解步长k λ.无约束极值中讨论的最速下降法，共轭方向法，坐标轮换法，牛顿法，变尺度法及有约束极值中讨论的可行方向法都是根据不同的原理选择kp 得到的迭代算法.七、迭代算法的收敛性定义7.10 设有一算法A ，若对任一初始点（可行点），通过A 进行迭代时，或在有限步后停止得到满足要求的点；或得到一个无穷点列，它的任何一个聚点均是满足要求的点，则称此算法A 具有全局收敛性.定义7.11 设（UMP ）问题的目标函数Px Qx x x f T+=21)(，Q 为对称半正定矩阵， 若由算法A 进行迭代时，不论初始点0x 如何选择，必能在有限步后停止迭代，得到所要求的点，则称此算法A 有二次有限终止性.定义7.12 设序列{}kr收敛于*r，定义满足∞<=--≤**+∞−→−βhkk k rr r r 1______lim0的非负数h 的上确界为{}k r 的收敛级.若序列的收敛级为h ，就称序列是h 级收敛的.若1=h 且1<β就称序列是以收敛比β线性收敛的. 若1>h 或1=h 且0=β就称序列是超线性收敛的. 如何判别算法的收敛性和收敛速度问题本书不讨论.本书给出的算法中，最速下降法具有全局收敛性、是线性收敛的；改进牛顿法具有全局收敛性、二次有限终止性、是二阶线性收敛的；变尺度法和共轭方向法具有全局收敛性和二次有限终止性、是超线性收敛的；Zoutenddijk 法不具有全局收敛性、改进的T-V 法具有全局收敛性；制约函数法具有全局收敛性.关于这些算法的收敛性的讨论和证明有兴趣的读者可参考其他文献.§2 一维极值问题的优化方法前面讨论迭代算法时,从kx 出发确定沿k p 方向的步长k λ是这样求解的),(min 0k k p x f λλ+>这里k x ,k p 已知.所以,若记)()(λλg p x f k k =+,则为求解)(min 0λλg >的过程.于是我们考虑如下形式的极值问题.)(min x f bx a ≤≤ (7.8)b a R x ,,1∈为任意实数很显然可应用高等数学中学过的解析法,即令0)('=x f 求出平稳点,但如前面所述如果该方程解不出来,怎么办?可用下述迭代算法—0.618法.定义7.13 )(x f 定义在],[b a 上,若存在点∍∈],[*b a x 当*x y x ≤<,有)()(y f x f >,当*x y x ≥>时,)()(y f x f >,称)(x f 在],[b a 中为单峰函数(单谷函数).显然满足定义要求的点*x 是)(x f 在],[b a 中的极小点.在],[b a 中任选两点21,x x ,且b x x a <<<21,根据)(x f 的单峰性,若)()(21x f x f <,则*x 必然位于],[2x a 内,如果)()(21x f x f >,则*x 必然位于],[1b x 内.如果)()(21x f x f =,则*x 必然位于],[21x x ,记此区间为],[11b a .如此继续,得闭区间套⊃⊃⊃⊃],[],[],[11n n b a b a b a .显然 ,1,0],,[*=∈i b a x i i ，又0→-i i a b .由闭区间套性质, *x 为极小值点.闭区间套的选择方法不同,求得的*x 的快慢及求解过程的计算量是不一样的，有一个常用的方法是0.618法.0.618法： 取],[],[b a =βα① 在],[βα中选取1λ和2λ,)(618.0),(382.021αβαλαβαλ-+=-+=,求出)(1λf 和)(2λf 进入②.② 若)()(21λλf f <,取],[],[2λαβα=,若αλ-2已足够小,停止,否则进入③.若)()(21λλf f >,取],[],[1βλβα=,若1λβ-已足够小,停止,否则进入④. 若)()(21λλf f =,取],[],[21λλβα=,若12λλ-已足够小,停止,否则进入①. ③ 取上一步中的1λ为2λ,显然有)(618.02αβαλ-+=,令)(382.01αβαλ-+=,求出)(1λf ,返回②.④ 取上一步的2λ为1λ,则有)(382.01αβαλ-+=,令)(618.02αβαλ-+=,求出)(2λf 返回②.设初始区间为],[b a ，用0.618法，经过k 次迭代后],[βα的长度ka b 618.1)(-=-αβ，只要k 充分大αβ-可以小于任何给定的正数.例7.3 用0.618法求解λλλ2)(min 2+=f单峰区间为[-3，5]，2.0=ε解：[α，β]=[-3，5]1λ=-3+0.382×8=0.056 )(1λf =0.1152λ=-3+0.618×8=1.944 )(2λf =7.667由于)(1λf <)(2λf 所以新的不定区间为[α，β] =[-3，1.944] 由于β-α=4.944>0.22λ:=1λ=0.056 )(2λf :=)(1λf =0.115 1λ=-3+0.382×4.944=-1.112 )(1λf =-0.987如此反复得下表7-1：在进行8次迭代后,2.0112.1936.0<+-=-αβ取中间值024.1*-=λ或032.12-=λ作为近似最优解.显然真正极小点是-1.0.一维收索方法很多，如函数逼近法、牛顿法等可参考其他文献.§3 无约束极值的优化方法考虑无约束最优化问题（UMP ）)(min x f nR x ∈ (7.9) 前面已经讨论过,求解此无约束优化问题,可以求出平稳点及不可导点的方法.令0)(*=∇x f ,求出平稳点.如果)(*2x f ∇是正定的,则*x 是UMP 的严格局部最优解.若)(x f 在n R 上是凸函数,则是整体最优解.在求解0)(*=∇x f 这n 维方程组比较困难时，就用最优化算法——迭代法.本节将介绍最速下降法,牛顿法,共轭方向法,坐标轮换法,变尺度法.这些算法就是用不同的方法来选择搜索方向k p 而得到的.当然kp 必须是下降方向.定理7.7 设R R f n→:，在点x 处可微,若存在nR p ∈,使0)(<∇p x f T,则向量p是f 在x 处的下降方向.证明:)(x f 可微(在x 处)，由泰勒展开式,有 ||)(||)()()(p p x f x f p x f Tλολλ+∇+=+ ,0,0)(><∇λp x f T0)(<∇∴p x f Tλ），（当δλδ0∈∃∴时,有0||)(||)(<+∇p p x f Tλολ),0()()(δλλ∈∀<+∴x f p x fp ∴是)(x f 在点x 的下降方向. 证毕.一、最速下降法最速下降法又称梯度法,选择负梯度方向作为目标函数值下降的方向,是比较古老的一种算法，其它的方法是它的变形或受它的启发而得到的，因此它是最优化方法的基础. 基本思想:迭代法求解无约束最优化(5.9)问题的关键是求下降方向kp .显然最容易想到的是使目标函数值下降速度最快的方向.从当前点kx 出发,什么方向是使)(x f 下降速度最快呢? 由泰勒展开知:||)(||)()()(k k T k k k k p p x f p x f x f λολλ+∇-=+-略去λ的高阶无穷小项,取)(kkx f p -∇=时,函数值下降最多.而)(kx f ∇为)(x f 在kx 处的梯度，所以下降方向kp 取为负梯度方向时,目标函数值下降最快.最速下降法:①. 取初始点0x ,允许误差0>ε,令0:=k ②. 计算)(kkx f p -∇=③. 若ε<||||k p ,停止，点k x 为近似最优解.否则进入④.④. 求 k λ,使)(min )(0kk k k k p x f p x f λλλ+=+≥ ⑤. 令kk k k p x xλ+=+1，1:+=k k ，返回②例7.4 用最速下降法求解下列无约束优化问题1222121225),(m in x x x x x f -+=取初始点Tx )2,2(0= 终止误差 610-=ε解：很显然，该问题的整体最优解为Tx )0,1(*=⎪⎪⎭⎫⎝⎛-=∇215022)(x x x f ，令0,10)(21==⇒=∇x x x f易验证)(*2x f ∇是正定的， ∴是整体最优解. 下面用最速下降法求解T T x x x f x f x f )50,22(),()(2121-=∂∂∂∂=∇ T x )2,2(0=T x f )100,2()(0=∇∴取Tp )100,2(0-=由⎪⎪⎭⎫⎝⎛--=⎪⎪⎭⎫ ⎝⎛--+⎪⎪⎭⎫ ⎝⎛=+λλλλ10022210022200p x4)22(2)1002(25)22()(2200+---+-=+λλλλp x f得0)1002(5000)22(4=----=λλλd df020007679.0500008100080==⇒λ⎪⎪⎭⎫⎝⎛-=⎪⎪⎭⎫ ⎝⎛--+⎪⎪⎭⎫ ⎝⎛=+=0007679.0959984642.11002020007679.0220001p x x λ重复上述过程得 Tx )01824717.0,009122542.1(2=789850288.0)(,078282.0)(,100)(21-=-==x f x f x f图7-1从图7-1可知，{}kx 随着迭代次数的增加，越来越接近与最优解)0,1(，同时也看到，随着迭代次数的增加，收敛速度越来越慢.极小点附近沿着一种锯齿形前进，即产生“拉锯”现象：{}kx沿相互正交的方向小步拐进，趋于最优解的过程非常缓慢.这种现象怎样解释？如何克服？在求k λ时，由于)()(kkp x f λλϕ+=，求导得0)('=λϕ，k λ是)(λϕ的极小点.故有0)()('=⋅+∇=k T k k k k p p x f λλϕ，即0)(=⋅+∇kk k k p p x f λ，又)(11++-∇=k k x f p，即0)(1=⋅+k T k p p 或0)()(1=∇⋅∇+k T k x f x f .也就是最速下降法相邻两个搜索方向是彼此正交的.因此最速下降法是局部下降最快，但不一定是整体下降最快的.在实际应用中一般开始几步用最速下降法，后来用下面介绍的牛顿法.这样两个算法结合起来，求解速度较快.二、牛顿法 基本思想：考虑无约束优化问题(5.9))(min x f nRx ∈ 由前面的讨论知，若能解出方程组0)(=∇x f ，求出平稳点*x ，则可验证*x 是否为极值点.由于0)(=∇x f 难以求解.如果)(x f 具有连续的二阶偏导数,则考虑用)(x f 在点*x 二阶泰勒展开式条件替代)(x f ∇，即由22||)(||))(()(21)()()()(k k k T k k T k k x x x x x f x x x x x f x f x f -+-∇-+-∇+=ο))(()(21)()()()()(2kk T k k T k k x x x f x x x x x f x f x g x f -∇-+-∇+=≈⇒令0))(()()()(2=-∇+∇=∇≈∇kk k x x x f x f x g x f)())((121k k k k x f x f x x ∇∇-=⇒-+即从kx 出发，搜索方向为)())((12kkkx f x f p ∇∇-=-，步长恒为1，得到下一个迭代点1+k x.牛顿法：①． 选取初始点0,0=：k x ，精度0>ε ②． 计算)(kx f ∇，如果ε≤∇||)(||kx f ，计算终止.否则计算)(2kx f ∇，求出搜索方向)())((12kk k x f x f p ∇∇-=-. ③． 令1:,1+=+=+k k p x x k k k ，返回②.例7.5 考虑无约束问题22122214)(m in x x x x x f -+=试分别取初始点（1）T x )1,1(0=，（2）T x )4,3(0=（3）Tx )0,2(0=，取精度要求310-=ε，用牛顿法求解.解：⎪⎪⎭⎫ ⎝⎛--=∇212211228)(x x x x x x f ⎪⎪⎭⎫⎝⎛---=∇22228)(1122x x x x f (1) 取Tx )1,1(0=有Tx f )1,6()(0=∇ ε>=∇0828.6||)(||0x f⎪⎪⎭⎫⎝⎛--=∇2226)(02x fT x f x f p )2500.2,7500.1()())((01020--=∇⋅∇-=-Tp x x )2500.1,7500.0(01--=+= 重复计算结果得表7-2.ε<=0||)(||4x f T x )0,0(4=∴为近似最优解.实际上，该问题最优解为**)0,0(=x(2) 取Tx )4,3(0=,同上计算,得TT x x x )4,8284.2(,)4,8333.2(),4,3(21===有ε<=∇=∇=∇0||)(||,1667.0||)(||,1||)(||210x f x f x f ，这一迭代结果收敛到)(x f 的鞍点T)4,22(.(3) 取Tx )0,2(0=T x f )4,16()(0-=∇ ⎪⎪⎭⎫⎝⎛--=∇2448)(02x f0)(02=∇x f , 即)(02x f ∇不可逆，所以无法求得点1x .牛顿法的主要缺点:（1） 该法的某次迭代反而使目标函数值增大(见上例).（2） 初始点0x 距极小点*x 较远时,产生的点列{}kx可能不收敛,还会出现)(*2x f ∇的奇异情况.（3） )(*2x f ∇的逆矩阵计算量大. 牛顿迭代法的主要优点:当目标函数)(x f 满足一定条件,初始点0x 充分接近极小点*x 时,由牛顿法产生的点列{}kx 不仅能够收敛到*x,而且收敛速度非常快.实际应用中常将最速下降法和牛顿法结合起来使用.牛顿法的改进:上面介绍的牛顿法中,kx 处的搜索方向为)())((12kkkx f x f p ∇∇-=-,步长恒为 1.若通过一维搜索来取最优步长k λ,可防止在迭代中步长恒为1时标目标函数值增大的可能. 改进的牛顿法:①. 取初始点nR x ∈0,允许误差0:,0=>k ε.②. 检验是否满足ε<∇||)(||kx f ,若是,迭代停止,得到k x 为近似最优解.否则进入③.③. 令)())((12kk k x f x f p ∇∇-=-.④. 求k λ,使)()(min kk k k k p x f p x f λλλ+=+. ⑤. 令k k k k p x x λ+=+1,令1+=k k ：转②.三、坐标轮换法既然求解非线性规划问题的迭代法是给出初始点0x ,求出一个方向kp ,根据kp 确定步长k λ,使k k k k p x xλ+=+1，如果1+k x 满足某精度要求则停止，否则继续找方向1+k p .显然构造出搜索方向有一定的困难，能否按既定的搜索方向寻找最优解,省去找搜索方向kp 呢?在最速下降法中我们看到相邻两个搜索方向kp 和1+k p是正交的.我们知道在n 维欧氏空间中坐标轴向量n εεε,,,21 是正交的，可否选坐标轴向量为搜索方向kp 为呢?回答是肯定的，这样我们得到了坐标轮换法.基本思想:从1x 出发,取11ε=p ,沿1p 进行一维搜索得到1112p x x λ+=.若2x 满足精度要求,则停止.否则取22ε=p ,2223p x x λ+=.如此继续,, 取n n n n n n p x x p λε+==+1,，若1+n x 满足精度要求,则停止.否则令11ε=+n p ,1112+++++=n n n n p x x λ,如此反复连续,可以求出近似最优解.坐标轮换法的缺点是收敛速度较慢,搜索效率较低,但基本思想简单,沿坐标轴的方向进行搜索.四、共轭方向法和共轭梯度法共轭方向法是一类方法的总称,它原来是为求解目标函数为二次函数的问题而设计的.这类方法的特点是:方法中的搜索方向是与二次函数的系数矩阵Q 有关的所谓共轭方向，用这类方法求解n 元二次函数的极小化问题最多进行n 次一维搜索便可以得到极小点.由于可微的非二次函数在极小点附近的性态近似于二次函数,因此这类方法也用于求可微的非二次函数的UMP 问题.定义7.14 设Q 为n n ⨯对称正定矩阵,如果0=Qy x T称n 维向量x 和y 关于Q 共轭.定义7.15 设k p p p ,,,21 为nR 中一组向量, Q 是一个n n ⨯对称正定矩阵.如果k j i j i Qp p Qp p i T i j T i ,,2,1,,,0,0 =≠≠=,称k p p p ,,,21 为Q 共轭向量组,也称它们为一组Q 共轭方向.当E Q =(单位矩阵)时,为正交方向.定理7.8 若k p p p ,,,21 为矩阵Q 共轭向量组,则它们必线性无关. 证明: 若存在k l l l ,,,21 ,使011=++k k p l p l ,则对任一k j ,,2,1 =,由 0)(11===∑∑==j T j j ki j T j iki iiT jQp p l Qp pl p l Q p又0>j Tj Qp p , 0=∴j l∴ k p p p ,,,21 线性无关. 证毕.由高等代数知识可知, Q 共轭向量组中最多包含n 个向量, n 是向量的维数.反之,可以证明,由n 维空间的任一组基出发可以构造出一组Q 共轭方向11,,,-n pp p .前面我们已经讲述了坐标轮换法，在n 维欧几里德空间中, n εεε,,,21 是一组线性无关的正交向量.从0x 出发,依次使用n εεε,,,21 作为下降方向进行一维精确搜索来确定n x x x ,,,21 ,重复进行得点列{}k x ,最终求得满足精度要求的最优解.刚才我们引进了共轭向量组11,,,-n p p p ,又证明了它们的线性无关性,那么是否可以用这共轭向量组像坐标轮换法一样,从0x 出发依次用11,,,-n pp p 作为下降方向来确定{}kx,最终求得近似最优解?回答是肯定的.这个方法称为共轭方向法.共轭方向法适合任何可微凸函数,且对于二次函数极值)(min x f x p Qx x T T+=21特 别有效.下面的定理告诉我们用共轭方向法求解二次函数的极值，经过n 次迭代就能求得最优解.定理7.9 设Q 为n n ⨯对称正定矩阵,函数x p Qx x x f T T+=21)(,又设 110,,,-n p p p 为一组Q 共轭向量组,且每个i p 是(下面形成的)i x 点处的下降方向.则由任一点0x 出发,按如下迭代至多n 步后收敛,k k k k p x xλ+=+1,这里k λ满足)(m i n )(0k k k k k p x f p x f λλλ+=+>.证明: 欲证至多n 步收敛,即证0)(=∇nx f .下证)(nx f ∇和11,,,-n pp p 正交.p Qx x f +=∇)( p Qx x f kk+=∇∴)( p p x Q p Qx xf k k k k k ++=+=∇++)()(11λkk k k k k Qp x f p Qp Qx λλ+∇=++=)( =+∇=∇---111)()(n n n n Qpx f x f λ 11111)(--++++++∇=n n k k k Qp Qp xf λλQ p Q p x f x f Tn n T k k T k T n )()()()(11111--++++++∇=∇λλkT n n k T k k k T k k T n Qp p Qp p p x f p x f )()()()(11111--++++++∇=∇λλ000+++= )2,,2,1,0(-=n k 又0)(1=∇-n Tn px f0)(=∇∴kT n p x f )1,,1,0(-=n k)(nx f ∇∴和11,,,-n pp p 正交， 又110,,,-n pp p 线性无关.0)(=∇∴nx fnx ∴是问题的最优解. 证毕. 共轭方向法具有二次有限终止性. 由于共轭方向组11,,,-n p p p 的取法有很大的随意性,用不同方式产生一组共轭方向就得到不同的共轭方向法.如果利用迭代点处的负梯度向量为基础产生一组共轭方向,这样的方法叫共轭梯度法.下面对二次函数讨论形成Q 共轭梯度方向的一般方法,然后引到求解无约束化问题上.任取初始点n R x ∈0,若0)(0≠∇x f ,取)(0x f p -∇=,从0x 点沿方向0p 进行一维搜索 ,求得0λ.令0001p x x λ+=,若0)(1=∇x f ,则已获得最优解1*x x =.否则，取0011)(p x f p υ+-∇=,其中0υ的选择要使1p 和0p 关于Q 共轭，由0)(01=Qp p T ,得0100)()()(Qp p x f Q p T T ∇=υ一般地,若已获得Q 共轭方向kp p p ,,,1和依次沿它们进行一维搜索的得到的点列110,,,+k x x x ,若0)(1=∇+k x f ,则最优解为1*+=k x x ,否则∑=+++-∇=ki i i k k p xf p011)(α为使1+k p 和11,,,-k pp p 是共轭,可证0110====-k ααα所以有 k k k k p x f pυ+-∇=++)(11又1+k p和kp 是Q 共轭的.有0)(1=+k Tk Qp p，得kT k k T k k Qpp x f Q p )()()(1+∇=υ 2,,2,1,0-=n k 进一步可得k υ221||)(||||)(||k k x f x f ∇∇=+ 2,,1,0-=n k综合起来得 Fletcher-Reeves 公式2)21110||(||||)(||)()(k k k k k k k x f x f p x f px f p ∇∇=+-∇=-∇=+++υυ 2,,2,1,0-=n k （7.10）共轭梯度法： ①． 选取初始点0x ，给定终止误差0>ε. ②． 计算)(0x f ∇，若ε≤∇||)(||0x f ,停止迭代，输出0x .否则进行③.③． 取)(0x f p -∇=，令0:=k④． 求k λ，)(min )(0kkkk kp x f p x f λλλ+=+≥，令k k k k p x xλ+=+1⑤． 计算)(1+∇k xf ，若ε≤∇+||)(||1k x f ，停止迭代，1*+=k x x 为最优解.否则转⑥.⑥． 若n k =+1，令nx x =:0，转③(已经完成一组共轭方向的迭代,进入下一轮)否则转⑦ ⑦． 取kk k k p xf pυ+-∇=++)(11,其中221||)(||||)(||k k k x f x f ∇∇=+υ,令1:+=k k ,转④当)(x f 是二次函数时上述共轭梯度法至多进行n 步可求得最优解.当)(x f 不是二次函数,共轭梯度法也可以构造11,,,-n p p p ,但已不具有有限步收敛的性质，于是和坐标轮换法一样经过一轮迭代后,采用重新开始的技巧.上述共轭梯度法就是带有再开始技巧的F-R 法.例7.6 用F-R 法求下面问题 2212121252),(m in x x x x x f +-=取初始点T x )2,2(0=,终止误差为610-=ε解:在例7.4中已得Tx f p )100,2()(0-=-∇= Tx )0007679.0,959984642.1(1-= Tx f )038395.0,919969284.1()(1-=∇000368628.010004687756228.3||)(||||)(||20210==∇∇=x f x f υ ⎪⎪⎭⎫ ⎝⎛-=⎪⎪⎭⎫ ⎝⎛--+⎪⎪⎭⎫ ⎝⎛-=+-∇=0015322.092070654.11002000368628.0038395.0919969284.1)(0011p x f p υ⎪⎪⎭⎫ ⎝⎛+--=+0015322.00007679.092070654.1959984642.111λλλp x0378228399.7687703443.3)(11=+-=+λλλd p x df499808794.01=∴λ⎪⎪⎭⎫ ⎝⎛≈⎪⎪⎭⎫ ⎝⎛-=⎪⎪⎭⎫⎝⎛⨯+--⨯+=+=010********.0999998622.00015322.0499808794.00007679.0)92070654.1(499808794.0959984642.11112p x x λε<=∇0||)(||2x f , ∴最优解⎪⎪⎭⎫⎝⎛==012*x x .五、变尺度法当初始点为)(x f 的其极值点附近时牛顿法收敛速度很快，但缺点是需计算)(2kx f ∇的逆矩阵，在实际问题中目标函数往往相当复杂，计算二阶导数的工作量或者太大或者不可能，在x 的维数很高时，计算逆矩阵也相当费事.如果能设法构造另一个矩阵kH ，用它来逼近二阶导数矩阵的逆矩阵12))((-∇kx f 则可避免上述问题.下面就来研究如何构造12))((-∇kx f 的近似矩阵kH .我们希望：每一步都能以现有的信息来确定下一个搜索方向，每做一次迭代，目标函数值均有所下降，这些近似矩阵最后应收敛于最优解处的海赛矩阵的逆矩阵12))((-∇kx f .p Qx x f xp Qx x x f T T+=∇+=)(21)(考虑于是 )]()([)()()(11111k k k k k k k k x f x f Q x x x x Q x f xf ∇-∇=-⇒-=∇-∇+-+++当)(x f 是非二次函数时，令)]()([111k k k k k x f x f H x x ∇-∇=-+++ （7.11）称为拟牛顿条件.显然，我们构造出来的近似矩阵k H 必须满足上述拟牛顿条件及递推性：k k k H H H ∆+=+1，这里k H ∆称为矫正矩阵.记 k k k kk k x x x x f x f G -=∆∇-∇=∆++11)()( 有 kk k k k k G H H G H x ∆∆+=∆=∆+)(1 .变尺度法即DEP 法是由Davidon 首先提出，后来又被Fletcher 和Powell 改进的算法.记kk T k kT k k k k T k T k k k k kk T k kT k k k k T k T k k kG H G HG G H x G x x H H G H G H G G H x G x x H ∆∆∆∆-∆∆∆∆+=∆∆∆∆-∆∆∆∆=∆+)()()()()()()()(1 （7.12）容易验证1+k H 满足拟牛顿条件，称上式为DEP 公式.变尺度方法计算步骤：（１） 给出初始点nR x ∈0，允许误差0>ε.（２） 若ε<∇||)(||0x f ，停止，0x 为近似最优解；否则转下一步.（３） 取I H =0（单位矩阵），0=：k . （４） )(kk k x f H p ∇-=（５） 求k λ，使)(min )(0kk k k k p x f p x f λλλ+=+≥. （６） 令kk k k p x xλ+=+1（７） 若ε<∇+||)(||1k xf ，1+k x 为最优解，停止；否则当1-=n k 时，令n x x =：0转（３）.（即迭代一轮n 次仍没求得最优解，以新的0x 为起点重新开始一轮新的迭代）.k k k k k kx x x x f xf G n k -=∆∇-∇=∆-<++11),()(1时，令当.计算kk T k kT k k k k T k T k k kk G H G H G G H x G x x H H∆∆∆∆-∆∆∆∆+=+)()()()(1，令1+=k k ：，转（４）. §4 约束极值的最优化方法考虑(MP)问题：0)(0)(..)(min =≥x H x g t s x f （7.13）其中Tl T m x h x h x h x g x g x g ))(,),(()(,))(,),(()(11 ==是向量函数.显然 0)(0)(0)(≥-≥⇔=x h x h x h ， 于是（MP ）问题可以写为：Tm x g x g x g x g t s x f ))(,),(()(0)(..)(min 1 =≥ （7.14）一、积极约束设0x 是（MP ）问题（5.14）的一个可行解.对0)(0≥x g i 来说，在点0x 有两种情况：或者0)(0>x g i ，或者0)(0=x g i .0)(0>x g i 时，则0x 不在0)(0=x g i 形成的边界上，称这一约束为0x 的非积极约束；0)(0=x g i 时，0x 处于由0)(0≥x g i 这个约束条件形成的可行域边界上，当0x 有变化时就不满足0)(0=x g i 的条件，所以称为积极约束，记为：{}()|()0,1i I x i g x i m ==≤≤.定义7.16 设x 满足约束条件0)(0≥x g i ),,1(m i =，0)(|{)(==x g i x I i ，}m i ≤≤1，如果)(x g i ∇，)(x I i ∈线性无关，则称点x 是约束条件的一个正则点.二、可行方向、下降方向的代数条件前面我们已经给出可行方向和下降方向的定义，下面给出其代数条件.可行方向：设K 是（MP ）问题（5.14）的可行域，K x ∈,0,≠∈p R p n.若存在00>λ使得],0[0λλ∈时有K p x ∈+λ，称p 为x 点处的一个可行方向.由泰勒公式：||)(||)()()(p p x g x g p x g T i i i λολλ+∇+=+当x 为)(x g i 的积极约束时，有0)(=x g i .只要0>λ足够小，)(p x g i λ+和p x g T i )(∇λ同号，于是当0)(>∇p x g T i 时有0)(≥+p x g i λ )(x I i ∈.当x 为)(x g i 的非积极约束时，有0)(>x g i .由)(x g i 的连续性，当0>λ足够小时，由保号性知 0)(≥+p x g i λ )(x I i ∉.所以只要 0)(>∇p x g T i ，)(x I i ∈就可保证0)(≥+p x g i λ，于是p 为x 点处的一个可行方向.称0)(>∇p x g T i ，)(x I i ∈ 为p 在点x 处是可行方向的代数条件.下降方向：设K 是（MP ）问题的可行域，K x ∈,0,≠∈p R p n.若存在00>λ使得],0[0λλ∈时，有)()(x f p x f <+λ，称p 为x 点处的一个下降方向.由泰勒公式：||)(||)()()(p p x f x f p x f Tλολλ+∇+=+.当λ足够小时，只要0)(<∇p x f T，有)()(x f p x f <+λ. 称0)(<∇p x f T为p 在x 点处的一个下降方向的代数条件.三、可行下降方向设K 为（MP ）问题（5.14）的可行域，K x ∈，若存在0,≠∈p R p n，p 既是x 点处的下降方向又是可行方向，则称p 为点x 处的可行下降方向.定理7.10 考虑非线性规划问题（5.14），K x ∈，),,1)()(m i x g x f i =（和在x点处可微，若*x 是局部极小点，则x 点处必不存在可行下降方向，即不存在p 同时满足：⎪⎩⎪⎨⎧∈>∇<∇)(0)(0)(x I i p x g p x f Ti T证明：反证法，设局部极小点x 处存在可行下降方向p ，于是1λ∃，当],0[1λλ∈时有)()(x f p x f <+λ，又p 为可行方向．2λ∃∴当],0[2λλ∈时K p x ∈+λ，这与x 是。
数学中的非线性规划与凸优化
数学中的非线性规划与凸优化数学广泛应用于各个领域，其中非线性规划和凸优化是数学中重要且常见的概念。
非线性规划是指在给定的约束条件下，寻找一个目标函数的最优解；而凸优化是指在给定的凸约束条件下，寻找一个凸函数的最优解。
本文将分别介绍非线性规划和凸优化的基本概念、求解方法和应用领域。
一、非线性规划非线性规划是求解非线性优化问题的数学方法。
与线性规划相比，非线性规划没有线性约束条件，目标函数和约束条件都是非线性的。
非线性规划在实际问题中的应用非常广泛，比如工程设计、金融投资和生产优化等领域。
1.1 基本概念非线性规划问题可以用如下形式表示：$$\begin{align*}\text{minimize} \quad & f(\mathbf{x}) \\\text{subject to} \quad & g_i(\mathbf{x}) \leq 0, \quad i = 1,2,\ldots,m \\ & h_j(\mathbf{x}) = 0, \quad j = 1,2,\ldots,p \\\end{align*}$$其中，$f(\mathbf{x})$是目标函数，$\mathbf{x} \in\mathbb{R}^n$是优化变量，$g_i(\mathbf{x}) \leq 0$和$h_j(\mathbf{x}) = 0$是约束条件。
1.2 求解方法求解非线性规划问题的方法有很多，常用的方法包括梯度下降法、牛顿法和拟牛顿法等。
这些方法都是通过迭代的方式，逐步优化目标函数，直到找到最优解或接近最优解。
1.2.1 梯度下降法梯度下降法是一种常用的求解非线性规划问题的方法。
它通过不断沿着负梯度方向更新优化变量，逐步接近最优解。
具体步骤如下：（1）初始化优化变量$\mathbf{x}^{(0)}$和学习率$\alpha$；（2）计算目标函数$f(\mathbf{x}^{(k)})$的梯度$\nablaf(\mathbf{x}^{(k)})$；（3）更新优化变量：$\mathbf{x}^{(k+1)} = \mathbf{x}^{(k)} -\alpha \nabla f(\mathbf{x}^{(k)})$；（4）重复步骤（2）和（3），直到满足终止条件。
非线性规划PPT演示文稿
RUC, Information School, Ye Xiang
RUC, Information School, Ye Xiang
求总风险（方差）的一种简便方法
第7章 非线性规划
由于目标函数“总风险（方差）”的公式是非线性的，也 复杂，希望找到一种不容易出错且简便的办法
构造协方差矩阵（方差、协方差）
总风险（方差）=
❖
SUMPRODUCT（MMULT（投资组合,协方差矩阵）,投资
第7章 非线性规划
这种方法是将3.2节的成本收益平衡问题非 线性化。在这种情况下，成本是与投资有关 的风险，收益是投资组合的预期回报。
因此，该模型的一般表达形式为：
最小化 风险
约束条件 预期回报≥最低可接受水平
这个模型关注投资组合的风险和预期收益 之间的平衡。
RUC, Information School, Ye Xiang
例7.1 给定一根长度为400米
的绳子，用来围成一块矩形菜 地，问长和宽各为多少，使菜 地的面积最大？ 解：这是一个小学数学问题， 现在把它当作一个规划问题来 求解。
RUC, Information School, Ye Xiang
7.1 非线性规划基本概念 第7章 非线性规划
(1) 决策变量
7.2.2 运用非线性规划优化 有价证券投资组合
第7章 非线性规划
投资组合优化，就是确定投资项目中的一 组最优投资比例。这里所说的“最优”，可 以是在一定风险水平下使得投资回报最大， 也可以是在一定的投资回报水平下使得风险 最小。
第3-5章 非线性规划
第3章 非线性规划基本知识3.1 非线性规划分类及举例前面两章，我们论述了线性规划及其扩展问题，这些问题的约束条件和目标函数都是关于决策变量的线性函数。
虽然大量的实际问题可以简化为线性规划及其扩展问题来求解，但是还有相当多的问题很难用线性函数加以描述。
如果目标函数或约束条件中包含有非线性函数，称为非线性规划问题。
非线性规划自20世纪70年代以来飞速发展；目前，已成为运筹学的一个重要分支，在管理科学、最优设计、系统控制等许多领域得到了广泛的应用。
非线性规划问题的求解要比线性规划问题的求解困难得多；而且也不象线性规划问题那样具有一种通用的求解方法（单纯形法）。
非线性规划没有能够适应所有问题的一般求解方法，各种方法都只能在其特定的范围内发挥作用。
本章主要内容：非线性规划基本概念，一维搜索。
3.1.1 非线性规划模型例3-1 （投资决策问题）某企业有n 个项目可供选择投资，并且至少要对其中一个项目投资。
已知该企业拥有总资金A 元，投资于第),,1(n i i =个项目需花资金i a 元，并预计可收益i b 元。
试选择最佳投资方案。
解 设投资决策变量为 ⎩⎨⎧=个项目不投资第，个项目投资第i 0i ,1x i ，n i ,,1 =，则投资总额为∑=ni ii xa 1，投资总收益为∑=ni ii xb 1。
因为该公司至少要对一个项目投资，并且总的投资金额不能超过总资金A ，故有限制条件 ∑=≤<ni ii A xa 1另外，由于),,1(n i x i =只取值0或1，所以还有 .,,1,0)1(n i x x i i ==-最佳投资方案应是投资额最小而总收益最大的方案，所以这个最佳投资决策问题归结为总资金以及决策变量（取0或1）的限制条件下，极大化总收益和总投资之比。
因此，其数学模型为：∑∑===ni ii ni ii xa xb Q 11maxs.t. ∑=≤<ni ii A xa 1.,,1,0)1(n i x x i i ==-例3-2 在层次分析（Analytic Hierarchy Process , 简记为 AHP ）中，为了进行多属性的综合评价，需要确定每个属性的相对重要性，即它们各自的权重。
第9章：非线性规划
x1 + 2 x 2 ≤ 10 x1 , x 2 ≥ 0
能源 产量y 产量
ห้องสมุดไป่ตู้
生产资料1 生产资料 (x1) 1
生产资料2 生产资料 (x2) 2
能源 限量 10
1
某厂生产两种产品，第一种产品每件售价30 30元 第二种产品每件售价450 例9-2 某厂生产两种产品，第一种产品每件售价30元，第二种产品每件售价450 分别为第一、二种产品的数量，据统计， 元。设x1与x2分别为第一、二种产品的数量，据统计，生产第一种产品所需工作 时间平均为0.5小时，生产第二种产品所需工作时间平均为(2+0.25x 小时。 0.5小时 时间平均为0.5小时，生产第二种产品所需工作时间平均为(2+0.25x2)小时。已 知该工厂在这段时间内允许的总工作时间为800小时， 800小时 知该工厂在这段时间内允许的总工作时间为800小时，试确定使总收入最大的生 产计划？ 产计划？ 解: Max y = 30 x 1 + 450 x 2
f(x) f(x) f(x)
o
a0
X* x2 x1 b0
x
o
a0 x2 x1 X*
b0
x
o
a0 x2
X*
x1 b0
x
x1,x2 在x*的右侧
x1,x2 在x*的左侧
x1,x2 在x*的两侧
均在x 的右侧， 去掉[x 此时x ① x1,x2 均在x*的右侧，f(x2)＜f(x1)，去掉[x1,b0]，此时x*∈[a0,x1] 均在x 的左侧， 去掉[a 此时x ② x1,x2 均在x*的左侧，f(x2)＞f(x1)，去掉[a0,x2]，此时x*∈[x2,b0] 均在x 的两侧， ③ x1,x2 均在x*的两侧，f(x2)＝f(x1)： 去掉[x 此时x a.去掉[x1,b0]，此时x*∈[a0,x1] 去掉[a 此时x b.去掉[a0,x2]，此时x*∈[x2,b0] 8
非线性规划作业
非线性规划作业非线性规划是数学中的一个重要分支，它研究的是含有非线性约束条件的优化问题。
在实际应用中，非线性规划经常用于解决各种复杂的实际问题，如经济学、工程学、管理学等领域。
本文将详细介绍非线性规划的基本概念、求解方法以及实际应用。
一、非线性规划的基本概念非线性规划是指目标函数和约束条件中至少存在一个是非线性的优化问题。
它的一般形式可以表示为：最小化（或最大化）目标函数 f(x)约束条件g(x) ≤ 0h(x) = 0其中，x 是决策变量，f(x) 是目标函数，g(x) 和 h(x) 是约束条件。
二、非线性规划的求解方法1. 无约束问题的求解方法对于无约束的非线性规划问题，可以使用以下方法进行求解：（1）梯度法：通过计算目标函数的梯度来确定搜索方向，从而逐步逼近最优解。
（2）牛顿法：通过计算目标函数的一阶导数和二阶导数来确定搜索方向，从而更快地逼近最优解。
（3）拟牛顿法：通过逼近目标函数的梯度和海森矩阵来确定搜索方向，从而更快地逼近最优解。
2. 有约束问题的求解方法对于有约束的非线性规划问题，可以使用以下方法进行求解：（1）拉格朗日乘子法：通过构建拉格朗日函数，将带约束的优化问题转化为无约束的优化问题，然后使用无约束问题的求解方法进行求解。
（2）KKT 条件法：通过构建 KKT 条件，将带约束的优化问题转化为无约束的优化问题，然后使用无约束问题的求解方法进行求解。
三、非线性规划的实际应用非线性规划在实际应用中具有广泛的应用价值，下面以几个典型的实际问题为例进行说明：1. 生产计划问题：假设某公司有多种产品需要生产，每种产品的生产成本和销售利润不同，公司希望通过优化生产计划，使得总利润最大化。
2. 交通调度问题：假设某城市有多个交通节点，每个节点之间的距离和交通流量不同，城市希望通过优化交通调度，使得总交通成本最小化。
3. 投资组合问题：假设某投资者有多个投资标的可供选择，每个标的的风险和收益率不同，投资者希望通过优化投资组合，使得总收益最大化或总风险最小化。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
•
0
• 解：先画出目标函数等值线，再画出约束曲线，本处 约束曲线是一条直线，这条直线就是容许集。而最优 点就是容许集上使等值线具有最小值的点。
• 由图易见约束直线与等值线的切点是最优点，利用解
析几何的方法得该切点为 z = 3,2T， 对应的最优值为
• f Z =2
• 由以上例子可见，对二维最优化问题。我们总可以 用图解法求解，而对三维或高维问题，已不便在平面上 作图，此法失效。
二维最优化问题具有鲜明的几何解释，并且可以象征性地把 这种解释推广到n维空间中去。因此我们简要介绍一下图解法对于 以后理解和掌握最优化的理论和方法是很有益处的。
例1.求解 min x1 22 x2 12
这是定义在 ox1x2 平面 R2上的无约束极小化问题，其目标函数
f Z x1 22 x2 12
• （4）一般地，在极值点附近，等值面（线）近似地呈 现为同心椭球面族（椭圆族）。
3 多元函数的极值问题 （1）梯度及Hesse 矩阵
梯度
T
f
(
X
)
f (X x1
)
,
f (X x2
)
,
......,
f (X xn
)
(1)
几个常用的梯度公式：
1. f X C常数 则，f X 0
即，C 0
• 我们感兴趣的是至少有一个交点（ f 0≥0）的情形。
• 此时用平面L截曲面S得到一个圆，将它投影到o x1 x2平面上，
仍为同样大小的圆。在这个圆上每一点的目标 函数值均
为 f , 若一条曲线上任何一点的目标函数值等于同一常数，
则称0此曲线为目标函数的等值线。 • 易见，变动 f 的值，得到不同等值线，这是一组同心
.
f X x2
12x1x22 2x1e2x1x2
f X f X f X f X , x1
4x23
2 x2e2 x1x2
.
f X x2
12x1x22 2x1e2x1x2
x x 1
2
T
124xx123x22
2
x e2 x1x2 2
2x1e2 x1
x2
梯度的性质
圆 ，对应 f=0的等值线缩为一点G，对应 f <0 的等值线 为空集。 • 易见，随着 f 值变小，等值线圆半径变小，最后缩为一
点，即为问题的最小值点G，z = 2,1T
例2 用图解法求解
x2
•
•
f =2
•
•
min
x1 22
x2 12
f =1
G0
s.t. x1 x2 5 0
x1
（2）
设 x1 x1 , x2 x2 ,xn xn 是过点X 0同时又完全在等值面
上的任一条光滑曲线L的方程，θ为参数。点 x对0 应的参数是 0
第七章§1.基本概念
1 非线性规划模型
n维欧氏空间 Rn
x1
向量
X
Rn.X
x1, x2 , xn
x2
xn
向量变量实值函数： f : Rn R1.
无约束最优问题： min f X
min f X
约束的最优化问题为：
s.t. gi X 0. i 1 ~ m
hj X 0. j 1 ~ l. l n
•
反之，任给一个值
f 0
,使目标函数
f
z取值为
f 0 的点z的
个数就不相同了。可能没有，可能只有一个，f 可能有多个。 0
•
这一事实的几何意义是：过
f
轴上坐标为
f
的点作
0
o x1x2 坐标平
面的平行平面L，可能与曲面S无交点（ 〈f 0 0 时），可能与S有一
个交点（ f 0 =0 时），可能与S交成一条曲线（ f 0 〉0 ）。
在 ox1x2 f 三维空间中代表一个曲面 S 。
f
•
f =4
f
• f =1
s
s
• G.
x2
L
•0
x1
x1
P0
x1
x2
•
在
o
x1
x2平面上任给一点
Po
x0 1
,
x0 2
，就对应有一个目标函数值
f0 x10 2 2 x20 1 2
• 这个值就是过 P0点作o x1 x2 平面的垂线与S曲面交点的纵坐标。
其中 f , gi , hj 均为向量Z的实值连续函数，有二阶连续偏导数，
采用向量表示法即为：
min f X 目标函数
s.t.
GX 0. 不等式约束
H X 0. 等式约束
其中 GX g1X , g2 X ,gm X , H X h1X , h2 X ,hl X
这就是最优化问题的一般形式，又称非线性规划。
• 在三维和三维以上的空间中，使目标函数取同一常 数值的是 {Z| f(Z)=r,r是常数}称为目标函数的等值面。
• 等值面具有以下性质：
• （1）不同值的等值面之间不相交，因为目标函数是单 值函数。
• （2）除了极值点所在的等值面外，不会在区域内部中 断，因为目标函数是连续的。
• (3）等值面稠的地方，目标函数值变化得较快，而稀疏 的地方变化得比较慢。
2. f X bT X 则，f X b
.
3. f X X T X 则，f X 2X
.
4. Q对称矩阵。 f X X TQX 则，f X 2QX
例：求下列函数的梯度：
• ① f X x12 x1x22 3x32 4x1x2x3
解：
f X
x1
2x1
x22
4x2 x3.
注意等式约束通常可用不等式约束表示出来。
如果约束条件中有“小于等于“的，即 G X 0. 则转化
为 G X 0 ， 另外，等式约束 HX 0
可以由下面两个不等式来代替：
HX 0 HX 0
因而最优化问题的一般形式又可写成：
min f X s.t. G X 0
2 二维问题的图解法
设f(X) 在定义域内有连续偏导数，即有连续梯度f X ，则梯度
有以下两个重要性质：
性质一 函数在某点的梯度不为零，则必与过该点的等值面垂直
性质二 梯度方向是函数具有最大变化率的方向。
性质一的证明：
过点X 0的等值面方程为：
f X = f X0 或f x1, x2,xn = r0 ，r0= f X0
f X
x2
2x1x2
4x1x3
f X
x3 6x3 4x2 x3.
f
X
f X
x1
,
f X
x2
,
f X
x3
T
2x1 x 2 x1x2
2 2
4
x2
x3
4x1x3
6x3 4x1x
② f X 4x1x23 e2x1x2
解：
f X
x1
4 x23
2 x2e2 x1x2