第十讲非线性规划一运筹学清华大学林谦

page 5 3 August 2019
Prof. Wang School of Economics & Management
Operations ReseaHale Waihona Puke Baiduch
第二十一讲
§2 非线性规划的数学模型及 特点 （3）
[例4-4]非线性规划为
min f(X)=(x1－2)2+(x2－2)2 h(X)=x1+x2－6≤0
Operations Research
第二十一讲
§3 解和算法的基本性质 （1）
1．极小点、凸集及其关系 ①极小点定义
i) 对于X* Q，如果存在一个 >0，使所有与X*的距离 小于 的X Q（即X Q，且|X－X*|<）都满足不等式
f(X)≥f(X*)，则称X*为f在Q上的一个相对极小点或局部极
B) 对于所有d，则dT▽2 f(X*)·d≥0
ii)判断极小点的充分条件
命题（二阶充分条件——无约束）：设f(X)C2 是定义在 以X*为内点的一个区域上的函数，若
A) ▽f(X*)=0 B) Hess阵H(X*)正定（或负定）
则X*是f(X)的严格极小点（或极大点）
page 11 3 August 2019
page 19 3 August 2019
Prof. Wang School of Economics & Management
Operations Research
第二十一讲
第十讲 非线性规划（二）
§1 一维最优化方法 §2 多维无约束寻优方法（使用导数）
page 20 3 August 2019
page 21 3 August 2019
Prof. Wang School of Economics & Management
Operations Research
第二十一讲
§3 解和算法的基本性质 （7）
凸函数在2维空间的形状象一口锅的纵剖面，参见图4-2。
·凹函数：定义在凸集上的函数g(X)称为凹函数，条件是函
数f(X)= －g(X)是凸的。若 －g(X)是严格凸的，则g(X)是严 格凹的，因此凸与凹是严格对应的，以后就只研究凸函数 即可。
个函数。若X*是f( X)在上的一个相对极小点。则对于任 一X*处的可行方向dＥn有：
A) ▽f(X*)·d≥0 B) ▽f(X*)·d=0，则必有dT·▽2 f(X*)·d≥0
▽2 f( X)表示f( X)的第二阶梯度或二阶导数，又称Hess或海 森阵，亦可用H或F表示。
page 10 3 August 2019
[例4-1]某公司经营两种设备。第一种设备每件售价为30元， 第二种设备每件售价为450元。且知，售出第一、二种设 备分别需时为每件约0.5小时和（2+0.25x2）小时，其中x2 为第二种设备售出数量。公司的总营业时间为800小时。
求：公司为获取最大营业额（销售额）的最优营业计划。
page 2 3 August 2019
Prof. Wang School of Economics & Management
Operations Research
第二十一讲
§3 解和算法的基本性质 （5）
命题3 （二阶必要条件——无约束情况）：设X*是集合 的内点，且X*是函数f(X)C2在上一个相对极小点。则：
A) ▽f(X*)=0
(a)
(b)
(c)
严格凸 x
page 13 3 August 2019
凸x 图 4-2
非凸 x
Prof. Wang School of Economics & Management
Operations Research
第二十一讲
§3 解和算法的基本性质 （8）
ii）有关性质（凸函数性质）
·设f1(X)，f2(X)是凸集上的凸函数，则函数f1(X)+f2(X)在
上也是凸函数。
·设f(X)是凸集上的凸函数，则对任意的a≥0，函数af(X)是
凸的。
·设f(X)是凸集上的凸函数，对每一个实数C，则集合 C＝{x：x，f(X)C}是凸集。
iii) 凸函数的判定（略）
page 14 3 August 2019
Prof. Wang School of Economics & Management
page 18 3 August 2019
Prof. Wang School of Economics & Management
Operations Research
第二十一讲
§4 非线性规划求解方法分类（4）
②有约束情形 (i)线性逼近法 (ii)可行方向法 (iii)罚函数法 (iv)可变容差法 非线性规划的求解方法很多，上面列出的仅是一些常用的 方法。后面将简单介绍几个最基本解法的思路和步骤。
Operations Research
第二十一讲
§3 解和算法的基本性质 （9）
④凸规划定义：已知非线性规划： min f(X) gj(X)≥0
若f(X)为凸函数，gj(X)为凹函数，则称该规划为凸规划。 凸规划的局部极值点即为全局极值点。 线性规划为凸规划。 2．下降算法的收敛性问题（定性分析）（略）
page 17 3 August 2019
Prof. Wang School of Economics & Management
Operations Research
第二十一讲
§4 非线性规划求解方法分类（3）
(ii) 不采用导数： (a)直接法（模式搜索法） (b)可变多面体法 (c)鲍威尔法 (d)随机搜索法
小点。若对于所有X Q，X≠X*且与X*距离小于 ，有
f(X)>f(X*)，则称X*为f在Q上的一个严格相对极小点。
page 7 3 August 2019
Prof. Wang School of Economics & Management
Operations Research
第二十一讲
§3 解和算法的基本性质 （2）
非线性规划的数学模型通常表示成以下形式。
min f(X) hi(X)=0 i=1，2，…，m gj(X)≥0 j=1，2，…，l
[例4-3]求解下述非线性规划 min f(X)=(x1－2)2+(x2－2)2 h(X)=x1+x2－6=0
page 4 3 August 2019
Prof. Wang School of Economics & Management
page 15 3 August 2019
Prof. Wang School of Economics & Management
Operations Research
第二十一讲
§4 非线性规划求解方法分类（1）
1．一维最优化 ①斐波那契（Fibonacci）法 ②黄金分割法（0.618法） ③牛顿法（切线法） ④抛物线逼近法 ⑤成功和失败法
第二十一讲
§3 解和算法的基本性质 （4）
命题1 （一阶必要条件）：设是En子集，f(X) C1(C1表 明存在一阶导数)是上函数，若X*是f( X)在上一个相对
极小点，则对于任一X*的可行方向dEn必有▽f(X*)·d≥0。 （其中，▽f(X*)表示函数f( X)的一阶梯度或导数）
命题2 （二阶必要条件——有约束情况）：设是En的一 个子集，且f( X) Ｃ2（Ｃ2表明存在二阶导数）是上的一
若从某点开始，沿任一可行方向运动（运动距离很小）都 不能使目标函数减少，则据定义，知该点即为相对极小点。
i) 判定极小点的必要条件（证明从略）
page 9 3 August 2019
Prof. Wang School of Economics & Management
Operations Research
Prof. Wang School of Economics & Management
Operations Research
第二十一讲
§1 一维最优化方法 （1）
目前常用的一些方法有： ·斐波那契（ Fibonacci）法——序贯试验法 ·黄金分割法（0.618法） ·牛顿切线法 ·抛物线逼近法 ·成功与失败试探法 下面将着重介绍斐波那契与黄金分割法的主要思路及步 骤。
Prof. Wang School of Economics & Management
Operations Research
第二十一讲
§1 非线性规划问题的现实来 源－问题的提出 （2）
[解]设公司应经营销售第一、二种设备数额分别为x1件和x2 件，追求的目标为最大销售额，即：
目标函数f(X)=30x1+450x2取极大 由于营业时间有限，必须满足：0.5x1+(2+0.25x2)x2≤800 当然，销售设备数不会为负数，即：x1≥0，x2≥0 综合得出该问题数学模型为：
显然，此时的最优解为C点(x1*=x2*=2 ，f(X*)=0)，该点落在可 行或内部，其边界约束失去作用。
从前面例中看出，非线性规划的最优解（如果存在）可在其 可行域上任一点达到。因而，非线性规划数学模型可以没有 约束条件，即存在无约束最优化问题。
page 6 3 August 2019
Prof. Wang School of Economics & Management
目标函数 约束条件
page 3 3 August 2019
max：f(X) =30x1+450x2
0.5x1+2x2+0.25x22≤800
x1≥0，x2≥0
Prof. Wang School of Economics & Management
Operations Research
第二十一讲
§2 非线性规划的数学模型及 特点 （1）
page 8 3 August 2019
Prof. Wang School of Economics & Management
Operations Research
第二十一讲
§3 解和算法的基本性质 （3）
②相对极小点的判定
可行方向概念：沿给定方向作离开该点运动，若运动轨迹 在可行域内，则称该运动方向为可行方向（通常用d表 示）。
ii)点X* Q，如果对于所有X Q成立f(X)≥f(X*)，则称X* 为f在Q上的全局极小点。同样，若对于所有X Q， X≠X*时，存在f(X)>f(X*)，则称X*为f在Q上的严格全局极 小点。
尽管问题的提法往往求全局极小点，然而，无论从 理论上或从计算观点看，实践现实性表明我们必须以很 多情形上满足一个相对极小点。当然，对于凸规划，这 二者是统一的。
Operations Research
第二十一讲
§2 非线性规划的数学模型及 特点 （2）
显然，与直线AB相切的点必 为最优解。
图 4-1(a) 中 的 D 点 即 为 最 优 点，此时目标函数值为：
f(X*)=2，x1*=x*2=3
x1 6
A
f(X)=4
3
D
2C
f(X)=2
B
0 23
6 x2
图4-1 (a)
第十讲非线性规划一 运筹学清华大学林谦
Operations Research
第二十一讲
§1 非线性规划问题的现实来 源－问题的提出 （1）
在规划模型中，如果在目标函数或在约束条件中有一个或 多个是自变量的非线性函数，则称这种规划为非线性规划 问题。
就现实问题，严格讲来，基本属于非线性规划模型。
现举例说明非线性规划的现实背景。
Prof. Wang School of Economics & Management
Operations Research
第二十一讲
§3 解和算法的基本性质 （6）
iii)极小点的充分必要条件——无约束情形。（略）
③凸函数与凹函数
i)定义：
·凸集：若在X集合中，任意两点之联线都落在该集合 内，则称该集合为X的凸集。
·凸函数：定义在凸集上的函数f(X)称为凸函数，条件是 对于每一对x1，x2及每一个a，0≤a≤1存在：
f(ax1+(1－a)x2)≤a f(x1)+1(1－a)f(x2)
上式中，若≤变为<，则称为严格凸函数。
page 12 3 August 2019
Prof. Wang School of Economics & Management
page 16 3 August 2019
Prof. Wang School of Economics & Management
Operations Research
第二十一讲
§4 非线性规划求解方法分类（2）
2．多维最优化 ①无约束情形 (i) 采用导数：
(a)梯度法 (b)牛顿法 (c)共轭梯度法 (d)变尺度法