运筹学 非线性规划

式中 f ( X ) ( 点处的梯度。 满足
f ( X ) x1


f ( X ) x1
,
f ( X ) x2
, ,
f ( X ) x n

) ， 称为函数 f ( X ) 在 X
T


f ( X ) x 2


f ( X ) x n

0 或 f ( X ) 0 的点称为平








（3）对于 X , X R 均有不等式 f ( X ) f ( X ) ，则称 X 为
f ( X ) 在 R 上的全局极小点， f ( X ) 为全局极小值；




（4） 对于 X , X R 均有不等式 f ( X ) f ( X ) ， 则称
X 为 f ( X ) 在 R 上的严格全局极小点， f ( X ) 为严格
m in f ( X ) ( x1 2 ) 2 ( x 2 2 ) 2 h ( X ) x1 x 2 6 0
若令其目标函数 f ( X ) c ，目标函数成为一条曲线或一张曲面；通常称 为等值线或等值面。 此例， 若设 f ( X ) 2 和 f ( X ) 4 可得两个圆形等值线， 见图 1。




全局极小值。
极值点存在的条件
（必要条件）] 设 R 是 E 上的一个开集， f ( X ) 在 R 上有一 阶连续偏导数，且在点 X
f ( X ) x1

n

R 取得局部极值，则必有

f ( X ) x 2



f ( X ) x n

0 f (X ) 0

f (X
(k )
(k )
P
P
(k )
(k )
)
X
( k 1)
X

k
则有： f ( X
( k 1)
) P
T
(k )
0
f (X
20
( k 1)
)
X
10
(k )
X
( k 1)
P
图4
(k )
因为真正的极值点 X 在求解之前并不知道，因此只能根据 相继两次迭代的结果来建立终止准则。通常采用的准则（1， 2，3，4，5 是事先给定的充分小的正数）有： （1） 相继两次迭代的绝对误差：
)
则称 f ( X ) 为定义在 R 上的凸函数； 若上式为严格不等式， 则称 f ( X ) 为定义在 R 上的严格凸函数。改变不等号的方向，即可得到凹函数和严格凹函数的定义。
凸函数的性质
[性质 1] 设 f ( X ) 为定义在凸集 R 上的凸函数， 则对于任意 实数 a 0 ，函数 af ( X ) 也是定义在 R 上的凸函数。 [性质 2] 设 f 1 ( X ) 和 f 2 ( X ) 为定义在凸集 R 上的两个凸函 数， 则其和 f ( X ) = f 1 ( X ) + f 2 ( X ) 仍然是定义在 R 上的凸函数。 [性质 3] 设 f ( X ) 为定义在凸集 R 上的凸函数， 则对于任意 实数 b ，集合 S b { X X R , f ( X ) b } 是凸集。
判断下述非线性规划是否是凸规划
min f ( X ) x x 4 x 1 4
2 1 2 2
g 1 ( X ) x1 x 2 2 0
g 2 ( X ) x1 x 2 1 0
2
x1 , x 2 0
下降迭代算法
基本思想 给定一个初始估计解 X 一个比 X
X
( k 1)

X
(k )
1 ， f ( X
( k 1)
) f (X
(k )
) 2
（2） 相继两次迭代的相对误差：
X
( k 1)
X
(k )
X
(k )
3 ，
f (X
( k 1)
) f ( X
(k )
(k )
)
f (X
)
4
（3） 目标函数梯度的模充分小：
f (X
f ( 2X ) 2 x1 f x (X ) H ( X ) 2 x1 2 f (X ) x n x1
2
*
*
*
f (X ) x1 x 2 f (X ) x 2
2 2
2



f (X ) x n x 2
[性质 4] 设 f ( X ) 为定义在凸集 R 上的凸函数，则它的任一极 小点就是它在 R 上的最小点（全局极小点） ；而且它的极小点形成一 个凸集。 [性质 5] 设 f ( X ) 为定义在凸集 R 上的可微凸函数，若它存在点
X R ，使得对于所有的 X R 有 f ( X ) ( X X ) 0 ，则
(k )
) 5
一维搜索
一维搜索即沿某一已知方向求目标函数的极小点，一维搜索的 方法很多，我们只介绍斐波那契和黄金分割两种方法。
• 一维搜索过程是建立在一个被称为斐波那契数序列 基础上的，斐波那契数序列是具有如下递推关系的 无穷序列：
n Fn 0 1 1 1 2 2 3 3 4 5 5 8 6 13 7 21 8 34
局部极值和全局极值
（1） 对于 X X 均有不等式 f ( X ) f ( X ) ， 则称 X 为 f ( X ) 在 R 上的局部极小点， f ( X ) 为局部极小值；
（2）对于 X X 均有不等式 f ( X ) f ( X ) ，则称 X 为
f ( X ) 在 R 上的严格局部极小点， f ( X ) 为严格局部极小值；
{X
(k )
(0)
，然后按某种规则（即算法）找出
(0)
更好的解 X
(1 )
，如此递推即可得到一个解的序列

} ，若这一解的序列有极限 X ，即
lim ( X
k (k )
X ) 0

则称 X 为最优解。

基本问题 由于递推步骤的有限性，一般说很难 得到精确解，当满足所要求的精度时即可 停止迭代而得到一个近似解。
max f ( x ) 20 x 1 380 x 2
0 . 5 x 1 x 2 0 . 2 x 2 1000
2
x1 0 , x 2 0
• 同线性规划问题的数学模型一样，非线性 规划问题的数学模型可以具有不同的形式； 但由于我们可以自由地实现不同形式之间 的转换，因此我们可以用如下一般形式来 加以描述：
T



X 是 f ( X ) 在 R 上的最小点（全局极小点） 。

凸函数的判定
设 R 为 E 上的开凸集， f ( X ) 在 R 上具有二阶连续偏 导数，则 f ( X ) 为 R 上的凸函数的充分必要条件是： f ( X ) 的海赛矩阵 H ( X ) 在 R 上处处半正定（ Z H ( X ) Z 0 ） 。
2

2 f (X ) x 2 x n 2 f (X ) 2 xn
f (X ) x1 x n
2

T （1） 若 Z HZ 0 ，则称二次型 Z HZ 和对称矩阵 H 正定；
T来自百度文库
T （2） 若 Z HZ 0 ，则称二次型 Z HZ 和对称矩阵 H 半正定；
T
n
试证明 f ( X ) x x 是严格的凸函数
2 1 2 2
根据一阶条件进行判定
R 为 E 上的开凸集， f ( X ) 在 R 上具有一阶连续偏导
n
数，则 f ( X ) 为 R 上的凸函数的充分必要条件是，对于 属于 R 的任意两个不同点 X
f (X
(2)
(1 )
和X
T
(2)
恒有：
P
(k )
)
由 于 确 定 步 长是 通 过 求以 为 变 量 的 一 元 函数
f (X
(k )
P
(k )
)的极小点
k
来实现的，故称这一过
程为一维搜索。
一维搜索有一个非常重要的性质， 即在搜索方向上所得最优点的 梯度和搜索方向正交；这一性质可表达成：
f (X
( k 1)
) min
出发至少存在一个方
(k )
向能使目标函数下降，则可选定某一下降方向 P 方向前进一步，得到下一个点 X
( k 1)
，沿这一
。
沿P
(k )
方向前进一步相当于在射线 X X
( k 1)
(k )
P
(k )
上选定新的点 X 向，
X
(k )

k
P
(k )
；其中 P
(k )
为搜索方
X
(1 )
) f (X
(1 )
) f ( X
(1 )
) (X
(2)
)
3凸规划
凸规划的定义 考虑非线性规划： min f ( X ), X E
g j ( X ) 0 , ( j 1, 2 , , l )
n
假定其中 f ( X ) 为凸函数，g j ( X ) 为凹函数 g j ( X ) 为凸函 （ 数） ，这样的非线性规划称为凸规划。
非线性规划
• 某商店经销 、 两种产品，售价分别为20和 380元。据统计，售出一件 产品的平均时间 为0.5小时，而售出一件 产品的平均时间与 其销售的数量成正比，表达式为 。若该商 店总的营业时间为1000小时，试确定使其 营业额最大的营业计划。
解： x 1 和 x 2 分别代表商店经销 A、 两种产品的件数， 设 B 于是有如下数学模型：
min f ( X ), X E
n
h i ( X ) 0 , ( i 1, 2 , , m )
g j ( X ) 0 , ( j 1, 2 , , l )
其中 X ( x 1 , x 2 , , x n ) 是 n 维欧氏空间 E 中的向量点。
T
n
求解下述非线性规划问题
x2 x1 x 2 6 0
f (X ) 4
6
D
f (X ) 2
2
C
x1
0
2
图 1 图解示意图
6
若 以 h ( X ) x1 x 2 6 0 代 替 原 来 的 约 束
h ( X ) x 1 x 2 6 0 ，则新的非线性规划的最优解
如何变化？
结论：线性规划存在最优解，最优解只能在其可行域 的边缘上（特别能在可行域的顶点上）得到；而非线 性规划的最优解（如果存在）则可能在可行域的任意 一点上得到，并非仅局限在边缘上
T
凸函数和凹函数
定义 设 f ( X ) 为定义在 E 中某一凸集 R 上的函数， 若对于任何实数 0 1 ） （
n
以及 R 中的任意两点 X
f ( X
(1 )
(1 )
和X
(2)
，恒有：
(1 )
(1 ) X
(2)
) f ( X
) (1 ) f ( X
(2)
T
T （3） 若 Z HZ 0 ，则称二次型 Z HZ 和对称矩阵 H 负定；
T
T （4） 若 Z HZ 0 ，则称二次型 Z HZ 和对称矩阵 H 半负定；
T
（5） 若二次型 Z HZ 不定，则称对称矩阵 H 不定。 由线性代数知识可知：若矩阵 H 正定，则其各阶左对角方阵的行列式 大于零；若矩阵 H 负定，则其各阶左对角方阵的行列式负、正交替。
k
为步长。
(k )
确定搜索方向 P 在于确定搜索方向 P
是关键的一步，各种算法的区别主要 的方法不同。
(k )
步长
k
的选定一般都是以使目标函数在搜索方向
上下降最多为依据的，称为最佳步长 ；即沿射线
X X
(k )
P
(k )
求目标函数 f ( X ) 的极小值：
(k )
k：min f ( X
下降算法 若某种算法产生的解序列 { X
(k )
} 能使目标函数 f ( X
(k )
)
逐步减少，那么就称此算法为下降算法。 “下降”的要求其 实是很容易满足的， 因此下降算法包括了很多具体的算法。
若从 X 则X
(k ) (k )
出发沿任何方向移动都不能使目标函数下降，
(k )
是一个局部极小点；若从 X
F 0 F1 1 F n F n 1 F n 2
（ n 2 ,3 , ）
斐波那契法成功地实现了单峰函数极值范围的缩减。设某一单峰函数

稳点或驻点。极值点一定是驻点，但驻点不一定是极值点。
X （充分条件） 设 R 是 E 上的一个开集，f ( X ) 在 R 上具有二阶连续偏导数， ]
n

R，
若 f ( X ) 0 且对任何非零向量 Z E 都存在：
n

Z H ( X )Z 0
T *
则 X 为 f ( X ) 的严格局部极小点。此外， H ( X ) 称为 f ( X ) 在点 X 处的海赛（Hesse） 矩阵。