非线性规划模型

非线性规划模型 在上一次作业中，我们对线性规划模型进行了相应的介绍及优缺点，然而在实际问题中并不是所有的问题都可以利用线性规划模型求解。实际问题中许多都可以归结为一个非线性规划问题，即如果目标函数和约束条件中包含有非线性函数，则这样的问题称为非线性规划问题。一般来说，解决非线性的问题要比线性的问题难得多，不像线性规划有适用于一般情况的单纯形法。对于线性规划来说，其可行域一般是一个凸集，只要存在最优解，则其最优解一定在可行域的边界上达到；对于非线性规划，即使是存在最优解，却是可以在可行域的任一点达到，因此，对于非线性规划模型，迄今为止还没有一种适用于一般情况的求解方法，我们在本文中也只是介绍了几个比较常用的几个求解方法。

一、非线性规划的分类 1无约束的非线性规划

当问题没有约束条件时，即求多元函数的极值问题，一般模型为

()min 0

x R

f X X ∈⎧⎪⎨

≥⎪⎩ 此类问题即为无约束的非线性规划问题

1.1无约束非线性规划的解法 1.1.1一般迭代法

即为可行方向法。对于问题()min 0x R

f X X ∈⎧⎪⎨

≥⎪⎩

给出)(x f 的极小点的初始值)0(X ，按某种规律计算出一系列的

),2,1()( =k X k ，希望点阵}{)(k X 的极限*X 就是)(x f 的一个极小点。

由一个解向量)

(k X

求出另一个新的解向量)1(+k X

向量是由方向和长度确定的，所以),2,1()1( =+=+k P X X k k k k λ

即求解k λ和k P ，选择k λ和k P 的原则是使目标函数在点阵上的值逐步减小，即

.)()()(10 ≥≥≥≥k X f X f X f

检验}{)(k X 是否收敛与最优解，及对于给定的精度0>ε，是否

ε≤∇+||)(||1k X f 。

1.1.2一维搜索法

当用迭代法求函数的极小点时，常常用到一维搜索，即沿某一已知方向求目标函数的极小点。一维搜索的方法很多，常用的有：

（1）试探法（“成功—失败”，斐波那契法，0.618法等）； （2）插值法（抛物线插值法，三次插值法等）；

（3）微积分中的求根法（切线法，二分法等）。 考虑一维极小化问题

)(min t f b

t a ≤≤

若)(t f 是],[b a 区间上的下单峰函数，我们介绍通过不断地缩短],[b a 的长度，来搜索得)(min t f b

t a ≤≤的近似最优解的两个方法。通过缩短区间],[b a ，逐步搜

索得)(min t f b

t a ≤≤的最优解*t 的近似值

2.1.3梯度法

选择一个使函数值下降速度最快的的方向。把)(x f 在)

(k X

点的方向导数最小

的方向作为搜索方向，即令)(k

k

X f P -∇=.

计算步骤：

（1）选定初始点0X 和给定的要求0>ε，0=k ；

（2）若ε<∇||)(||k

X f ，则停止计算，k

X X =*，否则)()

(k k X f P

-∇=；

（3）在)

(k X

处沿方向)

(k P

做一维搜索得1,)

1(+=+=+k k P X X

k k k k 令λ，返

回第二步，直到求得最优解为止.可以求得：

.)()()()

()()

()()()()(k k T k k T k k X f X H X f X f X f ∇••∇∇•∇=λ ,))(,,)(,)(()()(2)(1)()

(T

n

k k k k x X f x X f x X f X

f ∂∂∂∂∂∂=∇

⎥⎥⎥⎥⎥⎥

⎥

⎥⎥⎦

⎤

⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂=n n k n k n k n k k k n k k k k x x X f x x X f x x X f x x X f x x X f x x X f x X f x X f x X f X H )(,,)(,)()(,,)(,)()(,,)(,)()()(2)(1)(2)

(22)(12)()(2)(1)()(

2.1.4共轭梯度法

2.1.5牛顿法 对于问题：

由,0)(=+=∇B AX X f 则由最优条件,0)(=∇X f 当A 为正定时，1

-A 存在，于是有

B A X 1*--=为最优解

2.1.6拟牛顿法

对于一般的二阶可微函数)(X f ，在)(k X 点的局部有

))(()(2

1

)()()()()()(2)()()()(k k T k k T k k X X X f X X X X X f X f X f -∇-+-∇+≈

当)()(2k X f ∇正定时，也可用上面的牛顿法，这就是拟牛顿法。 计算步骤：

（1）任取n E X ∈)1(，;1=k

（2）计算)()(k k X f g ∇=，若0=k g ，则停止计算，否则计算

)()()(2k k X f X H ∇=，令k k k k g X H X X 1)1())((-+-=；

（3）令1+=k k ；返回（2）

2有约束的非线性规划

2.1非线性规划的最优性条件

若*X 是非线性问题中的极小点，且对点*X 有效约束的梯度线性无

关，则必存在向量()****

12

,,,T

m γγγΓ=使下述条件成立：

()()()***1

**

*

00,1,2,,m 0,1,2,,m m

j j j j j j f X g X g X j j γγγ=⎧∇-∇=⎪

⎪⎪∇==⎨⎪≥=⎪⎪⎩

∑ 此条件为库恩-塔克条件（K-T 条件），满足K-T 条件的点也称为K-T

点。

K-T 条件是非线性规划最重要的理论基础，是确定某点是否为最优解的必要条件，但不一定是充要条件。对于凸规划它一定是充要条件。 2.2非线性规划的可行方向法

由于线性规划的目标函数为线性函数，可行域为凸集，因而求出的最优解就是整个可行域上的全局最优解。非线性规划却不然，有时求出的某个解虽是一部分可行域上的极值点，但并不一定是整个可行域上的全局最优解。

假设()k

X 非线性规划问题中的一个可行解，但不是最优解，为了进

一步寻找最优解在它的可行下降方向中选取其中一个方向()k

D ，并确定