非线性规划方法

{xk}有限
{xk}无限
{xk}的最后一点为最优解
{xk}收敛于最优解
➢迭代格式
xk pk
xk+1
x k
xk1 xk xk
xk tk pk
xk1 xk xk
称pk为第k轮搜索方向，tk为第k轮沿pk方向的步长。 产生tk和pk的不同方法，形成了不同的算法。
定义：特殊搜索方向——下降方向
hi ( x) 0, j 1, , q
min f ( x)
s.t
.
g( x) 0
h( x) 0
min f ( x)
xX
➢（3）数学规划问题的分类：
min f ( x) s.t. g( x) 0 h( x) 0
☺若f ( x), gi ( x), hj ( x) 为线性函数，即为线性规划(LP)；
下降迭代算法。
x
1
.
.
.
x2
x0
➢（6.3）下降迭代算法步骤
（1）给出初始点 x0 ，令 k 0 ；
（2）按照某种规则确定下降搜索方向 d k ； （3）按照某种规则确定搜索步长 k ，使得
☺若 f ( x), gi ( x), hj ( x) 至少一个为非线性,
即为非线性规划(NLP)；
☺对于非线性规划，若没有 gi ( x), hj ( x),即X=Rn,称为
无约束非线性规划或无wk.baidu.com束最优化问题； 否则称为约束非线性规划或约束最优化问题。
凸规划的定义及其性质：
凸规划定义：
min f（x）
hi ( x) 0, j 1, , q
➢（4）可行域和可行解：
称
X
x
Rn
gi ( x) hi ( x)
0, i 1, 0, j 1,
, p , q
为MP问题的约束集或可行域。
若x在X内，称x为MP的可行解或者可行点。
➢（5）最优解和极小点
定义: 对于非线性规划（MP），若 x* X ，并且有
➢（1）数学规划模型的一般形式：
min f ( x) s.t. gi ( x) 0, i 1, , p hi ( x) 0, j 1, ,q
其中, x (x1, x2, , xn )T , f (x), gi (x),hj (x)为x的实值函数， 简记为MP(Mathematical Programming)
➢（2）简记形式： 引入向量函数符号：
h( x)(h1( x), ,hq ( x))T g( x)( g1( x), ,g p( x))T
X
x
Rn
gi ( x) 0, i hi ( x) 0, j
1, 1,
, p , q
min f ( x)
s.t .
gi ( x) 0, i 1, , p
f ( x* ) f ( x), x X
则称x*是（MP）的整体最优解或整体极小点，
称f ( x* )是（MP）的整体最优值或整体极小值。 如果有 f ( x* ) f ( x), x X , x x*
称x*是（MP）的严格整体最优解或严格整体极小点，
称f ( x* )是（MP）的严格整体最优值或严格整体极小值。
一般来说，求解非线性规划问题比线性规划问题困难得多。而且， 也不象线性规划那样有单纯形法这一通用的方法。非线性规划的各种 算法大都有自己特定的使用范围，都有一定的局限性。到目前为止还 没有适合于各种问题的一般算法，这是需要深入研究的一个领域。我 们只是对一些模型及应用作简单介绍。
非线性规划问题的数学模型
(6) 非线性规划方法概述
➢（6.1）微分学方法的局限性：
实际的问题中，函数可能是不连续或者不可微的。 需要解复杂的方程组，而方程组到目前仍没有有效 的算法。 实际的问题可能含有不等式约束，微分学方法不易 处理。
➢（6.2）数值方法的基本思路：迭代
给定初始点x0
根据x0,依次迭代产生点列{xk}
定义 对于非线性规划（MP）, 若x* X , 并且存在x*的邻域
N ( x* ) x Rn x x* 使
f ( x* ) f ( x)，xN ( x* ) X 则称 x* 是(MP)的局部最优解或局部极小解,
称f ( x* )是（MP）的局部最优值或局部极小值
如果有 f ( x* ) f ( x)，xN ( x* ) X , x x* 称x*是（MP）的严格局部最优解或严格局部极小点 f ( x* )是（MP）的严格局部最优值或严格局部极小值。
第4章 非线性规划方法
2012 统计学
在科学管理和其他领域中，大量应用问题可以归结为线性规划问题， 但是，也有另外许多问题，其目标函数和（或）约束条件很难用线性 函数表达。如果目标函数和（或）约束条件中包含有自变量的非线性 函数，则这样的规划问题就属于非线性规划。
非线性规划是运筹学的重要分支之一。最近30多年来发展很快，不 断提出各种算法，而其应用范围也越来越广泛。比如在各种预报、管 理科学、最优设计、质量控制、系统控制等领域得到广泛且不短深入 的应用。
设f :Rn R1, xRn , pRn , p 0,若存在 0，使 f ( x tp) f ( x), t(0, )
则称向量p是函数f ( x) 在点x处的下降方向。 若f ( x)在x可导，则-f ( x)就是 f ( x)在x处下降最快的方向。
定义：特殊搜索方向——可行下降方向
设X Rn , x X , pRn , p 0,若存在t 0，使得
s.t. g（i x） 0
h（j x） 0
i 1, , p j 1, ,q
X
xRn
g（i x） h（j x）
0 0
i 1, , p j 1, ,q
若X是凸集, f 是X上的凸函数, 称(MP)为非线性
凸规划, 简称凸规划。
min f ( x)
s.t .
gi ( x) 0, i 1, , p
x tp X 则称向量p是点x处 关于X的可行方向。
解非线性规划问题，关键在于 找到某个方向，使得在此方向 上，目标函数得到下降，同时 还是可行方向。 这样的方向称为可行下降方向。
定义：算法收敛、下降迭代算法
集合S上的迭代算法： （1）初始点 x0 ；
（2）按照某种搜索方向pk产生下一个迭代点 xk1 xk pk . k （i）如果点列 { xk }收敛于最优解 x* ，则称此算法收敛。 （ii）如果 f (x0 ) f (x1) f (xk ) ，则称此算法为