运筹学非线性规划

二 、模型的解及相关概念
1.可行解与最优解
★可行解：约束集D中的X。
★最优解：如果有 X * D，对于任意的 X D ， 都有 f ( X *) f ( X ) ，则称 X *为（NLP）的最优
解，也称为全局最小值点。
★局部最优解：如果对于 X 0 D ，使得在 X 0的邻 域 B(X 0, ) {X |P X X 0 P } 中的任意 X D 都有f (X 0 ) f (X ) ，则称 X 0 为（NLP）的局部最
: 风险系数；ij : 第i种与第j种股票收益的协方差
n
nn
max f (x) j xj
xi x j
j 1i1 j1源自s.t.n j 1Pj x j
B
x
j
0
2.模型
min f ( X )
(
NLP
)s.t.
hi
g
( X ) 0,i j ( X ) 0,
1,L , j 1,L
f
(X
)＝f
(X0
)
f
(X0
)（T X－X0）
1 2
(X
X0
)T
H
( X0 )(
X
X0)
o(P X－X 0 P2)
其中：o(P X
X0
P2 )是当X
X
时
0
PX
X0
P2
的高阶无穷小。
例2：写出 f ( X ) 3x12 sin x2 在X 0 [0, 0]T 点的二阶泰勒展开式
解: f ( X ) [6x1 cos x2 ]T , f ( X 0 ) [0 1]T
0
解得：＝－f (Xk )T Pk
PkT H ( X k )Pk
上式即为k的近似最佳步长公式。当（f X）为二次
函数时，此公式是精确的。
例6： 设f ( X ) (x1 1)2 (x2 1)2, X k [0 0]T , Pk －f ( X k )
第三章 非线性规划
Maxz CX
请回顾线性规划:
AX b ,其目标与约束函数
s.t.X 0
均为线性的。线性规划具有相对完美的理论与方法，应用 也很广泛，但它终究不能穷尽各种优化问题，因为世界是 非线性的。
非线性规划（Nonlinear Programming）研究具有非线 性构成函数的优化问题，是运筹学中相对活跃的重要研究 分支。
1
2 12.5,查表得n
0.08
6,
F5 F6
8 13
8
t1
1
(1 )[3 13
(1)]
0.538,
f
(t1 )
1.751
t1'
1 8 [3 (1)] 1.462, 13
f
(t1' ) 2.675
f
(t1)
故
[a1,
b1
]
[1,1.462],
F4 F5
5 8
t2
1
(1
5)[1.462 8
X1
P0
渐趋近其最小值。迭代方式是从
一个初始点X 0出发，选取某一搜 X 0
X2
P1
索方向P0，沿该方向搜索到下一
个点X
。若达到与最优解误差的
1
X3
精度要求，则停止，否则再沿该
点的某一方向P1搜索下一个点X
。
2
P2
这一过程如图所示：
2.基本步骤
(1) 选取初始点X0，令k : 0,确定精度 0； (2) 对于点Xk，计算f (Xk ),若 Pf (Xk ) P ,则停止,
b1
]中按
Fn2 Fn1
的比例取点t2
(与区间中所剩的点对称)
比较f (t2)和min{ f (t1), f (t1' )}，去掉较大者对应点以外的
区间，得到新区间[a2,b2 ]；
④
在[a2
,
b2
]中按
Fn3 Fn2
的比例取点t3再比较、再缩短，直到取完
F1 F2
，最后的小区间[an-1,
bn1
]中的任意一点可作为t
Fn1
Fn1
Fn1
Fn
比例在[a,t1' ]中取t2与t1对称，这样反复n -1次后所得的小区间[an-1,bn1]
长缩短为(b - a) Fn1 gFn2 L F2 gF1 1 (b a),与原区间长之比为： Fn Fn1 F3 F2 Fn
1 (b a)
Fn b-a
1 Fn
，恰为相对精度表达式。于是，开始可由 1 Fn
优 解，也称为局部最小值点。
例1：考虑非线性问题
min f (X ) (x1 2)2 (x2 2)2 s.t. x1 x2 6
x2
6
3
如 果 约 束 改 为
x1 x2 6
呢 ？
3
6
x1
2.梯度、海塞阵与泰勒公式
★梯度
若f
(
X
)在X
0的邻域内有连续一阶偏导数，则称f
(
X
)在X
点对n
X0 (或x0 )是极小点 一元函数f (x) n元函数f (X )
必要条件
充分条件
f '(x0 ) 0 f '(x0 ) 0,且f ''(x0 ) 0 f ( X 0 ) 0 f ( X0 ) 0且H ( X 0 ) 0
注：H (X0 ) 0表示海赛阵正定。如果一个方阵的 各阶主子式均大于零，则可以判定该方阵是正定的。
★特点：简单，更易于应用； 效果也比较好。
3.近似最佳步长公式
设f ( X )存在连续的二阶偏导数，则有泰勒展开式
f
(Xk
Pk )
f
( X k ) f ( X k )T Pk
1 2
2
Pk
T
H
(
X
k
)
Pk
对求导，并令导数为0，得
df
d
f
( X k )T
Pk
PkT H ( X k )Pk
例3：求 f ( X ) 2x12 8x1 2x22 4x2 20 的极小值点
解 f (X )＝[ f x1
f ]T
x2
[4x1
8
4x2 4]T
令f (X )＝0，解得驻点X0 [2 1]T
又H
(
X
)
4 0
0
4
,
H
(
X
0
)
0
故X
是极小值点。
0
4.凸规划
★凸函数：f(X)是定义在凸集D上且满足对任意 X1, X 2 D,
6 0
6 0
H
(X
)
0
sin
x2
,
H
(
X
0
)
0
0
f (X ) 0 [0
1]
x1
x2
1 2
[
x1
6
x2
]
0
0 0
x1
x2
o(P X
P2 )
如果忽略了o(P X
P2 )，则f
(X
) 在X
点的近似表达式为
0
f ( X ) 3x12 +x2
3.极值的条件
对于无约束极值问题，可以利用微积分的知识给出局部 极值点的条件。将n(n>1)元函数 f (X )与一元函数 f (x)的 极值条件加以对比并归纳如下：
3.收敛性
衡量标准：
lim
k
P P
X X
k1 X k X*
*P P
① 1,0 1,则称{Xk}是线性收敛的； ② 1, 0,则称{Xk}是超线性收敛的； ③ 2,0 ,则称{Xk}是二阶收敛的。
二阶收敛>超线性收敛>线性收敛
二、一维搜索
精确搜索：通过求极值 min
解出Fn，n
⑶步骤
①由所给精度和 1 定n;
Fn
②
由
Fn1 Fn
的比例在区间[a,b]中对称地取点t1
=a+(1
-
Fn1 Fn
)(b
-
a)和
t1'
=a+
Fn1 Fn
(b
a)，比较f(t1
)和f(t1'
)，去掉max{f(t1
),f(t1'
)}相应
点以外的区间,得到新区间[a1,b1 ]；
③在[a1,
[0,1] 有下式成立的函数：
f ( X1 (1 ) X 2 ) f ( X1) (1 ) f ( X 2 )
若不等式中严格不等号成立，则称f(X)为严格凸函数
注：判断一个可导函数f(X)是否是凸函数的方法 一元函数f(x) ：二阶导大于等于零; 多元函数f(X) ：海塞阵半正定。
★凸规划 在非线性规划模型（NLP）中，若目标函数f（X）是凸函 数，不等式约束函数g j ( X ) j 1,L ,l为凹函数，等式约束 函数 hi ( X ) i 1,L , m 为仿射函数，则称（NLP）是一个 凸规划。
*的近似值。
例5：用分数法求f (t) t2 t 2在区间[1,3]上的近似极小点，
要求缩短后的区间长度不大于原区间长的8％。
解 由于f ''(t) 2 0, 所以（f t）是严格的凸函数。
由f '(t)＝2t－1＝0，解得t* 1 是极小点，（f t*）＝1.75
由1 Fn
0.08知Fn
bt
⑵基本概念
记第n次缩短后的小区间为[an,bn ],给定的精度要求为 0
★满足绝对精度：| bn an |