高级运筹学题集及答案

1. 假设有一百万元可以投资到三支股票上，设随机变量
i
R 表示投资到股票i 上的一元
钱每年能够带来的收益。

通过对历史数据分析，知期望收益1()0.09
E R =，
2()0.07E R =，3()0.06E R =，三支股票的协方差矩阵为0.200.030.040.030.200.050.040.050.15⎡⎤
⎢⎥⎢⎥⎢⎥⎣⎦。

假设使用股票涨跌稳定性来评测风险，试构建优化模型，在保证期望年收益率不低于0.075的情况下，风险最小，同时表示为非线性优化的向量形式。

解：设123(,,)T X x x x =，其中123,,x x x 分别表示投资组合中123,,R R R 的所占的比例，有
1231x x x ++= ……①
保证期望收益率不低于0.075：
112233()()()0.075x E R x E R x E R ++≥ ……②
建立如下优化模型：
222
12
3121323min ()0.200.200.150.060.080.10f X x x x x x x x x x =+++++ ..s t 1231x x x ++=
1230.090.070.060.075x x x ++≥
123,,0x x x ≥
记：0.200.030.040.030.200.050.040.050.15A ⎡⎤
⎢⎥=⎢⎥
⎢⎥⎣⎦
表示成向量形式：
min ()T f X X AX =
..s t 1111T X ⎛⎫
⎪
= ⎪ ⎪⎝⎭
0.090.070.0750.06T X ⎛⎫ ⎪
≥ ⎪ ⎪⎝⎭
123,,0x x x ≥
2. 用伪算法语言描述“成功-失败”搜索方法。

解：1s ：初始化：0x , h,ε>0
2s ：x=0x ；
1f =f(x) 3s ：2f =f(x+h)
4s ： if 2f <1f go to 5s ;
else
go to 6s ; end
5s : x=x+h;
2f =1f ;
h=2h
6s : if ||h ε<
go to 7s ; else go to 8s ; end
7s : x x *
=
8s : 4
h h =-
; go to 3s . □
3. 请简述黄金分割法的基本思想，并尝试导出区间收缩比率φ≈0.618.
基本思想：黄金分割法就是用不变的区间缩短率ϕ，来代替Fibonacci 法每次不同的缩
短率，因而可以看成是Fibonacci 法的近似。

在搜索区间[a,b]内取两点x<y ，然后在x,y 中选取一个作为端点，将搜索区间缩小，直至搜索区间足够小，然后在其内取一点作为最优解的近似。

一维搜索时，在区间内取两对称点1λ，'1λ作为搜多点，并满足：
1λ= a+(1-ϕ)(b-a) '1λ= a+ϕ(b-a)
ϕ取近似值0.618
证明：设在第k 次迭代时的搜索区间为[k a ,k b ]，
则在区间内取两对称点1k λ+，'1k λ+作为探索点，并满足：
1(1)()k k k k a b a λϕ+=+-- ……①
'1()k k k k a b a λϕ+=+- ……②
由于对称性，即： '
11k k k k a b λλ++-=-
在第k+1次迭代中，不妨取收缩区间为'
1,k k a λ+⎡⎤⎣
⎦ 这样，收缩率ρ表示为：
'1()
0.618k k
k k k k
k k
a b a b a b a λϕρϕ+--=
=
==
≈-- □ 4. 请简述牛顿（Newton ）法的基本原理，并指出可能会出现的“坏现象”。

基本思想：牛顿法是二阶近似仿照切线法思想，推导出下降方向 11()()k k k k X X H X f X +-=-∇
每次计算 1()()k k k D H X f X -=∇，可看成是椭球范数||||k D g
下的最速下降法。

对于正定二次函数，一次可达最优解。

一定条件下，具有二阶收敛速度。

坏现象：对初始点的依赖性很大，要求初始点接近极小点。

若初始点远离极小点，不能保证收敛，甚至连Newton 方向2()1()()()k k f x f x --∇∇都不一定是下降方向，导致算法达不到极小点。

□ 5. 叙述Powell 算法思想.（方向加速法）
算法思想：又称方向加速法。

是在研究正定二次函数的极小化问题时形成的，由于迭代过程中构造一组共个方向，其本质属于共轭方向法。

每一轮迭代过程中由n+1个相继的一维搜索组成，先依次沿着n 个已知的线性无关方向搜索，然后沿本轮迭代的初始点和第n 次搜索所得点的连线方向搜索，得到这一轮迭代的最好点并作为下一阶段的起点，再用第n+1个方向（最后的搜
索方向）代替前n 个方向的一个，开始下一轮的迭代。

□
6. 简述有约束优化时既约梯度法的基本思想。

基本思想：将线性规划的单纯形法推广到带线性约束的非线性问题上。

把线性约束优化问题
min ()f X
X=b
..0
A s t X ⎧⎨
≥⎩
简化为仅在非负限制下的极小化问题
min ()N F X
11
X =B 0
..0B N N
b B NX s t X --⎧-≥⎪⎨
≥⎪⎩ 其中，(,)A B N =，B N X X X ⎡⎤
=⎢⎥⎣⎦，B 为m ×m 的可逆矩阵，B X 为m 维的基向量，N X 为
n-m 维的非基向量。

求出目标函数()N F X 的梯度，此时的梯度是n-m 维函数的梯度，称为()f X 的既约梯
度1()()[(),]()[(),]N B T N N X B N N X B N N r X F X f X X X B N f X X X -=∇=∇-∇。

N X 沿负既约梯度方向()N r X -移动，可使目标函数值降低。

□ 7. 利用罚函数法求解非线性规划的收敛点
12
211221min ()()0.. ()0
f X x x
g X x x s t g X x =+⎧=-+≥⎨
=≥⎩
分别假设初始可行点满足
1)12()0,()0g X g X <<； 2) 12()0,()0g X g X <>.
解：马良书69页
8. 设
()(1,2,)
j g X j l -=L 为凸函数，则
{|()0,1,2,}
j R X g X j l =≥=L 为凸集。

证明：设 (), 0,1x y R α∈∈，，有
()()00j j g x g y ≥≥，， 1,2,,j l =L
()(1,2,)
j g X j l -=L 为凸函数，则有
()()11[()]()j j j g x y g x g y αααα+-≤----，1,2,,j l =L
两边变号
()()[()]11()0j j j g x y g x g y αααα-≥+-≥+, 1,2,,j l =L
即 1()x y R αα+-∈。

R 为凸集 □ 9. 设
2,1,2,k k x k -==L
，则
{}
k x 收敛阶数为1，且线性收敛。

证明：显然，0X *=。

由于
(1)(1)()00||||21lim lim ||||22
k k k k k k X X X X +*-+*-→→-==- 所以由收敛定义和α阶收敛知，{}k x 收敛阶数为α=1，且β=1/2知为线性收敛。

□ 10. 设1()2
T
T f X X AX b X c =
++，A 是对称矩阵。

给定初始点0X ，试证明由最速下降法产生的迭代点列{}k X 有如下公式：
1
()()k T k k k
k
k T k
g g X
X g g Ag
+=-，0,1,2,3,k =L 其中k k g AX b =+。

证明：由数学分析知，在k X 的领域中，使()f X 下降最快的方向是负梯度方向，取
()()K k P f X =-∇ ……①
下面确定步长k λ：
由于()f X 为二次函数，故二阶连续可导，作二阶Taylor 展开：
()()()()1
()()()()()()2
k k k k T k k T k f X P f X f X P P A P λλλλ+≈+∇+
令
()()()()()0k T k k T k df
f X P P AP d λλ
≈∇+= 可得最优步长为
()
()()()()k T k k k T k f X P P AP
λ∇=- ……②
记()k k k g f X AX b =∇=+ 则 1
()()()k T k k k
k
k
k
k k T k
g g X
X f X X g g Ag
λ+=-∇=-， 0,1,2,3,k =L □ 11. 试证在最速下降法中，相邻两次搜索方向必正交，即1()()0k T
k f X
f X +∇∇=
证明：设第k 步的步长为k λ，梯度为k P ，则有第k+1步的梯度为
(1)(1)k k P b AX ++=-
()()()k k k b A X P λ=-+ ()()k k k b AX AP λ=--
()()k k k P AP λ=-
()2()()()()()()||||(,)
()(,)k k k k k T k k k P P P P AP AP P λ==Q
(1)()()()()()(,)(,)(,)0k k k k k k k P P P P AP P λ+∴=-=
即1()()0k T
k f X
f X +∇∇=，两次搜索方向必正交。

□
12. ()f x 在凸集R 内是凸函数的充要条件是对于任意的,x y R ∈，
()[(1)]g f x y ααα=+-在[0,1]内是凸函数。

证明：必要性：
设[0,1]αλβ∈，，，由于R 是凸集，所以对于任意的,x y R ∈，有
(1)x y R αα+-∈，(1)x y R ββ+-∈
[(1)]([(1)]{1[(1)]})g f x y λαλβλαλβλαλβ+-=+-+-+-
[(1)][(1)(1)(1)(1)]([(1)](1)[(1)])
f x x y y y y f x y x y f x y x y λαλβλαβλβλαλαλβλβλααλββ=+-+--+=+-+-+--=+-+-+- 由()f x 为R 上凸函数可知
[(1)][(1)](1)[(1)]g f x y f x y λαλβλααλββ+-≤+-+-+-
()(1)()g g λαλβ=+-
所以，()[(1)]g f x y ααα=+-在[0,1]内是凸函数。

充分性：
若对于任意的,x y R ∈，()[(1)]g f x y ααα=+-在[0,1]内是凸函数，则有
[(1)]f x y αα+-=()[1(1)0]g g ααα=+-g g
(1)(1)(0)g g αα≤+-g ()(1)()f x f y αα=+-
所以()f x 是凸函数。

□ 13. 考虑二次函数f(x)=x x x x x x 212
2212
132+-++
1) 写出它的矩阵—向量形式: f(x)=
x Qx b x
T
T +21 221()(1,1)262T f x X X X ⎛⎫
=
+- ⎪⎝⎭
2) 矩阵Q 是不是奇异的? |Q|＝8≠0，非奇异 3) 证明: f(x)是正定的
显然Q 正定，故f(x)正定 4) f(x)是凸的吗?
由于f(x)正定，所以f(x)是凸的
5) 写出f(x)在点x =T )1,2(处的支撑超平面(即切平面)方程
()10f X =，22-15()26111f X X ⎛⎫⎛⎫⎛⎫∇=+= ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭
切平面方程：()()()()T f X f X f X X X -=∇-
即22
1122
1223610110x x x x x x ++--+= □ 14. 设δ++=
x r Gx x x f T T
2
1)(是正定二次函数，证明一维问题 )()(min k k ad x f a +=ϕ
的最优步长为.)(k
T
k k
T k k Gd
d d
x f a ∇-=
证明： 同（10）题
15. 考虑约束优化问题
()22
12
12min 4..3413f x x x s t x x =++≥
初始点(2,2)，用两种惩罚函数法求解. 解：标准化
()22
12
min 4f x x x =+ 112..()34130s t g x x x =+-≥
（1）外罚函数法 构造罚函数
22
21212(,)4{min(0,3413)}P X M x x M x x =+++-
当1()0g x <时，
22
21212(,)4(3413)P X M x x M x x =+++-
112126(3413)0P x M x x x ∂=++-=∂， 2121
88(3413)0P
x M x x x ∂=++-=∂ 解得：(3,1)M X =。

（2）障碍罚函数法 构造障碍罚函数
22
1212(,)43413
r
P X r x x x x =++
+-
求解
12112320(3413)P r x x x x ∂=-=∂+-，22
112480(3413)P r x x x x ∂=-=∂+- 两式抵消，得：123x x =，代入上式
2222(1313)x x r -=
当0r →时，有20x →或21x →，所以取2x 的值为0或者1，对应的1x 取值为0或者3。

由于点(0,0)不在可行域内，所以取(3,1)为最优点。

16.
验证点T 与(0,3)T
-是否是规划问题
()212
221212min ..9
10
f x x x s t x x x x =++≤--+≥
的K-T 点。

对K-T 点写出相应的Lagrange 乘子。

解：规划问题标准化
212min ()f x x x =+
..s t 22
112
()90g X x x =--≥ 212()10g X x x =--+≥
12()1x f X ⎛⎫∇= ⎪⎝⎭， 1122()2x g X x -⎛⎫∇= ⎪-⎝⎭
， 21()1g X -⎛⎫
∇= ⎪
-⎝⎭
记(1)
X =，(2)03X ⎛⎫= ⎪-⎝⎭。

①下面验证正则点：
(1)
11()1g X ⎛-∇= -+⎝，(1)21()1g X -⎛⎫
∇= ⎪-⎝⎭
显然(1)1()g X ∇与(1)2()g X ∇
线性无关，于是T
为正则点。

(2)10()6g X ⎛⎫∇= ⎪-⎝⎭，(2)21()1g X -⎛⎫
∇= ⎪-⎝⎭
同样(2)
1()g X
∇与(2)
2()g X
∇线性无关，于是(0,3)T
-也是正则点。

②下面验证是否满足Kuhn-Tucker 条件：
2
(1)
(1)
1211101()()1011j j j f X g X γγγ=⎛⎛--⎛⎫⎛⎫
∇-∇=--= ⎪ ⎪ --+⎝⎭⎝⎭⎝⎭⎝∑ 得 1102
γ=-<
，2102γ=-<
，故11(,22T
+不满足Kuhn-Tucker 条件。

2
(2)
(2)1210010()()1-610j j j f X
g X γγγ=-⎛⎫⎛⎫⎛⎫⎛⎫∇-∇=--= ⎪ ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭⎝⎭
∑ 得11-06
γ=<，20γ=，故(0,3)T -不满足Kuhn-Tucker 条件。

□
17. 设集合n
S R ⊂是凸集，
1(),()
k f x f x L 是S 上的凸函数，令
{}1()max (),()k f x f x f x x S
=∈L
证明()f x 也是S 上的凸函数。

证明：设 X,Y S ∈，由1(),,()k f x f x L 是S 上的凸函数，则存在(0,1)λ∈，使得
[(1)]()(1)(),i i i f X Y f X f Y λλλλ+-≤+- 1,2,,i k =L
令
{}1()()max (),,()s k f X f X f X f X ==L {}1()()max (),,()t k f Y f Y f Y f Y ==L
其中,1,2,,s t k =L 。

{}1[(1)]max [(1)],,[(1)]k f X Y f X Y f X Y λλλλλλ+-=+-+-L {}11max ()(1)(),,()(1)()k k f X f Y f X f Y λλλλ≤+-+-L
{}{}11max (),,()(1)max (),,()k k f X f X f Y f Y λλ≤+-L L …… ①
()(1)()s t f X f Y λλ=+-()(1)()f X f Y λλ=+-
其中①式等号成立的充要条件是：s t =。

即：
[(1)]()(1)()f X Y f X f Y λλλλ+-≤+-
故f(x)为凸函数。

□ 18. 用最速下降法求解无约束问题 ()()()2
22
13423min -+-=x x x f ，取初始点
()()T
x 3,41=。

解：显见，()(2,3)T X *=。

取(1)(4,3)T X =，代入
12612()824x f X x -⎛⎫
∇= ⎪-⎝⎭
得
(1)()f X ∇=120⎛⎫
⎪⎝⎭
由
(1)2||()||144f X ε∇=>
得
.
..页脚. 60()08H X ⎛⎫= ⎪⎝⎭
因f(X)是二次函数，故得最优步长
(1)2(1)(1)||()||1()()()6
T f X f X H X f X λ∇==∇∇ 从而，得
(2)(1)(1)
2()3X X f X λ⎛⎫=-∇= ⎪⎝⎭ 显见，(2)2||()||0f X ε∇=<，所以(2)()X X *=。

□
19. 证明：用牛顿法求函数
1()2T T f x x Ax b x c =++（A 为对称正定矩阵）的极小值只需一次迭代。

证明：令()0f X AX b ∇=+=，得极小值点为
()1X A b *-=- …… ①
(0)(0)()f X AX b ∇=+，2(0)()f X A ∇=， 方向为： (0)2(0)1(0)()()D f X f X -=-∇∇
(1)(0)(0)(0)2(0)1(0)()()X X D X f X f X -=+=-∇∇
(0)1(0)()X A AX b -=-+
(0)1(0)1X A AX A b --=--
1A b -=-
对比①可知，(1)()X X *=。

结论得证。

□。