运筹学-动态规划-蒯圣龙

运筹学
Page:8
决策空间 —— 每一阶段决策变量的允许取值空间
X j (S j ) D j (S j )
QSC
华东理工大学 工商经济学院
运筹学
Page:9
状态变换 —— 每一阶段的初始状态经决策变量的
作用产生下一阶段的初始状态
S j+1 T(S j , X j )
QSC
华东理工大学 工商经济学院
产品在月末入库。求最优生产计划xk
QSC
华东理工大学 工商经济学院
运筹学
Page:3
分析处理方法
静态处理 —— 线性(整数)规划 动态处理 —— 动态规划
QSC
华东理工大学 工商经济学院
运筹学
Page:4
生产－库存问题的动态结构
1 月初库存量: s1=0
生产量 x1
2 月初库存量:
生产
s2
系统
生产量 x2
Sj : j阶段初系统所处状态 Xj：j阶段所作决策 rj(Sj, Xj): j阶段在状态Sj下作决策Xj得到的收益(成本)
QSC
华东理工大学 工商经济学院
运筹学
Page:7
允许状态集合 —— 每一阶段可能初始状态的全体
Sj
S1j ,
S
2 j
,
, j = 1, 2, , n
QSC
华东理工大学 工商经济学院
3 月初库存量:
生产
s3
系统
决策准则: 生产成本 c1x1 最小
决策准则: 生产成本 c2x2 最小
7 月初库存量: s7
生产量 x7
7 月底库存量:
生产
s8 ＝ 0
系统
决策准则: 生产成本 c7x7 最小
QSC
华东理工大学 工商经济学院
运筹学
Page:5
阶段最优与总体最优之间的非一致性
每一阶段的最优决策未必能保证总体最优 总体最优并不能保证每一阶段最优
有资金4万元，投资A、B、C三个项目，每个项目的投资效益 与投入该项目的资金有关。三个项目A、B、C的投资效益 （万吨）和投入资金（万元）的关系见下表：
项目 投入资金
1万 元 2万 元 3万 元 4万 元
A
15万吨 28万吨 40万吨 51万吨
B
13万吨 29万吨 43万吨 55万吨
C
11万吨 30万吨 45万吨 58万吨
S(Bi )
min j
dBi ,C j
S(C j )
S(Cj )
min k
dC j ,Dk
S(Dk )
华东理工大学 工商经济学院
S (Dk )
QSC 运筹学
求解
Page:19
S(D1)=5，S(D2)=2
S(C1
)
min
3
S(D1
)
min3
5
8
,
9 S(D2 )
9 2
C1 D1
4
13 12
B3 11
II
Page:17
C1 3
9
6 C2
5
8 C3 10
D1 5 E
D2 2
III
IV
QSC
华东理工大学 工商经济学院
运筹学
求解策略
Page:18
记S(x)为节点x到E的最短路
将A到E的最短路径问题，转化为三个性质
完全相同，但规模较小的子问题
S(A)
min i
d A,Bi
S(Bi )
k=4，f4(s4)=0; k=3，0≤x3≤s3，s4=s3-x3
s3 D3(s3) s4 v3(s3,x3) v3(s3,x3)+f4(s4) f3(s3) x3*
0
0
0
0
1
0
1
0
1
0
11
0
2
0
2
1
1
11
2
0
30
0
3
0
3
1
2
11
2
1
30
3
0
45
0
4
0
1
3
11
4
2
2
30
3
1
45
4
0
58
0+0=0 0+0=0 11+0=11* 0+0=0 11+0=11 30+0=30* 0+0=0 11+0=11 30+0=30 45+0=45* 0+0=0 11+0=11 30+0=30 45+0=45 58+0=58*
0
0
11
1
30
2
45
3
58
4
QSC
华东理工大学 工商经济学院
运筹学
k=2，0≤x2≤s2，s3=s2-x2
s2 D2(s2) s3
0
0
0
1
0
1
1
0
0
2
2
1
1
2
0
0
3
1
2
3
2wk.baidu.com
1
3
0
0
4
1
3
4
2
2
3
1
4
0
v2(s2,x2)
0 0 13 0 13 29 0 13 29 43 0 13 29 43 55
v2(s2,x2)+f3(s3)
5(s4
x4 ) 8s5
max
0x4 s4
8x4
max
0x4 s4
1.4x4
初将完好的机器一部分分配到高负荷生产，剩下的 机器分配到低负荷生产，使五年的总产量为最高。
QSC
华东理工大学 工商经济学院
运筹学
Page:29
x1
x2
x3
x4
x5
s1
第 1
s2
第 2
s3
第 3
s4
第 4
s5
第 5
s6
年
年
年
年
年
指标值 (产量) V1(s1,x1)
指标值 (产量) V2(s2,x2)
QSC
华东理工大学 工商经济学院
运筹学
Page:12
最优指标函数 ——当k阶段的状态为Sk，并采取最优子策略
Pk,n (Sk ) Xk (Sk ), Xk +1(Sk 1 ), , Xn (Sn )
此时得到的从k到n+1各阶段指标值的总和：
fk (Sk ) Opt rk (Sk , Xk ) rk+1(Sk+1, Xk1 ) rn (Sn , Xn )
指标值 (产量) V3(s3,x3)
指标值 (产量) V4(s4,x4)
指标值 (产量) V5(s5,x5)
QSC
华东理工大学 工商经济学院
运筹学
动态规划模型构造
阶段k：
运行年份（k=1,2,3,4,5,6）；
状态变量xk： 第k年初完好的机器数（k=1,2,3,4,5,6）； 决策变量dk： 第k年投入高负荷运行的机器数； 状态转移方程：sk+1=0.7xk+0.9(sk-xk) 决策允许集合：Dk(sk)={xk|0xksk} 阶段指标： vk(sk,xk)=8xk+5(sk-xk) 终端条件： f6(s6)=0 递推方程：
S(C 2
)
min6
S(D1
)
min6
5
7
,
5 S(D2 )
5 2
C2 D2
S(C 3
)
min
8
S(D1
)
min
8
5
12
,
10 S(D2 )
10 2
C3 D2
S(C1)=8；S(C2)=7； S(C3)=12
QSC
华东理工大学 工商经济学院
运筹学
S(C1)=8；S(C2)=7； S(C3)=12
1 19
A B2
QSC
华东理工大学 工商经济学院
运筹学
最优解
Page:22
2 19
A
5
1
20 B1 12
14 10 14 6 B2 10
4
13 12
B3 11
18
8 C1 3
9 76 C2
5
8 C3 10 12
5
D1 5
0
E
D2 2 2
QSC
华东理工大学 工商经济学院
运筹学
Page:23
资源分配问题
QSC
华东理工大学 工商经济学院
运筹学
Page:16
最短路径问题的应用
2
A
5
1
B1 12 14
10
6 B2 10
4
13 12
B3 11
C1 3
9
6 C2
5
8 C3 10
D1 5 E
D2 2
找出A到E的最短路径
QSC
华东理工大学 工商经济学院
运筹学
阶段划分
2
A
5
1
I
B1 12 14
10
6 B2 10
能否通过阶段决策达到总体最优目标？ 在什么条件下总体最优包含了阶段最优？
QSC
华东理工大学 工商经济学院
运筹学
Page:6
一般多阶段决策问题的结构
决策 X1
决策 X2
决策 Xn
S1
阶段
S2
阶段
S3
1
2
Sn-1
阶段 Sn
n
指标值 r1(S1, X1)
指标值 r2(S2, X2)
指标值 rn(Sn, Xn)
fk(sk)=max{vk(sk,xk)+fk+1(sk+1)}
xkDk(sk)
=max{8xk+5(sk-xk)+fk+1[0.7xk+0.9(sk-xk)]}
0xksk
华东理工大学 工商经济学院
运筹学
Page:30
QSC
Page:31
f5 (s5 )
max
0x5 s5
8x5
5(s5
x5 ) f6 (s6 )
max
0x5 s5
3x5
5s5
8s5
x5
华东理工大学 工商经济学院
x5* s5
运筹学
s5
第 5
s6 …
年
指标值 (产量)
V5(s5,x5) +f6(s6)
QSC
Page:32
f4 (s4 )
max
0x4 s4
8x4
5(s4
x 4 ) f5 (s5 )
max
0x4 s4
8x4
0+0=0 0+11=11 13+0=13* 0+30=30* 13+11=24 29+0=29 0+45=45* 13+30=43 29+11=40 43+0=43 0+58=58 13+45=58 29+30=59* 43+11=54 55+0=55
华东理工大学 工商经济学院
运筹学
f x 2(s2)
QSC
华东理工大学 工商经济学院
运筹学
Page:13
Bellman最优性原理
“作为整个过程的最优策略具有这样的性 质：无论过去的状态和决策如何，相对于 前面决策所形成的状态，余下的决策必然 形成最优子策略”
QSC
华东理工大学 工商经济学院
运筹学
Page:14
动态规划递归方程
f
k
(Sk
)
Opt
2*
0
0
13
1
30
0
45
0
59
2
Page:26
QSC
Page:27
k=1，0≤x1≤s1，s2=s1-x1
s D s v 1
1(s1)
2
1(s1,x1)
0
4
0
1
3
15
4
2
2
28
3
1
40
4
0
51
v1(s1,x1)+f2(s2)
0+59=59 15+45=60* 28+30=58 40+13=53
51+0=51
运筹学
Page:10
策略 —— 从初始阶段到最终阶段，每一阶段的
决策所形成的序列
P1,n (S1 ) X1(S1 ), X2 (S2 ), , Xn (Sn )
QSC
华东理工大学 工商经济学院
运筹学
Page:11
子策略 —— 从k阶段到最终阶段，每一阶段的
决策所形成的序列
Pk,n (Sk ) Xk (Sk ), Xk +1(Sk 1 ), , Xn (Sn )
华东理工大学 工商经济学院
Page:1
运
动 态
筹
规 划
学
QSC 运筹学
Page:2
生产－库存问题
月份(k) 1 2 3 4 5 6 7
生产成本(ck) 11 18 13 17 20 10 15 需求量(rk) 0 8 5 3 2 7 4
产品仓库容量H=9。期初库存量为2，要求
期末（七月底）库存量为0。每个月生产的
求对三个项目的最优投资分配，使总投资效益最大。
QSC
华东理工大学 工商经济学院
运筹学
Page:24
x1
x2
x3
s1
项目A s2
项目B s3 项目C s4
指标值(收益)
指标值(收益)
指标值(收益)
V1(s1,x1)
V2(s2,x2)
V3(s3,x3)
阶段k：每投资一个项目作为一个阶段；
状态变量sk：投资第k个项目前的资金余额；
决策变量xk：第k个项目的投资额；
决策允许集合：Dk(sk)={0≤xk≤sk}
状态转移方程：sk+1=sk-xk
阶段指标：vk(sk,xk)见表中所示；
递推方程：fk(sk)=max{vk(sk,xk)+fk+1(sk+1)}
终端条件：f4(s4)=0
QSC
华东理工大学 工商经济学院
运筹学
Page:25
f x 1(s1)
1*
60
1
最优解为:
s1=4, s2=s1-x1=3, s3=s2-x2*=3, s4=s3-x3=0
x1*=1, x2*=0, x3*=3,
最大效益为60万吨
QSC
华东理工大学 工商经济学院
运筹学
Page:28
机器负荷分配问题
某种机器可以在高、低两种负荷下生产。高负荷生 产条件下机器完好率为0.7，即如果年初有u台完好 机器投入生产，则年末完好的机器数量为0.7u台。 系数0.7称为完好率。年初投入高负荷运行的u台机 器的年产量为8u吨。系数8称为单台产量。低负荷 运行时，机器完好率为0.9，单台产量为5吨。设开 始时有1000台完好机器，要制订五年计划，每年年
S(C 2
)
min
12
7
19
,
11 S(C3 )
11 12
华东理工大学 工商经济学院
运筹学
Page:20
B1 C1 B2 C1 B3 C2
QSC
Page:21
S(B1)=20；S(B2)=14；S(B3)=19
2 S(B1)
2 20
S(A)
min5
S(
B2
)
min5
14
19
,
1 S(B3)
12 S(C1 )
12 8
S(B1
)
min14
S(C
2
)
min
14
7
20
,
10 S(C3 )
10 12
6 S(C1 )
68
S(B2 ) min10 S(C2 ) min10 7 14 ,
4 S(C3 )
4 12
13 S(C1 )
13 8
S(B3
)
min12
Xk Dk (Sk
)
rk (Sk , Xk ) fk1(Sk1 )
k n, n 1, ,1
f n 1 (S n
1
)
0
(or)
1
QSC
华东理工大学 工商经济学院
运筹学
Page:15
建立动态规划模型及求解步骤
划分阶段 确定状态变量及允许状态集合 确定决策变量及决策空间 确定状态转移方程 确定转移指标函数并建立递归方程