运筹学 动态规划

0
10
清华大学出版社
第3阶段的最优解（续）
当k=3时，S3=3
S3
u3 d3(u3, S3) f4 (S3 u3 ) d3 f3 f3 (S3 )
u
* 3
0
0
11
11
31
5
6
11
14
2
2 10
4
14
3 11
0
11
清华大学出版社
第3阶段的最优解（续）
当k=3时，S3=4
S3
u3 d3(u3, S3) f4 (S3 u3 ) d3 f3 f3 (S3 )
04707007
1 3 6 0.5 6.5 0 0 6.5
22516006
3 1 4 1.5 5.5 0 0 5.5
40022002
清华大学出版社
第三阶段最优解
当k=3时，由于S4 4 ，且第三阶段需求 量d3=2，S3=(0,1,2,3,4,5,6)
本期成本
S3 u3 生产 存储 C3 S4 f4(S4) f3(S3)
清华大学出版社
第三阶段最优解:S3=2
本期成本
S3 u3 生产 存储 C3 S4 f4(S4) f3(S3)
20011078 1 4 1 5 1 6.5 11.5 2 5 1 6 2 6 12.0 3 6 1 7 3 5.5 12.5 4 7 1 8 4 2 10.0
清华大学出版社
u
* 3
0
0
12
12
1
5
11
16
4 2 10
6
16 16 1，2
3 11
4
15
4 11
0
11
清华大学出版社
第3阶段的最优解（续）
当k=3时，S3=5
S3
u3 d3(u3, S3) f4 (S3 u3 ) d3 f3 f3 (S3 )
u
* 3
0
0
12
12
1
5
12
17
2 10 5
3 11
11
k
(uk
)

f k 1 (Sk 1 )}
清华大学出版社
进行各阶段的计算
采用逆序法，设 f6 (S6 ) 0
当k=5时，S5=(5,6,7,8)，由表3-1得到
f5 (5) 25, f5 (6) 24, f5 (7) 18, f5 (8) 14
当k=4时， S4=(5,6,7,8)，由递推方程
清华大学出版社
工厂 甲
乙
丙
丁
设备数
0
0
0
0
0
1
6
3
5
4
2
7
7
10
6
3
Fra Baidu bibliotek
10
9
11
11
4
12
12
11
12
5
15
13
11
12
清华大学出版社
建立数学模型
按工厂次序划分阶段，k=1，2，3，4
状态变量为各阶段可用于分配的设备总 台数
决策变量是分配给第k工厂的设备数
采用逆序算法，状态转移方程
,uk )
过程与子过程
策略与子策略： Vk,n (Sk , pk,n )
指标函数与最优值函数：
opt fk (Sk )
V (S , p ) k,n k
pk ,n
k ,n
pk ,nPk ,n
清华大学出版社
二、最优化原理与动态规划的 基本方法
Bellman原理 动态规划的基本方法
u
* 2
0
0
16
16
1
3
42
7
14
17
10
17 17 1，2
3
9
5
14
4 12
0
12
清华大学出版社
第2阶段的最优解（续）
•当k=2时，S2=5
S2
u2 d2 (u2, S2 ) f3 (S2 u2 ) d2 f2 f2 (S2 )
u
* 2
0
0
21
21
1
3
16
19
5
2 3
7 9
14 10
21 19
21 0，2
4 12
5
17
5 13
0
15
清华大学出版社
第1阶段的最优解（续）
•当k=1时，S1=5
S1 u1 d1(u1, S1) f2 (S1 u1) d1 f1 f1(S1) u1*
0
0
21
21
1
6
17
23
5
2 3
7 10
14 10
21 20
23
1
4 12
5
17
5 15
0
15
清华大学出版社
20
25
87
74
61
45
24
6元 12
13
16
20
24
90
75
61
42
18
7元 14
14
16
18
18
92
76
57
32
14
8元 16
15
15
14
14
清华大学出版社
二、资源分配问题
某公司将5台加工中心分配给甲、乙、 丙、丁四个工厂，各工厂或设备后 可产生如表3-2所示的利润，应怎么 分配设备可使公司总利润最大？
最优值函数的递推方程和边界条件。 递推求解。 与递推过程反向求出最优策略(最优决策变量
值系列)和最优状态变化路线。
清华大学出版社
第三节 动态规划的应用举例
定价问题 资源分配问题 生产存储问题
清华大学出版社
一、定价问题
某公司考虑为某新产品定价，该产品的 单价拟从每件5元、6元、7元和8元这四 个中选取一个，每年允许价格有1元幅度 的变动，该产品预计畅销五年，据预测 不同价格下各年的利润如表3-1所示。
逆向顺序法 前向顺序法
清华大学出版社
Bellman原理示意图
整个 问题
最后一步 部分优化
最后两步 部分优化
整个问 题优化
清华大学出版社
逆向顺序法求解例3-2
9
7
B1 6 C1 3
13 4
4 11 8
A 9 B2 7
5 5
6 C2 2
4 D1 4
0 E
5
6
33
D2
13 8 B3 9
5 13 C3
fk
(Sk
)

min
0uk 6
{Ck (Sk , uk )
fk 1(Sk 1)}
Sk uk dk
f5(S5) 0
清华大学出版社
第四阶段的最优解
当k=4时，d4=4,因地四阶段末无存货， 因此S4=(0,1,2,3,4)
S4
u4
本期成本 生产 存储
C4
S5 f5(S5) f4(S4)
设第k月的生产量uk，存储量为Sk,则总成本为
Ck
(Sk
,
uk
)

uk
0
3

0.5Sk
清华大学出版社
建立数学模型
以月划分阶段，k=1,2,3,4 各阶段决策变量为该阶段生产量uk，状态变量
为该阶段存储量Sk。 采用逆序算法，则状态转移方程为
最低成本递推公式是 Sk1 Sk uk dk
0 2 5 0 5 0 7 12 3 6 0 6 1 6.5 12.5 4 7 0 7 2 6 13 5 8 0 8 3 5.5 13.5 6 9 0 9 4 2 11
清华大学出版社
第三阶段最优解:S3=1
本期成本
S3 u3 生产 存储 C3 S4 f4(S4) f3(S3)
1 1 4 0.5 4.5 0 7 11.5 2 5 0.5 5.5 1 6.5 12.0 3 6 0.5 6.5 2 6 12.5 4 7 0.5 7.5 3 5.5 13.0 5 8 0.5 8.5 4 2 10.5
第2阶段的最优解（续）
•当k=2时，S2=3
S2
u2 d2 (u2, S2 ) f3 (S2 u2 ) d2 f2 f2 (S2 )
u
* 2
0
0
14
14
3
1 2
3 7
10 5
13 12
14
0
3
9
0
9
清华大学出版社
第2阶段的最优解（续）
•当k=2时，S2=4
S2
u2 d2 (u2, S2 ) f3 (S2 u2 ) d2 f2 f2 (S2 )
21
21 2
6
17
4 11
4
15
5 11
0
11
清华大学出版社
第2阶段的最优解
当k=2时，S2=(0,1,2)
S2
u2 d2 (u2, S2 ) f3 (S2 u2 ) d2 f2 f2 (S2 )
u
* 2
00
0
0
0
00
0
0
5
5
1
50
1
3
0
3
0
0
10
10
21
3
5
8 10 0
2
7
0
7
清华大学出版社
清华大学出版社
反推得最优路线
按照与求最优值函数方向相反的顺序求 最优状态路线：最优决策变量。即从第 一年单价应为8元开始，向后推算。
得第二年定价8元，第三年定价7元，第 四年定价6元，第五年定价5元。
最大利润值为92万元。
清华大学出版社
用决策图求解
84
73
60
45
25
5元 10
12
15
Sk 1 Sk xk
最优值函数递推方程
fk (Sk )

max uk
{d
k
(uk
)

fk 1(Sk 1)}
f5(S5) 0
清华大学出版社
第4阶段的最优解
当k=4时，S4=(0,1,2,3,4,5)
S4
u4
d4(u4, S4) f4 (S4 ) u4* (S4 )
0
0
0
0
0
的价格，状态变量的可行集合 Sk=(5,6,7,8)。 决策变量为每年依据当年价格为下一年度 决定价格，根据题意决策变量的可行集合 是：
uk (Sk 1, Sk , Sk 1)
采用逆序算法，因此状态转移方程是
Sk1 uk (Sk )
最优值函数递推方程为
fk (Sk )

max{d uk

得
f4 (S4 )

max{d u4
4
(u4
)

f5 (S5 )}
f4 (5)

maxdd44
(5) (6)

f f
5 5
(5) (6)
20 25 max20 24 45,u4 (5) 5
清华大学出版社
继续求解
f4 (6) 45,u4 (6) 5, f4 (7) 42,u4 (7) 6, f4 (8) 32,u4 (8) 7 当k 3时, f3(5) 60,u3(5) 5,6 f3(6) 61,u3(6) 5,6, f3(7) 61,u3(7) 6, f3(8) 57,u3(8) 7 当k 2时, f2 (5) 73,u2 (5) 6 f2 (6) 74,u2 (6) 6,7, f2 (7) 75,u2 (7) 6,7, f2 (8) 76,u2 (8) 7 当k 1时, f1(5) 84,u1(5) 6 f1(6) 87,u1(6) 7, f1(7) 90,u1(7) 8, f1(8) 92,u1(8) 8
管理运筹学教程
第三章 动态规划
清华大学出版社
图3-1
清华大学出版社
名词解释
阶段，用k表示。
状态、状态变量，用Sk表示，通常是集合
决策、决策变量，通常用uk或xk表示。
opt fk (Sk )
Vk,n (Sk , pk,n )

状态转移及其方程：
Sk 1

Tk
(Sk
pk ,nPk ,n
第4阶段的最优解
当k=4时，S4=(0,1,2,3,4,5)
0
0
0
0
0
1
1
4
4
1
2
2
6
6
2
3
3
11
11
3
4
4
12
12
4
5
5
12
12
5
清华大学出版社
反向求最佳状态路线
由u1* 1 S2 4 u2* 1,2 S3 3,2 u3* 2 S4 1,0 u4* 1,0
状态变量应当满足无后效性要求。 明确指标函数，给出最优函数递推方程，递推方程
的形式应当与递推顺序一致。
清华大学出版社
二、动态规划的求解步骤
正确划分阶段。 确定状态变量和决策变量，并给出状态变量和
决策变量的可行集合。 确定求解的递推顺序，给出状态转移方程。 确定阶段、子过程(子策略)的指标函数，确定
方案一
方案二
工厂名 分配设备数 工厂名 分配设备数
甲
1
甲
1
乙
1
乙
2
丙
2
丙
2
丁
1
丁
0
清华大学出版社
三、生产存储问题
某公司生产并销售某产品。根据市场预 测，今后四个月的市场需求量如表3-7所 示。
时期（月） 1
需求量（dk） 2
2
3
3
2
4
4
清华大学出版社
已知的其它条件
已知生产一件产品的成本是1千元，每批产品的 生产准备成本是3千元，每月仅能生产一批，每 批6件。每件存储成本为0.5千元，且第一个月初 无存货，第四个月末的存货要求为零。求最优 （最低成本）生产与存储计划。
1
1
4
4
1
2
2
6
6
2
3
3
11
11
3
4
4
12
12
4
5
5
12
12
5
清华大学出版社
第3阶段的最优解
当k=3时，S3=(0,1,2)
S3
u3 d3(u3, S3) f4 (S3 u3 ) d3 f3 f3 (S3 )
u
* 3
00
0
0
0
00
0
0
4
4
1
51
1
5
0
5
0
0
6
6
21
5
4
9 10 2
2 10
清华大学出版社
第二节 动态规划建模与求解步骤
建立动态规划模型的基本要求 动态规划的求解步骤
清华大学出版社
一、建立动态规划模型的基本要求
将问题划分成若干阶段。有的问题的阶段性很明显， 有的则不明显，需要分析后人为假设。
确定各阶段的状态变量，并给出状态转移方程，状 态转移方程的形式应当与递推顺序一致。
清华大学出版社
表3-2 每年预计利润额
单价 第一年 第二年 第三年 第四年 第五年
5元 10 12 15 20 25 6元 12 13 16 20 24 7元 14 14 16 18 18 8元 16 15 15 14 14
清华大学出版社
建立数学模型
按年划分阶段，k=1,2,...,5 每阶段的状态变量为本年(上一年已确定)