《运筹学动态规划》PPT课件

逆向顺序法 前向顺序法
清华大学出版社
Bellman原理示意图
整个 问题
最后一步 部分优化
最后两步 部分优化
整个问 题优化
清华大学出版社
逆向顺序法求解例3-2
9
7
B1 6 C1 3
13 4
4 11 8
A 9 B2 7
5 5
6 C2 2
4 D1 4
0 E
5
6
33
D2
13 8 B3 9
5 13 C3

得
f4 (S4 )

max{d u4
4
(u4
)

f5 (S5 )}
f4 (5)

maxdd44
(5) (6)

f f
5 5
(5) (6)
20 25 max20 24 45,u4 (5) 5
清华大学出版社
继续求解
f4 (6) 45,u4 (6) 5, f4 (7) 42,u4 (7) 6, f4 (8) 32,u4 (8) 7 当k 3时, f3(5) 60,u3(5) 5,6 f3(6) 61,u3(6) 5,6, f3(7) 61,u3(7) 6, f3(8) 57,u3(8) 7 当k 2时, f2 (5) 73,u2 (5) 6 f2 (6) 74,u2 (6) 6,7, f2 (7) 75,u2 (7) 6,7, f2 (8) 76,u2 (8) 7 当k 1时, f1(5) 84,u1(5) 6 f1(6) 87,u1(6) 7, f1(7) 90,u1(7) 8, f1(8) 92,u1(8) 8
最优值函数的递推方程和边界条件。 递推求解Βιβλιοθήκη Baidu 与递推过程反向求出最优策略(最优决策变量
值系列)和最优状态变化路线。
清华大学出版社
第三节 动态规划的应用举例
定价问题 资源分配问题 生产存储问题
清华大学出版社
一、定价问题
某公司考虑为某新产品定价，该产品的 单价拟从每件5元、6元、7元和8元这四 个中选取一个，每年允许价格有1元幅度 的变动，该产品预计畅销五年，据预测 不同价格下各年的利润如表3-1所示。
清华大学出版社
表3-2 每年预计利润额
单价 第一年 第二年 第三年 第四年 第五年
5元 10 12 15 20 25 6元 12 13 16 20 24 7元 14 14 16 18 18 8元 16 15 15 14 14
清华大学出版社
建立数学模型
按年划分阶段，k=1,2,...,5 每阶段的状态变量为本年(上一年已确定)
管理运筹学教程
第三章 动态规划
清华大学出版社
图3-1
清华大学出版社
名词解释
阶段，用k表示。
状态、状态变量，用Sk表示，通常是集合
决策、决策变量，通常用uk或xk表示。
opt fk (Sk )
Vk,n (Sk , pk,n )

状态转移及其方程：
Sk 1

Tk
(Sk
pk ,nPk ,n
Sk 1 Sk xk
最优值函数递推方程
fk (Sk )

max uk
{d
k
(uk
)

fk 1(Sk 1)}
20
25
87
74
61
45
24
6元 12
13
16
20
24
90
75
61
42
18
7元 14
14
16
18
18
92
76
57
32
14
8元 16
15
15
14
14
清华大学出版社
二、资源分配问题
某公司将5台加工中心分配给甲、乙、 丙、丁四个工厂，各工厂或设备后 可产生如表3-2所示的利润，应怎么 分配设备可使公司总利润最大？
清华大学出版社
工厂 甲
乙
丙
丁
设备数
0
0
0
0
0
1
6
3
5
4
2
7
7
10
6
3
10
9
11
11
4
12
12
11
12
5
15
13
11
12
清华大学出版社
建立数学模型
按工厂次序划分阶段，k=1，2，3，4
状态变量为各阶段可用于分配的设备总 台数
决策变量是分配给第k工厂的设备数
采用逆序算法，状态转移方程
清华大学出版社
第二节 动态规划建模与求解步骤
建立动态规划模型的基本要求 动态规划的求解步骤
清华大学出版社
一、建立动态规划模型的基本要求
将问题划分成若干阶段。有的问题的阶段性很明显， 有的则不明显，需要分析后人为假设。
确定各阶段的状态变量，并给出状态转移方程，状 态转移方程的形式应当与递推顺序一致。
状态变量应当满足无后效性要求。 明确指标函数，给出最优函数递推方程，递推方程
的形式应当与递推顺序一致。
清华大学出版社
二、动态规划的求解步骤
正确划分阶段。 确定状态变量和决策变量，并给出状态变量和
决策变量的可行集合。 确定求解的递推顺序，给出状态转移方程。 确定阶段、子过程(子策略)的指标函数，确定
的价格，状态变量的可行集合 Sk=(5,6,7,8)。 决策变量为每年依据当年价格为下一年度 决定价格，根据题意决策变量的可行集合 是：
uk (Sk 1, Sk , Sk 1)
采用逆序算法，因此状态转移方程是
Sk1 uk (Sk )
最优值函数递推方程为
fk (Sk )

max{d uk
清华大学出版社
反推得最优路线
按照与求最优值函数方向相反的顺序求 最优状态路线：最优决策变量。即从第 一年单价应为8元开始，向后推算。
得第二年定价8元，第三年定价7元，第 四年定价6元，第五年定价5元。
最大利润值为92万元。
清华大学出版社
用决策图求解
84
73
60
45
25
5元 10
12
15
,uk )
过程与子过程
策略与子策略： Vk,n (Sk , pk,n )
指标函数与最优值函数：
opt fk (Sk )
V (S , p ) k,n k
pk ,n
k ,n
pk ,nPk ,n
清华大学出版社
二、最优化原理与动态规划的 基本方法
Bellman原理 动态规划的基本方法
k
(uk
)

f k 1 (Sk 1 )}
清华大学出版社
进行各阶段的计算
采用逆序法，设 f6 (S6 ) 0
当k=5时，S5=(5,6,7,8)，由表3-1得到
f5 (5) 25, f5 (6) 24, f5 (7) 18, f5 (8) 14
当k=4时， S4=(5,6,7,8)，由递推方程