第六讲动态规划上优秀课件

相应的机器年完好率b, 0<b<1。
假定开始生产时完好的机器数量为s1。要求制定一个五年计划，在每年
开始时，决定如何重新分配完好的机器在两种不同的负荷下生产的数量， 使在五年内产品的总产量达到最高。
设备更新问题
企业在使用设备时都要考虑设备的更新问题，因为设备越 陈旧所需的维修费用越多，但购买新设备则要一次性支出较 大的费用。现某企业要决定一台设备未来8年的更新计划，已 预测了第j年购买设备的价格为Kj，设Gj为设备经过j年后的残 值，Cj为设备连续使用j-1年后在第j年的维修费( j＝1，2，…， 8)，问应在哪些年更新设备可使总费用最小。
1
5 B1 3
A3
6
8
B2 7
6
C1 6
8
C2 3 5
C3 3 3 8
C4 4
2 D1
2
D2 1 2 3
D3 3
E1 3
5 F1 4
5 E2 2
G
6 E3 6
F2
3
1
2
3
4
5
6
多阶段决策问题：
1、在多阶段决策过程中,系统的动态过程可以按照时 间进程分为状态相互联系而又相互区别的各个阶段；
2、每个阶段都要进行决策,目的是使整个过程的决 策达到最优效果。
1
2
3
4
5
图 7-1
资源分配问题
例. 某公司拟将某种设备5台，分配给所属的甲、乙、丙三个工 厂。各工厂获得此设备后，预测可创造的利润如下表所示，问这 5台设备应如何分配给这3个工厂，使得所创造的总利润为最大？
工厂 盈利 设备台数
0 1 2 3 4 5
甲厂
0 3 7 9 12 13
乙厂
0 5 10 11 11 11
1. 阶段、阶段变量
把所给问题的过程，适当地分为若干个相互联系 的阶段，以便按次序去求每阶段的解 ;
描述阶段的变量称为阶段变量，常用k表示；
阶段的划分，一般是按时间和空间的自然特征 （年、月、路段）来划分 ；
要便于把问题的过程转化为多阶段决策的过程。
例中，从A到F可以分成从A到B (B有两种选择B1,B2)， 从B到C (C有四种选择C1，C2，C3，C4)，从C到D (D有 三种选择D1，D2 ,D3)，从D到E (E有两种选择E1，E2)， 再从E到F五个阶段。 k＝1，2，3，4，5。
这是一个8阶段决策问题，每年年初要作出决策，是继续 使用旧设备，还是购买新设备。
第二节 动态规划的基本概念和基本原理
一、动态规划的基本概念
使用动态规划方法解决多阶段决策问题， 首先要将实际问题写成动态规划模型，此时要 用到以下概念：
(1)阶段；(2)状态；(3)决策和策略； (4)状态转移；(5)指标函数。
决策变量是状态变量的函数。
在实际问题中决策变量的取值往往在某一范围之内，此范围称为允许决
策集合。常用 Dk(sk) 表示第 k 阶段从状态sk出发的允许决策集合，显然
有
uk(sk) Dk(sk)
2
C1
5
B1 3
4 684C2 Nhomakorabea5
D1 3
5 6
E1
4
A
5
8 7
C3
3 4
B2
7
8 4
D2 2
13
D3
F
S 2 B1 , B 2 S 3 C1 , C 2 , C 3 , C 4 S 4 D1 , D 2 , D 3 S 5 E1 , E 2
2
C1
5
B1 3
4 6
8
4
C2
5
D1 3
5 6
E1
4
A
5
8
7
B2
7
C3
3 4
8
4
D2 2
13
D3
F
3
E2
C4
1
2
3
图 7-1
4
5
动态规划中的状态应具有如下性质：当某阶段状态给定以后，在这阶段以 后过程的发展不受这段以前各段状态的影响。也就是说，当前的状态是过去 历史的一个完整总结，过程的过去历史只能通过当前状态去影响它未来的发 展，这称为无后效性。如果所选定的变量不具备无后效性，就不能作为状态 变量来构造动态规划模型。
状态
决策 状态
1
决策 状态 状态
2
决策 n
多阶段决策问题的典型例子
给定一个线路网络图，要从A地向F地铺设一条输油管道， 各点间连线上的数字表示距离，问应选择什么路线，可使总距 离最短?
2
C1
5
B1 3
4 6
8
4
C2
5
A
5
8 7
C3
3 4
B2
8
7
4
D1 3
5
D2
6 2
13
D3
E1 4
3
E2
F
C4
2
C1
5
B1 3
4 6
8
4
C2
5
D1 3
5 6
E1
4
A
5
8
7
B2
7
C3
3 4
8
4
D2 2
13
D3
F
3
E2
C4
1
2
3
图 7-1
4
5
2. 状态、状态变量
每个阶段开始所处的自然状态或客观条件。通常 一个阶段有若干个状态。
描述过程状态的变量称为状态变量，常用sk（一个 数、一组数、一个向量）表示第k阶段的状态。
丙厂
0 4 6 11 12 12
机器负荷分配问题
某种机器可以在高低两种不同的负荷下进行生产。在高负荷下进行
生产时，产品的年产量g和投入生产的机器数量u1的关系为 g=g(u1)
这时，机器的年完好率为a，即如果年初完好机器的数量为u，到年终 完好的机器就为au, 0<a<1。
在低负荷下生产时，产品的年产量h和投入生产的机器数量u2的关系为 h=h(u2)
状态变量的取值有一定的允许集合或范围，此集合称 为状态允许集合，用Sk表示。
2
C1
5
B1 3
4 6
A
5
8
7
B2
7
8
4
C2
5
C3
3 4
8
4
D1 3
5
D2
6 2
13
D3
E1
4
3
E2
F
C4
1
2
3
4
5
图 7-1
在例5中，第一阶段状态为A，第二阶段则有二个状态：Bl，B2。状
态变量s1的集合 S1A ，后面各段的状态集合分别是：
例 5 中，当某段的初始状态已选定某个点时，从这个点以后的铺管路线只 与该点有关，不受以前的铺管路线影响，所以满足状态的无后效性。
3. 决策、决策变量
过程的某一阶段、 某个状态, 可以做出不同的决定(选择), 决定下一阶 段的状态，这种决定称为决策。
描述决策的变量，称为决策变量。常用 uk (表sk )示第 k 阶段当状态为sk 时的决策变量。
第六讲动态规划上
第一节 多阶段决策过程的最优化
美国数学家贝尔曼( R. Bellman )50年代 执教于普林斯顿和斯坦福大学，后进入兰德 （Rand）研究所。1957年发表 “Dynamic Programming”一书，标 识动态规划的正式诞生。
最短路问题
给定一个交通网络图如下，其中两点之间的数字表示距离（或 花费），试求从A点到G点的最短距离（总费用最小）
3
E2
C4
1
2
3
4
5
图 7-1
在例5中，从第二阶段的状态B1出发，可选择下一段的C1，C2，C3，即其 允许决策集 合为：