1.多阶段决策过程2.Bellman最优性原理3.动态规划的数学描述

2019/3/8
例7-3的求解
依此类推可求得：
*u3=S3 f3 (S3 ) = 17.5S3 *u2= 0 f2 (S2 ) = 20.8S2 *u1= 0 f1 (S1 ) = 23.7S1 =23700(件)
计算结果表明，前两年应把全部完好设备均投入低负荷生产； 而后三年应把全部完好设备均投入高负荷生产。这样所得的产 量最高，其最高产量为23700件。各年年初的状态为： S1 =
[例7-2]: 第119页 某公司拟将500万元的资本投入所属的甲、乙、丙 三个工厂，各工厂获得投资后年利润将有相应的增 长，一定投资下的利润增长额如下表所示，试确定 最优的投资分配方案，使公司年利润增长额最大。 投资(百万元) 1 2 3 4 5 甲 0.3 0.7 0.9 1.2 1.3 乙 0.5 1.0 1.1 1.1 1.1 丙 0.4 0.6 1.1 1.2 1.2
2019/3/8
阶段指标函数
阶段指标函数是对应某一阶段决 策的效率度量，用gk=rk (Sk, dk)来 加以表示。
2019/3/8
过程指标函数
过程指标函数是用来衡量所实现过程优劣的数量 指标，它是定义在全过程（策略）或后续子过程 （子策略）上的数量函数。过程指标函数常用 Rk,,N 来表示，构成动态规划的过程指标函数应具 有可分性并满足递推关系，即Rk,,N 可表示为rk 和 Rk+1,N二者的函数。最常见的过程指标函数与阶段 指标函数的关系有如下两种： 1.过程指标函数是阶段指标函数的和，此时 Rk,,N =rk +Rk+1,N 2.过程指标函数是阶段指标函数的积，此时 Rk,,N =rk Rk+1,N
2019/3/8
例7-2的求解
按工厂分为三个阶段： 甲 乙 丙 k：1 2 3 设Sk为第k个工厂至第3个工厂可利用的投资额， xk为第k个工厂获得的投资额，则Sk+1=Sk - xk。因而 有最优指标函数： fk(Sk)=max{rk(xk)+fk+1(Sk-xk)} f4(S4)=0
2019/3/8
K=4:
f4 (S4 )=max {8u4+ 5(S4 - u4 )+ f5 [0.7u4+0.9(S4 - u4 )]} =max {8u4+ 5(S4 - u4 )+ 8[0.7u4+0.9(S4 - u4 )]} =max {1.4u4+ 12.2S4} f4 (S4 )是关于u4的单调增函数*u4=S4 f4 (S4 )= 13.6S4
2019/3/8
决策
决策是指决策者在若干可行方案中所 作出的选择。决策变量dk(Sk)表示第k 阶段、 状态为Sk时的决策。决策变量的取值会受 到一定的限制，用Dk(Sk)表示第k 阶段、 状态为Sk 时决策变量允许的取值范围，称 为允许决策集合，因而有dk(Sk) Dk(Sk) 。
2019/3/8
2019/3/8

多阶段决策过程
决策 dn sn(in) n sn(out) 阶段
输入
输出
转移律
gn= rn(sn, dn)
图6-1(a)

2019/3/8
图6-1(b)
多阶段决策过程
d1 s1
1
d2 s2
2
dN s 3 sN
N
sN+1
g1
g2
图 6-2 N 阶段决策系统示意图
gN
2019/3/8
2019/3/8
例7-2的求解
x2
S2
0
0+0 0+.4 0+.6 0+1.1 0+1.2
r2(x2)+f3(S2-x2) 1 2 3
4
5
f2(S2) *x2
0 0.5 1.0 1.4 1.6 0 1 2 2 1,2
2
0 1 2 3 4
5
.5+0 .5+.4 1+0 .5+.6 1+.4 .5+1.1 1+.6
2019/3/8
例1
A B C D
B1
6
12 9
C1
15
A
4 8
B2
20 16
D
10
C2
9
16

2019/3/8
B3
例1的构模
阶段：k=1, 2, 3 状态：选各阶段所处的位置为状态变量，因此有S1= A。 决策：所选择的路线； D1(S1)={ B1, B2, B3 } 状态转移：目前状态一定，选择的线路一定，下一个状态一定。 阶段指标函数：该阶段行进的路程 过程指标函数：阶段指标函数的和 最优指标函数： fk(Sk)=min{rk + fk+1(Sk+1)} 其中，边界条件fk+1(Sk+1)=0。
1.1+.4
1.1=0
1.1+.4 1.1+0
0+1.2 .5+1.2 1+1.1 1.1+.6
2.1

2019/3/8
例7-2的求解
k =1： f1(S1)=max{r1(x1)+f2(S1-x1)} x1 r1(x1)+f2(S1-x1) S1 0 1 2 3 4 5 0+2.1 .3+1.6 .7+1.4 .9+1.0 1.2+0.5
1.多阶段决策过程 2.Bellman最优性原理 3.动态规划的数学描述 4.例6.1 5.确定性动态规划问题 6.随机性动态规划问题
2019/3/8
多阶段决策过程
多阶段决策问题是指这样一类问题，其整个过 程可分为若干相互联系的阶段，每一阶段都要作 出相应的决策，从而使整个过程达到最佳的活动 效果。任何一个阶段(Stage，决策点)都是由输入 (Input)、决策(Decision)、转移律(Transformation) 和输出(output)构成的，如图6-1(a)所示。由于每 一阶段都对应一个决策，所以每一阶段都应存在 一个衡量决策效益大小的指标函数，这一指标函 数称为阶段指标函数，用gn表示。显然gn是状态 变量sn和决策变量dn的函数，即gn= rn(sn, dn)，如 图6-1(b)所示。
状态转移律
状态转移律是确定由一个状态到另一个状 态演变过程的关系式，这种演变的对应关 系记为Sk+1=Tk (Sk, dk)。
2019/3/8
策略与子策略
各阶段决策所组成的决策序列称为一 个策略，具有N个阶段的动态规划问 题的策略可表示为{d1(S1), d2(S2), …, dN(SN)}。 从某一阶段开始到过程终点为止的决 策序列，称为子过程策略或子策略。 从第k个阶段起的子策略可表示为 {dk(Sk), dk+1(Sk+1), …, dN(SN)}。
某鞋店销售一种雪地防潮鞋，以往的销售经历表明，此种 鞋的销售季节是从10月1日至3月31日。下一个销售季节各月的 需求量预测值为： 月 份 10 11 12 1 2 3 需求(双) 40 20 30 40 30 20 该鞋店直接从生产商进货，基础进货价为每双4美元。进 货批量有10、20、30、40和50双五种规模，对应不同的进货批 量享受一定的价格折扣，具体数值如下： 批 量 10 20 30 40 50 折扣(%) 4 5 10 20 25
2019/3/8
确定性动态规划问题
给出Sk 和dk的取值后，状态Sk+1的取值唯一确定 的动态规划问题称为确定性动态规划问题。确定 性动态规划有广泛的应用领域，这些领域可概括 为： 1.最短路问题：见117页例7-1 2.资源分配问题 3.存贮控制问题 4.非线性规划问题
2019/3/8
资源分配问题
例7-2的求解
k =3： f3(S3)=max{r3(x3)+f4(S4)}=max{r3(x3)} S3 0 1 2 3 4 *x3 0 1 2 3 4 f3(S3) 0 0.4 0.6 1.1 1.2 5 4, 5 1.2
k =2： f2(S2)=max{r2(x2)+f3(S2 - x2)}
Bellman最优性原理
作为整个过程的最优策略具有这样的性 质： 即无论过去的状态和决策如何，对前 面的决策所形成的状态而言，余下的诸决 策必须构成最优子策略。简而言之，一个 最优策略的任一子策略都是最优子策略。
2019/3/8
动态规划的数学描述
1.阶段 2.状态 3.决策 4.状态转移律 5.策略与子策略 6.阶段指标函数 7.过程指标函数 8.最优指标函数
2019/3/8
阶段
在多阶段决策过程中，决策点将整个 过程划分为若干部分，其中的每一部 分即为一个阶段。描述阶段的变量称 为阶段变量，常用 k 来表示。阶段的 划分一般是根据时间和空间的自然特 征来进行的，一个N 个阶段的多阶段 决策问题其阶段变量 k =1，2，， N。
2019/3/8
状态
状态表示每个阶段开始所处的自然状况或客观条 件，它描述了研究问题过程的状况。状态反映前 面各阶段决策的结局，又是本阶段决策的出发点 和依据。状态是各阶段信息的传递点和结合点， 各阶段的状态通常用状态变量Sk来描述。作为状 态应具有这样的性质：在某阶段的状态给定后， 该阶段以后过程的发展不受此阶段以前各阶段状 态的影响。换句话说，过程的历史只能通过当前 的状态来影响未来，当前的状态是过程以往历史 的一个总结。这个性质称为无后效性或健忘性。
2019/3/8
例7-3的求解
构造动态规划模型： 设阶段序数k表示年度，状态变量Sk 为第k年初拥有的完好机器数 量，同时也是第k-1年度末时的完好机器数量。决策变量uk为第k年 度中分配到高负荷下生产的机器数量，于是Sk - uk为第k年度中分 配到低负荷下生产的机器数量。 状态转移方程： Sk +1=auk+b(Sk - uk )=0.7uk+0.9(Sk - uk ) 允许决策集合： Dk(Sk )={0ukSk } 设vk(Sk , uk )为第k年度的产量，则vk= 8uk+ 5(Sk - uk ) 过程指标函数： V1,5= vk(Sk , uk ) 边界条件： f5 (S6 )=0 最优递推函数： fk (Sk )=max {8uk+ 5(Sk - uk )+ fk+1 [0.7uk+0.9(Sk - uk )]}

2019/3/8
例7-3的求解
K=5:
f5 (S5 )=max {8u5+ 5(S5 - u5 )+ f6 [0.7u5+0.9(S5 - u5 )]} =max {8u5+ 5(S5 - u5 )} =max {3u5+ 5S5} f5 (S5 )是关于u5的单调增函数*u5=S5 f5 (S5 )= 8S5
2019/3/8
最优指标函数
从第 k 个阶段开始到第 N 个阶段为止，采取 最优策略或最优子策略所得到的指标函数称 为最优指标函数，用 f k (Sk)表示，即： f k (Sk) = opt (dk) {rk rk+1 rN} = opt(dk) {rk f k+1 (Sk+1)} 当 k=N 时 f k+1 (Sk+1 )= f N+1 (SN+1 )， f N+1 (SN+1 )被称为边界条件，它的取值要根据 具体问题来定，一般为 ”0” 或 “1”.
1000(台)， S2 = 900， S3 = 810， S4 = 567 S5 = 397， S6 = 278
上述讨论终端状态S6 是自由的，如果在终端也附加一个约束条 件，如在五年结束时完好的机器数不低于500台(上面只有278 台)，问应如何安排生产？
2019/3/8
存贮控制问题
[例7-4]:第124页

2019/3/8
例1的求解
K=3时： f3 (C1)=min{15}=15, C1 D f3 (C2)=min{16}=16, C2 D K=2时： f2 (B1)=min{12+15, 9+16}=25, B1 C2 f2 (B2)=min{20+15, 16+16}=32, B2 C2 f2 (B3)=min{10+15, 9+16}=25, B3 C1或B3 C2 K=1时： f1 (A)=min{6+25, 4+32, 8+25}=31, A B1 C2 D
5
1.3+0
f1(S1) *x1
2.1 0, 2
然后按计算表格的顺序反推算，可得如下两个最优分配方案：
1. x1=0 S2=S1-x1=5-0=5 x2=2S3=3x3=3 2. x1=2， x2=2， x3=1
2019/3/8
第121页例7-3
机器负荷分配问题：某种机器可在高、低两种不 同的负荷下进行生产，设机器在高负荷下生产的 产量函数为g=8u1，其中u1为投入高负荷生产的 机器数量，年完好率为a=0.7；在低负荷下生产 的产量函数为h=5y，其中y为投入低负荷生产的 机器数量，年完好率为b=0.9。假定开始生产时 完好的机器数量为S1=1000台，试问每年应如何 安排机器在高、低负荷下生产，才能使机器在五 年里生产的产品总量最多。