第五章 物流运筹学——动态规划

顺序解法与逆序解法本质上并无区别，一般 地说，当初始状态给定时可用逆序解法，当终止 状态给定时可用顺序解法。若问题给定了一个初 始状态与一个终止状态，则两种方法均可使用。 但若初始状态虽已给定，终点状态有多个，需比 较到达不同终点状态的各个路径及最优指标函数 值，以选取总效益最佳的终点状态时，使用顺序 解法比较简便。总之，针对问题的不同特点，灵 活的选用这两种方法，可以使求解过程简化。
A
第二节
动态规划的基本概念
• 阶段（stage）：将所给问题的过程，按时间或空间
特征分解成若干相互联系的阶段，以便按次序去求每 阶段的解，常用 x k 表示阶段变量。 k 的编号方法有两种：顺序编号法，即从初始阶 段编号，往后编号逐渐增大；逆序编号法，令最后一 个阶段编号为1，往前编号逐渐增大，例5-5中。从 A B B 到 D 可分为：A 到 B (有三种选择 B1 ， 2 ， 3），从 B 到 C C 有两种选择 C1 ， 2 ），再从 C 到 D 三个阶段。 （ C 因此 k = 1, 。 3 2,
k
wk (sk , xk ) = 8xk + 5(sk − xk ) = 5sk + 3xk
f k ( sk ) ——当第年初有台正常机器时，从第年至第4 年的产品最高产量。递推方程为：
f5 ( s5 ) = 0 f ( s ) = max {5s + 3x + f ( s )} , k = 4,3, 2,1 k k k +1 k +1 k k xk ∈Dk ( sk )
k
用逆序解法求解该问题： k 第一步， = 4 ，有方程：
x4 ∈[0, s4 ]
f 4 ( s4 ) = max {5s4 + 3 x4 }
可知：
x
∗ 4
= s4
f 4 ( s4 ) = 8s4
f 4 ( s4 ) = 8 s4
第二步，k = 3 ，有方程：
f3 ( s3 ) = max {5s3 + 3 x3 + f 4 ( s4 )} x3 ∈[0, s3 ] s4 = 0.9 s3 − 0.2 x3
动态规划方法基于贝尔曼（R.Bellman）等人 提出的最优化原理，它可表示为：“一个过程的最 优策略具有这样的性质：即无论初始状态及初始决 策如何，对于先前决策所形成的状态而言，其以后 的所有决策应构成最优策略”。 利用这个原理，可以把多阶段决策问题求解过程表 示成一个连续的递推过程，由后向前逐步计算。在 求解时，前面的各状态与决策，对后面的子过程来 说，只相当于初始条件，并不影响后面子过程的最 优决策。
• 【例5-2】（载货问题）现有载重量为20吨的卡
车，装载3种不同的货物。已知这3种货物的单件 重量和装载收费如表5-1所示，又规定货物2和货 物3都至多装两件。问如何装载这3种货物，可使 该车一次运输的货物收费最多？
表5-1 货物的单件重量和装载收费表
货物 k
#
重量
ak（吨）
3 4 5
收费 ck（元） 4 5 6
• 指标函数：用于衡量所选定策略优劣的数 量指标称为指标函数。它分为阶段指标函 数和过程指标函数两种。阶段指标函数是 指第 k 段，从状态 sk 出发，采取决策 u k 时 的效益，用 d k ( sk , uk ) 表示。 • 最优指标函数记为 fk (sk ) ，它表示从第 k 段 ∗ s k 采用最优策略 p k , n 到过程终止时的 状态 最佳效益值。
建立动态规划模型的要点
• • 一般地，建立动态规划模型的要点为： （1）分析题意，识别问题的多阶段性，按时间或空间的先后顺序适当地 划分为满足递推关系的若干阶段，对非时序的静态问题要人为的赋予 “时段”概念。 （2）正确的选择状态变量，使其具备两个必要特征： ①可知性，即过程演变的各阶段状态变量的取值，能直接或间接的确 定； ②能够确切地描述过程的演变且满足无后效性。即由第k 阶段的状态 s k 出发的后部子过程，可以看作是一个以s k 为初始状态的独立过程。 （3）根据状态变量与决策变量的含义，正确写出状态转移方程 sk +1 = Tk (sk , uk ) 或转移规则。 （4）根据题意明确指标函数Vk,n ，最优指标函数 fk (sk ) 以及 k 阶段指标 v k ( s k , u k ) 的含义，并正确列出最优指标函数的递推关系及边界 条件（即基本方程）。 以上步骤是构造动态规划数学模型的基础，所有步骤完成后，即完成 了动态规划数学模型的建立。 这只是一个基本方法，实际建模需要更多的经验与技巧，关键是灵活 地运用最优化原理。
动态规划的基本思想与基本原理
• 现将动态规划方法的基本思想总结如下： （1）将多阶段决策过程划分阶段，恰当的选取状态变量、 决策变量及定义最优指标函数，从而把问题化成一族 同类型的子问题，然后逐个求解。 （2）求解时从边界条件开始，逆（或顺）过程方向进行， 逐段递推寻优。在每一个子问题求解时，都要使用它 前面已求出的子问题的最优结果。最后一个子问题的 最优解，就是整个问题的最优解。 （3）动态规划方法是既把当前一段与未来各段分开，又 把当前效益和未来效益结合起来考虑的一种最优化方 法，因此每段的最优决策选取是从全局考虑的，与该 段的最优选择一般是不同的。
第五章
动态规划
动态规划问题 动态规划的基本概念 动态规划模型的建立与求解 动态规划在物流管理中的应用举例
知识目标
• • • • 了解动态规划在实际中的应用； 理解动态规划的基本思想； 掌握动态规划的建模； 掌握动态规划的顺序及逆序解法。
技能目标
• 能够结合实际情况建立动态规划模型； • 能够应用顺序及逆序解法求解动态规划模型。
• •
动态规划的求解方法
动态规划的求解有两种基本方法：逆序解法（后向 动态规划方法）和顺序解法（前向动态规划方 法）。 • 在对例5-5的求解中，寻优的方向与多阶段决策过 程的实际进行方向相反，即从最后一段开始计算 逐步前推，从而求得全过程的最优策略，这样的 解法称为逆序解法；与之相反，顺序解法的寻优 方向与过程的前进方向相同，计算时从第一段开 始逐段向后递推，后一阶段要用到前一阶段的求 优结果，最后一段计算的结果就是全过程的最优 结果。
基本概念
• 状态（state）：各阶段开始时的客观条件叫做状 态。描述各阶段状态的变量称为状态变量，常用 s k 表示第 k 阶段的状态变量，状态变量 s k 的取值 集合称为状态集合，用S k表示。 • 动态规划中的状态应具有如下性质：当某阶段状 态给定后，在这阶段以后过程的发展不受这阶段 以前各段状态的影响。也就是说，当前的状态是 过去历史的一个完整总结，过程的过去历史只能 通过当前状态去影响它未来的发展，这称为无后 效性。如果所选定的变量不具备无后效性，就不 能作为状态变量来构造动态规划模型。
第一节 动态规划问题
• 动态规划是把多阶段决策问题作为研究对象。来自百度文库• 所谓多阶段决策问题，是指可将问题求解的全过 程划分为若干个互相联系的阶段（即将问题划分 为许多个互相联系的子问题），在它的每一阶段 都需要作出决策，并且在一个阶段的决策确定以 后再转移到下一个阶段。往往前一个阶段的决策 要影响到后一阶段的决策，从而影响整个过程。 把一个问题划分成若干个相互联系的阶段选取其 最优策略，这类问题就是多阶段决策问题。 • 多阶段决策问题很多，现举出物流管理中的几个 例子。
• 策略（policy）：各阶段决策确定后，整个 问题的决策序列就构成一个策略。用 p 1 , n {u 1 ( s 1 ) , u 2 ( s 2 ) , ⋯ , u n ( s n ) } 表示。对每个实际问题，可供选择的策略 有一定范围，称为允许策略集合，记作 P1,n 。使整个问题达到最优的策略就是最优 策略。
• 【例5-1】（生产与存储问题）工厂在3个季度中 安排某种产品的生产计划。若该季度生产此种产 2 品 x （吨），则成本为 x 元。若当季生产的 产品未销售掉，则进库，季末需付存储费，每吨 产品每季的存储费为1元。现估计3个季度对该产 品的需求量 ak 分别为100吨，110吨和120吨， 又设第一季度初及第三季度末库存量为零。假设 每个季度产品的生产量不受限制，试问如何安排 3个季度的生产计划，使产品的生产成本和存储 费总和最低？
第三节 动态规划模型的建立与求解
动态规划模型的建立 建立动态规划的模型，就是分析问题 并建立问题的动态规划基本方程。成功地 应用动态规划方法的关键，在于识别问题 的多阶段特征，将问题分解成为可用递推 关系式联系起来的若干子问题，而正确建 立基本递推关系方程的关键又在于正确选 择状态变量，保证各阶段的阶段变量具有 递推的状态转移关系 s k +1 = Tk ( s k , u k ) 。
• 决策（decision）：当各阶段的状态取定以后， 就可以作出不同的决策（或选择），从而确定 下一阶段的状态，这种决定称为决策。表示决 uk (sk ) 策的变量，称为决策变量，常用 表示第 sk 阶段状态为 时的决策变量。在实际问题中， k 决策变量的取值往往限制在一定范围内，称此 D (sk ) 范围为允许决策集合，常用 表示第 阶段 k k sk 从状态 出发的允许决策集合，显然 有uk (sk ) ∈ Dk ( sk )。
sk
动态规划的基本方程是递推逐段求解的关系， 一般的动态规划基本方程可以表示为：
sk
fk (sk ) = opt [vk (sk , uk ) + fk+1(sk+1)] uk ∈Dk (sk ) fn+1(sn+1) = 0
k = n, n −1,⋯,1
式中opt可根据题意取min或max， vk ( sk , u为状态 s， k) k 决策 uk 对应的第 k阶段的指标函数值。
表5-2 设i 仪器换成 j 仪器所需中断试验的时间
tij
j
1 10 9 6
仪器 2 9 12 5 3 14 10 8
i 仪器
1 2 3
• 【例5-4】（机器负荷问题）设某机器可以在高、 低两种不同的负荷下进行生产。若年初有 x 台 机器在高负荷下进行生产，则产品年产量a = 8x ， 机器的年折损率 β = 0.3 ；若年初有 y 台机器在低 负荷下进行生产，则产品年产量 b = 5 y ，机器的 年折损率α = 0.1。若初始时有性能正常的机器1000 台，要求制定机器负荷的四年分配计划，确定每年 年初分配正常机器在不同负荷下工作的台数，使四 年内产品总产量最大。
第四节
动态规划在物流管理中的 应用举例
在第一节中，提到动态规划在物流管理 中有许多应用，下面就结合例5-4来说明其 应用。
k
例5-4 解法
• 解 该问题为一个四阶段决策过程，阶段k 表示第 k 年度。令： s k ——第年度初正常机器台数； xk ——第年度初分配在高负荷下工作的机 器台数； w k ( s k , x k ) —— s k 台机器在第 k 年的产品产 量：
1# 2#
3#
1# ，， 2# • 【例5-3】（仪器置换问题）某化学工厂可用 3# 三种不同仪器中的任一套去完成一项试验，每做 完一次试验后，如果下次仍用原来的仪器，则需要 对该仪器进行检查整修而中断试验；如果下次换用 另外一套仪器，则需拆装仪器，也要中断试验。假 定一次试验时间比任何一套仪器的整修时间都长， 因此一套仪器换下来隔一次再重新使用时，不会由 于整修而影响试验，设 i 仪器换成 j 仪器所需中断试 验的时间t ij ( i, j = 1,2,3) 如表5-2所示。现要做四次试验， 问应如何安排使用仪器的顺序，使总的中断试验的 时间最短？
• 状态转移方程(state transfer equation)：动 态规划中本阶段的状态往往是上一阶段状 态和上一阶段的决策结果。如果给定了第 k 段的状态sk ，本阶段决策为uk (sk ) ，则第 k +1 段的状态s k + 1 也就完全确定，两者的关系可 用下式表示： sk +1 = Tk ( sk , uk ) （5-1） 由于它表示了由 k 段到 k +1 段的状态转移 规律，所以称为状态转移方程。