远程运筹学动态规划6

综合考虑后继过程整体最优， 综合考虑后继过程整体最优，取最优决策是 到v8,最优后继过程是v5→v8→ v10 ，最短距 离是16 ． 同理， 离是 16． 同理 ， 状态 v6 的最优决策是至 v8 ； 16
连续生产过程的控制问题： 例 3 连续生产过程的控制问题：一般 化工生产过程中， 化工生产过程中，常包含一系列完成生产过 程的设备， 程的设备，前一工序设备的输出则是后一工 序设备的输入，因此， 序设备的输入，因此，应该如何根据各工序 的运行工况，控制生产过程中各设备的输入 的运行工况， 和输出， 和输出，以使总产量最大。 以上所举问题的发展过程都与时间因素 有关，因此在这类多阶段决策问题中， 有关，因此在这类多阶段决策问题中，阶段
例 2 设备更新问题 ： 一般企业用于生 设备更新问题： 产活动的设备， 刚买来时故障少， 产活动的设备 ， 刚买来时故障少 ， 经济效益 即使进行转让， 处理价值也高， 高 ， 即使进行转让 ， 处理价值也高 ， 随着使 用年限的增加， 就会逐渐变为故障多， 维修 用年限的增加 ， 就会逐渐变为故障多 ， 费用增加， 可正常使用的工时减少， 费用增加 ， 可正常使用的工时减少 ， 加工质 量下降， 经济效益差， 并且， 量下降 ， 经济效益差 ， 并且 ， 使用的年限越 处理价值也越低， 自然， 长 、 处理价值也越低 ， 自然 ， 如果卖去旧的 买新的， 还需要付出更新费． 买新的 ， 还需要付出更新费 ． 因此就需要综 合权衡决定设备的使用年限， 合权衡决定设备的使用年限 ， 使总的经济效 益最好。 益最好。
多阶段决策过程特点: 多阶段决策过程特点:
决策u1 决策u2 决策uk 决策un
状态 阶段1 状态 阶段2 状态... 状态 阶段k 状态... 状态 阶段n 状态 阶段1 阶段2 阶段k x
x1
x2Leabharlann x3xkxk+1
xn
n+1
T1
T2
Tk
Tn
要点：阶段，状态，决策，状态转移方程， 要点：阶段，状态，决策，状态转移方程，
二、多阶段决策问题举例
属于多阶段决策类的问题很多， 属于多阶段决策类的问题很多，例如： 例 1 工厂生产过程 ：由于市场需求是 工厂生产过程： 一随着时间而变化的因素， 因此 ， 为了取 一随着时间而变化的因素 ， 因此， 得全年最佳经济效益， 得全年最佳经济效益 ， 就要在全年的生产 过程中， 过程中 ， 逐月或者逐季度地根据库存和需 求情况决定生产计划安排。 求情况决定生产计划安排。
若对应于一个策略， 若对应于一个策略，可以由一个量化的指 标来确定这个策略所对应的活动过程的效 果，那么，不同的策略就有各自的效果。 那么，不同的策略就有各自的效果。 在所有可供选择的策略中， 在所有可供选择的策略中，对应效果最好 的策略称为最优策略。 的策略称为最优策略。把一个问题划分成 若干个相互联系的阶段选取其最优策略， 若干个相互联系的阶段选取其最优策略， 这类问题就是多阶段决策问题。 这类问题就是多阶段决策问题。
的划分常取时间区段来表示， 的划分常取时间区段来表示 ， 并且各个阶 段上的决策往往也与时间因素有关， 段上的决策往往也与时间因素有关 ， 这就 使它具有了“ 动态” 的含义， 使它具有了 “ 动态 ” 的含义 ， 所以把处理 这类动态问题的方法称为动态规划方法。 这类动态问题的方法称为动态规划方法 。 不过， 实际中尚有许多不包含时间因素的 不过 ， 一类“ 静态” 决策问题， 一类 “ 静态 ” 决策问题 ， 就其本质而言是 一次决策问题， 是非动态决策问题， 一次决策问题 ， 是非动态决策问题 ， 但是 也可以人为地引入阶段的概念当作多阶段 决策问题，应用动态规划方法加以解决。 决策问题，应用动态规划方法加以解决。
例 4 资源分配问题：便属于这类静态 资源分配问题： 问题。 问题。如：某工业部门或公司，拟对其所 某工业部门或公司， 属企业进行稀缺资源分配， 属企业进行稀缺资源分配，为此需要制定 出收益最大的资源分配方案。 出收益最大的资源分配方案。这种问题原 本要求一次确定出对各企业的资源分配量， 本要求一次确定出对各企业的资源分配量， 它与时间因素无关，不属动态决策，但是， 它与时间因素无关，不属动态决策，但是， 我们可以人为地规定一个资源分配的阶段 和顺序，从而使其变成一个多阶段决策问 和顺序， 题(后面我们将详细讨论这个问题)。 后面我们将详细讨论这个问题)
多阶段决策过程最优化的目标是要达到 整个活动过程的总体效果最优。 整个活动过程的总体效果最优 。 由于各段决 策间有机地联系着， 策间有机地联系着 ，本段决策的执行将影响 到下一段的决策，以至于影响总体效果， 到下一段的决策 ， 以至于影响总体效果 ，所 以决策者在每段决策时不应仅考虑本阶段最 还应考虑对最终目标的影响， 优 ， 还应考虑对最终目标的影响 ，从而作出 对全局来讲是最优的决策。 对全局来讲是最优的决策 。动态规划就是符 合这种要求的一种决策方法。 合这种要求的一种决策方法。
往往前一个阶段的决策要影响到后一个阶 段的决策，从而影响整个过程。 段的决策，从而影响整个过程。人们把这 样的决策过程称做多阶段决策过程(Multi样的决策过程称做多阶段决策过程 Stagedecision process)。各个阶段所确定的 。 决策就构成了一个决策序列，称为一个策 决策就构成了一个决策序列， 决策序列 略。一般来说，由于每一阶段可供选择的 一般来说， 决策往往不止一个，因此，对于整个过程， 决策往往不止一个，因此，对于整个过程， 就会有许多可供选择的策略。 就会有许多可供选择的策略。
k - 后部子过程
四、动态规划方法导引 例 5.1 ： 为了说明动态规划的基本思想方 法和特点，下面以图5 法和特点 ， 下面以图 5-1 所示为例讨论的求最 短路问题的方法。 短路问题的方法。 第一种方法称做全枚举法或穷举法。 第一种方法称做全枚举法或穷举法。它的 基本思想是列举出所有可能发生的方案和结果， 基本思想是列举出所有可能发生的方案和结果， 再对它们一一进行比较，求出最优方案。 再对它们一一进行比较，求出最优方案。这里 的路程可以分为4个阶段。 从 v1 到v10 的路程可以分为 4 个阶段 。 第一段的 走法有三种，第二三两段的走法各有两种， 走法有三种，第二三两段的走法各有两种，第 四段的走法仅一种，因此共有3 四段的走法仅一种，因此共有3×2×2×1＝12 条可能的路线，分别算出各条路线的距离， 条可能的路线，分别算出各条路线的距离，最 后进行比较， 后进行比较，可知最优路线是v1 →v2 → v5 → v8 →v10 ,最短距离是27． 最短距离是27 27．
由上述可知，动态规划方法与“时间” 由上述可知，动态规划方法与“时间” 关系很密切， 关系很密切，随着时间过程的发展而决定 各时段的决策，产生一个决策序列， 各时段的决策，产生一个决策序列，这就 是“动态”的意思。然而它也可以处理与 动态”的意思。 时间无关的静态问题， 时间无关的静态问题，只要在问题中人为 地引入“时段”因素， 地引入“时段”因素，就可以将其转化为 一个多阶段决策问题。 一个多阶段决策问题。在本章中将介绍这 种处理方法。 种处理方法。
显然， 当组成交通网络的节点很多时， 显然 ， 当组成交通网络的节点很多时 ， 用穷举法求最优路线的计算工作量将会十分 庞大，而且其中包含着许多重复计算． 庞大，而且其中包含着许多重复计算． 第二种方法即所谓“ 局部最优路径” 第二种方法即所谓 “ 局部最优路径 ” 法，是说某人从k出发，他并不顾及全线是否 是说某人从k出发， 最短，只是选择当前最短途径，“逢近便 错误地以为局部最优会致整体最优， 走 ” ， 错误地以为局部最优会致整体最优 ， 在 这 种 想 法 指 导 下 ， 所 取 决 策 必 是 v1 → v2 全程长度是30 显然， 30； →v5 → v9 → v10 ，全程长度是30；显然，这 种方法的结果常是错误的． 种方法的结果常是错误的．
例 5
运输网络问题：如图5 运输网络问题：如图5-1所示的
运输网络， 运输网络 ， 点间连线上的数字表示两地距 也可是运费、时间等) 离(也可是运费、时间等)，要求从fk(sk)至
v10的最短路线。 的最短路线。
这种运输网络问题也是静态决策问 题 。 但是， 按照网络中点的分布， 可以把 但是 ， 按照网络中点的分布 ， 它分为4个阶段， 它分为4个阶段，而作为多阶段决策问题来 研究。 研究。
第五章 动态规划
主要内容: 主要内容:
§5.1 多阶段决策过程的最优化 §5.2 动态规划的基本概念和基本原理 §5.3 动态规划方法的基本步骤 §5.4 动态规划应用举例
5.1多阶段决策过程的最优化 5.1多阶段决策过程的最优化
一、多阶段决策问题 动态规划是把多阶段决策问题作为 研究对象。所谓多阶段决策问题， 研究对象。所谓多阶段决策问题，是指这 样一类活动过程，即根据问题本身的特点， 样一类活动过程，即根据问题本身的特点， 可以将其求解的全过程划分为若干个相互 联系的阶段( 联系的阶段 ( 即将问题划分为许多个相互 联系的子问题) 联系的子问题 ) ， 在它的每一阶段都需要 作出决策， 作出决策，并且在一个阶段的决策确定以 后再转移到下一个阶段。 后再转移到下一个阶段。
第三种方法是动态规划方法。 第三种方法是动态规划方法。动态规划 方法寻求该最短路问题的基本思想是， 方法寻求该最短路问题的基本思想是，首先 将问题划分为4 个阶段， 每次的选择总是综 将问题划分为 4 个阶段， 合后继过程的一并最优进行考虑， 合后继过程的一并最优进行考虑，在各段所 有可能状态的最优后继过程都已求得的情况 全程的最优路线便也随之得到。 下，全程的最优路线便也随之得到。 为了找出所有可能状态的最优后继过 程，动态规划方法总是从过程的最后阶段开 始考虑，然后逆着实际过程发展的顺序，逐 始考虑，然后逆着实际过程发展的顺序， 段向前递推计算直至始点。 段向前递推计算直至始点。
（22） ）
6 8