运筹学-第10章--动态规划PPT课件

.
管理运筹学wenku.baidu.com
7
• 2. 状态
• 状态表示每个阶段开始所处的自然状况或客 观条件, 它描述了研究问题过程的状况,又称 不可控因素。
• 在引例中, 状态就是某阶段的出发位置。它 既是该阶段某支路的起点,又是前一阶段某支 路的终点。通常一个阶段有若干个状态, 第 一阶段有一个状态就是点A, 第二阶段有两个 状态, 即点集合{ B1 , B2 } , 一般第k 阶段的 状态就是第k 阶段所有始点的集合。
阶段的状态, 这种决定称为决策。描述决策的
变量, 称为决策变量。常用xk ( sk )或 uk ( sk )表 示第k 阶段当状态处于sk 时的决策变量。它是 状态变量的函数。在实际问题中, 决策变量的
取值往往限制在某一范围之内, 此范围称为允
许决策集合。常用Dk ( sk )表示第k 阶段从状态
sk 出发的允许决策集合, 显然有xk ( sk )∈ Dk
.
管理运筹学
8
• 描述过程状态的变量称为状态变量。常用sk 表示第k 阶段的状态变量。如在引例中第三
阶段有四个状态, 则状态变量sk 可取四个值, 即C1 、C2 、C3 、C4 。点集合{C1 , C2 ,
C3 , C4 }就称为第三阶段的可达状态集合。
记为S3 = {C1 , C2 , C3 , C4 }。有时为了方便 起见, 将该阶段的状态编上号码1 , 2⋯ 这时
( sk )。
.
管理运筹学
11
• 如在引例 第二阶段中, 若从状态B1 出发, 就
可作出三种不同的决策, 其允许决策集合D2 ( B1 ) = {C1 , C2 , C3 } , 若选取的点为C2 , 则
C2 是状态B1 在决策x2 ( B1 )作用下的一个新 的状态, 记作x2 ( B1 ) = C2 。
.
管理运筹学
5
• 由图可知, 从A 点到G 点可以分为6 个阶段。从A 到B 为第一阶段, 从B 到C为第二阶段⋯从F 到G 为第六阶段。
• 在第一阶段, A 为起点, 终点有B1 、B2 两个, 因而这时走的路线有 两个选择, 一是走到B1 ; 一是走到B2 , 若选择走到B2 的决策, 则B2 就是第一阶段在我们决策之下的结果。它既是第一阶段路线的终 点, 又是第二阶段路线的始点。
• 多阶段的决策问题，就是要在所有可能采取的策略 中间选取一个最优的策略，使在预定的标准下得到 最好的效果。
.
管理运筹学
2
• 与线性规划相比，动态规划问题没有一个标准的数学模型。 然而，动态规划是一类很普遍的问题解决方法，需要建立 特定的方程以适应各种情况。
• 在多阶段决策问题中, 各个阶段采取的决策, 一般来说是与 时间有关的, 决策依赖于当前的状态, 又随即引起状态的转 移, 一个决策序列就是在变化的状态中产生出来的, 故有 “ 动态”的含义。因此, 把处理它的方法称为动态规划方法。 但是, 一些与时间没有关系的静态规划(如线性规划、非线 性规划等)问题, 只要人为地引进“时间”因素, 也可把它视 为多阶段决策问题, 用动态规划方法去处理。
• 动态规划问题的复杂性在于各阶段决策之间的相互联系。 根据实际问题构造动态规划模型往往需要掌握更多的技巧。
.
管理运筹学
3
.
管理运筹学
4
§1 动态规划的基本概念
• 最短路径问题：引例。如图 , 给定一个线路 网络, 两点之间连线上的数字表示两点间的 距离( 或费用) ,试求一条由A 到G 的铺管线路, 使总距离为最短(或总费用最小)。
• 故此问题的要求是: 在各个阶段选取一个恰当的决策, 使由这些决 策组成的一个决策序列所决定的一条路线, 其总路程最短。
.
管理运筹学
6
1、动态规划的基本概念
• 1. 阶段
• 把所给问题的过程, 恰当地分为若干个相互 联系的阶段, 以便能按一定的次序去求解。 描述阶段的变量称为阶段变量, 常用k 表示。 阶段的划分, 一般是根据时间和空间的自然 特征来划分, 但要便于把问题的过程能转化 为多阶段决策的过程。如引例可分为6个阶 段来求解, k 分别等于1、2、3、4、5、6。
也可记S3 = {1 , 2 , 3 , 4}。第k 阶段的可达状 态集合就记为S k 。
.
管理运筹学
9
• 这里所说的状态应具有下面的性质: 如果某阶段状 态给定后, 则在这阶段以后过程的发展不受这阶段 以前各段状态的影响。换句话说, 过程的过去历史 只能通过当前的状态去影响它未来的发展, 当前的 状态是以往历史的一个总结。这个性质称为无后效 性( 即马尔科夫性)。
第十章 动态规划
§1 动态规划的基本概念与基本思路 §2 多阶段决策过程最优化问题举例 §3 动态规划的应用(1) §4 动态规划的应用(2)
.
管理运筹学
1
• 动态规划是一种研究多阶段决策问题的理论和方法， 在决策中将问题分成若干阶段，对不同阶段采取不 同的决策，使全过程达到整体最优。
• 所谓多阶段决策问题是指这样一类决策过程，当每 个阶段的决策选定以后，过程也就随之确定。把各 个阶段的决策综合起来，构成一个决策序列，称为 一个策略。显然由于各个阶段选取的决策不同，对 应整个过程就可以有一系列不同的策略。当对过程 采取某一策略时，可以得到一个确定的（或期望的） 效果，采取不同的策略，就会得到不同的效果。
• 在第二阶段, 再从B2 点出发, 对应于B2 点就有一个可供选择的终 点集合{ C2 , C3 , C4 } ; 若选择由B2 走至C2 为第二阶段的决策, 则C2 就是第二阶段的终点, 同时又是第三阶段的始点。
• 同理递推下去, 可看到: 各个阶段的决策不同, 铺管路线就不同。 很明显, 当某阶段的始点给定时, 它直接影响着后面各阶段的行进 路线和整个路线的长短, 而后面各阶段的路线的发展不受这点以 前各阶段路线的影响。
• 如果状态仅仅描述过程的具体特征, 则并不是任何 实际过程都能满足无后效性的要求。所以, 在构造 决策过程的动态规划模型时, 不能仅由描述过程的 具体特征这点着眼去规定状态变量, 而要充分注意 是否满足无后效性的要求。
.
管理运筹学
10
• 3. 决策
• 决策表示当过程处于某一阶段的某个状态时,
可以作出不同的决定( 或选择) , 从而确定下一