管理运筹学讲义：动态规划

f 基本方程： k ( sk ) max vk ( sk , xk ) f k 1 ( sk 1 ) xk X k ( S k ) 边界条件： 4 ( s4 ) 0 f
19
第三节
• 逆序求解
K=3
x3 s3 0 1 2 3 4 5 0 0 0 0 0 0 0 2 2 2 2 2 1
8,B1 6 4 A2 2 4 8,B1 4 2 A3 5
阶段1 阶段2
C1 3
0 T
6
3 4,T C2 4
6,C1 3 B3 3
阶段3
阶段4
• 最短路径：Q→ A3→ B1→ C1→T
6
第一节
多阶段决策问题
三、 多阶段决策的基本特征
• 最短路的基本特征
从始点Q到终点T 的最短路径：Q→ A3→ B1→ C1→T，则 从中点A3 到终点T 的最短路径必为： A3→ B1→ C1→T， 从中点B1 到终点T 的最短路径必为：B1→ C1→T，…。 推广：从始点Q到终点T 的最短路径： Q → S1→ S2→ … → Sk→ Sk+1→ … → Sn→T，则 从中点Sk 到终点T 的最短路径必为： Sk→ Sk+1→ … → Sn→T。
65903541(O)
第八章
动态规划
• 动态规划Dynamic Programming
研究多阶段决策的最优化问题的方法。 多阶段决策问题含有一个描述过程时序或空间演变的阶段 变量，将复杂问题划分成若干阶段，根据“最优性原理”， 逐段解决而最终实现全局最优。 经济、管理、工业生产、工程技术等领域，许多问题可归 结为多阶段决策问题。 一些用线性规划、非线性规划处理有困难的问题，往往可 以用动态规划方便地求解。 动态规划是美国运筹学家贝尔曼(R.Bellman)等人1959年提 出的。
• 例如：
企业生产物流：可分为物料供应、生产制造、分销零售等 阶段。 最短路问题：可以按空间顺序划分阶段。
3
第一节
• 最短路问题
A1 2 Q 4 3
多阶段决策问题
7 4 B1
1 4
C1 3 T
6 4 A2 2 4 4 2 A3 5
B2
6
3
3
C1
4
B3
3
生 产 商
阶段1
出 口 港
阶段2
进 口 港
随机
离散随机型 连续随机型
第三节
一、资源分配问题
• 资源分配问题：
应用举例
把有限的资源(如资金、材料、设备、人力等)分配给若干 使用者，而使某一指标为最优的问题即为资源分配问题。 资源可以有一种或若干种， 只有一种资源可供分配的问题称之为一维资源分配问题。
• 一维资源分配问题
设备台数
分厂
• 建模步骤（小结）
对问题进行阶段划分，确定阶段变量k 确定状态变量sk 确定决策变量xk 、允许决策集合Xk (sk ) 写出状态转移方程sk+1 =Tk (sk,xk) 写出指标函数的基本递推方程 明确边界条件
过程 变量 离散 连续
17
• 动态规划模型分类
确定
离散确定型 连续确定型
• 每个阶段选取的路线不同，对应从Q到T就有一系列不同 的运输路线:
从始点Q到终点T共有3×3×2×1=18条不同路线 现在的问题是如何选择一条费用最小的路线？
5
第一节
多阶段决策问题
二、动态规划的标号法
11,B1 ,B2
4,C1
7 4 B1 4 7,C2 B2 1 3,T
A1 11,A3 Q 2 4 3
11
第二节 动态规划原理
• 状态转移方程
下一阶段状态sk+1 是本阶段状态变量sk 和决策变量xk的函数，
即 sk+1 =T(sk, xk(sk)) =T(sk, xk) 从状态sk出发到下一阶段状态sk+1的转移规律称为状态转移 方程。
12
第二节 动态规划原理
• 指标函数
用来衡量每一阶段决策效果的优劣的数量指标，称为阶段指标函数vk ， 阶段指标是状态变量和相应决策变量的函数，即vk = vk(sk , xk )。
7
第二节 动态规划原理
一、动态规划的基本概念
• 阶段(stage)
处理多阶段决策，需将全过程划为若干阶段，每个阶段进 行一次抉择。 各阶段按一定顺序联接在一起组成统一的整体。 用k表示阶段变量。 阶段编号
• 顺序编号
• 逆序编号
8
第二节 动态规划原理
• 状态(state)
状态表示过程发展中某阶段的起始状况。 过程的发展可以通过各阶段状态的演变来描述。 状态可用一个变量来描述，称为状态变量，用Sk表示。 选取的状态变量必须满足无后效性。 • 某阶段的状态给定后，则过程未来发展不受该阶段以前 各阶段状态的影响。 第 k 阶段可能有若干状态，用Sk 表示阶段k的状态集合， sk(i)表示第k阶段的第 i 个状态。
阶段1
阶段2
… 阶段k
阶段k+1
… 阶段n
v1
v2
vk
寻求最优解的方向
vk+1
vn
边界条件： n1 (sn1 ) 0 f
递推方程： f k ( sk )
opt v
xk X k ( S k )
k
( sk , xk ) f k 1 ( sk 1 )
16
第二节 动态规划原理
三、动态规划模型
• 策略(policy)
多阶段决策过程中，每一阶段均有一个决策，依序组合成 一个全过程的决策序列，称为全过程策略。 p1,n(s1)={x1(s1),x2(s2) ,…, xn(sn)} ，简记p1,n ={x1, x2,…, xn} 从过程的某个阶段开始到最终阶段结束称为后部子过程。 从第k阶段开始的后部子策略称为第k子过程策略。 pk,n(sk)={xk(sk), xk+1(sk+1) ,…, xn(sn)} ，简记pk,n ={xk, xk+1,…, xn} 每一阶段有若干状态,每个状态又有若干个不同的决策,即 有许多策略可供选择。全体策略构成允许策略集合Pk,n(sk)。 能使预期目标达到最优效果的策略称为最优策略P*k,n ， 构成最优策略的各决策称为相应阶段的最优决策x*k。
无论过去的状态和决策如何，对前面的决策所形成的状态而言， 余下的诸决策必须构成最优策略。 将决策问题划分为若干个阶段，全过程的优化问题就分解为子 过程的优化问题，由后向前逐步倒推，最优化的子过程逐渐成 为全过程最优。 作为全过程的最优策略P*1,n的组成部分的任一子策略P*k,n(Sk)， 一定是从状态Sk 出发直至终点的最优策略。
2
第一节
一、 问题的提出
• 多阶段决策：
多阶段决策问题
经济管理决策中，有些管理决策问题可以按时序或空间演 变划分成多个阶段 ，呈现出明显的阶段性； 于是可把这类决策问题分解成几个相互联系的阶段，每个 阶段即为一个子问题； 原有问题的求解就化为逐个求解几个简单的阶段子问题； 每个阶段的决策一旦确定，整个决策过程也随之确定，此 类问题称为多阶段决策问题。
9
第二节 动态规划原理
• 决策(decision)
从上一阶段某状态演变到下一阶段某状态要作一次选择， 称为决策。 用变量xk(sk)表示第k阶段状态为sk 时的决策，称为决策变 量，简记xk 决策变量的取值被限制在某一范围内，此范围称为允许决 策集合Xk(sk)
10
第二节 动态规划原理
i k n
基本方程：f k ( sk ) opt vk ( sk , xk ) f k 1 ( sk 1 ) xk X k ( S k ) 边界条件：f n 1 ( sn 1 ) 1
15
第二节 动态规划原理
决 策 x1 状态S1 决 策 x2 状态S2 决 策 xk 状态S3 决 策 xk+1 状态Sk+1 决 策 xn
14
第二节 动态规划原理
• 基本递推方程
据最优性原理，阶段k的阶段指标vk(sk ,xk )加上(或乘以)从下一阶段k+1 开始到过程结束采取最优策略取得的最优指标函数值fk+1(sk+1) ，再从 中选出最优，便是阶段k从状态sk出发到全过程结束的最优指标函数值。
若Vk ,n vi ( si , xi )，过程指标等于各阶段 指标之和
管理运筹学
谢家平 博士 副教授
研究领域：系统建模与优化、生产与运作管理、物流与供应链管理
讲授课程：管理运筹学、管理系统工程、生产运作管理、
供应链管理、国际物流管理、企业资源计划
单
位：上海财经大学国际工商管理学院供应链管理研究中心
E-mail：jiaping_xie@ 电 话：55036936(H)
• 最短问题是运费或路程。对阶段的不同状态，采取不同的决策，
运费不同。 • 指标函数也可以是利润、成本、产量等。 从第k阶段的状态sk出发到最后阶段结束，各阶段绩效综合起来反映这 个后部子过程的绩效，称为过程指标函数，记为Vk,n。 • Vk,n的大小取决于从第k阶段到最后阶段所采取的子策略。即 Vk,n = Vk,n (sk , xk , sk+1 , xk+1 ,…, sn)
阶段3
城 市
阶段4
某 公 司
• 从生产厂Q到某公司T选择那条路线,使总运费最低(路程最短)？
4
第一节

多阶段决策问题
• 这是一个多阶段决策问题，它可分为四个阶段：
第一阶段：从Q(制造厂)到A(出口港)； 第二阶段：从A(出口港)到B(进口港)； 第三阶段：从B(进口港)到C(城市)； 第四阶段：从C(城市)到T(某公司)。