运筹学讲义-动态规划-蒯圣龙
合集下载
动态规划(运筹学)
k阶段的允许决策集合
四、状态转移方程 sk+1与sk,xk之间必须能够建立一种明确的数量对应关系，记为
Tk(sk,xk), 即有 sk+1 = Tk(sk,xk)
这种明确的数量关系称为状态转移方程。
五、策略
由各阶段决策xk构成的决策序列,称为全过程策略,简称策略,记为
p1(s1),有
p1(s1) = { x1(s1),x2(s2),… ,xn(sn)} ∈P1
xk∈Xk
f*n+1(sn+1) = 1 积 f*k(sk)xk=∈Xok pt {vk(sk,xk) ×fk+1*(sk+1)}
k = n, n-1, …, 2, 1 k = n, n-1, …, 2, 1
11
三、基本步骤
1°建立模型
(1) 划分阶段，设定 k (2) 设定状态变量 sk
(3) 设定决策变量 xk
3） 阶段指标函数。第k阶段装载 件货物时所创的利润 。 vk xk
4） 函数的基本方程为
fk
sk
opt
xk Dk sk
vk xk fk1 sk wk xk k 1, 2,3
sk 0,1, ,6
f4
s4
0
k=3时
w3 4, v3 18
s3 0,1, , 6
x3
0,1,
六、运输时间须控制在合理范围之内（如集装箱干线船的班期）。
ZH物流公司是一家大型的集装箱多式联运经营企业，在成都设有内 陆集装箱货运站（CFS），经营成都——上海间集装箱货物运输服务，其多式 联运通道的主要节点城市为南京与郑州。现有一个货主需要将2个20英尺的集装 箱从成都运往上海，运输路线为成都-郑州-南京-上海，要求在货物起运后2530小时之内到达目的地。
运筹学-目标规划与整数规划-蒯圣龙共68页
1、不要轻言放弃，否则对不起自己。
2、要冒一次险!整个生命就是一场冒险。走得最远的人，常是愿意 去做，并愿意去冒险的人。“稳妥”之船，从未能从岸边走远。-戴尔．卡耐基。
梦 境
3、人生就像一杯没有加糖的咖啡，喝起来是苦涩的，回味起来却有 久久不会退去的余香。
运筹学－目标规划与整数规划-蒯圣龙 4、守业的最好办法就是不断的发展。 5、当爱不能完美，我宁愿选择无悔，不管来生多么美丽，我不愿失 去今生对你的记忆，我不求天长地久的美景，我只要生生世世不会再掉进坑里。——黑格尔 32、希望的灯一旦熄灭，生活刹那间变成了一片黑暗。——普列姆昌德 33、希望是人生的乳母。——科策布 34、形成天才的决定因素应该是勤奋。——郭沫若 35、学到很多东西的诀窍，就是一下子不要学很多。——洛克
2、要冒一次险!整个生命就是一场冒险。走得最远的人，常是愿意 去做，并愿意去冒险的人。“稳妥”之船，从未能从岸边走远。-戴尔．卡耐基。
梦 境
3、人生就像一杯没有加糖的咖啡，喝起来是苦涩的，回味起来却有 久久不会退去的余香。
运筹学－目标规划与整数规划-蒯圣龙 4、守业的最好办法就是不断的发展。 5、当爱不能完美，我宁愿选择无悔，不管来生多么美丽，我不愿失 去今生对你的记忆，我不求天长地久的美景，我只要生生世世不会再掉进坑里。——黑格尔 32、希望的灯一旦熄灭，生活刹那间变成了一片黑暗。——普列姆昌德 33、希望是人生的乳母。——科策布 34、形成天才的决定因素应该是勤奋。——郭沫若 35、学到很多东西的诀窍，就是一下子不要学很多。——洛克
运筹学-动态规划(二)(名校讲义)
§2
二、策略迭代法 先给出初始策略u0(i)，i=1，2，…，N－1。然后逐步求新 策略，当uk(i)=uk－1(i)时，即结束。其步骤为： ①选一无回路的初始策略｛u0(i) ，i=1，2，…，N－1｝,表 示在此策略下i点应到达的下一点。 ②由策略uk(i)，求指标值函数fk(i)。 fk(i)= Ci，u (i ) f u k (i) k i=1，2，…，N－1；k=0，1，2… fk(N)=0 ③由fk(i)，求策略uk+1(i)，令 uk+1(i)= arg min ci，u f k (u )
K4 M
I5
图3-13 [例3-6]结果示意图 图中数字表示从该点到终点M铺设管道的最低费用。例如， A至M的最低费用为14，其路线为：A→B→E→G→I→L→M。
§1 具有隐含阶段和无限阶段 问题的算法（6）
[例3-7]挑硬币问题 N个硬币，有一枚较重，其它等重。现要求用等臂天平来选 出重币。希确定出一定能找出这枚重币的最少称重次数。 [解]令：硬币数为状态变量x I(x)表示使用最优策略在批量为x个硬币中一定能找出重币 中所需最少称量次数。 u为决策变量，放在天平每边的硬币数。 现分析每次u的最佳选择。显然，从x个硬币中选出2u个硬 币分放天平2边，必有下述2种可能： 1）天平平衡，说明重币在剩余的(x－2u)个硬币中。 2）天平不平衡，说明重币在天平重的一边的u个硬币中。
§2
即：u1(i)={5，3，5，5} 然后，以这些策略求出f1(i)，反复迭代，最后求得 u3(i)=u2(i)。故得最优策略为u2(i)，目标函数为f2(i)。 具体计算结果示于表3-10中。 最优策略为 u3(i)=u2(i)={ 5，3，4，5}
通常，策略迭代比函数迭代收敛的更快一些。
二、策略迭代法 先给出初始策略u0(i)，i=1，2，…，N－1。然后逐步求新 策略，当uk(i)=uk－1(i)时，即结束。其步骤为： ①选一无回路的初始策略｛u0(i) ，i=1，2，…，N－1｝,表 示在此策略下i点应到达的下一点。 ②由策略uk(i)，求指标值函数fk(i)。 fk(i)= Ci，u (i ) f u k (i) k i=1，2，…，N－1；k=0，1，2… fk(N)=0 ③由fk(i)，求策略uk+1(i)，令 uk+1(i)= arg min ci，u f k (u )
K4 M
I5
图3-13 [例3-6]结果示意图 图中数字表示从该点到终点M铺设管道的最低费用。例如， A至M的最低费用为14，其路线为：A→B→E→G→I→L→M。
§1 具有隐含阶段和无限阶段 问题的算法（6）
[例3-7]挑硬币问题 N个硬币，有一枚较重，其它等重。现要求用等臂天平来选 出重币。希确定出一定能找出这枚重币的最少称重次数。 [解]令：硬币数为状态变量x I(x)表示使用最优策略在批量为x个硬币中一定能找出重币 中所需最少称量次数。 u为决策变量，放在天平每边的硬币数。 现分析每次u的最佳选择。显然，从x个硬币中选出2u个硬 币分放天平2边，必有下述2种可能： 1）天平平衡，说明重币在剩余的(x－2u)个硬币中。 2）天平不平衡，说明重币在天平重的一边的u个硬币中。
§2
即：u1(i)={5，3，5，5} 然后，以这些策略求出f1(i)，反复迭代，最后求得 u3(i)=u2(i)。故得最优策略为u2(i)，目标函数为f2(i)。 具体计算结果示于表3-10中。 最优策略为 u3(i)=u2(i)={ 5，3，4，5}
通常，策略迭代比函数迭代收敛的更快一些。
运筹学课件--动态规划
J 表示留在左岸的仆人人数
初始状态s1是T(3,3)
结束状态sn是 T(0,0)
可达状态有哪些?(3,J) (2,2) (1,1) (0,J) J 3 2 1 0
2013-6-9
A
1
运筹学课件
2
3
I
阶段指标——每阶段选定决策xk后所产生的效益，记
vk= vk(Sk， xk)。
指标函数——各阶段的总效益，记相应于Pkn的指标函数
2013-6-9 运筹学课件
动态规划模型的分类： 以“时间”角度可分成：
离散型和连续型。
从信息确定与否可分成：
确定型和随机型。
从目标函数的个数可分成： 单目标型和多目标型。
2013-6-9 运筹学课件
8.2基本概念与方程
1.基本概念
阶段（Stage）——分步求解的过程，用阶段变量k表示，k=1，，n 状态（State）——每阶段初可能的情形或位置，用状态变 量Sk表示。 按状态的取值是离散或连续，将动态规划问题分为
当 k 3，f Max f v
3 0
3 3
3
4
Max 3x 5s 13.6(0.9s 0.2x )
0
3 3
3
3
3
3
Max 0.28x 17.24s
0
3 3
3
3
x s , f 17.52s ,即第3年初将全部完好机器都 投入高负荷。
指标函数vkn=
v
5
表示第k至5年的总产量；
1
递推公式：f Max f v
6
f 0, k 5, ,1
2013-6-9
运筹学课件
初始状态s1是T(3,3)
结束状态sn是 T(0,0)
可达状态有哪些?(3,J) (2,2) (1,1) (0,J) J 3 2 1 0
2013-6-9
A
1
运筹学课件
2
3
I
阶段指标——每阶段选定决策xk后所产生的效益，记
vk= vk(Sk， xk)。
指标函数——各阶段的总效益，记相应于Pkn的指标函数
2013-6-9 运筹学课件
动态规划模型的分类： 以“时间”角度可分成：
离散型和连续型。
从信息确定与否可分成：
确定型和随机型。
从目标函数的个数可分成： 单目标型和多目标型。
2013-6-9 运筹学课件
8.2基本概念与方程
1.基本概念
阶段（Stage）——分步求解的过程，用阶段变量k表示，k=1，，n 状态（State）——每阶段初可能的情形或位置，用状态变 量Sk表示。 按状态的取值是离散或连续，将动态规划问题分为
当 k 3，f Max f v
3 0
3 3
3
4
Max 3x 5s 13.6(0.9s 0.2x )
0
3 3
3
3
3
3
Max 0.28x 17.24s
0
3 3
3
3
x s , f 17.52s ,即第3年初将全部完好机器都 投入高负荷。
指标函数vkn=
v
5
表示第k至5年的总产量；
1
递推公式：f Max f v
6
f 0, k 5, ,1
2013-6-9
运筹学课件
第五章 物流运筹学——动态规划
表5-2 设i 仪器换成 j 仪器所需中断试验的时间
tij
j
1 10 9 6
仪器 2 9 12 5 3 14 10 8
i 仪器
1 2 3
• 【例5-4】（机器负荷问题）设某机器可以在高、 低两种不同的负荷下进行生产。若年初有 x 台 机器在高负荷下进行生产，则产品年产量a = 8x ， 机器的年折损率 β = 0.3 ；若年初有 y 台机器在低 负荷下进行生产，则产品年产量 b = 5 y ，机器的 年折损率α = 0.1。若初始时有性能正常的机器1000 台，要求制定机器负荷的四年分配计划，确定每年 年初分配正常机器在不同负荷下工作的台数，使四 年内产品总产量最大。
• 状态转移方程(state transfer equation)：动 态规划中本阶段的状态往往是上一阶段状 态和上一阶段的决策结果。如果给定了第 k 段的状态sk ，本阶段决策为uk (sk ) ，则第 k +1 段的状态s k + 1 也就完全确定，两者的关系可 用下式表示： sk +1 = Tk ( sk , uk ) （5-1） 由于它表示了由 k 段到 k +1 段的状态转移 规律，所以称为状态转移方程。
• •
动态规划的求解方法
动态规划的求解有两种基本方法：逆序解法（后向 动态规划方法）和顺序解法（前向动态规划方 法）。 • 在对例5-5的求解中，寻优的方向与多阶段决策过 程的实际进行方向相反，即从最后一段开始计算 逐步前推，从而求得全过程的最优策略，这样的 解法称为逆序解法；与之相反，顺序解法的寻优 方向与过程的前进方向相同，计算时从第一段开 始逐段向后递推，后一阶段要用到前一阶段的求 优结果，最后一段计算的结果就是全过程的最优 结果。
运筹学课件 第六章 动态规划
求解规划问题可从最终阶段逐步推至最初阶段或从 最初阶段逐步推至最终阶段，我们称前者为逆序解 法，称后者为顺序解法。
动态规划的基本方程（逆序法）：
fk (sk) = opt { wk(sk,uk )⊙ f k+1(sk+1) }
fn+1(sn+1) = φ(sn+1) f k ( sk) — 从第k阶段状态sk到终点的最优效益值
fk (sk+1)=max { vk(xk ) + f k-1(sk) }
f0(x1)=0
0
0
0
0
0
17 14
1
0
3
14
4
01
5
15
01
8
12
7
11
4
8
5
0 10 2 0
20
29
4
4
7
13
7
5
11
8
6
16 3 0
4
30
5
3
0 18
40
40
4
连续型动态规划问题的求解
例:某公司有资金10万元，若投资于项目i的投资额 为xi（i = 1 , 2 , 3)时，其收益分别为 g 1(x1)=2 x12, g 2 ( x 2 ) = 9 x2 , g 3 ( x 3 ) = 4 x3, 问应如何分配投资
第六章 动态规划
6.1 引言 6.2 最优化原理及基本概念 6.3 应用举例
例 6.1
多阶段决策过程最优化
多阶段决策过程，是指一类特殊的过程，它们可以按 时间顺序分解成若干个相互联系的阶段，称为“时段”， 在每个时段都要做决策，全部过程的决策是一个决策序列。 多阶段决策问题也称为序贯决策问题。
运筹学——动态规划
优子策略。该原理的具体解释是，若某一全过程
最优策略为：
p1
(s1 )
{u1
(s1 ),
u 2
(s2
),
,
u
k
(sk
),
u
n
(sn
)}
则对上述策略中所隐含的任一状态而言，
第k子过程上对应于该状态的最优策略必然包
含在上述全过程最优策略p1*中，即为
pk
(sk
)
{u
k
(sk
),
u
k 1
(sk
1
),
2．正确地定义状态变量sk，使它既能正确地描述过 程的状态，又能满足无后效性．动态规划中的状 态与一般控制系统中和通常所说的状态的概念是 有所不同的，动态规划中的状态变量必须具备以 下三个特征：
20
2021/7/26
(1)要能够正确地描述受控过程的变化特征。 (2)要满足无后效性。即如果在某个阶段状态已经给定，那么在
sk 1 Tk (sk ,uk (sk ))
上式称为多阶段决策过程的状态转移方程。有些问题的 状态转移方程不一定存在数学表达式，但是它们的状态 转移，还是有一定规律可循的。
12
2021/7/26
(六) 指标函数 用来衡量策略或子策略或决策的效果的某种数量
指标，就称为指标函数。它是定义在全过程或各 子过程或各阶段上的确定数量函数。对不同问题 ，指标函数可以是诸如费用、成本、产值、利润 、产量、耗量、距离、时间、效用，等等。
7
2021/7/26
（二）状态、状态变量和可能状态集 1.状态与状态变量。用以描述事物(或系统)在某特 定的时间与空间域中所处位置及运动特征的量，称 为状态。反映状态变化的量叫做状态变量。状态变 量必须包含在给定的阶段上确定全部允许决策所需 要的信息。按照过程进行的先后，每个阶段的状态 可分为初始状态和终止状态，或称输入状态和输出 状态，阶段k的初始状态记作sk，终止状态记为sk+1 。但为了清楚起见，通常定义阶段的状态即指其初 始状态。
第6章：动态规划《运筹学》
fk
sk 1
min
uk Dk (sk )
d (sk , sk1)
fk1(sk )
(k 1,2,3,4)
k=0时，f0(s1)= f0(s)=0，这是边界条件。
k=1时，S2={A1，A2，A3} f1( A1) 8
A1
8
f1( A2 ) 6 f1( A3 ) 4 k=2时，S3={B1，B2，B3}
发，采取某种策略到第n阶段的终止状态时的效益，它与所选 取的策略有关，因此常记作：
Vk,n (sk ,uk , sk 1,, sn ,un ) (k 1,2,, n) 常用的指标函数的形式有各阶段指标函数的和的形式和积的 形式两种。
①和的形式
n
Vk,n (sk ,uk , sk 1,,un ) v j (s j ,u j ) vk (sk , uk ) Vk1,n (sk1 , uk1 ,, un )
uskk
Sk
sk
Dk
sk
k 1,2,,n
建立实际问题的动态规划模型一般可遵循以下步骤：
第一，按时间或空间顺序将多阶段决策问题划分为适当的 阶段；
第二，恰当选择状态变量sk，使它既能确切地描述过程的演 变，又满足过程的无后效性；
第三，确定决策变量uk 及每阶段的容许决策集Dk(sk)。状态 变量和决策变量可以是连续的，也可以是离散的；
在例6-4中，第一阶段有一个状态s，则S1={s}；第二阶段的 状态有A1、A2、A3三个，则S2={A1,A2,A3}；第三阶段的状态 也有B1、B2和B3三个，则S3={B1,B2,B3}；第四阶段的状态有两 个，C1和C2，记为则S4={C1,C2}。
3.决策和策略 当各阶段的状态确
《运筹学07动态规划》课件
组合动态规划：解决组合问题， 如旅行商问题、背包问题等
动态规划的应用场景
资源分配 问题：如 背包问题、 车辆路径 问题等
优化问题： 如最短路 径问题、 最大子数 组问题等
决策问题： 如股票买 卖问题、 投资组合 问题等
游戏问题： 如国际象 棋、围棋 等
生物信息 学：如基 因序列比 对、蛋白 质结构预 测等
优化策略的改进
动态规划的扩展：从线性规划到非 线性规划，从单阶段决策到多阶段 决策
优化策略的改进：引入并行计算， 提高计算效率
添加标题
添加标题
添加标题
添加标题
优化策略的改进：引入启发式算法， 如遗传算法、模拟退火算法等
优化策略的改进：引入智能优化算 法，如神经网络、深度学习等
动态规划与其他 算法的比较
感谢您的观看
汇报人：
动态规划的基本 思想：将问题分 解为更小的子问 题，并利用子问 题的解来求解原
问题
动态规划的步 骤：确定状态、 状态转移方程、 初始状态和边
界条件
动态规划的算 法实现：递归、 迭代、记忆化
搜索等
动态规划的应 用：背包问题、 最短路径问题、 资源分配问题
等
动态规划的经典 案例
最短路径问题
问题描述：在图中找到从起点到终点的最短路径 应用场景：交通网络、物流配送、电路设计等 解决方案：使用动态规划算法，通过状态转移方程求解 经典案例：旅行商问题、最短路径问题等
排班问题
问题描述：如何合理安排员工工作时间，使得员工满意度最高，同时满足 公司业务需求
动态规划方法：使用动态规划算法，通过状态转移方程和递归函数求解
状态转移方程：定义状态变量，表示员工在不同时间段的工作状态
递归函数：根据状态转移方程，递归求解最优解
动态规划的应用场景
资源分配 问题：如 背包问题、 车辆路径 问题等
优化问题： 如最短路 径问题、 最大子数 组问题等
决策问题： 如股票买 卖问题、 投资组合 问题等
游戏问题： 如国际象 棋、围棋 等
生物信息 学：如基 因序列比 对、蛋白 质结构预 测等
优化策略的改进
动态规划的扩展：从线性规划到非 线性规划，从单阶段决策到多阶段 决策
优化策略的改进：引入并行计算， 提高计算效率
添加标题
添加标题
添加标题
添加标题
优化策略的改进：引入启发式算法， 如遗传算法、模拟退火算法等
优化策略的改进：引入智能优化算 法，如神经网络、深度学习等
动态规划与其他 算法的比较
感谢您的观看
汇报人：
动态规划的基本 思想：将问题分 解为更小的子问 题，并利用子问 题的解来求解原
问题
动态规划的步 骤：确定状态、 状态转移方程、 初始状态和边
界条件
动态规划的算 法实现：递归、 迭代、记忆化
搜索等
动态规划的应 用：背包问题、 最短路径问题、 资源分配问题
等
动态规划的经典 案例
最短路径问题
问题描述：在图中找到从起点到终点的最短路径 应用场景：交通网络、物流配送、电路设计等 解决方案：使用动态规划算法，通过状态转移方程求解 经典案例：旅行商问题、最短路径问题等
排班问题
问题描述：如何合理安排员工工作时间，使得员工满意度最高，同时满足 公司业务需求
动态规划方法：使用动态规划算法，通过状态转移方程和递归函数求解
状态转移方程：定义状态变量，表示员工在不同时间段的工作状态
递归函数：根据状态转移方程，递归求解最优解
运筹学-第3版-课件-第5章 动态规划
C1
2
1 2 2 3
D1 D2
3
2
A
B2
5
C2
6
E
4
2
B3
C3
3
D3
同样的理由，可以递推得其余阶段的铺设路线，如阶 段3在C1点的决策是D1，阶段4在D1点的决策只有E点； 由于到E点是整个铺设管道的终点，至此，决策过程完成， 铺设一条A点到E点的管道是由四个阶段的管道组成的， 如A---B3---C1---D1---E，它也称为一个策略。
B
阶段2
C
阶段3
D
阶段4
E
5
B1
4 4
6
3 6
C1
2
1 2
2
D1 D2 D3
3 4
2
A
B2
5
C2
6
E
2
3
B3
C3
3
在阶段2，从B3点出发，只有C1、C3两种可 选择的点， 如选C1,则C1就是阶段2在B3点的决策结果； C1点既是阶段2铺设管道的终点，又是阶段3 铺设管道的起点；
5
B1
4 4
6 3 6
使S= f ( xi ) 16 u j =
i 1 6 t
f ( x ) 16(5x
为最小，其中
i 1 i
6
j 1
1
4 x2 3x3 2 x4 x5 185)
100xi ,0 xi 15 f ( xi ) 120xi 300,15 < xi 30
第5章 动态规划
运 筹 帷 幄 之 中 Dynamic Programming
决 胜 千 里 之 外
运筹学第八章_动态规划
15
□状态集合：状态变量 xk 的取值集合称为状态集合，状态集合 实际上是关于状态的约束条件。 □通常用Sk表示状态集合，xkSk。
□第1阶段 S1={A}；
x1
x2
□第2阶段具有3个状
态B1、B2和B3，故
S2={B1, B2, B3}。 □……
x3
x4
x5
16
（3）决策（decision）
x2
B1
C1
C2
C3
□决策集合：第k阶段当状态处于xk时决策变量uk( xk )的取值范 称为决策集合，常用Dk( xk ) 表示。
□例1中，从第2阶段的 状态B1出发，可以选择 下一阶段的C1、C2、 C3。 □即 D2( B1 ) = { C1、 C2、C3 }；
B1
C1
C2
C3
□决策集合实际上是决策的约束条件，uk( xk ) ∈ Dk( xk ) 。
6
□这是一个多阶段决策过程。 □该过程可以分为相互联系的若干阶段，每一阶段都需作出决
策，从而形成全过程的决策。
x1=1000
u1 第1年
x2=0.7u1+ 0.9(x1-u1)
u2 第2年
x3=0.7u2+ 0.9(x2-u2)
u3 第3年
x4=0.7u3+ 0.9(x3-u3)
u4 第4年
x5=0.7u4+ 0.9(x4-u4)
3
提纲
1 动态规划实例 2 动态规划的基本概念 3 动态规划的基本思想与基本原理 4 逆序解法与顺序解法
4
1 动态规划实例
学习目标：
1 明确什么是多阶段的决策问题，特别要注意没有明显 的时段背景的问题如何化归为多阶段的决策问题。
□状态集合：状态变量 xk 的取值集合称为状态集合，状态集合 实际上是关于状态的约束条件。 □通常用Sk表示状态集合，xkSk。
□第1阶段 S1={A}；
x1
x2
□第2阶段具有3个状
态B1、B2和B3，故
S2={B1, B2, B3}。 □……
x3
x4
x5
16
（3）决策（decision）
x2
B1
C1
C2
C3
□决策集合：第k阶段当状态处于xk时决策变量uk( xk )的取值范 称为决策集合，常用Dk( xk ) 表示。
□例1中，从第2阶段的 状态B1出发，可以选择 下一阶段的C1、C2、 C3。 □即 D2( B1 ) = { C1、 C2、C3 }；
B1
C1
C2
C3
□决策集合实际上是决策的约束条件，uk( xk ) ∈ Dk( xk ) 。
6
□这是一个多阶段决策过程。 □该过程可以分为相互联系的若干阶段，每一阶段都需作出决
策，从而形成全过程的决策。
x1=1000
u1 第1年
x2=0.7u1+ 0.9(x1-u1)
u2 第2年
x3=0.7u2+ 0.9(x2-u2)
u3 第3年
x4=0.7u3+ 0.9(x3-u3)
u4 第4年
x5=0.7u4+ 0.9(x4-u4)
3
提纲
1 动态规划实例 2 动态规划的基本概念 3 动态规划的基本思想与基本原理 4 逆序解法与顺序解法
4
1 动态规划实例
学习目标：
1 明确什么是多阶段的决策问题，特别要注意没有明显 的时段背景的问题如何化归为多阶段的决策问题。
运筹学讲义-动态规划
2003年9月13日1时0分
(一) 阶段和阶段变量 为了便于求解和表示决策及过程的发 展顺 序，而把所给问题恰当地划分为若干个相互联系又有区别 的 子问题，称之为多段决策问题的阶段。一个阶段，就是需要 作出一个决策的子问题，通常，阶段是按决策进行的时间或空 间上先后顺序划分的。用以描述阶段的变量叫作阶段变量，一 般以k表示阶段变量．阶段数等于多段决策过程从开始到结束 所需作出决策的数目，图5—1所示的最短路问题就是一个四阶
2003年9月13日1时0分
图10-1 运输网络图示
Page 7 of 77
§10-1 多阶段决策过程最优化
2003年9月13日1时0分
三、动态规划求解的多阶段决策问题的特点
通常多阶段决策过程的发展是通过状态的一系列变换来实 现的。一般情况下，系统在某个阶段的状态转移除与本阶段的状 态和决策有关外，还可能与系统过去经历的状态和决策有关。因 此，问题的求解就比较困难复杂。而适合于用动态规划方法 求 解的只是一类特殊的多阶段决策问题，即具有“无后效性”的
❖ 多阶段决策过程最优化的目标是要达到整个活动过程的总 体效果最优。由于各段决策间有机地联系着，本段决策的 执行将影响到下一段的决策，以至于影响总体效果，所以 决策者在每段决策时不应仅考虑本阶段最优，还应考虑对 最终目标的影响，从而作出对全局来讲是最优的决策。动 态规划就是符合这种要求的一种决策方法。
段决策过程。
（二）状态、状态变量和可能状态集 1.状态与状态变量。 用以 描述事物(或系统)在某特定的时间与空间域中所处位置及 运
动特征的量，称为状态。反映状态变化的量叫做状态变量。 状态变量必须包含在给定的阶段上确定全部允许决策所需要的 信息。按照过程进行的先后，每个阶段的状态可分为初始状态 和终止状态，或称输入状态和输出状态，阶段k的初始状态记
运筹学课件 第五章动态规划
2013-11-30 11
(1)在第四阶段 此时只要再走一步即到终点⑩ (B地)。 目前状态 s4可以是⑧或⑨，可选择的下一状 态X4 是⑩ 所以f4 (8) =d4 (8, 10) =3, f4 (9)=d4 (9, 10)=4 (2)在第三阶段 在第三阶段，还需两步才能到达终点，此时 f3 ( s3)=min{d3 ( s3，X3)+f4 (s4)} 目前状态s3可 以是⑤、⑥、⑦，可选择的下一状态X3有两个 点⑧或⑨
通过计算，可知从 A地到 B地总路程最小 值为 11。
2013-11-30 16
三、动态规划的基本概念
1、阶段： 把所给问题的过程恰当地分为 若干个相互联系的阶段，以便能按一定的次序 去求解。描述阶段的变量称为阶段变量，常用 k 表示。 阶段的划分，一般是根据时间和空间的自然 特征来划分，但要便于把问题的过程能转化为 多阶段的决策过程，如例 1中可分为4个阶段来 求解，k=1, 2, 3, 4。
uk
2013-11-30 27
* pk ,n 表示sk sn的最优策略, 则最优值函数
基本方程 f k ( sk ) opt vk ( sk , u k ) f k 1 ( sk 1 ) u k Dk sk 1 Tk ( sk , u k ) k 1,2, , n f (s ) 0 n 1 n 1 这是一个逆推方程.
2013-11-30 20
4.策略 策略：决策按顺序构成的序列，用p表示。
p k ,n ( sk ) : 第k阶段起至第n阶段止的策略 pk ,n ( sk ) {uk ( sk ), uk 1 ( sk 1 )... , un ( sn )} 当k 1时. p1,n ( s1 )为全过程策略. p1,n ( s1 ) P ,n ( s1 ) 1
(1)在第四阶段 此时只要再走一步即到终点⑩ (B地)。 目前状态 s4可以是⑧或⑨，可选择的下一状 态X4 是⑩ 所以f4 (8) =d4 (8, 10) =3, f4 (9)=d4 (9, 10)=4 (2)在第三阶段 在第三阶段，还需两步才能到达终点，此时 f3 ( s3)=min{d3 ( s3，X3)+f4 (s4)} 目前状态s3可 以是⑤、⑥、⑦，可选择的下一状态X3有两个 点⑧或⑨
通过计算，可知从 A地到 B地总路程最小 值为 11。
2013-11-30 16
三、动态规划的基本概念
1、阶段： 把所给问题的过程恰当地分为 若干个相互联系的阶段，以便能按一定的次序 去求解。描述阶段的变量称为阶段变量，常用 k 表示。 阶段的划分，一般是根据时间和空间的自然 特征来划分，但要便于把问题的过程能转化为 多阶段的决策过程，如例 1中可分为4个阶段来 求解，k=1, 2, 3, 4。
uk
2013-11-30 27
* pk ,n 表示sk sn的最优策略, 则最优值函数
基本方程 f k ( sk ) opt vk ( sk , u k ) f k 1 ( sk 1 ) u k Dk sk 1 Tk ( sk , u k ) k 1,2, , n f (s ) 0 n 1 n 1 这是一个逆推方程.
2013-11-30 20
4.策略 策略：决策按顺序构成的序列，用p表示。
p k ,n ( sk ) : 第k阶段起至第n阶段止的策略 pk ,n ( sk ) {uk ( sk ), uk 1 ( sk 1 )... , un ( sn )} 当k 1时. p1,n ( s1 )为全过程策略. p1,n ( s1 ) P ,n ( s1 ) 1
运筹学课件(动态规划)
（二）、动态规划的基本思想 1、动态规划方法的关键在于正确地写出基本的递推 关系式和恰当的边界条件（简称基本方程）。要做到 这一点，就必须将问题的过程分成几个相互联系的阶 段，恰当的选取状态变量和决策变量及定义最优值函 数，从而把一个大问题转化成一组同类型的子问题， 然后逐个求解。即从边界条件开始，逐段递推寻优， 在每一个子问题的求解中，均利用了它前面的子问题 的最优化结果，依次进行，最后一个子问题所得的最 优解，就是整个问题的最优解。
d( B1,C1 ) + f1 (C1 ) 3+1 f2 ( B1 ) = min d( B1,C2 ) + f1 (C2 ) = min 3+3 d( B1,C3 ) + f1 (C3 ) 1+4 4 = min 6 = 4 (最短路线为B1→C1 →D) 5
3
2 A 4 B2 B1 2 1 3
最优策略为（30，20），此时最大利润为105万元。
f 2 ( 40)
g2 ( y) y 0 ,10 ,, 40
max
f1 ( 40 y )
90
最优策略为（20，20），此时最大利润为90万元。
f 2 (30)
g2 ( y) y 0 ,10 , 20 , 30
max
f1 (30 y )
70
最优策略为（20，10），此时最大利润为70万元。
f 2 ( 20) ma 0 ,10 , 20
50
最优策略为（20，0），此时最大利润为50万元。
f 2 (10) maxg 2 ( y ) f1 (10 y )
3 2 A 4 B2 B1 2 3 1 3 1
C1 C2 4 3
运筹学-线性规划-蒯圣龙共75页文档
运筹学－线性规划-蒯圣龙
11、获得的成功越大，就越令人高兴 。野心 是使人 勤奋的 原因， 节制使 人枯萎 。 12、不问收获，只问耕耘。如同种树 ，先有 根茎， 再有枝 叶，尔 后花实 ，好好 劳动， 不要想 太多， 那样只 会使人 胆孝懒 惰，因 为不实 践，甚 至不接 触社会 ，难道 你是野 人。(名 言网) 13、不怕，不悔(虽然只有四个字，但 常看常 新。 14、我在心里默默地为每一个人祝福 。我爱 自己， 我用清 洁与节 制来珍 惜我的 身体， 我用智 慧和知 识充实 我的头 脑。 15、这世上的一切都借希望而完成。 农夫不 会播下 一粒玉 米，如 果他不 曾希望 它长成 种籽； 单身汉 不会娶 妻，如 果他不 曾希望 有小孩 ；商人 或手艺 人不会 工作， 如果他 不曾希 望因此 而有收 益。-- 马钉路 德。
39、勿问成功的秘诀为何，且尽全力做你应该做的事吧。——美华纳
40、学而不思则罔，思而不学则殆。——孔子
பைடு நூலகம் 谢谢！
36、自己的鞋子，自己知道紧在哪里。——西班牙
37、我们唯一不会改正的缺点是软弱。——拉罗什福科
xiexie! 38、我这个人走得很慢，但是我从不后退。——亚伯拉罕·林肯
11、获得的成功越大，就越令人高兴 。野心 是使人 勤奋的 原因， 节制使 人枯萎 。 12、不问收获，只问耕耘。如同种树 ，先有 根茎， 再有枝 叶，尔 后花实 ，好好 劳动， 不要想 太多， 那样只 会使人 胆孝懒 惰，因 为不实 践，甚 至不接 触社会 ，难道 你是野 人。(名 言网) 13、不怕，不悔(虽然只有四个字，但 常看常 新。 14、我在心里默默地为每一个人祝福 。我爱 自己， 我用清 洁与节 制来珍 惜我的 身体， 我用智 慧和知 识充实 我的头 脑。 15、这世上的一切都借希望而完成。 农夫不 会播下 一粒玉 米，如 果他不 曾希望 它长成 种籽； 单身汉 不会娶 妻，如 果他不 曾希望 有小孩 ；商人 或手艺 人不会 工作， 如果他 不曾希 望因此 而有收 益。-- 马钉路 德。
39、勿问成功的秘诀为何，且尽全力做你应该做的事吧。——美华纳
40、学而不思则罔，思而不学则殆。——孔子
பைடு நூலகம் 谢谢！
36、自己的鞋子，自己知道紧在哪里。——西班牙
37、我们唯一不会改正的缺点是软弱。——拉罗什福科
xiexie! 38、我这个人走得很慢，但是我从不后退。——亚伯拉罕·林肯
运筹学――动态规划课件
当k=1时F1(s1)就是从初始状态到全过程的整体最优函 数.
8
指标函数的常见形式：
（1）过程和它的任一子过程的指标是它所包n 含的各阶段
（2的）指过标程的和和它。的Vk任,n(一sk子, u过k程, s的k+指1,标… 是sn它+1所)＝包含jk 的v j (各s j阶,u段j) 的1
指标的乘积。Vk,n(sk,
23
1、动态规划模型的建立
建立动态模型的6个要素： 1）阶段k 2）状态SK 3)决策uk(sk) 4）状态转移方程 5）阶段指标函数 6）指标递推方程
24
2、动态规划模型的解法
动态规划的求解方法有两种： 逆序解法与顺序解法
1、在已知初始状态S1下，采用逆序解法：（反向递归） 2、在已知终止状态Sn下，采用顺序解法（正向递归）
fk (Sk )
dk Dk
OPt{vk (Sk , dk ) fk1( Sk1 )} fk (sk ) 0Pt Uk (sk , dk )
(k n, n 1,1)
dk Dk (k 1,2,n)
fk1(sk1 )
fn1( Sn1 ) 1
f0 (s0 ) 1
26
计 k 算 顺1如 序时下 解，： 法按解kuff（ （ （ 111例0BsB1， 2） 11） ） ：f的 （ 0 4A定 sA1）义45有f（ 0： uf（ （ A11BB） B1B2222） ） 538077，5A这C是 CCC1234边 845835界 44 条DDD件123156。 323
13
二、动态规划的基本思想和基本方程
最短路线有一个重要特性：如果由起点A经P点和H点 最终到达F点是一条最短路线，则由P点出发经过H点 最终到达F点的这条路线必定也是从P点到F点的最短路 。
8
指标函数的常见形式：
（1）过程和它的任一子过程的指标是它所包n 含的各阶段
（2的）指过标程的和和它。的Vk任,n(一sk子, u过k程, s的k+指1,标… 是sn它+1所)＝包含jk 的v j (各s j阶,u段j) 的1
指标的乘积。Vk,n(sk,
23
1、动态规划模型的建立
建立动态模型的6个要素： 1）阶段k 2）状态SK 3)决策uk(sk) 4）状态转移方程 5）阶段指标函数 6）指标递推方程
24
2、动态规划模型的解法
动态规划的求解方法有两种： 逆序解法与顺序解法
1、在已知初始状态S1下，采用逆序解法：（反向递归） 2、在已知终止状态Sn下，采用顺序解法（正向递归）
fk (Sk )
dk Dk
OPt{vk (Sk , dk ) fk1( Sk1 )} fk (sk ) 0Pt Uk (sk , dk )
(k n, n 1,1)
dk Dk (k 1,2,n)
fk1(sk1 )
fn1( Sn1 ) 1
f0 (s0 ) 1
26
计 k 算 顺1如 序时下 解，： 法按解kuff（ （ （ 111例0BsB1， 2） 11） ） ：f的 （ 0 4A定 sA1）义45有f（ 0： uf（ （ A11BB） B1B2222） ） 538077，5A这C是 CCC1234边 845835界 44 条DDD件123156。 323
13
二、动态规划的基本思想和基本方程
最短路线有一个重要特性：如果由起点A经P点和H点 最终到达F点是一条最短路线，则由P点出发经过H点 最终到达F点的这条路线必定也是从P点到F点的最短路 。
动态规划(运筹学讲义).
)
min
d d
( (
E2 E2
, ,
F1) F2 )
f6 (F1) f6 (F2 )
min
5 2
4 3
5
u*5 (E2 )= F2
f5
(E3
)
min
d d
( (
E3 E3
, ,
F1) F2 )
f6 (F1) f6 (F2 )
min
fk
(sk
)
opt
uk Dk ( sk
)
vk (sk ,uk ) fk1(sk1)
fn1(sn1) 0
k=n, n 1, ,1
(8.4a) (8.4b)
Opt 可根据题意取 min 或 max
11
动态规划的基本思想如下：
（1）动态规划方法的关键在于正确写出基本递推关系式和恰当的边界条 件，因此必须将多阶段决策过程划分为n个相互联系的阶段，恰当地选取 状态变量、决策变量及定义最优指标函数，从而把问题化为一族同类型 的子问题，然后逐个求解 （2）求解时从边界条件开始，逆（或顺）过程逐段递推寻优。在每一个 子问题求解中，均利用了它前面子问题的最优结果，最后一个子问题的 最优解，就是这个问题的最优解。 （3）动态规划方法既把当前阶段与未来阶段分开，又把当前效益和未来 效率结合，因此每段的最优决策选取是从全局来考虑。 （4）在求这个问题的最优解时，由于初始状态是已知，而每阶段的决策 都是该段状态的函数，故最优策略所经过的各各阶段状态可逐次变换得 到，从而确定最优路线。
量最高。
决策
决策
决策
运筹学-线性规划-蒯圣龙共75页PPT
45、法律的制定是为了保证每一个人 自由发 挥自己 的才能 ，而不 是为了 束缚他 的才能 。—— 罗伯斯 庇尔
▪
26、要使整个人生都过得舒适、愉快，这是不可能的，因为人类必须具备一种能应付逆境的态度。——卢梭
运筹学－线性规划-蒯圣龙
41、实际上，我们想要的不是针对犯 罪的法 律，而 是针对 疯狂的 法律。 ——马 克·吐温 42、法律的力量应当跟随着公民，就 像影子 跟随着 身体一 样。— —贝卡 利亚 43、法律和制度必须跟上人类思想进 步。— —杰弗 逊 44、人类受制于法律，法律受制于情 理。— —托·富 勒
▪
27、只有把抱怨环境的心情，化为上进的力量，才是成功的保证。——罗曼·罗兰
▪
28、知之者不如好之者，好之者不如乐之者。—抵得上武器的精良。——达·芬奇
▪
30、意志是一个强壮的盲人，倚靠在明眼的跛子肩上。——叔本华
谢谢！
75
▪
26、要使整个人生都过得舒适、愉快，这是不可能的，因为人类必须具备一种能应付逆境的态度。——卢梭
运筹学－线性规划-蒯圣龙
41、实际上，我们想要的不是针对犯 罪的法 律，而 是针对 疯狂的 法律。 ——马 克·吐温 42、法律的力量应当跟随着公民，就 像影子 跟随着 身体一 样。— —贝卡 利亚 43、法律和制度必须跟上人类思想进 步。— —杰弗 逊 44、人类受制于法律，法律受制于情 理。— —托·富 勒
▪
27、只有把抱怨环境的心情，化为上进的力量，才是成功的保证。——罗曼·罗兰
▪
28、知之者不如好之者，好之者不如乐之者。—抵得上武器的精良。——达·芬奇
▪
30、意志是一个强壮的盲人，倚靠在明眼的跛子肩上。——叔本华
谢谢！
75