第10章 动态规划

第10章 动态规划 Dynamic Programming
2018年12月10日星期一
Page 6
1.1 多阶段决策过程的最优化 多阶段决策过程： 指这样一类特殊的活动过程，它们可以按时 间顺序分解成若干相互联系的阶段，在每一 阶段都要做出决策，全部过程的决策是一个 决策序列。 多阶段决策过程最优化的目标，是要达到整个 活动过程的总体效果最优，所以多阶段的决 策并不是各阶段决策的简单总合。
第10章 动态规划 Dynamic Programming
2018年12月10日星期一
Page 5
动态规划是解决多阶段决策过程最优化问题的 一种方法。
是现代企业管理中的一种重要决策方法。
用于解决最优路径问题、资源分配问题、生产 计划与库存问题、投资问题、排序问题及生产 过程的最优控制等问题。
在处理某些优化问题时，常比线性规划或非线 性规划方法更有效。
这是一个8阶段决策问题。
第10章 动态规划 Dynamic Programming
2018年12月10日星期一
Page 11
1.2动态规划的基本概念 (1)阶段 (2)状态 (3)决策和策略 (4)状态转移 (5)指标函数
第10章 动态规划 Dynamic Programming
例10.1-2、最短线路问题 (状态)(决策)(方程)(目标)(思想) 设某厂Ａ要把一批货运到Ｅ城市出售，中部可经 过①~⑧城市，各城市间的交通线及距离如下 图，问应选择什么路线，可使总距离最短？
2018年12月10日星期一
Page 10
例：设备更新问题 企业在使用设备时都要考虑设备的更新问题， 因为设备越陈旧所需的维修费用越多，但购 买新设备则要一次性支出较大的费用。现在 某企业要决策一台设备未来8年的更新计划， 已预测了第j年购买设备的价格为kj，rj为设备 经过j年后的残值，cj为设备连续使用j-1年后 在第j年的维修费（j=1~8)，问应在哪年更新 设备可使总费用最小。
第10章 动态规划 Dynamic Programming
2018年12月10日星期一
Page 7
由于各阶段决策间有机地联系着，本段决策的执行将 影响到下一阶段的决策，以至于影响总体效果，所 以决策者在每阶段决策时不应仅考虑本阶段最优， 还应考虑对最终目标的影响，从而做出对全局来讲 是最优的决策。 动态规划就是符合这种要求的一种决策方法。
动态规划方法与“时间”关系密切，随着时间过程的 发展而决定各阶段的决策，产生一个决策序列，这 就是“动态”的意思。 对于静态问题，只要在问题中人为地引入“时间”因 素，将问题看成多阶段的决策过程即可。
第10章 动态规划 Dynamic Programming
2018年12月10日星期一
Page 8
2018年12月10日星期一
Page 9
例：投资决策问题 某公司现有资金Ｑ万元，在今后5年内考虑 给Ａ、Ｂ、Ｃ、Ｄ四个项目投资，这些项 目的投资期限、回报率均不相同，问应如 何确定这些项目每年的投资额，使到第5年 末拥用资金的本利总额最大。 看作5阶段决策问题。
第10章 动态规划 Dynamic Programming
策)(方程)(目标)
阶段
Page 13
i(月) gi(需求)
1 2
品，已知今后4个月市场需求预测如下表，每月 生产j单位产品费用为： c(j)=3+j 千元 (j=1~6) 。 每月库存j单位产品的费用为E(j)=0.5j(千元)。该 厂最大库存容量为3个单位，每日最大生产能力 为6个单位，计划开始和计划期末库存量都是零。 试制定4个月的生产计划，在满足用户需求条件 下总费用最小。假设第i+1个月的库存量是第i 个 月可销量与该月用户需求量之差。而第i 个月的 可销售量是本月初库存量和产量之和。 (状态)(决
2018年12月10日星期一
Page 4
动态规划问题具有以下基本特征 1. 问题具有多阶段决策的特征。阶段可以按时间 划分，也可以按空间划分。 2. 每一阶段都有相应的“ 状态”与之对应。 3. 每一阶段都面临一个决策，选择不同的决策将 会导致下一阶段不同的状态，同时，不同的决策将会 导致这一阶段不同的目标函数值。 4. 每一阶段的最优解问题可以递归地归结为下一 阶段各个可能状态的最优解问题，各子问题与原问题 具有完全相同的结构。能否构造这样的递推归结，是 解决动态规划问题的关键。这种递推归结的过程，称 为“ 不变嵌入”。
运筹学
Operations Research
第十章 动态规划
Dynamic Programming
§1 动态规划的基本概念和方法 §2 动态规划的基本原理 §3 动态规划的应用举例 重点掌握:1.动态规划的基本概念 2.动态规划的应用举例
10.1 动态规划的基本概念和方法
【例10.1-1】最短路径问题 图10－1表示从起点v1到 终点v10之间各点的距离。求v1到v10的最短路径。
1 8 A 9 2 6 6 4 4 6 7 5 1 6
百度文库策略
原理
2018年12月10日星期一
Page 12
5 8
3 5
7
4
E
2 8 3
5
3
7 8 3 9
阶段 无后效性
例10.1-3：生产与存贮问题：某工厂生产并销售某种产
2018年12月10日星期一
第10章 动态规划 Dynamic Programming
例：生产与存贮问题 某工厂每月需供应市场一定数量的产品。供应 需求所余产品应存入仓库，一般地，某月适 当增加产量可降低生产成本，但超产部分存 入仓库会增加库存费用，要确定一个逐月的 生产计划，在满足需求条件下，使一年的生 产与存贮费用之和最小。 把每月作为一个阶段，全年分为12个阶段逐次 决策。
第10章 动态规划 Dynamic Programming
17
Min{2+5,8+8,6+4}=7
10 13 7 2 8 6 10
5
v2
v7
5
v5
逆 标 法
v10 0
2 19 v1 5 13 v4 20 11 v6 8 14 7 v3
8 v8
8
12
5 12 8 4 v9 4
阶段： 第1阶段
第2阶段 第3阶段 图10－1
第4阶段
第10章 动态规划 Dynamic Programming