运筹学第七章动态规划
运筹学动态规划
运筹学动态规划第7章动态规划动态规划是Bellman 在1957年提出的解多阶决策问题的方法，在那个时期，线性规划很流行，它是研究静态问题的，而Bellman 提出的解多阶决策问题的方法适用于动态问题，相对于线性规划研究静态问题，取名动态规划。
动态规划方法应用范围非常广泛，方法也比较简单。
动态规划是将一个多阶决策问题分解为一系列的互相嵌套的一步决策问题，序贯求解使问题得到简化。
动态规划问题按照问题的性质可以分为确定性的和随机性的，按决策变量的和状态变量的取值可以分为离散型的和连续型的。
此外还有依据时间变量连续取值还是离散取值又分为连续时间动态规划问题和离散时间动态规划问题。
本章重点讨论离散时间确定性动态规划问题，包括状态变量和决策变量连续取值和离散取值两种情况。
7.1解多阶决策问题的动态规划法1.多阶决策问题的例(1)最优路径问题—多阶决策问题的例为了直观，先从最优路径问题谈起，它可以看作一个多阶决策过程。
通过最优路径问题的解可以看到用动态规划法解多阶决策问题的基本思想。
考虑图7-1所示的最优路径问题。
一汽车由S 点出发到终点F ，P 和Q 是一些可以通过的点。
图中两点间标出的数字是汽车走这一段路所需的时间(单位为小时)。
最优路径问题是确定一个路径，使汽车沿这条路径由S 点出发达到F 点所用时间最短。
最优路径问题可以看作一个多阶决策问题，由S 到城市甲是第1个阶段，第1个结点P 1或第2个结点Q 1做为第1阶段可以通过的两个站点，由城市甲到城市乙是第2阶段，这个阶段是从P 1或Q 1到P 2或Q 2，由城市乙到城市丙是第3阶段，这个阶段是从P 2或Q 2到P 3或Q 3，由城市丙的P 3或Q 3到F 做为第四阶段。
（2）最优路径问题的解对最优路径问题，存在一个非常明显的原理，即最优路径的一部分还是最优路径。
换句话说，如果SQ P Q F 123是所求的最优路径，那么，汽车从这一路径上的任何一点，例如P 2，出发到F 的最优路径必为P Q F 23。
第07章 动态规划 《运筹学》PPT课件
动态规划
模型分类
离散确定型 离散随机型 连续确定型 连续随机型
§1 多阶 段决 策过 程的 最优
化
多阶段决策问题
(Multi-Stage decision process)
决策u1 决策u2
决策uk
32
维护费
8 8 9 9 10 6 6 8 8 10 5 6 8 9 5 5 6 4 54Βιβλιοθήκη 新设备购置费 5050
52 52 55 60
旧设备折价
20 15 10 5 2 30 25 20 15 10 31 26 21 15 33 28 20 35 30
40
§1 多阶 段决 策过 程的 最优
化
3)连续生产过程的控制 问题：一般化工生产过程中，
本章 内容
多阶段决策过程的最优化 动态规划的基本概念和基本原理 动态规划模型的建立与求解 动态规划在经济管理中的应用 马氏决策规划简介
创始时间 创始人
上个世纪50年代
美国数学家贝尔曼 （Richard. Bellman)
是运筹学的一个主要分支 是解决多阶段决策过程的最优化的一
种方法多阶段决策过程： 多阶段决策过程的最优化的目标： 达到整个活动过程的总体效果最优 •主要用于解决：
不过，实际中尚有许多不包含时间 因素的一类“静态”决策问题，就其本 质而言是一次决策问题，是非动态决策 问题，但是也可以人为地引入阶段的概 念当作多阶段决策问题，应用动态规划 方法加以解决。
§1 多阶 段决 策过 程的 最优
化
4）资源分配问题：便属于这类静 态问题。如：某工业部门或公司，拟对 其所属企业进行稀缺资源分配，为此需 要制定出收益最大的资源分配方案。这 种问题原本要求一次确定出对各企业的 资源分配量，它与时间因素无关，不属 动态决策，但是，我们可以人为地规定 一个资源分配的阶段和顺序，从而使其 变成一个多阶段决策问题(后面我们将 详细讨论这个问题)。
运筹学动态规划
第三节 动态规划应用举例
例1 生产与存储问题 一个工厂生产的某种产品，在一定的时期
内，增大生产批量，能够降低产品的单位成本，但若超过市场的需 求量，就会造成产品的积压而增加存储的费用。因此如何正确地制 定生产计划，使得在整个计划期内，生产和存储的总费用最小，这 就是生产与存储问题。
第三节 动态规划应用举例
第七章 动态规划
第一节 最短线路问题
第二节 动态规划的基本概念和原理 第三节 动态规划应用举例 第四节 决策变量连续的动态规划问题 第五节 乘积形式的目标函数 第六节 随机型动态规划问题
第一节 最短线路问题
一、最短线路问题及其解法
图7-1是一个线路网络图。从A到E要修建一条石 油管道。管道必须在B、C、D三处设立加压站。 在B处有B1，B2，B3三个不同地址可供选择作为 建站点。当然，从A到这3个点的距离是不同的； 同样，C和D处也都有不同的地址可供选择。图 上的圆圈称为节点，表示地址，两个节点之间的 箭线称为线或边，表示可以修建管道，线上的数 字表示两个地址之间的距离。现在的问题是在许 多条从A到E的线路中，找出一条最短的，称为最 短线路问题。
三、最优化原理与动态规划方程
基本步骤为：
(1)将问题的求解过程恰当地分成若干阶段，一般可按问题所处的空间或时间 进行划分，并确定阶段变量，对n个阶段问题来说，k=1,2,…,n。 (2)正确地选择状态变量sk，它应当满足无后效性等三个条件，并确定状态集
合Sk。
(3)确定决策变量xk(sk)及阶段的允许决策集合Dk(sk)。 (4)写出状态转移函数 (5)根据题意，列出指标函数Fk,n,fk(sk),F1,n,f1(s1)。
三、最优化原理与动态规划方程
•最优化原理 对于多阶段决策问题，作为整个 过程的最优策略具有这样的性质：无论过去的状 态和决策如何，就前面决策所形成的状态而言， 余下的诸决策必然构成一个最优子策略。
运筹学-第七章-动态规划
6
5
7
f2(D)=8 3
D
4
f3(E)=3
E 3
f3(F)=5
5
F
f3(G)=8 8
G
f2(D )m d d i((n D D ,,G F )) ff3 3((G F )) m 3 4 i n 5 8 8 u22(0D 21/)8/ 3 DF
f4(H)=0
H
14
f1(A)=14
A
f2(B)=13
2021/8/3
20
逆推公式
fk(sk)＝OPT {v(sk,uk)+ fk+1(sk+1)} k =n, …1
fn+1(sn+1)＝0 或
Max 或 Min
fk(sk)＝OPT{v(sk ,uk)+ fk+1(sk+1)} k =n-1, …1 fn(sn)＝ OPT{v(sn ,un)}
多阶段决策问题中，常见的目标函数形式之一是取各阶段效 益之和的形式。有些问题，如系统可靠性问题，其目标函数 是取各阶段效益的连乘积形式。总之，具体问题的目标函数 表达形式需要视具体问题而定
2021/8/3
19
(4) 状态转移方程 sk＋1 ＝T (sk, uk)：描述第 k 阶段与第 k+1 阶段的状态变量的关系
(5) 指标 v (sk ,uk) ：第 k 阶段在状态 sk 下采取决策 uk 得到的 结果（距离、得益、成本等）
指标函数是指各阶段指标的累计。即 V (sk,uk, …, sn,un, sn+1)=vk(sk,uk)*vk+1(sk+1,uk+1)…*vn(sn,un)
30
k=2, S2 = {0,1,2,3,4,5}, f2(s2)＝0mua2x{sg22(u2)+ f3(s3)}
运筹学课件第七章_动态规划
全过程策略：U1(S1), U2(S2),…, Un(Sn) P1n={Ui(Si)}, i=1,…,n
子过程策略：Uk(Sk), Uk+1(Sk+1),…, Un(Sn) Pkn={Ui(Si)}, i=k,…,n
6、阶段指标：Vk(Sk, Uk),k阶段，Sk状态下，作出Uk决 策带来的效果。在不同的问题中，指标的含义是不同的，它
运筹学
练习： 求从A到E的最短路径
2
12
B1
10
14
C1 3
9
D1 5
A
5
B2 6 10
1
4
13
6
C2
5
8
E
2
D2
B3
12 11
C3 10
路线为A→B2→C1 →D1 →E ，最短路径为19
2019/10/11
运筹学
二、资源分配问题 1、一维资源分配运筹学源自 二、动态规划的基本思想和基本方程
1、Bellman最优性定理
一个过程的最优策略具有这样的性质：即无论初始状 态及初始决策如何，对于先前决策所形成的状态而言， 其以后所有的决策应构成最优策略。
换句话说，最优策略只能由最优子策略构成。
2、思想方法：在求解过程中，各阶段的状态和决策， 对其后面的阶段来说，只影响其初始状态，而不影响 后面的最优策略。——无后效性
根据k 阶段状态变量和决策变量，写出k+1阶段状 态变量，状态转移方程应当具有递推关系。
5、确定阶段指标函数和最优指标函数，建立动态规 划基本方程
阶段指标函数是指第k 阶段的收益，最优指标函 数是指从第k 阶段状态出发到第n 阶段末所获得收益的
最优值，最后写出动态规划基本方程。
运筹学-动态规划
运筹学-动态规划
●逆序法求解最短路问题
第一步,从K=4开始
状态变量S4可取两种状态D1, D2,它们到E点的距离 分别为4和3,这也就是由D1和D2到终点E 的最短距离， 即
f4(D1)=4, f4(D2)=3.
1 S1
2
3
4
Байду номын сангаас
S2
S3
S4
运筹学-动态规划
1
2
3
4
2）、状态 ( state) 各阶段开始时的出发点称作状态。
描述各阶段状态的变量，称作状态变量，用sk 表示。
在例７.1 中，第一阶段的状态为 A ，第二阶段的状态为城市 B1，B2 和 B3。所以状态变量 S1 的集合 S1={A},S2 的集合是 S2={B1,B2,B3}, 依次有 S3={C1,C2,C3}, S4={D1,D2} 。
C3 ，如果我们选择，从C2走，则此时的决策变量可表示x2(B1)=C2。
1
2
3
4
4）、策略（ Policy）
在各阶段决策确定以后，整个问题的决策序列就构成了一个策略,
用P1n(s1)表示。
如对于例７.1总共可有18个策略，但最优策略只有一个。
1
2
3
4
运筹学-动态规划
5）、目标函数
用于衡量所选定策略优劣的数量指标称作目标函数。
第七章 动态规划
７.1 动态规划问题和基本概念 ７.2 动态规划的基本原理 ７.3 动态规划的应用
引言
动态规划与多阶段决策：
多阶段决策是指这样一类特殊的活动过程, 它们可以按时间顺序分 解成若干相互联系的阶段, 每个阶段都要作出决策, 全部过程的决策是 一个决策序列, 所以多阶段决策问题又称为序贯决策问题。
管理运筹学07动态规划
连续时间动态规划
定义
连续时间动态规划是指时间连续变化，状态 和决策也连续变化，状态转移和决策可以发 生在任意时刻。
解决思路
通过将时间连续化，将连续的时间动态问题转化为 离散的时间动态问题，然后应用动态规划的方法进 行求解。
应用场景
控制系统优化、金融衍生品定价、物流优化 等。
状态转移
指从一个状态转移到另一个状态的过程，是动态规划的基本要素 之一。
状态转移方程
描述了状态转移的数学表达式，是动态规划算法的核心。
最优化原理
最优化原理
在多阶段决策问题中，如果每个阶段 都按照最优策略进行选择，则整个问 题的最优解一定是最优的。
最优子结构
如果一个问题的最优解可以由其子问 题的最优解推导出来，则称该问题具 有最优子结构。
解决方案
采用启发式搜索策略， 如模拟退火、遗传算法 等，来引导算法跳出局 部最优解。
案例
在旅行商问题中，采用 模拟退火算法结合动态 规划，在局部搜索和全 局搜索之间取得平衡， 得到全局最优解。
06 动态规划案例研究
案例一：生产与存储问题的动态规划解决方案
总结词
该案例研究探讨了如何利用动态规划解决生 产与存储问题，通过合理安排生产和存储策 略，降低总成本。
管理运筹学07动态规划
contents
目录
• 动态规划概述 • 动态规划的基本概念 • 动态规划的应用 • 动态规划的扩展 • 动态规划的挑战与解决方案 • 动态规划案例研究
01 动态规划概述
定义与特点
定义
动态规划是一种通过将原问题分解为 相互重叠的子问题，并存储子问题的 解以避免重复计算的方法，从而有效 地解决最优化问题的方法。
《运筹学07动态规划》课件
动态规划的应用场景
资源分配 问题：如 背包问题、 车辆路径 问题等
优化问题： 如最短路 径问题、 最大子数 组问题等
决策问题： 如股票买 卖问题、 投资组合 问题等
游戏问题： 如国际象 棋、围棋 等
生物信息 学：如基 因序列比 对、蛋白 质结构预 测等
优化策略的改进
动态规划的扩展：从线性规划到非 线性规划，从单阶段决策到多阶段 决策
优化策略的改进：引入并行计算， 提高计算效率
添加标题
添加标题
添加标题
添加标题
优化策略的改进：引入启发式算法， 如遗传算法、模拟退火算法等
优化策略的改进：引入智能优化算 法，如神经网络、深度学习等
动态规划与其他 算法的比较
感谢您的观看
汇报人：
动态规划的基本 思想：将问题分 解为更小的子问 题，并利用子问 题的解来求解原
问题
动态规划的步 骤：确定状态、 状态转移方程、 初始状态和边
界条件
动态规划的算 法实现：递归、 迭代、记忆化
搜索等
动态规划的应 用：背包问题、 最短路径问题、 资源分配问题
等
动态规划的经典 案例
最短路径问题
问题描述：在图中找到从起点到终点的最短路径 应用场景：交通网络、物流配送、电路设计等 解决方案：使用动态规划算法，通过状态转移方程求解 经典案例：旅行商问题、最短路径问题等
排班问题
问题描述：如何合理安排员工工作时间，使得员工满意度最高，同时满足 公司业务需求
动态规划方法：使用动态规划算法，通过状态转移方程和递归函数求解
状态转移方程：定义状态变量，表示员工在不同时间段的工作状态
递归函数：根据状态转移方程，递归求解最优解
北交大交通运输学院《管理运筹学》知识点总结与例题讲解第7章 动态规划
两级决策问题，从城市④到 E 有两条路线，需加以比较，取其中最短的，即
f3 (4)
=
min
⎧d ⎩⎨d
(4, 7) + (4,8) +
f
4
(7)⎫ ⎬
f4 (8) ⎭
表 7-1
i月
1
2
3
4
yi （需求）
2
3
2
4
这也是一个 4 阶段决策问题。 例 3 投资决策问题
某公司现有资金 Q 万元，在今后 5 年内考虑给 A、B、C、D 四个项目投资，这些项目 的投资期限、回报率均不相同，问应如何确定这些项目每年的投资额，使到第五年末拥有资
金的本利总额最大。 这是一个 5 阶段决策问题。
c(
j)
=
⎧ ⎨⎩a
0 + bj
( j = 0) ( j = 1, 2,3,L , m)
（千元）
其中 a 为生产的固定费用， b 为可变生产费率， m 为生产能力。供应需求所剩余产品应存 入仓库，每月库存 j 单位产品的费用为
E( j) = c * j （千元）
计划开始和计划期末库存量都是 0。试制定 4 个月的生产计划，在满足用户需求的条件下使 总费用最小。
现在我们利用动态规划最优性原理，由最后一段路线开始，向最初阶段递推求解，逐
步求出各段各点到终点 E 的最短路线，最后求得 A 点到 E 点的最短路线。 上面我们已经规定了本例的阶段数、状态变量、决策变量，给出了转移方程、指标函数
等。再用 d (sk , uk ) 表示由状态 s k 点出发，采用决策 uk 到达下一阶段 sk+1 点时的两点间距离。 第一步从 k=4 开始，状态变量 s4 可取两种状态⑦、⑧，它们到 E 点的路长分别为 4，3。
运筹学 动态规划
max
3x1 4 x2 5 x3
max 3 x1 max 4 x2 5 x3 5 x2 6 x3 10 4 x1 10 0 x1 max 3 x1 f 2 10 4 x1
10 0 x1 4 4
，则有：
N 1 J x0 max L xk , u k u 0 ,u 1,,u N 1 k 0
* N N 1 max L x0 , u 0 L xk , u k u 0 ,u 1,,u N 1 k 1
（5）
（5）式表明，多阶段决策的最优策略只依赖于系统的初始状态 x 0 。
Байду номын сангаас
多阶段决策问题的最优性原理 多阶段决策问题的最优性原理可表述为： 如果 u * 0, u * 1,, u * N 1 是最优 策略序列，那么它的一部分 u * 1, u * 2,, u * N 1 也是一个最优策略序列。其反 证法的证明是无须赘述的[8,9]。 简单说， “最优策略的子策略必为最优子策略”
4 x2 5 x3
max 4 x2 max 5 x3 6 x3 2 5 x2 2 0 x2 max 4 x2 f 3 2 5 x2
2 0 x2 5 5
max 4 x2 max 5 x3 6 x3 105 x2 10 0 x2 max 4 x2 f 3 10 5 x2
k 1:
f1 10
4 x1 5 x2 6 x3 10
max
3 x1 4 x2 5 x3
Max z 3 x1 4 x2 5 x3 s.t. 3 x1 4 x2 5 x3 10 var iable positive, I
运筹学教案动态规划
运筹学教案动态规划教案章节一：引言1.1 课程目标：让学生了解动态规划的基本概念和应用领域。
让学生掌握动态规划的基本思想和解决问题的步骤。
1.2 教学内容：动态规划的定义和特点动态规划的应用领域动态规划的基本思想和步骤1.3 教学方法：讲授法：介绍动态规划的基本概念和特点。
案例分析法：分析动态规划在实际问题中的应用。
教案章节二：动态规划的基本思想2.1 课程目标：让学生理解动态规划的基本思想。
让学生学会将问题转化为动态规划问题。
2.2 教学内容：动态规划的基本思想状态和决策的概念状态转移方程和边界条件2.3 教学方法：讲授法：介绍动态规划的基本思想。
练习法：通过练习题让学生学会将问题转化为动态规划问题。
教案章节三：动态规划的求解方法3.1 课程目标：让学生掌握动态规划的求解方法。
让学生学会使用动态规划算法解决问题。
3.2 教学内容：动态规划的求解方法：自顶向下和自底向上的方法动态规划算法的实现：表格化和递归化的方法3.3 教学方法：讲授法：介绍动态规划的求解方法。
练习法：通过练习题让学生学会使用动态规划算法解决问题。
教案章节四：动态规划的应用实例4.1 课程目标：让学生了解动态规划在实际问题中的应用。
让学生学会使用动态规划解决实际问题。
4.2 教学内容：动态规划在优化问题中的应用：如最短路径问题、背包问题等动态规划在控制问题中的应用：如控制库存、制定计划等4.3 教学方法：讲授法：介绍动态规划在实际问题中的应用。
案例分析法：分析实际问题，让学生学会使用动态规划解决实际问题。
教案章节五：总结与展望5.1 课程目标：让学生总结动态规划的基本概念、思想和应用。
让学生展望动态规划在未来的发展。
5.2 教学内容：动态规划的基本概念、思想和应用的总结。
动态规划在未来的发展趋势和挑战。
5.3 教学方法：讲授法：总结动态规划的基本概念、思想和应用。
讨论法：让学生讨论动态规划在未来的发展趋势和挑战。
教案章节六：动态规划的优化6.1 课程目标：让学生了解动态规划的优化方法。
第七章 动态规划h 运筹学 ppt课件
5 B1 4
2 A1
3
7
B2
6 5
3
2 B3 2
各阶段状态集合分别为：
C1 2 5 6
C2 3 2
C3 1
C4 7
D3
1
E 5 D
2
S1=｛A｝
S2=｛B1，B2，B3｝
S3=｛C1，C2，C3，C4｝ S4=｛D1，D2｝
状态的选取应当满足无后效性：系统从某个阶段往后的发
展演变，完全由系统本阶段所处的状态及决策所决定，与
从B2出发，可以选择C1，C2，C3，C4，即允许决策集合为： D2（B2）=｛C1，C2，C3，C4｝ 当决定选择C3时，可以表示为：u2（B2）=C3
4.策略（policy）
当各个阶段的决策确定以后，各阶段的决策形成一个决 策序列，称此决策序列为一个策略.
使系统达到最优效果的策略称为最优策略。
2 A1
3
5 B1 4
7
B2
6 5
3
2 B3 2
C1 2 5 6
C2 3 2
C3 1
C4 7
状态转移方程为：sk+1= uk（sk）
D3
1
E 5 D
2
6.指标函数和最优指标函数 衡量所选策略优劣的数量指标称为指标函数。它定义在全 过程和所有后部子过程，常用Vk，n表示，即： Vk，n=Vk，n（sk，uk，sk+1，…，sn+1） 当k=1时，V1，n表示初始状态为s1，采用策略p1，n时的指标 函数值。 V1，n=V1，n（s1，u1，s2，…，sn+1）
3 D1 3
0
55
E
D2
从前向后标号：
02
运筹学第七章动态规划
习题七7.1 计算如图所示的从 A 到 E 的最短路线及其长度（单位：km ）：（ 1） 用逆推解法； 2 用标号法。
3 B 14D 1423C 13A2115D 21EB 2335 C 24 2 351 B 3 3D 37.2 用动态规划方法求解下列问题（ 1） max z ＝x 12 x 2x 33 x 1＋x 2＋x 3 ≤6 x j ≥0 （j ＝1,2,3）（ 2）min z ＝ 3x 12＋4x 22 ＋ x 32x x x91 2 3 ≥x j ≥ 0（j ＝1,2,3）7.3 利用动态规划方法证明平均值不等式：(x 1x 2x n )1x n ) n设i ≥， ＝ ， ，⋯，n 。
n(x 1 x 2x0i127.4 考虑一个有 m 个产地和 n 个销地的运输问题。
设a i （i ＝1，2，⋯， m ）为 产地 i 可发运的物资数，b j （j ＝1，2，⋯， n ）为销地 j 所需要的物资数。
又从产地i 到销地 j 发运 x ij 单位物资所需的费用为h ij （ x ij ），试将此问题建立动态规划的模型。
7.5 某公司在今后三年的每一年的开头将资金投入A 或B 项工程， 年末的回收及其概率如下表所示。
每年至多做一项投资，每次只能投入 1000 万元。
求出三年后所拥有的期望金额达到最大的投资方案。
投 资回 收概 率 A 00.42000 0.6 B1000 0.920000.17.6 某公司有三个工厂，它们都可以考虑改造扩建。
每个工厂都有若干种方案可供选择，各种方案的投资及所能取得的收益如下表所示 (单位：千万元 )。
现公司有资 金 5 千万元，问应如何分配投资使公司的总收益最大?m ij工厂 i ＝ l工厂 i ＝2 工厂 i ＝ 3c(投资 )R(收益 )c(投资 )R(收益 )c(投资 )R(收益 )1 0 0 0 0 0 0 215281332639——4——412——7.7某厂准备连续 3 个月生产 A 种产品，每月初开始生产。
动态规划(完整)
(3) 决策、决策变量
所谓决策就是确定系统过程发展的方案，
决策的实质是关于状态的选择，是决策者
从给定阶段状态出发对下一阶段状态作出
的选择。
用以描述决策变化的量称之决策变量， 和状态变量一样，决策变量可以用一个数， 一组数或一向量来描述．也可以是状态变量
的函数，记以 xk xk (sk ) ，表示于 k 阶段状
动态规划的分类:
• 离散确定型 • 离散随机型 • 连续确定型 • 连续随机型
动态规划的特点:
• 动态规划没有准确的数学表达式和定义 精确的算法, 它强调具体问题具体分析,
依赖分析者的经验和技巧。
• 与运筹学其他方法有很好的互补关系, 尤 其在处理非线性、离散性问题时有其独 到的特点。
通常多阶段决策过程的发展是通过状态的一系列变换来 实现的。一般情况下，系统在某个阶段的状态转移除与本阶 段的状态和决策有关外，还可能与系统过去经历的状态和决 策有关。因此，问题的求解就比较困难复杂。而适合于用动 态规划方法求解的只是一类特殊的多阶段决策问题，即具有 “无后效性”的多阶段决策过程。
4 6
C1
3
B2 3
4T
3 3
C2
阶段指标函数：
vk sk , xk cskxk
5
A3
B3
过程指标（阶段递推）函数:
fk(sk ) min
vk (sk , xk )
fk
1
(sk
1 )
k= 4
f4 (C1) = 3, f4 (C2) = 4
2
k=3
f3(B1)=min{1+f4(C1)=4*, 4+f4(C2)=8}=4
(6) 指标函数
用来衡量策略或子策略或决策的效果的 某种数量指标，就称为指标函数。它是定义 在全过程或各子过程或各阶段上的确定数量 函数。对不同问题，指标函数可以是诸如费 用、成本、产值、利润、产量、耗量、距离、 时间、效用，等等。
运筹学课件(动态规划)
（二）、动态规划的基本思想 1、动态规划方法的关键在于正确地写出基本的递推 关系式和恰当的边界条件（简称基本方程）。要做到 这一点，就必须将问题的过程分成几个相互联系的阶 段，恰当的选取状态变量和决策变量及定义最优值函 数，从而把一个大问题转化成一组同类型的子问题， 然后逐个求解。即从边界条件开始，逐段递推寻优， 在每一个子问题的求解中，均利用了它前面的子问题 的最优化结果，依次进行，最后一个子问题所得的最 优解，就是整个问题的最优解。
d( B1,C1 ) + f1 (C1 ) 3+1 f2 ( B1 ) = min d( B1,C2 ) + f1 (C2 ) = min 3+3 d( B1,C3 ) + f1 (C3 ) 1+4 4 = min 6 = 4 (最短路线为B1→C1 →D) 5
3
2 A 4 B2 B1 2 1 3
最优策略为（30，20），此时最大利润为105万元。
f 2 ( 40)
g2 ( y) y 0 ,10 ,, 40
max
f1 ( 40 y )
90
最优策略为（20，20），此时最大利润为90万元。
f 2 (30)
g2 ( y) y 0 ,10 , 20 , 30
max
f1 (30 y )
70
最优策略为（20，10），此时最大利润为70万元。
f 2 ( 20) ma 0 ,10 , 20
50
最优策略为（20，0），此时最大利润为50万元。
f 2 (10) maxg 2 ( y ) f1 (10 y )
3 2 A 4 B2 B1 2 3 1 3 1
C1 C2 4 3
运筹学课程07-动态规划(胡运权 清华大学)
Vk ,n (sk , uk , sk 1 , uk 1 , , sn1 )
可递推
k [ sk , uk , Vk 1, n ( sk 1 , uk 1 , , sn 1 )]
指标函数形式: 和、 积
NEUQ
原过程的一个后部子过程： 对于任意给定的k（1 ≤ k≤n），从第k段到第n段的过 程称为原过程的一个后部子过程
阶段4
本阶段始点 （状态） D1 D2 本阶段各终点（决策） E 10 6 10 6 到E的最短距离 本阶段最优终点 （最优决策) E E
NEUQ
分析得知：从D1 和 D2 到E的最短路径唯一。
NEUQ
第三阶段：有三个始点C1，C2，C3，终点有D1，D2，对始点 和终点进行分析和讨论分别求C1，C2，C3到D1，D2 的最短路 径问题：
NEUQ
动态规划 Dynamic Programming
不要过河拆桥 追求全局最优
本章内容
多阶段决策过程的最优化 动态规划的基本概念和基本原 理 动态规划方法的基本步骤 动态规划方法应用举例
NEUQ
NEUQ
一、多阶段决策过程的最优化
示例1（工厂生产安排）：
某种机器可以在高、低两种负荷下生产。高负荷生产
NEUQ
示例3 （连续生产过程的控制问题）：
一般化工生产过程中，常包含一系列完成
生产过程的设备，前一工序设备的输出则是后
一工序设备的输入，因此，应该如何根据各工
序的运行工况，控制生产过程中各设备的输入 和输出，以使总产量最大。
示例4、最短路径问题
NEUQ
给定一个交通网络图如下，其中两点之间的数字表示距离 （或花费），试求从A点到G点的最短距离（总费用最小）。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
习题七7.1计算如图所示的从A 到E 的最短路线及其长度（单位：km ）：
（1） 用逆推解法；2用标号法。
7.2 用动态规划方法求解下列问题
（1） max z ＝x 12x 2 x 33
x 1＋x 2＋x 3 ≤6
x j ≥0 （j ＝1,2,3）
（2）min z ＝ 3x 12＋4x 22 ＋x 32
x 1x 2 x 3 ≥ 9
x j ≥0 （j ＝1,2,3）
7.3 利用动态规划方法证明平均值不等式：
n n n x x x n
x x x 12121)()( ≥+++ 设x i ≥0，i ＝1，2，…，n 。
7.4 考虑一个有m 个产地和n 个销地的运输问题。
设a i （i ＝1，2，…，m ）为产地i 可发运的物资数，b j （j ＝1，2，…，n ）为销地j 所需要的物资数。
又从产地i 到销地j 发运x ij 单位物资所需的费用为h ij （x ij ），试将此问题建立动态规划的模型。
7.5 某公司在今后三年的每一年的开头将资金投入A 或B 项工程，年末的回收及其概率如下表所示。
每年至多做一项投资，每次只能投入1000万元。
求出三年后所拥有的期望金额达到最大的投资方案。
投 资 回 收 概 率
A 0 0.4
2000 0.6
B 1000 0.9
2000 0.1
7.6 某公司有三个工厂，它们都可以考虑改造扩建。
每个工厂都有若干种方案可供选择，各种方案的投资及所能取得的收益如下表所示(单位：千万元)。
现公司有资金5千万元，问应如何分配投资使公司的总收益最大?
7.7 某厂准备连续3个月生产A种产品，每月初开始生产。
A的生产成本费用为x2，其中x是A产品当月的生产数量。
仓库存货成本费是每月每单位为1元。
估计3个月的需求量分别为d1＝100，d2＝110，d3＝120。
现设开始时第一个月月初存货s0＝0，第三个月的月末存货s3＝0。
试问：每月的生产数量应是多少才使总的生产和存货费用为最小。
7.8 设有一辆载重卡车，现有4种货物均可用此车运输。
已知这4种货物的重量、容积及价值关系如下表所示。
货物代号重量（吨）容积（立方米）价值（千元）
1 2 2 3
2 3 2 4
3 4 2 5
4 5 3 6
若该卡车的最大载重为15吨，最大允许装载容积为10立方米，在许可的条件下，每车装载每一种货物的件数不限。
问应如何搭配这四种货物，才能使每车装载货物的价值最大。
7.9 某警卫部门有12支巡逻队负责4个仓库的巡逻。
按规定对每个仓库可分别派2－4支队伍巡逻。
由于所派队伍数量上的差别，各仓库一年内预期发生事故的次数如下表所示。
试应用动态规划的方法确定派往各仓库的巡逻队数，使预期事故的总次数为最少。
巡逻队数预期事故次数仓库 1 2 3 4
2 18 38 14 34
3 16 36 12 31
4 12 30 11 25
7.10 （生产计划问题）根据合同，某厂明年每个季度末应向销售公司提供产品，有关信息见下表。
若产品过多，季末有积压，则一个季度每积压一吨产品需支付存贮费0.2万元。
现需找出明年的最优生产方案，使该厂能在完成合同的情况下使全年的生产费用最低。
季度j生产能力a j（吨）生产成本d j（万元/吨）需求量b j（吨）
1 30 15.6 20
2 40 14.0 25
3 25 15.3 30
4 10 14.8 15
（1）请建立此问题的线性规划模型。
（提示：设第j季度工厂生产产品x j吨，第j季度初存贮的产品为y j吨，显然y1＝0）（2）请建立此问题的动态规划模型。
（均不用求解）。