运筹学课件第七章动态规划
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
在实际问题中决策变量的取值往往在某一范围之内， 此范围称为允许决策集合,用Dk(Sk )表示。
4、状态转移方程
2020/2/17
状态转移方程是确定过程由 一个状态到另一个状态的演 变过程。如果第k阶段状态 变量sk的值、该阶段的决策 变量一经确定，第k+1阶段 运筹学 状态变量sk+1的值也就确定。
变量称为状态变量,用Sk表示。
状态变量的取值有一定的允许集合或范围，此集合
称2为020状/2/17态允许集合。
运筹学
3、决策：表示当过程处于某一阶段的某个状态时， 可以作出不同的决定，从而确定下一阶段的状态，这 种决定称为决策。
描述决策的变量，称为决策变量,用Uk(Sk )。决策变 量是状态变量的函数。可用一个数、一组数或一向量 （多维情形）来描述。
5 A
3
1 B1 3
6
8 B2 7
6
C1 6 8
3 C2 5
3 C3 3
84 C4
2 D1
2
D2 1 2
3 D3
3
E1 3
5 5 E2 2
6 6
E3
F1 4
G 3 F2
ຫໍສະໝຸດ Baidu
1 2020/2/17
2
3 运筹学 4
5
6
二、解题思路 三、应用范围 1、动态 2、静态 四、缺点 1、建模后，没有统一的方法 2、维数障碍
ss32
TT12((ss11,,
uu11
) ,
s2
,
u2
)
sk1 Tk (s1, u1, s2 , u2 , , sk , uk )
图示如下：
s1
u1 1
s2
u2 2
s3
sk
uk k
sk+1
能用动态规划方法求解的多阶段决策过程是一类特
殊的多阶段决策过程，即具有无后效性的多阶段决
它可能是距离、利润、成本、产量或资源消耗等。
7、指标函数：Vkn(Sk, Pkn),k阶段，Sk状态下，作出
Pkn子策略带来的效果。动态规划模型的指标函数，应具有
可分离性，并满足递推关系。
实际问题中，可供选择的策略有一定的范围，称为允
许策略集合。从允许策略集合中找出达到最优效果的
策略称为最优策略。
全过程策略：U1(S1), U2(S2),…, Un(Sn) P1n={Ui(Si)}, i=1,…,n 子过程策略：Uk(Sk), Uk+1(Sk+1),…, Un(Sn) Pkn={Ui(Si)}, i=k,…,n 6、阶段指标：Vk(Sk, Uk),k阶段，Sk状态下，作出Uk 决策带来的效果。在不同的问题中，指标的含义是不同的，
改变状态的定义或规定方法。
状态具有无后效性的多阶段决策过程的状态转移
方程如下
2020/2/17
s2 T1 ( s1 , u1 ) s3 T2 ( s2 , u2 ) sk 1 Tk ( sk ,运u筹k学)
动态规划中能 处理的状态转移 方程的形式。
5、策略：是一个按顺序排列的决策组成的集合。在
h=h(u2)
相应的机器年完好率b, 0< b<1。
假定开始生产时完好的机器数量为s1。要求制
定一个五年计划，在每年开始时，决定如何重新 分配完好的机器在两种不同的负荷下生产的数量， 使在五年内产品的总产量达到最高。
2020/2/17
运筹学
3. 航天飞机飞行控制问题：由于航天飞机的运 动的环境是不断变化的，因此就要根据航天飞机飞 行在不同环境中的情况，不断地决定航天飞机的飞 行方向和速度（状态），使之能最省燃料和实现目 的（如软着落问题）。
2020/2/17
运筹学
第二节 动态规划的基本概念
一、基本概念
1、阶段：
把一个问题的过程，恰当地分为若干个相互联系的阶 段，以便于按一定的次序去求解。
描述阶段的变量称为阶段变量,用k表示。阶段的划分，
一问2、般题状是转态根化：据为表时多一一一示间阶个组个每和段数数向个空决、、 阶间策段的。开自始然所特处征年的来路、自段进月然行、状的况，或但客要观便于 条件。通常一量个阶段有若干个状态，描述过程状态的
第七章 动 态 规 划
(Dynamic programming)
动态规划的基本概念、基本思想
动态规划模型的建立和求解
动态规划的应用：背包问题；生产
经营问题；设备更新问题；复合系统 工作可靠性问题
2020/2/17
运筹学
第一节 动态规划
动态规划(Dynamic Programming)是用来解决 多阶段决策过程最优化的一种数量方法。其特 点在于，它可以把一个n 维决策问题变换为几个 一维最优化问题，从而一个一个地去解决。
2. 机器负荷分配问题：某种机器可以在高低两种
不同的负荷下进行生产。在高负荷下进行生产时，
产品的年产量g和投入生产的机器数量u1的关系为 g=g(u1)
2020/2/17
运筹学
这时，机器的年完好率为a，即如果年初完好机器 的数量为u，到年终完好的机器就为au, 0<a<1。
在低负荷下生产时，产品的年产量h和投入生产 的机器数量u2的关系为
策过程。 2020/2/17
运筹学
无后效性(马尔可夫性)
如果某阶段状态给定后，则在这个阶段以后过程的
发展不受这个阶段以前各段状态的影响；
过程的过去历史只能通过当前的状态去影响它未来
的发展；构造动态规划模型时，要充分注意是否满足无后
效性的要求；
状态变量要满足无后效性的要求；
如果状态变量不能满足无后效性的要求，应适当地
不包含时间因素的静态决策问题（本质上是一次 决策问题）也可以适当地引入阶段的概念，作为多 阶段的决策问题用动态规划方法来解决。
4 . 线性规划、非线性规划等静态的规划问题也可 以通过适当地引入阶段的概念，应用动态规划方法 加以解决。
2020/2/17
运筹学
5 . 最短路问题：给定一个交通网络图如下，其中 两点之间的数字表示距离（或花费），试求从A点到 G点的最短距离（总费用最小）。
需指出：动态规划是求解某类问题的一种 方法，是考察问题的一种途径，而不是一种算 法。必须对具体问题进行具体分析，运用动态 规划的原理和方法，建立相应的模型，然后再 用20动20/2/态17 规划方法去求解运。筹学
决策 状态 状态
1
决策 2 状态 状态
决策 n
一、多阶段决策问题的典型例子：
1 . 生产决策问题：企业在生产过程中，由于需求 是随时间变化的，因此企业为了获得全年的最佳生 产效益，就要在整个生产过程中逐月或逐季度地根 据库存和需求决定生产计划。
4、状态转移方程
2020/2/17
状态转移方程是确定过程由 一个状态到另一个状态的演 变过程。如果第k阶段状态 变量sk的值、该阶段的决策 变量一经确定，第k+1阶段 运筹学 状态变量sk+1的值也就确定。
变量称为状态变量,用Sk表示。
状态变量的取值有一定的允许集合或范围，此集合
称2为020状/2/17态允许集合。
运筹学
3、决策：表示当过程处于某一阶段的某个状态时， 可以作出不同的决定，从而确定下一阶段的状态，这 种决定称为决策。
描述决策的变量，称为决策变量,用Uk(Sk )。决策变 量是状态变量的函数。可用一个数、一组数或一向量 （多维情形）来描述。
5 A
3
1 B1 3
6
8 B2 7
6
C1 6 8
3 C2 5
3 C3 3
84 C4
2 D1
2
D2 1 2
3 D3
3
E1 3
5 5 E2 2
6 6
E3
F1 4
G 3 F2
ຫໍສະໝຸດ Baidu
1 2020/2/17
2
3 运筹学 4
5
6
二、解题思路 三、应用范围 1、动态 2、静态 四、缺点 1、建模后，没有统一的方法 2、维数障碍
ss32
TT12((ss11,,
uu11
) ,
s2
,
u2
)
sk1 Tk (s1, u1, s2 , u2 , , sk , uk )
图示如下：
s1
u1 1
s2
u2 2
s3
sk
uk k
sk+1
能用动态规划方法求解的多阶段决策过程是一类特
殊的多阶段决策过程，即具有无后效性的多阶段决
它可能是距离、利润、成本、产量或资源消耗等。
7、指标函数：Vkn(Sk, Pkn),k阶段，Sk状态下，作出
Pkn子策略带来的效果。动态规划模型的指标函数，应具有
可分离性，并满足递推关系。
实际问题中，可供选择的策略有一定的范围，称为允
许策略集合。从允许策略集合中找出达到最优效果的
策略称为最优策略。
全过程策略：U1(S1), U2(S2),…, Un(Sn) P1n={Ui(Si)}, i=1,…,n 子过程策略：Uk(Sk), Uk+1(Sk+1),…, Un(Sn) Pkn={Ui(Si)}, i=k,…,n 6、阶段指标：Vk(Sk, Uk),k阶段，Sk状态下，作出Uk 决策带来的效果。在不同的问题中，指标的含义是不同的，
改变状态的定义或规定方法。
状态具有无后效性的多阶段决策过程的状态转移
方程如下
2020/2/17
s2 T1 ( s1 , u1 ) s3 T2 ( s2 , u2 ) sk 1 Tk ( sk ,运u筹k学)
动态规划中能 处理的状态转移 方程的形式。
5、策略：是一个按顺序排列的决策组成的集合。在
h=h(u2)
相应的机器年完好率b, 0< b<1。
假定开始生产时完好的机器数量为s1。要求制
定一个五年计划，在每年开始时，决定如何重新 分配完好的机器在两种不同的负荷下生产的数量， 使在五年内产品的总产量达到最高。
2020/2/17
运筹学
3. 航天飞机飞行控制问题：由于航天飞机的运 动的环境是不断变化的，因此就要根据航天飞机飞 行在不同环境中的情况，不断地决定航天飞机的飞 行方向和速度（状态），使之能最省燃料和实现目 的（如软着落问题）。
2020/2/17
运筹学
第二节 动态规划的基本概念
一、基本概念
1、阶段：
把一个问题的过程，恰当地分为若干个相互联系的阶 段，以便于按一定的次序去求解。
描述阶段的变量称为阶段变量,用k表示。阶段的划分，
一问2、般题状是转态根化：据为表时多一一一示间阶个组个每和段数数向个空决、、 阶间策段的。开自始然所特处征年的来路、自段进月然行、状的况，或但客要观便于 条件。通常一量个阶段有若干个状态，描述过程状态的
第七章 动 态 规 划
(Dynamic programming)
动态规划的基本概念、基本思想
动态规划模型的建立和求解
动态规划的应用：背包问题；生产
经营问题；设备更新问题；复合系统 工作可靠性问题
2020/2/17
运筹学
第一节 动态规划
动态规划(Dynamic Programming)是用来解决 多阶段决策过程最优化的一种数量方法。其特 点在于，它可以把一个n 维决策问题变换为几个 一维最优化问题，从而一个一个地去解决。
2. 机器负荷分配问题：某种机器可以在高低两种
不同的负荷下进行生产。在高负荷下进行生产时，
产品的年产量g和投入生产的机器数量u1的关系为 g=g(u1)
2020/2/17
运筹学
这时，机器的年完好率为a，即如果年初完好机器 的数量为u，到年终完好的机器就为au, 0<a<1。
在低负荷下生产时，产品的年产量h和投入生产 的机器数量u2的关系为
策过程。 2020/2/17
运筹学
无后效性(马尔可夫性)
如果某阶段状态给定后，则在这个阶段以后过程的
发展不受这个阶段以前各段状态的影响；
过程的过去历史只能通过当前的状态去影响它未来
的发展；构造动态规划模型时，要充分注意是否满足无后
效性的要求；
状态变量要满足无后效性的要求；
如果状态变量不能满足无后效性的要求，应适当地
不包含时间因素的静态决策问题（本质上是一次 决策问题）也可以适当地引入阶段的概念，作为多 阶段的决策问题用动态规划方法来解决。
4 . 线性规划、非线性规划等静态的规划问题也可 以通过适当地引入阶段的概念，应用动态规划方法 加以解决。
2020/2/17
运筹学
5 . 最短路问题：给定一个交通网络图如下，其中 两点之间的数字表示距离（或花费），试求从A点到 G点的最短距离（总费用最小）。
需指出：动态规划是求解某类问题的一种 方法，是考察问题的一种途径，而不是一种算 法。必须对具体问题进行具体分析，运用动态 规划的原理和方法，建立相应的模型，然后再 用20动20/2/态17 规划方法去求解运。筹学
决策 状态 状态
1
决策 2 状态 状态
决策 n
一、多阶段决策问题的典型例子：
1 . 生产决策问题：企业在生产过程中，由于需求 是随时间变化的，因此企业为了获得全年的最佳生 产效益，就要在整个生产过程中逐月或逐季度地根 据库存和需求决定生产计划。