第七章 运筹学 动态规划PPT课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
wk.baidu.com
例2 资源分配问题
设有数量x的某种资源,将它投入两种生产A,B. 若以y投入生产A,剩下的x-y投入生产B,则收入 函数为g(y)+h(x-y),如果生产后可以回收再生 产,其回收率分别为0≤a,b≤1,则在第一阶段生 产后回收的总资源为 x1a yb(xy),再将 x 1 投 入生产A,B,若以 y1,x1y1分别投入生产A,B则又 可得收入 g(y1)h(x1y1),因此两阶段的总收入 为 g ( y ) h ( x y ) g ( y 1 ) h ( x 1 y 1 ).
在例1中各阶段的状态变量集合如下:
第一阶段状态变量 s 1
第二阶段状态变量 s 2
第三阶段状态变量 s 3
第四阶段状态变量 s 4
终点E
s1A s2B 1,B 2,B 3 s3C 1,C 2,C 3
s4D 1,D 2
E
注意:状态变量是动态规划中最关键的一个 参数,它既反映前面各阶段决策的结局,又是 本阶段作出决策的出发点,状态是动态规划 问题各阶段信息的传递点和结合点.
⒊决策(decision):决策是指某阶段状态给定后, 从该阶段演变到下一阶段某状态的选择.决策
变量 xk (sk )表示第k阶段状态为 s k 时对方案的 选择. Dk (sk ) 表示k阶段状态为 s k 时决策允许
的取值集合.例如:例1中 D 2 (B 1 ) C 1 ,C 2 ,C 3 .
第六章 动态规划
多阶段的决策问题 最优化原理与动态规划基本方程 离散确定型动态规划模型的求解 连续确定型动态规划模型的求解 一般数学规划模型的动态规划求解法 背包问题
教学目的与要求:使学生学会利用多阶段问题 的决策思想处理一些简单的实际问题,并会用 WinQSB求解动态规划.
重点与难点:重点是离散型资源分配问题;难 点是动态规划建模和求解方法.
⒈阶段(stage):是指一个问题需要作出决策的 步骤,用k表示阶段数,k称为阶段变量.通常以 时间作为阶段变量. ⒉状态(state):状态表示在任一阶段所处的 位置,通常一个阶段有若干个状态,描述过程 状态的变量称为状态变量,第k阶段的状态变 量用 s k 表示.状态变量取值的全体称为状态 空间或状态集合.
教学方法:从多阶段最短路引入基本概念和数 学模型,再讲解离散型DP和连续型DP.
思考题,讨论题,作业:本章习题.
参考资料:见前言.
学时分配:6学时.
前言:动态规划是最优化的一个分支,它是解决多 阶段决策过程最优化的一种方法.动态规划的创 始人是美国数学家贝尔曼(R.Bellman).它在四十 年代后期和五十年代初期在美国兰德公司工作, 针对一些多阶段决策问题提出了解决这类问题 的最优化原理,并在1957年出版了动态规划的第 一本书《Dynamic programming》.在企业管理 方面,动态规划可以解决库存问题,资源分配问题, 设备更新问题,运输问题,生产过程最优控制问题. 它的弱点是,根据最优化原理建立的动态规划基 本方程,尚无统一的解法,而要根据其数学结构灵 活处理;此外,变量个数不能太多,否则计算量太 大,这称为维数问题.
⒋策略(policy)和子策略(subpolicy):动态规划 问题各阶段决策组成的序列总体称为一个策 略.
x 1 ( s 1 )x 2 ,( s 2 ) ,,x n ( s n ) ,是n个阶段DP的一个策略.
xk(sk)x ,k 1(sk 1) ,xn(sn)是k段 从起的 .
⒌状态转移律:从 s k 的某一状态值出发,当决 策变量 xk (sk ) 的取值决定后,下一阶段状态变 量 s k 1 的取值也随之确定.这种从上一阶段的 某一状态值到下一阶段某一状态值的转移规 律称为状态转变移律.可表示为
如果上面的过程进行了n个阶段,而且我们希望 选择 y,y1,y2,,yn1使n个阶段的总收入最大, 问题变为
magx(y)h(xy)g(y1)h(x1y)g(yn1)h(xn1yn1)
满足条件
x1ayb(xy) x2 a1yb(x1y1)
xn1any2b(xn2yn2)
0yx 0yi xi
i1,2,,n1.
第一节 多阶段决策问题及实例
所谓多阶段决策问题,是指一个大问题可以划 分为若干个阶段,每个阶段形成一个子问题,各 个阶段是互相联系的,每个阶段都要作出决策, 并且一个阶段的决策确定以后会影响下一阶段 的决策,从而影响整个过程的活动路线.各个阶 段所确定的决策构成一个决策序列,称为一个 策略,对于不同的策略其效果不同(效果可以用 数量来衡量).多阶段决策问题就是选择一个最 优策略,使在给定的标准下达到最好的效果.
例题特点:
⒈ 阶段:年(月) ⒉ 状态:资金数 ⒊ 决策:分配给A的资金数 y i ⒋ 转移: x n 1 a n 2 y b ( x n 2 y n 2 ) n ,1 , 2 , ,n 1 . ⒌ 效益:n个阶段的总收入最大
第二节 最优化原理与动态规划基本方程
一. 动态规划的基本概念
vk (sk , xk )
最优指标函数:是指对某一确定状态选取最 优策略后得到的指标函数值,也就是对应某 一最优子策略的某种效益度量,这个度量值 可以是成本,产量,距离等等.对应于从状态s k 出发的最优子策略的效益值记为
典型例题: 例1 多阶段网络的最短路
2
A5
1
B1 12 14
10
6
B2 10
4 13
B3
12 11
C1
3
9
6
C2
5 8
C3
10
D1
5
E
D2 2
状态1
状态2
状态3
状态4
终点
阶段1
阶段2
阶段3
阶段4
例题特点:
⒈ 阶段:如图的阶段,分为四段; ⒉ 状态:顶点; ⒊ 决策:选弧; ⒋ 转移:从一个顶点走到另一个顶点; ⒌ 目标:路长最短.
s k 1 T ( s k ,x k ( s k )或 )s k , 1 T ( s k ,x k ).
⒍指标函数(index function):指标函数是用来衡 量实现过程优劣的一种数量指标.它是从状态 s k 出发至过程最终,当采取某种策略时,按预定标准 得到的效益值,这个值既与 s k 有关,又与 s k 以 后所选取的策略有关,它是两者的函数,称为过程 指标函数,记为 V k,n(sk,xk,sk 1,xk1, ,sn). 特别地,仅第k阶段的指标函数,可记为
例2 资源分配问题
设有数量x的某种资源,将它投入两种生产A,B. 若以y投入生产A,剩下的x-y投入生产B,则收入 函数为g(y)+h(x-y),如果生产后可以回收再生 产,其回收率分别为0≤a,b≤1,则在第一阶段生 产后回收的总资源为 x1a yb(xy),再将 x 1 投 入生产A,B,若以 y1,x1y1分别投入生产A,B则又 可得收入 g(y1)h(x1y1),因此两阶段的总收入 为 g ( y ) h ( x y ) g ( y 1 ) h ( x 1 y 1 ).
在例1中各阶段的状态变量集合如下:
第一阶段状态变量 s 1
第二阶段状态变量 s 2
第三阶段状态变量 s 3
第四阶段状态变量 s 4
终点E
s1A s2B 1,B 2,B 3 s3C 1,C 2,C 3
s4D 1,D 2
E
注意:状态变量是动态规划中最关键的一个 参数,它既反映前面各阶段决策的结局,又是 本阶段作出决策的出发点,状态是动态规划 问题各阶段信息的传递点和结合点.
⒊决策(decision):决策是指某阶段状态给定后, 从该阶段演变到下一阶段某状态的选择.决策
变量 xk (sk )表示第k阶段状态为 s k 时对方案的 选择. Dk (sk ) 表示k阶段状态为 s k 时决策允许
的取值集合.例如:例1中 D 2 (B 1 ) C 1 ,C 2 ,C 3 .
第六章 动态规划
多阶段的决策问题 最优化原理与动态规划基本方程 离散确定型动态规划模型的求解 连续确定型动态规划模型的求解 一般数学规划模型的动态规划求解法 背包问题
教学目的与要求:使学生学会利用多阶段问题 的决策思想处理一些简单的实际问题,并会用 WinQSB求解动态规划.
重点与难点:重点是离散型资源分配问题;难 点是动态规划建模和求解方法.
⒈阶段(stage):是指一个问题需要作出决策的 步骤,用k表示阶段数,k称为阶段变量.通常以 时间作为阶段变量. ⒉状态(state):状态表示在任一阶段所处的 位置,通常一个阶段有若干个状态,描述过程 状态的变量称为状态变量,第k阶段的状态变 量用 s k 表示.状态变量取值的全体称为状态 空间或状态集合.
教学方法:从多阶段最短路引入基本概念和数 学模型,再讲解离散型DP和连续型DP.
思考题,讨论题,作业:本章习题.
参考资料:见前言.
学时分配:6学时.
前言:动态规划是最优化的一个分支,它是解决多 阶段决策过程最优化的一种方法.动态规划的创 始人是美国数学家贝尔曼(R.Bellman).它在四十 年代后期和五十年代初期在美国兰德公司工作, 针对一些多阶段决策问题提出了解决这类问题 的最优化原理,并在1957年出版了动态规划的第 一本书《Dynamic programming》.在企业管理 方面,动态规划可以解决库存问题,资源分配问题, 设备更新问题,运输问题,生产过程最优控制问题. 它的弱点是,根据最优化原理建立的动态规划基 本方程,尚无统一的解法,而要根据其数学结构灵 活处理;此外,变量个数不能太多,否则计算量太 大,这称为维数问题.
⒋策略(policy)和子策略(subpolicy):动态规划 问题各阶段决策组成的序列总体称为一个策 略.
x 1 ( s 1 )x 2 ,( s 2 ) ,,x n ( s n ) ,是n个阶段DP的一个策略.
xk(sk)x ,k 1(sk 1) ,xn(sn)是k段 从起的 .
⒌状态转移律:从 s k 的某一状态值出发,当决 策变量 xk (sk ) 的取值决定后,下一阶段状态变 量 s k 1 的取值也随之确定.这种从上一阶段的 某一状态值到下一阶段某一状态值的转移规 律称为状态转变移律.可表示为
如果上面的过程进行了n个阶段,而且我们希望 选择 y,y1,y2,,yn1使n个阶段的总收入最大, 问题变为
magx(y)h(xy)g(y1)h(x1y)g(yn1)h(xn1yn1)
满足条件
x1ayb(xy) x2 a1yb(x1y1)
xn1any2b(xn2yn2)
0yx 0yi xi
i1,2,,n1.
第一节 多阶段决策问题及实例
所谓多阶段决策问题,是指一个大问题可以划 分为若干个阶段,每个阶段形成一个子问题,各 个阶段是互相联系的,每个阶段都要作出决策, 并且一个阶段的决策确定以后会影响下一阶段 的决策,从而影响整个过程的活动路线.各个阶 段所确定的决策构成一个决策序列,称为一个 策略,对于不同的策略其效果不同(效果可以用 数量来衡量).多阶段决策问题就是选择一个最 优策略,使在给定的标准下达到最好的效果.
例题特点:
⒈ 阶段:年(月) ⒉ 状态:资金数 ⒊ 决策:分配给A的资金数 y i ⒋ 转移: x n 1 a n 2 y b ( x n 2 y n 2 ) n ,1 , 2 , ,n 1 . ⒌ 效益:n个阶段的总收入最大
第二节 最优化原理与动态规划基本方程
一. 动态规划的基本概念
vk (sk , xk )
最优指标函数:是指对某一确定状态选取最 优策略后得到的指标函数值,也就是对应某 一最优子策略的某种效益度量,这个度量值 可以是成本,产量,距离等等.对应于从状态s k 出发的最优子策略的效益值记为
典型例题: 例1 多阶段网络的最短路
2
A5
1
B1 12 14
10
6
B2 10
4 13
B3
12 11
C1
3
9
6
C2
5 8
C3
10
D1
5
E
D2 2
状态1
状态2
状态3
状态4
终点
阶段1
阶段2
阶段3
阶段4
例题特点:
⒈ 阶段:如图的阶段,分为四段; ⒉ 状态:顶点; ⒊ 决策:选弧; ⒋ 转移:从一个顶点走到另一个顶点; ⒌ 目标:路长最短.
s k 1 T ( s k ,x k ( s k )或 )s k , 1 T ( s k ,x k ).
⒍指标函数(index function):指标函数是用来衡 量实现过程优劣的一种数量指标.它是从状态 s k 出发至过程最终,当采取某种策略时,按预定标准 得到的效益值,这个值既与 s k 有关,又与 s k 以 后所选取的策略有关,它是两者的函数,称为过程 指标函数,记为 V k,n(sk,xk,sk 1,xk1, ,sn). 特别地,仅第k阶段的指标函数,可记为