离散随机性动态规划模型求解
第6章动态规划
第6章 动态规划
动态规划（Dynamic Programming ）是解决多阶段决策过程最优化的一种有用的数学方法。它是由美国学者Richard .Bellman 在1951年提出的，1957年他的专著《动态规划》一书问世，标志着运筹学的一个重要分支－动态规划的诞生.动态规划也是一种将多变量问题转化为单变量问题的一种方法。在动态规划中，把困难的多阶段决策问题变换成一系列相互联系的比较容易的单阶段问题一个个地求解。动态规划是考察解决问题的一种途径 ,而不是一种特殊的算法，不像线性规划那样有统一的数学模型和算法（如单纯形法）.事实上，在运用其解决问题的过程中还需要运用其它的优化算法。因此，动态规划不像其它方法局限于解决某一类问题,它可以解决各类多阶段决策问题。
动态规划在工程技术、经济管理等社会各个领域都有着广泛的应用，并且获得了显著的效果。在经济管理方面,动态规划可以用来解决最优路径问题、资源分配问题、生产调度问题、库存管理问题、排序问题、设备更新问题以及生产过程最优控制问题等，是经济管理中一种重要的决策技术。许多规划问题用动态规划的方法来处理,常比线性规划或非线性规划更有效。特别是对于离散的问题，由于解析数学无法发挥作用，动态规划便成为了一种非常有用的工具。
动态规划可以按照决策过程的演变是否确定分为确定性动态规划和随机性动态规划；也可以按照决策变量的取值是否连续分为连续性动态规划和离散性动态规划。本教材主要介绍动态规划的基本概念、理论和方法,并通过典型的案例说明这些理论和方法的应用。
第九章动态规划
C1 C2 C3
3 9 6 5 8 10 D1 5 2 D2 E
k 1
Sk A
xk
B B B
1
vk
2 5 1
vkn=vk+fk+1
2 20 5 14 1 19
fk
19
P
Байду номын сангаасn
2
AB2C1D1E
3
P*14=AB2C1D1E（最短路） f1 = 19 B1 2 A 5 1 （最短距） 12 14 6 10 B2 4 13 12 B3 11 C1 C2 C3
v f f Max 基本方程 f 0, k 3,2,1
k xk k k 1 4
问题：本问题是属于离散型还是属于连续型？怎样解？ ——离散型，用表格的方式求解。
效益 设备台数 0 1 2 3 4 5
厂
甲 0 3 7 9 12 13
乙 0 5 10 11 11 11
丙 0 4 6 11 12 12
阶段指标——每阶段选定决策xk后所产生的效益，记
vk= vk(Sk， xk)。
指标函数——各阶段的总效益，记相应于Pkn的指标函数 为vkn= vkn(Sk， Pkn )。其中最优的称最优
指标函数，记 fk = fk（ Sk ）=opt vkn。
问题：动态规划的最优解和最优值各是什么？ ——最优解：最优策略P1n ， 最优值：最优指标f1。
离散随机性动态规划模型求解
《运筹学》
9
当k=3时， 表8-8 x3 c(x3)+(2/3)x3 ×1500 s3 0 1 2 3 0 0 1 1500 1350 源自文库117 994 f3(s3) x3* 4 5
0 946 948 946
0 4
《运筹学》
10 表8-9 f2(s2) 4 837 x2*
当k=2时，
x2
s2
0 1
(8.16)
《运筹学》
8
当k=3时， f3 (1) 0,
x3 2 f3 (1) min c( x3 ) f 4 (1) x 3 D ( x 3 ) 3
f 4 (1) 的意义为第四个月初仍未得到一件合格产品， 因按合同需要赔偿1500元，故有 f 4 (1) 1500。
c(x2)+(2/3) x2 ×946 0 1 2 3 0 946 981 870 830
0 830
0 3
《运筹学》
11
当k=1时，
x1
表8-10 f1(s1) x1*
s1
1
c(x1)+(2/3) x1×830 0 1 2 3 4 830 903 819 796 814
796
3
◆该公司的最优决策为第一批投产3台；如果无合格品，第二批 再投产3台；如果仍全部不合格，第三批投产4台。这样使总的期 望研制费用(包括三批均不合格时的赔偿费)为最小，共计796元。
数学建模动态规划
着一组可供选择的决策；每一决策的选定即依赖于当前 面临的状态，又影响以后总体的效果。
三、具体实例 1、最短路线问题
给定一个线路网络，要从A向F铺设一条输油管道，各点间连 线上的数字表示距离，问应选择什么路线，可使总距离最短？
2、生产与存储问题：
uk (sk ) 表示第k阶段当状态处于sk时的决策变量。
例如：u3(C2)D1 表示走到C阶段,当处于C2 路口时，下一 步奔D1. 决策变量允许的取值范围称为允许决策集合，第k阶段状态为 s k 时的允许决策集合记为 Dk (sk ) ，例如：D 2 (B 1 ) { C 1 ,C 2 ,C 3 }
4
A
5
2
B1 3
6
8 7
B2
7
C1
5
8
4
C2 5
3
C3 4
8
C4 4
D1
3
5 6
D2 2
1
D3
3
u5*(E1)F,
E1
4
3
E2
u5*(E2)F.
F
f 4 ( D 1 ) m d 4 ( D 1 , E 1 i ) f n 5 ( E 1 ) d 4 ( { D , 1 , E 2 ) f 5 ( E 2 )}
第15讲随机型动态规划及软件介绍
个概率分布由本阶段的状态和决策完全确定。随机型动态规划的基本
结构如下图：
概率
k阶段的收益
k+1阶段的状态sk+1
p1
c1
1
决策
p2
c2
2
状态 sk
xk
….
pN
cN
N
图 中 N 表 示 第 k+1 阶 段 可 能 的 状 态 数 ， p1 、 p2、…pN为给定状态sk和决策xk的前提下，可能达到下一 个状态的概率。ci为从k阶段状态sk转移到k+1 阶段状态 为i时的指标函数值。
解：把三次试制当作三个阶段（k=1,2,3）,决策变量
xk表示第k次生产的产品的件数；状态变量sk表示第k次试制 前是否已经生产出合格品，如果有合格品，则sk=0；如果没 有合格品，记sk=1。最优函数fk(sk)表示从状态sk、决策xk 出发的第k阶段以后的最小期望费用。故有fk(0)＝0。
生产出一件合格品的概率为0.4，所以生产xk件产品都不合 格的概率为 ，至少有一件合格品的概率为1- ，0故.6有xk 状
依照这样的最优策略，价格的数学期望值为：
500×0.3+536.26×0.3+ 536.26×0.4=525.382
二、动态规划软件求解简介 1 使用Lingo求解最短路
例6-9 求A到G的最短距离路线，各地间的距离如图6-3所示。
管理运筹学单元测试(二)
一、单选题
1、对博弈中的每一个博弈者而言，无论对手作何选择，其总是拥有惟一最佳行为，此时的博弈具有（）。
A.囚徒困境式的均衡
B.激发战略均衡
C.一报还一报的均衡
D.占优策略均衡
正确答案：D
2、用囚徒困境来说明两个寡头企业的情况，说明了（）。
A.一个企业制定的价格对其它企业没有影响
B.一个企业制定的产量对其它企业的产量没有影响
C.每个企业在做决策时，不需考虑竞争对手的反应
D.企业为了避免最差的结果，将不能得到更好的结果
正确答案：D
3、某厂在三地选择建立两个分厂，约束条件，可表示为（）。
A.x1+x2+ x3=1
B.x1+x2+ x3=0
C.x1+x2+ x3=3
D.x1+x2+ x3=2
正确答案：D
4、求解最大值问题时，整数规划的最优解与其对应的线性规划的最优解之间的关系是（）。
A.整数规划的最优解小于等于其线性规划的最优解
B.整数规划的最优解等于其线性规划的最优解
C.整数规划的最优解大于等于其线性规划的最优解
D.没法比较
正确答案：A
5、决策模型的基本结构不包括（）。
A.自然状态集
B.行动方案集
C.期望效益值
D.自然状态发生概率
正确答案：C
6、某一阶段内的抉择是（）。
A.决策
B.状态
C.策略
D.阶段
正确答案：A
7、以下属于离散随机性动态规划的是（）。
A.最短路问题
B.采购问题
C.资源分配问题
D.背包问题
正确答案：B
8、在需求为随机变量的定期检查存储量模型中，在保证一定服务水平的存储补充水平M 的基础上，考虑订货费与存储费之和最小化问题时，需要考虑的另一个决策变量是（）。
A.再订货点
B.库存量
运筹学 第8章 动态规划
•
动态规划的基本解题步骤如下： 第一步：划分阶段； 第二步：确定状态变量及其取值范围；
1. 代表性。 2. 可知性。 3. 无后效性。
第三步：确定决策变量及其取值范围； 第四步：建立状态转移方程； 第五步：确定指标函数 第六步：建立动态规划基本方程，然后从k＝n开始，逐 段向前推移，直到求出f1(s1)时，就得到了整个过程的最 优解，包括最优策略和相应的最优指标函数值。
解：把9支巡逻队往3个部位派遣看成依次分三个阶段(用k 表示，k=1,2,3)
(1) 逆序解法 状态变量sk：第k个阶段初拥有未派出的巡逻队数 决策变量xk：第k个阶段向相应部位派出的巡逻队数。 各阶段的允许决策集合为
Dk sk xk 2 xk 4
k 1, 2, 3
状态转移方程为
第8章
§1
动态规划
多阶段的决策问题
§2
§3
最优化原理与动态规划的数学模型
离散确定性动态规划模型的求解
§4
§5
离散随机性动态规划模型的求解
一般数学规划模型的动态规划解法
§1 多阶段的决策问题
动态规划所研究的对象是多阶段决策问题。 多阶段决策问题：是指一类活动过程，它可以分为若干个 相互联系的阶段，在每个阶段都需要作出决策，当每个阶 段的决策选定后，过程也就随之确定。 每个阶段决策确定以后，得到一个决策序列，称为策略 多阶段决策问题，是要在所有可能采取的策略中间选取一 个最优的策略，使在预定的标准下得到最好的效果。
运筹学概论 第6章 动态规划
G
1
2
4
5
6
例2
生产与存贮问题——离散连续型
某工厂生产并销售某种产品，已知今后四个月市场需求预测如表，又每 月生产j单位产品费用为：
( j 0) 0 C( j) (千元) 3 j ( j 1,2, ,6) 每月库存j单位产品的费用为 E( j ) 0.5 j (千元) ，该厂最大库存容量为3单
例2中，从A到F可以分成从A到B (B有两种选择B1,B2)，
从B到C (C有四种选择C1，C2，C3，C4)，从C到D (D有三 种选择D1，D2 ,D3)，从D到E (E有两种选择E1，E2)，再
从E到F五个阶段。
2 4
k＝1，2，3，4，5。
C1 C2 C3
8 4 5 3 4 4 5 8
B1
某部门欲采购一批原料，原料价格在五周内可能有 所变动，已预测得该种原料今后五周内取不同单价的概
率如表所示。试确定该部门在五周内购进这批原料的最
优策略，使采购价格的期望值最小。
原材料单价（元） 500 600 700
概率 0.3 0.3 0.4
动态规划问题的特点：
（1）多阶段决策过程，也称序贯决策。在多阶段决策
3 6 8 7 7
D1 D2 D3
3 6 2 1 5
E1 E2
4 3
A
5
运筹学 第三章 动态规划
四、动态决策问题分类： 1、按数据给出的形式分为：
• 离散型动态决策问题。 • 连续型动态决策问题。 2、按决策过程演变的性质分为： • 确定型动态决策问题。 • 随机型动态决策问题。
名词解释
• 例3-1 某公司欲将一批货物从城市A运到城市E 去，如图所示，走哪条路线最好？
B1 6 C1 3
4 A9
4
8 B2 7
5 6 C2 2
D1 4
E
5
6
3
D2
8 B3 9
13 C3
第一阶段
第二阶段 第三阶段 第四阶段
1、阶段(stage)k： 把所给问题的过程，恰当地
分成若干个相互联系的阶段。描述阶段的变量称
为阶段变量，常用k表示。k = 1、2、3、4。
2、状态(state)Sk：状态表示每个阶段开始所处 的自然状态，即是每一阶段的出发位置。阶段的
建立数学模型
• 按年划分阶段，k=1,2,...,5
• 每阶段的状态变量为本年(上一年已确定)的价格， 状态变量的可行集合Sk=(5,6,7,8)。
• 决策变量为每年依据当年价格为下一年度决定价 格，根据题意决策变量的可行集合是：
uk (Sk 1, Sk , Sk 1)
• 采用逆序算法，因此状态转移方程是
起点。通常一个阶段有多个状态。记为Sk S1={A}，S2={B1,B2,B3}，S3={C1,C2,C3}， S4={D1,D2}。
第八章 动态规划
例2设有某种机器设备，用于完成两类工作A 和B。若k年初完好机器的数量为Sk ，若以 数量xk 用于A ，余下的用于B ，则该年的预 期收入为
g ( xk ) h(sk xk ), g ( xk )、h(sk xk )是已知函数 且h(0) g （0）=0
，机器使用中会损坏用于一年后完好机器数 是年初的，即下一年完好的数量为，设第一 年初机器总数为，问在连续3年内如何分配 给，使三年效益最大？
最短路径问题
如图表示从起点A到终点E之间各点的距离。求A到E的 最短路径。
以上求从A到E的最短路径问题，可以转 化为三个性质完全相同，但规模较小的子 问题，即分别从B1 、B2 、B3 到E的最短路 径问题。 记从Bi (i=1, 2, 3) 到E的最短路径为S(Bi)， 则从A到E的最短距离S(A)可以表示为：
3. 航天飞机飞行控制问题：由于航天飞机的 运动的环境是不断变化的，因此就要根据航天飞机 飞行在不同环境中的情况，不断地决定航天飞机的 飞行方向和速度（状态），使之能最省燃料和实现 目的（如软着落问题）。
不包含时间因素的静态决策问题（本质上是一 次决策问题）也可以适当地引入阶段的概念，作为 多阶段的决策问题用动态规划方法来解决。 4 . 线性规划、非线性规划等静态的规划问题也 可以通过适当地引入阶段的概念，应用动态规划方 法加以解决。
动态决策问题的特点： 系统所处的状态和时刻是进行决策的重要因素； 即在系统发展的不同时刻（或阶段）根据系统 所处的状态，不断地做出决策； 找到不同时刻的最优决策以及整个过程的最优策略。
第五章 动态规划问题
(Dynamic Programming, DP)
• 动态规划是1951年由美国学者R. Bellman等人在解决所谓多 阶段决策问题时提出的一种优化方法，
• 该方法在工程技术、企业管理和军事等方面多有着广泛的应 用。
• 许多问题用动态规划方法解决，比其他常用方法如线性规划 或非线性规划等方法更为有效。特别是对于离散的问题，由 于目标函数或约束条件难以用解析的方式表达时，此时，动 态规划方法就成为非常有效的工具。
②在多阶段决策过程中，动态规划方法是既把当前一段和未 来各段分开，又把当前效益和未来效益结合起来考虑的一 种最优化方法。因此，每段决策的选取是从全局来考虑的， 与该段的最优选择答案一般是不同的。
③在求整个问题的最优策略时，由于初始状态是已知的，而 每段的决策都是该段状态的函数，故最优策略所经过的各 段状态便可逐次变换得到，从而确定了最优路线。
互联系的阶段，阶段就是问题所处的地段或时段。描述阶段 的变量称为阶段变量，通常用k表示。 • 例5.1中，阶段为问题所处的地段，且k=1，2，3，4； • 例5.2中，阶段为问题所处的时段（月），且k=0，1，…，6；
（2）状态
• 状态就是在各阶段开始时问题的自然状况。
如例5.1中，各阶段的起始位置就是该问题的状态；
uK Dk (sk )
vk
(sk ,uk
)
ASA共有十一门必修课
ASA共有十一门必修课：
1．微积分和线性代数（100）；
2．概率论与数理统计（110）；
3．应用统计方法（120）；
4．复利数学（140）；
5．精算数学（150）；
6.风险理论（151）；
7．生存模型（160）；
8．经济保障计划概论（200）；
9．精算实务概论（210）；
10．资产管理和公司财务概论（220）；
11．资产和负债管理原理（230）。
以上十一门课共255学分，其余45学分要在另外24门选修课（略）中任选三～四门获得。考生在获得ASA资格证书后方可参加FSA课程考试，通常把FSA考试分为若干方向，如：团体和健康保险、个人寿险和年金、财务、投资等，每个方向下设若干门课程,取得FSA 资格必须通过某一专门方向的所有课程，再选考其它若干门课程，使学分达到150分，连同ASA共450学分即可成为FSA。
考试在每年五月、十一月进行，考生每次报考门数自定，考完为止。有关考试信息推荐您去{环球网校-精算师}频道查询
准精算师部分的考试内容包括：
科目名称科目代码科目名称科目代码中国精算师资格考试
数学基础Ⅰ 01 生命表基础 06中国精算师资格考试
数学基础Ⅱ 02 寿险精算实务 07中国精算师资格考试
复利数学 03 非寿险精算数学与实务 08中国精算师资格考试
寿险精算数学 04 综合经济基础 09中国精算师资格考试
风险理论 05
精算师部分的考试内容包括：
科目代码课程名称备注中国精算师资格考试
011 保险公司财务管理必考中国精算师资格考试
012 保险法及相关法规必考中国精算师资格考试
013 个人寿险与年金精算实务必考中国精算师资格考试
经济学动态规划
高
高
高
高
高
U 低
年初 第二年
低
第三年
低
第四年
低
第五年
低
即用最快的方法从2*2*2*2*2=32种方案中找到最优方案
第一节 动态规划原理和模型
例某运输公司有500辆运输卡车，在超负荷运输(即每天满载 行驶500km以上)情况下，年利润为25万元/辆，这时卡 车的年损坏率为0.3，在低负荷运输(即每天行驶300KM 以下)情况下，年利润为16万元/辆、年损坏率为0.1，现 在要求制订一个5年运输计划，问每年年初应如何分配完 好车辆在两种不同负荷下运输的卡车数量，使在5年内总 利润最大？
第一节 动态规划原理和模型
动态规则是将一个较复杂的多阶段决策问题分 解为若干相互关联的较容易求解的子(单）决策问 题。 而每一个子决策问题都有多种选择
当一个子决策问题确定以后，将影响另一个子 决策问题 从而影响到整个问题的决策
第一节 动态规划原理和模型
一、动态规则的实例
例1、最小费用问题：某运输公司拟将一批货物从A地运往E地，其
第一节 动态规划原理和模型
6、指标函数
衡量多阶段决策过程优劣的一种数量指标，一个n阶段决策过 程，从1到n称为问题的原过程, 对于任意一个给定的k，从第k阶段到第n阶段的过程称为原过 程的一个后部子过程， 用V1,n(s1,p1,n)表示初始状态为s1，采用策略p1,n时，原过程的 指标函数值 如V1,4(A,P1,4) 而Vk,n(sk,pk,n)表示在第k 阶段，状态为 sk采用策略pk,n时，后 部子过程的指标函数值， V2,4(B1,P2,4)
第6章 动态规划(1216)
§2 最优化原理与动态规划的数学模型
• • • • •
动态规划问题的解题思路 动态规划的基本概念 最优化原理与动态规划的数学模型 逆序解法与顺序解法 动态规划模型的分类
2.1 动态规划问题的解题思路
• 基本思路：是将一个n阶段的决策问题转化为 依次求解n个具有递推关系的单阶段的决策问 题，从而简化计算过程。
工厂 甲 0 3 7 9 12 13 乙 0 5 10 11 11 11 丙 0 4 6 11 12 12
设备台时
0 1 2 3 4 5
解：将问题按工厂分为三个阶段，甲、乙、丙三厂分 别编号为1、2、3厂。设： sk=在第k阶段可供分配的机器台数(k=1,2,3)；或者说， 分配给第k个厂至第三个厂的设备台数(k=1,2,3) 。 xk=分配给第k个工厂的设备台数。 已知 s1=5，并有s2=T1(s1,x1)=s1-x1，s3=T2(s2,x2)=s2-x2,从sk 与xk的定义，可知s3=x3. 采用逆序算法：
其中x3*表示第3子过程上最优指标值f3(s3)时的x3的决 策即为最优决策。例如s3=4时,有r3(4,4)=12,有f3(4)=12,此 时x3*=4,即为最优决策。
x3 r3(s3,x3) 0 0 1 2 3 0 —— —— —— 1 —— 4 —— —— 2 —— —— 6 —— 3 —— —— —— 11 4 —— —— —— —— 5 —— —— —— ——
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
(4)状态转移律为：
(8.15)
(5)第k阶段的费用支出为c(uk)，有
cxk
250
100xk 0
xk 0 xk 0
6
(6)设fk(sk)为从状态sk、决策xk出发的k阶段以后的最小期望费用。因有fk(0)=0， 故有
fk 1
xk
min
Dk sk
c
xk
2 xk 3
f
k
1
1
1
◆该公司的最优决策为第一批投产3台；如果无合格品，第二批 再投产3台；如果仍全部不合格，第三批投产4台。这样使总的期 望研制费用(包括三批均不合格时的赔偿费)为最小，共计796元。
10
感谢下 载
第四节 离散随机性动态规划模型求解
◆掌握离散随机性动态规划模型的求解
1
一、随机性动态规划基本结构
2
二、基本方程
fk sk
max E
xk Dk sk
v
sk , xk
fk1 sk1
(8.14)
其中E{}表示括弧内数量的期望值。
3
例5：某公司承担一种新产品试制任务，合同要求三个月内交出一台合格的样品， 否则将负担1500元的赔偿费。据有经验的技术人员估计，试制时每投产一台合 格概率为1/3，投产一批的准备结束费用为250元，每台试制费用为100元。若投 产一批后全部不合格，可再投一批试制，源自文库每投一批周期需一个月。要求确定
表8-11
x2 c(x2)+(2/3) ×946
s2
01
2
3
f2(s2) x2* 4
0
0
0
0
1
946 981 870 830 837 830 3
9
当k=1时，
表8-12
x1 s1 0
c(x1)+(2/3) ×830 1234
f1(s1) x1*
1 830 903 819 796 814 796 3
每批投产多少台，使总试制费用(包括 可能发生的赔偿损失)的期望值最小。
4
解：(1)合同期为三个月，投产一批的周期为一个月，故可将整个合同期划分为 三个阶段。
(2)状态变量sk。假定尚没一台合格品时sk =1，已得到一台以上合格品时sk =0。故 签订合同时只有一种情况s1 =1。
(3)决策变量xk为每个阶段的投产试制台数Dk(sk)={1,2,…,N}(当sk =1时) Dk(sk)={0} (当sk =0时)。
2 3
xk
f k 1 0
xk
min
Dk sk
c
xk
2 xk 3
f
k
1
1
(8.16)
7
当k=3时，
表8-10
x3 c(x3)+(2/3) ×1500 s3 0 1 2 3
f3(s3) x3* 45
00
00
1 1500 1350 1117 994 946 948 946 4
8
当k=2时，