第15讲随机型动态规划及软件介绍

2
4 —
f2(s2) x2* 0
6.85
0
3
8.56 8.14 7.Βιβλιοθήκη Baidu8 6.85 7.11
当k=1时，有 k=1时
x1 s1 0 1 0 0
C(x1)+6.85× 0.6 1 — 2 —
x1
3 —
f1(s1) 0 6.46
x 1* 0 2
6.85 7.11
6.46 6.48
上面三个表中并没有列出x 取更大数值的情况， 上面三个表中并没有列出xk取更大数值的情况，因 为可以证明以后的C(x 为可以证明以后的C(xk)+ 0.6 增加的。 增加的。 因此得到的最优策略是，在第1个阶段试制2件产 因此得到的最优策略是，在第1个阶段试制2 品；如果都不合格，在第2阶段试制3件产品；如果仍都 如果都不合格，在第2阶段试制3件产品； 不合格，则在第3个阶段试制5件产品。 不合格，则在第3个阶段试制5件产品。该策略得到的最 小的期望费用6.46。 小的期望费用6.46。 6.46
p1
决策 状态
c1 c2
1 2
….
p2 xk pN
sk
cN
N
图中N表示第k+ 阶段可能的状态数， k+1 图中N表示第k+1阶段可能的状态数，p1、p2、…pN p 为给定状态s 和决策x 的前提下， 为给定状态sk和决策xk的前提下，可能达到下一个状态的 概率。 为从k阶段状态s 转移到k+ 阶段状态为i k+1 概率。ci为从k阶段状态sk转移到k+1 阶段状态为i时的指 标函数值。 标函数值。 在随机性的动态规划问题中， 在随机性的动态规划问题中，由于下一阶段到达的状 态和阶段的效益值不确定， 态和阶段的效益值不确定，只能根据各阶段的期望效益值 进行优化。 进行优化。
即在第五周，不论原材料的市场价格如何，都必须 购买。 当k=4时 时
f4(S4)＝min{S4，X4E} X4E=0.3 f5(500)+0.3 f5(600)+ 0.4f5(700)＝610 f4(500)＝500 f4(600)＝600 f4(700)＝610
U4＝1 ，当S4＝500，600 500， U4＝0 ，当S4＝700
k
k
p( sk +1 = 1) = 0.6
xk xk
p( sk +1 = 0) = 1 − 0.6
表示第k阶段的费用， 用C(xk)表示第k阶段的费用，第k阶段的费用包 括制造成本和装配费用， 括制造成本和装配费用，故有
2 + x k C ( xk ) = 0
xk > 0 xk = 0
根据状态转移方程以及C(x 根据状态转移方程以及C(xk)，可得到
即在第四周时，当市场价格为500或600时，选择购买 原材料。若市场价格为700时，则继续等待。
当k=3时， f3(S3)＝min{S3，X3E} X3E=0.3 f4(500)+0.3 f4(600)+ 0.4f4(700)＝574 f3(500)＝500 f3(600)＝574 f3(700)＝574 U3＝1 ，当S3＝500 U3＝0 ，当S3＝600，700 即在第三周时，当市场价格为500时，选择购 买原材料。若市场价格为600或700时，则继续 等待。
当k=1时， f1(S1)＝min{S1，X1E}
X1E=0.3 f2(500)+0.3 f2(600)+ 0.4f2(700)＝536.26 f1(500)＝500 f1(600)＝536.26 f1(700)＝536.26
U1＝1 ，当S1＝500 U1＝0 ，当S1＝600，700 即在第一周时，当市场价格为500时，选择购买原 材料。若市场价格为600或700时，则继续等待。 由上可知，在第1、2、3周时，当价格为500时， 选择购买原材料，若价格为600或700，则继续等待。 在第4周时，当价格为500或600时，选择购买原材料， 若价格为700，则继续等待，在第5周，则无论时什 么价格都购买。 依照这样的最优策略，价格的数学期望值为 价格的数学期望值为： 价格的数学期望值为 500×0.3+536.26×0.3+ 536.26×0.4=525.382
【例6-10】用Matlab求解图6-7的最短路。 10】 Matlab求解图6 的最短路。 求解图
B1
2 6 4 7 4 3
C1
4 6
3
D1 D2
3
A
3
B2
4
2 6 2 3
C2
3
3 4
E
B3
C3
3
图6-7 。 上海至灾区的公路网络图
解: 计算机求解 在该题中首先用[1,2,3,4,5,6,7,8,9,10] [1,2,3,4,5,6,7,8,9,10]来代表 在该题中首先用[1,2,3,4,5,6,7,8,9,10]来代表
[ A, B1 , B2 , B3 , C1 , C2 , C3 , D1 , D2 , E ]
三、动态规划应用案例分析(6.5)
1 电厂内部机组负荷的经济分配 2 电力企业购网电量分配案例分析
四、动态规划文献阅读
论文1:基于Matlab的 论文1:基于Matlab的0- 1 背包问题的动态规划方法求解 1:基于Matlab 论文2:基于MAT 论文2:基于MAT LAB 的动态规划常用算法的实现 2:基于 论文3:基于启发式动态规划方法的发电商最优竞价策略 论文3:基于启发式动态规划方法的发电商最优竞价策略 3: 论文4:基于自适应动态规划的系统边际电价预测 论文4:基于自适应动态规划的系统边际电价预测 4:
解：把三次试制当作三个阶段（k=1,2,3）,决策变量 把三次试制当作三个阶段（k=1,2,3） 表示第k次生产的产品的件数；状态变量s 表示第k xk表示第k次生产的产品的件数；状态变量sk表示第k次试制 前是否已经生产出合格品，如果有合格品， =0； 前是否已经生产出合格品，如果有合格品，则sk=0；如果没 有合格品， =1。最优函数f 表示从状态s 决策x 有合格品，记sk=1。最优函数fk(sk)表示从状态sk、决策xk出 发的第k阶段以后的最小期望费用。故有f (0)＝ 发的第k阶段以后的最小期望费用。故有fk(0)＝0。 生产出一件合格品的概率为0.4 所以生产x 0.4， 生产出一件合格品的概率为0.4，所以生产xk件产品都不 至少有一件合格品的概率为1 合格的概率为 ，至少有一件合格品的概率为1- 0 . 6 x ，故 0 .6 x 有状态转移方程为
递推关系式： 递推关系式： fk(Sk)＝min{Sk，XkE} 边界条件： 边界条件：f5(S5)＝S5 其中： 其中：XkE=0.3 fk+1(500)+0.3 fk+1(600)+ 0.4fk+1(700) Sk∈{500,600,700}
k=5时 当k=5时
f5(S5)＝S5 S5∈{500,600,700} f5(500)＝500 f5(600)＝600 f5(700)＝700
第6章 章
动态规划
学时） 动态规划的基本理论 （2学时） 学时 学时） 确定型动态规划 （2学时） 学时 学时） 随机型动态规划 （1学时） 学时 学时） 动态规划的软件求解简介 （1学时） 学时
第15讲 随机型动态规划及软件介绍
一、离散随机性动态规划
随机型的动态规划是指状态的转移律是不确定的，即对给定 的状态和决策，下一阶段的到达状态是具有确定概率分布的随机变量， 这个概率分布由本阶段的状态和决策完全确定。随机型动态规划的基 本结构如下图： k+1阶段的状态sk+1 概率 k阶段的收益
例1 某公司承担一种新产品研制任务，合同要求三个 月内交出一件合格的样品，否则将索赔2000元。根据有经 验的技术人员估计，试制品合格的概率为0.4，每次试制一 批的装配费为200元，每件产品的制造成本为100元。每次 试制的周期为1个月。问该如何安排试制，每次生产多少件， 才能使得期望费用最小？（类例教材1：例6-7） （类例教材 ： ）
当k=2时， 时
f2(S2)＝min{S2，X2E} X2E=0.3 f3(500)+0.3 f3(600)+ 0.4f3(700)＝551.8 f3(500)＝500 f3(600)＝551.8 f3(700)＝551.8 U2＝1 ，当S2＝500 U2＝0 ，当S2＝600，700 即在第二周时，当市场价格为500时，选择购买原材 料。若市场价格为600或700时，则继续等待。
动态规划的数学模型
– 该问题分成五个阶段，k表示周，k＝1，2，3，4，5 该问题分成五个阶段 阶段， 表示周 表示周， ＝ ， ， ， ， – 设Sk表示为第 周的实际价格。 表示为第k周的实际价格 周的实际价格。 –决策变量 k,Uk＝1表示为第 周决定采购，Uk＝0表示为 决策变量U 表示为第k周决定采购 决策变量 表示为第 周决定采购， 表示为 周决定等待。 第k周决定等待。 周决定等待 – XkE表示为第 周决定等待 而在以后采取最优决策时采购 表示为第k周决定等待 周决定等待,而在以后采取最优决策时采购 价格的期望值。 价格的期望值。 – fk(Sk)表示第 周实际价格为 k 时 ， 从第 周到第 周采取 表示第k周实际价格为 从第k周到第 周到第5周采取 表示第 周实际价格为S 最优策略所得的最小期望值。 最优策略所得的最小期望值。
x3 s3 0 1 0 0
20
C(x3)+20×0.6 1 —
15
x3
2 —
3 —
4 —
5 —
6 —
f3(s3) x3* 0 0
5
11.2 9.32 8.59 8.56 8.93 8.56
当k=2时，计算如下表： k=2时 计算如下表：
x2 s2 0 1 0 0
C(x2)+8.56× 0.6 x 1 — 2 — 3 —
xk
的值是对x fk+1(1)的值是对xk单调 k+1
不确定性采购问题（类例教材1： 例2 不确定性采购问题（类例教材 ：例6-8） ） 某厂生产上需要在近五周内必须采购一批原料, 而估计在未来五周内原材料的价格是波动的，浮动 价格和概率已知。如何采购使其采购价格的数学期 数学期 望最小，并求出期望值。 望最小 单价 500 600 700 概率 0.3 0.3 0.4
作业:习题6 作业:习题6 6,7,8
二、动态规划软件求解简介 使用Lingo Lingo求解最短路 1 使用Lingo求解最短路
例6-9
求A到G的最短距离路线，各地间的距离如图6-3所示。 的最短距离路线，各地间的距离如图6 所示。
图6-3 例6-9的图
二、动态规划软件求解简介 使用Matlab Matlab求解最短路 2 使用Matlab求解最短路
f k (1) = min{c( xk ) + (1 − 0.6 ) f k +1 (0) + 0.6 xk f k +1 (1)}
xk xk
= min{c( xk ) + 0.6 xk f k +1 (1)}
xk
如果3个月后没有试制出一件合格品， 如果3个月后没有试制出一件合格品，则要承担 2000元的罚金 因此有f )=20 元的罚金， 20。 2000元的罚金，因此有f4(1)=20。 当k=3时，计算如下表： k=3时 计算如下表：