3、随机动态规划

0 .7 0 .7 0 .7 0 .4
此时购买价格的期望值（条件期望值）为： 0 . 3 500 0 . 3 600 0 . 4 700 。
若采购是在第 4 周进行的，那说明前 3 周均是采取的等待策略。根据最优策略 可知，第 1、2、3 周原材料的价格不是 500，这一事件发生的概率为：
uk
（3）
China Three Gorges University
从最后一周（第五周）开始逐步向前逆推对模型求解，过程如下。
1. 当 k 5 时，因为 f 5 ( x 5 ) x 5 ， x 5 S 5 ，故有
f 5 ( 500 ) 500 ， f 5 ( 600 ) 600 ， f 5 ( 700 ) 700 .
( k 1, 2 , 3 , 4 ,5 )
China Three Gorges University
（4）每一阶段的采购策略视为决策变量，并用 u k ( k 1, 2 ,3 , 4 ,5 ) 表示，其中，
1, uk 0, 表示第 k 周决定采购， 表示第 k 周决定等待观望 .
China Three Gorges University
一、问题的提出
China Three Gorges University
某工厂生产上需要在近 5 周内必须采购进一批原料，根据各方面的信 息和资料，这种原料在未来 5 周内价格会有波动，其浮动价格和相应的概 率已经估计测出如下表所示：
单价（元） 概率
China Three Gorges University
为此，对问题做出如下基本假设：
（1）所需要的原料在购买期限内必须一次性购买，而不是可以分批购 买（这一假设极大简化了决策过程） ；
（2）原料价格波动的概率规律在每周内都是一样的（这一假设与我们 的阶段划分方式相一致） ；
（3）将每周原材料的实际价格看做个阶段的状态，并用 x k 表示；
由此可得出 f 3 ( x 3 ) 的值为：
f 3 ( x 3 ) min { x 3 , x 3 E }
x3S 3
min { x 3 , 574 }
x3S 3
500 , 574 ,
若 x 3 500 , 若 x 3 600 或 700 .
由 f 3 ( x 3 ) 的值和（3）式便可确定第 3 周的策略为：
源自文库
China Three Gorges University
根据上述对问题的分析和基本假设，显然应有这样的事实：
当第 k ( k 5 ) 周原材料实际价格为 x k 时，若 x kE < x k ，即若第 k 周等待观望不 采购，而在以后采取最优采购策略的采购价格的期望值低于现行价格，那么显然应 在第 k 周采取等待观望态度。由 f k ( x k ) 的定义可知，此时应有 f k ( x k ) = x kE 。 若 x kE > x k ，说明若再第 k 周等待观望不采购，则以后采购的价格期望值将高 于现行价格，这时显然最优策略就应该是采购了，而这样显然就有 f k ( x k ) = x k 。
x4S 4
min { x 4 , 610 }
x4S 4
500 , 600 , 610 ,
若 x 4 500 , 若 x 4 600 , 若 x 4 700 ,
这样，由（3）可得第 4 周的最优策略为：
1, u4 0, 若 x 4 500 或 600 ， 若 x 4 700 .
China Three Gorges University
如果采取上述策略，采购价格的数学 期望是多少呢？ 为此，我们仍然需要从第5周开始考虑。
China Three Gorges University
若采购是在第 5 周进行的，那说明前 4 周均是采取的等待策略。根据最优策略 可知，第 1、2、3 周原材料的价格不是 500，且第 4 周的价格是 700。根据乘法公 式，这一事件发生的概率为：
若 x 2 500 , 若 x 2 600 或 700 .
由 f 2 ( x 2 ) 的值和（3）式便可确定第 2 周的策略为：
1, u2 0, 若 x 2 500 ， 若 x 2 600 或 700 .
China Three Gorges University
5. 当 k 1 时，由公式（2）计算得到
由（3）式可知此时有： u 5 1 ，即在第 5 周时，应采取购买决策。显然，若在第 5 周时所需要的原料尚未买入，则无论市场价格如何，都必须采购不能再等待了，而 且此时的采购价格期望值就是现行的实际价格。
China Three Gorges University
2. 当 k 4 时，即此时意味着前 3 周都采取了等待观望的策略。首先计算一下若第 4 周仍然采 取等待观望而在以后采取最优采购策略的采购价格的期望值。由（2）式可得
China Three Gorges University
3. 当 k 3 时，仍然要首先计算 x 3 E 得值，还是由公式（2）得到
x 3 E 0 . 3 f 4 ( 500 ) 0 . 3 f 4 ( 600 ) 0 . 4 f 4 ( 700 )
0 . 3 500 0 . 3 600 0 . 4 610 574 .
0 .7 0 .7
据最优策略，第 3 周购买价格为 500，所以此时的购买价格的期望值（条件期望值） 为： 0 . 3 500 。
若采购是在第 2 周进行的，那说明第 1 周是采取的等待策略。根据最优策略可 知，第 1 周原材料的价格不是 500，这一情况发生的概率为 0 . 7 。据最优策略，第 2 周购买价格为 500，所以此时的购买价格的期望值（条件期望值）为： 0 . 3 500 。
随机动态规划建模实例
China Three Gorges University
运用随机动态规划的分析方法， 求解随机动态规划模型的最优解是一种 比较常见的数学建模问题。例如，在实际应用中，经常会遇到某些多阶段决 策过程中出现随机因素的情况， 而动态规划的方法也可以处理这种随机性问 题。本节从一个实际建模案例出发，说明这一方法的应用。这一问题被称之 为价格波动时的采购策略。
China Three Gorges University
因此，可以建立模型为：
f k ( x k ) min { x k , x kE }, xk S k f5 ( x5 ) x5 ,
（1）
其中 S k { 500 , 600 , 700 } ， k 1, 2 , 3 , 4 , 5 . 由 x kE 和 f k ( x k ) 的含义可又下面的状态转移方程：
0 . 3 500 0 . 3 574 0 . 4 574 551 . 8 .
将此代入（1）可得出 f 2 ( x 2 ) 的值为：
f 2 ( x 2 ) min { x 2 , x 2 E }
x2S 2
min { x 2 , 551 . 8}
x2S 2
500 , 551 . 8 ,
x 1 E 0 . 3 f 2 ( 500 ) 0 . 3 f 2 ( 600 ) 0 . 4 f 2 ( 700 )
0 . 3 500 0 . 3 551 . 8 0 . 4 551 . 8 536 . 26 .
将此代入（1）可得出 f 1 ( x 1 ) 的值为：
0 .7 0 .7 0 .7
此时购买价格的期望值（条件期望值）为： 0 . 3 500 0 . 3 600 。
China Three Gorges University
若采购是在第 3 周进行的，那说明前 2 周均是采取的等待策略。根据最优策略 可知，第 1、2 周原材料的价格不是 500，这一情况发生的概率为：
若采购是在第 1 周进行的，则说明第 1 周的价格为 500，此情况发生的概率为 0 . 3 。据最优策略，第 1 周购买价格为 500，所以此时的购买价格的期望值（条件 期望值）为： 0 . 3 500 。
（5）用 x kE 表示第 k 周时决定等待观望，而在以后采取最优决策时采购价格的 期望值；
（6）用 f k ( x k ) 表示第 k 周实际价格为 x k 时，从第 k 周至第 5 周采取最优策略 所得的采购价格的最小期望值。
China Three Gorges University
三、模型的建立与求解
1, u1 0, 若 x 1 500 ， 若 x 1 600 或 700 .
China Three Gorges University
四、结论与分析
China Three Gorges University
由以上逆推计算得结果可知，最优的采购策略序列为 {u 1 , u 2 , u 3 , u 4 , u 5 } 。 根据 u 1 ， u 2 ， u 3 的表达式可知，在第 1、2、3 周时，若价格为 500 时，就应 采购；而在价格为 600 或者 700 时则应采取等待观望的态度。 由 u 4 的表达式得，在第 4 周，若价格为 500 或者 600 时就应该采购，而在 价格为 700 时则等待观望。 若在前 4 周都采取了等待观望策略，则在第 5 周，无论什么价格都必须采 购（ u 5 1 ） 。
x 4 E 0 . 3 f 5 ( 500 ) 0 . 3 f 5 ( 600 ) 0 . 4 f 5 ( 700 )
0 . 3 500 0 . 3 600 0 . 4 700 610 .
于是，由（1）式可得
f 4 ( x 4 ) min { x 4 , x 4 E }
f 1 ( x 1 ) min { x 1 , x 1 E }
x1 S 1
min { x 1 , 536 . 26 }
x1 S 1
500 , 536 . 26 ,
若 x 1 500 , 若 x 1 600 或 700 .
由 f 1 ( x 1 ) 的值和（3）式便可确定第 1 周的策略为：
500 0.3
600 0.4
700 0.4
请建立一种模型，决定采购策略，使得厂家采购价格的数学期望值最 小，并计算出此最小期望价格。
China Three Gorges University
二、分析与假设
China Three Gorges University
此问题中价格是一个随机变量，是按照某种已知的概率分布规律取值 的。可以将采购期限内的 5 周看做 5 个阶段（即需要每周做一次决策，自 然也可以每天做一次决策而将之更加细致地分为 35 个阶段） ，则问题便成 了在每个阶段进行决策是否购进原料，以期使原料的采购价格的期望值达 到最小。
China Three Gorges University
在实际应用中，经常会遇到某些多阶段决策过程中出现随机因素的情 况。用动态规划的方法也可以处理这种随机性问题。不过此时状态转移不 能完全确定，而是按照某种已知的概率分布取值，具有这种性质的多阶段 决策过程就称之为随机性的决策过程，此时运用的动态规划也就相应的被 称为随机动态规划。
x kE f k 1 ( x k 1 ) 0 . 3 f k 1 ( 500 ) 0 . 3 f k 1 ( 600 ) 0 . 4 f k 1 ( 700 )
（2）
最优决策变量为：
1, 0, fk (xk ) xk , f k ( x k ) x kE ,
1, u3 0, 若 x 3 500 ， 若 x 3 600 或 700 .
China Three Gorges University
4. 当 k 2 时，仍然由公式（2）计算得到
x 2 E 0 . 3 f 3 ( 500 ) 0 . 3 f 3 ( 600 ) 0 . 4 f 3 ( 700 )