16751-数学模型课件(北邮)-1 (4)

第十二章 动态规划建模

§12.1 动态规划模型的求解

1．多阶段动态规划问题

有些问题的决策过程可分成几个互相联系的阶段，每个阶段都有若干种方案可选取，决策的任务就是为每个阶段选择一个适当的方案，以使整个过程取得最优的结果。动态规划就是解决这种多阶段决策问题的一种运筹学方法。 ● 引例——最短路问题：从A 地要铺设一条管道到E 地，中间需经过三个中间

站。第一个中间站可从},,{321B B B 中任选一个；第二个中间站可从},,,{4321C C C C 中任选一个；第三个中间站可从},{21D D 中任选一个。图1表示可以直接铺设管道的情况，图中有向边的权值为相应管道的铺设费用。现需要求出一条总费用最小的管道路线。

图12.1.1 一类特殊的最短路问题 ● 上面的例子是一个典型的非负权值有向图的最短路问题。对于这类问题，用

上一章介绍的Dijkstra 算法求解，可以得到有向图任一顶点到终点E 的最短路及其长度。结果如图2所示，顶点旁括号内的数字表示该点到终点E 的最短路长度。

图12.1.2 各点到终点的最短路生成树

充分利用其特点，对本例还可以给出更为有效处理方法，即用动态规划思想

分析之。

2. 更一般的提法：已知一个赋边权的有向（网络）图))(;,(•w E V N ，()

k n

k V V 0== ，()()(){}k m k k k k v v v V ,...,21=，11==n m m ，

()k n k E E 1== ，())..0(n k V k =两两互不相交，()()1)(-⊆k k V E Start ，()()1)(-⊆k k V E End ，R E w →:；问题：找一路

()()()())(11101......11k k i k i i v v v v v k k --，使得 ()()()()()()()()()()⎭⎬⎫⎩⎨⎧=∑∑=--=----n k n k k i k i i k i k i n k k i k i v v N v v v v v v v w Min v v

w k k k k k k 1101)(11101111......)()(111**1的路到的从为

最小。

3． 几个基本概念

● 阶段：如果已认定一个问题能用动态规划方法来求解，那么首先应当恰当

地把问题的过程划分成若干个相互联系的阶段。阶段的数目n 称为历程。 就本节引例（最短路问题），可分为4个阶段:B A →、C B →、D C →、E D → ● 阶段的状态：阶段的状态可用阶段的某种特征来描述，而决策过程可以通

过各阶段状态的演变来说明。

● 阶段的状态应具有“无后效性”，即过程的历史只能通过当前的状态去影

响它未来的发展。

●

状态变量：设k s 为描述第k 阶段状态的变量，它可取这一阶段的任一状态为“值”;

● 决策: 就是在给定某阶段状态后从该状态演变到下一状态所作的抉择，描述决策的变量称为决策变量，通常以k u 记之。显然，第k 阶段的决策变量k u 的取值集与所处状态k s 有关，可记为)(k k s D ，称之为允许决策集。

●

策略：决策变量序列n u u u ...21的一组值称之为一个策略，而策略n u u u ...21的一个片段K k k u u u ...1+称之为策略n u u u ...21的一个子策略。 ● 状态转移方程：设第k 阶段的状态为k s ，而决策变量k u 已选取某一个值（或

方案），则过程演变为第1+k 阶段的状态1+k s 。显然1+k s 是k s 和k u 的函数),(1k k k k u s T s =+，称为状态转移方程。

●

权函数：第k 阶段的状态为k s ，当决策变量k u 取得某个值（或方案）后，就有一个反映这个局部措施的效益指标),(k k u s w ，称为权函数。 ● 指标函数：第k 阶段的状态为k s ，当采取了最优子策略N k k u u u ...1+后，从

阶段k 到阶段N 可获得的效益，称为指标函数，记为)(k s f ，通常)(k s f 可

写成下列形式)},(),(),({)(111)(~)(opt n n n k k k k k k s D u u k u s w u s w u s w s f k n k ⊕⊕⊕=

+++∈ 其中，

符号Opt 可代表Min 或Max ；)(~k s D 表示子策略n k k u u u ...1+的取值集合；⊕

表示加法或乘法运算。

4． 最优化原理与递归方程

●

定理（动态规划的最优化原理）：最优策略的子策略构成最优子策略。

● 以动态规划的最优化原理为基础可建立递归方程：

⎪⎩⎪⎨⎧-=⊕==+∈+1,...,1,)},(),({)(10)(1)(1opt n n k s f u s w s f s f k k k k s D u k n k k 或

当⊕为加法时，取0)(1=+n s f ；当⊕为乘法时，取1)(1=+n s f 。

● 以上为逆序解法，该问题也可以采用顺序解法，这时，状态转移方程可表

示为：

n k x s T s k k k k ,...,1),,(1==- 递归方程为：

⎪⎩⎪⎨⎧=⊕==-∈n k s f u s w s f s f k k k k s D x k k k ,...,1)},(),({)(10)(1)(0opt 或

5．建立动态规划数学模型的步骤

(1) 划分阶段，确定阶段的状态变量；

(2) 确定决策变量，权函数以及指标函数；

(3) 建立状态转移方程；

(4) 根据动态规划的最优化原理建立递归方程。

例、（投资问题）有资金5百万元, 对三个项目投资, 投资额均为整数(单位为百万元). 其中2#项目的投资不得超过3百万元, 1#和3#项目的投资不得超过4百万元, 3#项目至少要投资1百万元. 每个项目投资五年后, 预计收益如下表, 问如何

6．通过下面的例子想说明，对于动态规划问题，其状态变量或决策变量可以是

连续型的；另外，所谓“动态”与“静态”的区别与联系可以通过本例得到比较好的反映。

例、求解如下最优化问题：