数学建模案例分析--最优化方法建模6动态规划模型举例

§6 动态规划模型举例以上讨论的优化问题属于静态的，即不必考虑时间的变化，建立的模型——线性规划、非线性规划、整数规划等，都属于静态规划。

多阶段决策属于动态优化问题，即在每个阶段（通常以时间或空间为标志）根据过程的演变情况确定一个决策，使全过程的某个指标达到最优。

例如：（1）化工生产过程中包含一系列的过程设备，如反应器、蒸馏塔、吸收器等，前一设备的输出为后一设备的输入。

因此，应该如何控制生产过程中各个设备的输入和输出，使总产量最大。

（2）发射一枚导弹去击中运动的目标，由于目标的行动是不断改变的，因此应当如何根据目标运动的情况，不断地决定导弹飞行的方向和速度，使之最快地命中目标。

（3）汽车刚买来时故障少、耗油低，出车时间长，处理价值和经济效益高。

随着使用时间的增加则变得故障多，油耗高，维修费用增加，经济效益差。

使用时间俞长，处理价值也俞低。

另外，每次更新都要付出更新费用。

因此，应当如何决定它每年的使用时间，使总的效益最佳。

动态规划模型是解决这类问题的有力工具，下面介绍相关的基本概念及其数学描述。

（1）阶段 整个问题的解决可分为若干个相互联系的阶段依次进行。

通常按时间或空间划分阶段，描述阶段的变量称为阶段变量，记为k 。

（2）状态 状态表示每个阶段开始时所处的自然状况或客观条件，它描述了研究过程的状况。

各阶段的状态通常用状态变量描述。

常用k x 表示第k 阶段的状态变量。

n 个阶段的决策过程有1+n 个状态。

用动态规划方法解决多阶段决策问题时，要求整个过程具有无后效性。

即：如果某阶段的状态给定，则此阶段以后过程的发展不受以前状态的影响，未来状态只依赖于当前状态。

（3）决策 某一阶段的状态确定后，可以作出各种选择从而演变到下一阶段某一状态，这种选择手段称为决策。

描述决策的变量称为决策变量。

决策变量限制的取值范围称为允许决策集合。

用)(k k x u 表示第k 阶段处于状态k x 时的决策变量，它是k x 的函数，用)(k k x D 表示k x 的允许决策集合。

（4）策略 一个由每个阶段的决策按顺序排列组成的集合称为策略。

由第k 阶段的状态k x 开始到终止状态的后部子过程的策略记为)}(,),(),({)(11n n k k k k k k x u x u x u x p Λ++=。

在实际问题中，可供选择的策略有一定范围，称为允许策略集合。

其中达到最优效果的策略称为最优策略。

（5）状态转移方程 如果第k 个阶段状态变量为k x ，作出的决策为k u ，那么第1+k 阶段的状态变量1+k x 也被完全确定。

用状态转移方程表示这种演变规律，写作(1k k T x =+k x ，)k u（6）最优值函数 指标函数是系统执行某一策略所产生结果的数量表示，是用来衡量策略优劣的数量指标，它定义在全过程和所有后部子过程上。

指标函数的最优值称为最优值函数。

下面的方程在动态规划逆序求解中起着本质的作用。

⎪⎩⎪⎨⎧-===+=+++++∈1,,1,),,(,0)()],())(,([min )(11111)(Λn n k u x T x x f x f x u x v x f k k k k n n k k k k k k x D u k k k k k称此为动态规划逆序求解的基本方程（贝尔曼方程）。

可以把建立动态规划模型归纳成以下几个步骤：（1）将问题恰当地划分为若干个阶段；（2）正确选择状态变量，使它既能描述过程的演变，又满足无后效性；（3）规定决策变量，确定每个阶段的允许决策集合；（4）写出状态转移方程；（5）确定各阶段各种决策的阶段指标，列出计算各阶段最优后部策略指标的基本方程。

下面结合具体例子阐述建立动态规划模型的思路。

例13 生产计划问题。

公司要对某产品制定n 周的生产计划，产品每周的需求量、生产和贮存费用、生产能力的限制、初始库存量等都是已知的，试在满足需求的条件下，确定每周的生产量，使n 周的总费用最少。

决策变量是第k 周的生产量，记作),,2,1(n k u k Λ=。

已知下列数据及函数关系：第k 周的需求量k d ：第k 周产量为k u 时的生产费为)(k k u c ；第k 周初贮存量为k x 时这一周的贮存费为)(k k x h ；第k 周的生产能力限制为k U ；初始（0=k ）及终结（n k =）时贮存量均为零。

按照最短路问题的思路，设从第k 周初贮存量为k x 到（n 周末）过程结束的最小费用函数为)(k k x f ，则下列逆向递推公式成立。

⎪⎩⎪⎨⎧=⋯=∈++=++++≤≤0)(1,2,,)]()()([min )(11110n n k k k k k k k k U u k k x f n k X x x f x h u c x f k k ， (1)而k x 与1+k x 满足 ⎩⎨⎧==⋯=-+=++012,,111n k k k k x x n k d u x x ，， (2)这里贮存量k x 是状态变量，（2）式给出了相邻阶段的状态在决策变量作用下的转移规律，称为状态转移规律。

在用（1）式计算时，k x 的取值范围——允许状态集合k X 由（2）式及允许决策集合)0(k k U u ≤≤决定。

在实际问题中，为简单起见，生产费用常取)(k k u c ，0=k u ；k k k cu a u c +=)(，0>k u ，其中c 是单位产品生产费，而a 是生产准备费。

贮存费用常取k k k hx x h =)(，h 是单位产品（一周的）贮存费。

最优方程（1）和状态转移方程（2）构成了这个多阶段决策问题的动态规划模型。

实际上，多阶段决策问题有时也可用静态规划方法求解，如例2的生产计划问题。

例14 资源分配问题。

总量为1m 的资源A 和总量为2m 的资源B 同时分配给n 个用户，已知第k 用户利用数量k u 的资源A 和数量k v 的资源B 时，产生的效益为),(k k k v u g ，问如何分配现有资源使总效益最大。

这本来是个典型的静态规划问题：∑==nk k k k v u g Z Max 1),( (1)∑=≥=n k k k u m ut s 110,.. （2） ∑=≥=n k k k v m v120, （3）但是当k g 比较复杂及n 较大时，用非线性规划求解是困难的，特别是，若k g 是用表格或图形给出而无解析表达式时，则难以求解。

而这种情况下，将其转化为动态规划，是一种可行的方法。

资源A ，B 每分配给一个用户划分为一个阶段，分配给第k 用户的数量是二维决策变量),(k k v u ，而把向第k 用户分配之前，分配者手中掌握的资源数量作为二维状态变量，记作),(k k y x ，这样，状态转移方程应为⎩⎨⎧-=-=++k k k k k k v y y u x x 11 （4） 最优值函数),(k k k y x f 定义为将数量),(k k y x 的资源分配给第k 至第n 用户时能获得的最大效益，它满足最优方程⎪⎩⎪⎨⎧=⋯=≤≤≤≤+=++++≤≤≤≤0)0,0(1,2,,,0,0)],,(),([max ),(12111100n k k k k k k k k y v x u k k k f n k m y m x y x f v u g y x f k k k k（5）对于由（4），（5）式构成的动态规划模型，不需要),(k k k v u g ,),(k k k y x f 的解析表达式，完全可以求数值解。

例15 系统可靠性问题。

一个系统由若干部件串联而成，只要有一个部件故障，系统就不能正常运行。

为提高系统的可靠性，每个部件都装置备用件，一旦原部件故障，备用件就自动进入系统。

显然，备用件越多，系统可靠性越高，但费用也越大，那么在一定的总费用限制下，如何配置各部件的备用件，使系统的可靠性最高呢？设系统有n 个部件，当部件k 装置k u 个备用件时，这个部件正常工作的概率为)(k k u p 。

而每个备用件的费用为k c ，另外设总费用不应超过C 。

这个优化问题的目标函数是系统正常运行的概率，它等于n 个串联部件正常工作的概率的乘积。

约束条件是备用件费用之和不应超过C ，决策变量是各部件的备用件数量，于是问题归结为X nk k k u p Z Max 1)(== （1）∑==n k k k ku C u c t s 1,..为非负整数 （2）这个非线性规划转化为动态规划求解比较方便。

按照对n 个部件装置备用件的次序划分阶段，决策变量仍为部件k 的备用件数量k u ，而状态变量选取装配部件k 之前所容许使用的费用，记作k x ，于是状态转移方程为k k k k u c x x -=+1 （3）最优值函数)(k k x f 定义为状态k x 下，由部件k 到部件n 组成的子系统的最大正常工作概率，它满足)]()([)(11)(++∈⋅=k k k k x U u k k x f u p Max x f k k k （4） ], /c ,0[{)(k k x u u x U k k k k ∈=且为正整数}, 12,0，，，⋯=≤≤n k C x k 1)(11=++n n x f （5）注意，这个动态规划模型的最优方程（4）中，阶段指标)(k k u p 与最优值函数)(11++k k x f 之间的关系是相乘，而不是例13~15中的相加，这是由“两事件之交的概率等于两事件概率之积”这一性质决定的。

与此相应，最优值函数的初始条件1)(11=++n n x f 等于1。

例16 任务均衡问题。

一批任务由若干设备完成，问题是如何均衡地向每个设备分配各项任务，使这批任务尽早地完成。

例如一高层（设N 层）办公大楼有n 部性能相同的电梯，为了在早高峰期间尽快地将乘客送到各层的办公室，决定各部电梯分段运行，即每部电梯服务一定的层段。

假定根据统计资料，已知一部电梯从第i 层次开始服务j 层所需要的时间为ij t ，问如何安排这些电梯服务的层段，使送完全部乘客的时间最短。

按照由下而上安排电梯服务层次的序号划分阶段n k ,,2,1Λ=。

第k 部电梯（即第k 阶段）开始服务的层次为状态k x ，它服务的层数为决策k u ，满足k k k u x x +=+1 （1） 当i x k =，j u k =时，已知第k 部电梯服务的时间为ij k k k t u x v =),(。

因为对于第l k ,两部电梯而言，总的服务时间为)],(),,([l l l k k k u x v u x v Max ，所以最优值函数)(k k x f （即从第k 部到第n 部电梯总的最短服务时间）满足)]}(),,({max[min )(11)(++∈=k k k k k x U u k k x f u x v x f k k k }1)(,,2,1|{)(+---⋯==k n x N u u x U k k k k k 1,2,,,,3,2ΛΛn k N x k == （2） 0)1(1=++n f n （3） 这里我们假定每部电梯至少服务1层，且从第2层起开始服务。