动态规划的基本概念和基本原理

第1章 动态规划的基本概念和基本原理

在这一章中，我们将通过一个具体而典型的例子（最短行军路线问题），引出有关动态规划的一些名词和记号，进而得到动态规划的基本原理。

1.1 最短行军路线问题及标号法

问题描述：图1.1中给出一个行军路线网络，从A 点要走到G 点，中间要经过B 、C 、D 、……等很多点，各点间的距离如图中所示，今要求选择一条由A 点到G

点的最短行军路线。

图 1.1

这是个多阶段决策问题。从A 点到G 点可以分为6个阶段，从A 点出发到B 点为第一阶段。这时有两个选择：一是到B 1点；二是到B 2点。若我们选择到B 2点的决策，则B 2点就是第一阶段决策的结果，它既是第一阶段的终点，又是下一阶段（第二阶段）路线的始点。在第二阶段，再从B 2点出发，这时有三个选择，即对应于B 2点就有一个可供选择的终点集合{,,}。若选择由B 2C 3C 4C 2走到C 2为第二阶段的决策，则C 2就是第二阶段的终点，同时又是第三阶段的始点。类似地可以递推下去，直到终点G 点。我们可以看到，各个阶段的决策不同，所走的路线也就不同。现在要求：在各个阶段中选取一个恰当的决策，使由这些决策所决定的一条路线，其总距离最近。

下面我们利用“标号法”来求解这个问题。首先要注意到下面一个明显面重要的事实：如果某一条路线，如是最优路线，那么无论从该路线中的哪一点开始（如从D G F E D C B A →→→→→→221211点开始）到达终点G 点的那一段路线，仍然是从D 1点到达终点G 的所有可能选择的不同的路线的最优路线，称为由D 1出发的最短子路线。这一事实，以后我们称之为“最优化原理”。因为如果不是这样，从D 1点到终点还有另一条更短的子路线存在，那么把它和原来最短路线由始点A 到达D 1点的那部分连接起来，就会形成一条比原来最短路线更短的路线，而这是不可能的。

根据上面的事实，我们可以从后段开始逐段往前求最优子路线，从而得到全

过程最优路线。在逐段求最优子路线时，采用“标号法”，见图1.2。

图 1.2

先标第五段：因从或到G 点，仅各有一条路线，因而也分别是它们的最短路线，于是将其最短距离值4和3分别标写在和的圆圈内，并划上路径G 及G 。

1F 2F 1F 2F 1F →2F →再标第四段：从点出发有两条路线可供选择：一是从过到G 点，其距离值为3+4=7；另一是从过到G 点，其距离值为5+3=8。这样，从出发过到G 点是最短路径，将其距离值7标写在的圆圈内，并划上路径F 。同样，从出发，也有两种决策可供选择，即G 和G ，并划上路径。同理，到G 的最优路径为G ，其值为6+3=9，将9标写在的圆圈内，并划上路径。

1E 1E 1F 1E 2F 1E 1F 1E 1E →2E 2E →1F →2E →2F →2E →2F 3E 3E →2F →3E 3E →2F 标第三段：从出发，也有两种决策可供选择：一是过去G 点，其最优距离为+到G ，最优距离为2+7=9；另一是过去G 点，其最优距离为+到G ，最优距离为2+5=7.因此，从出发，过去G 点的路线是最优路线，将其距离值7标写在圆圈内，并划上路径。同理，从出发，过去G 点是它的最优路径，将其距离值1+5=6标写在圆圈内，并划上。同理，在的圆圈内标写上从到G 的最优距离值3+5=8，并划上最优路径。

1D 1E 1D 1E 1E 2E 1D 2E 2E 1D 2E 1D 1D →2E 2D 2E 2D 2D →2E 3D 3D 3D →2E 继续仿照上述逆推过程一直标写到始点A ，在A 点也有两种决策可供选择：一是过去G 点，其最优距离为5+13=18；另一是过去G 点，其最有距离为3+16=19，因此，应选过的路线，将其最优距离值18标写在A 圆圈内，并划上其最优路径A →。

1B 2B 1B 1B 于是，从图1.2中易知，我们从A 出发，顺推回去，即得最优路径：A →1B → 2C →1D →2E →2F →G 其最优距离值为18。

上述标号法要比穷举法优越得多，表现在以下几个方面：

(1) 计算量少。穷举法要对48条路径进行比较，即进行比较运算47次，即

使用逐段累加方法也要进行加法运算6+12+24+48+48=138次。而标号法共进行比较运算3+3+4+4+1=15次，每次比较运算相应有两次加法运算，再去掉中间重复的两次(即,各多算了一次)，实际只有28次加法运算。

1B →1C 2B →4C (2) 丰富了计算结果。标号法计算，使我们不仅得出A 出发到达终点G 的最短线及其相应的最短距离值，而且得到了从所有各中间点出发到达G 点的最短路线和它相应的最短距离，这对许多实际问题来讲是很有用的，有利于帮助分析所得的结果。

1.2 动态规划的基本概念

求解最短行军路线问题的标号法，事实上就是动态规划方法的具体体现，因此，我们从该问题的标号法解法中，可以看到动态规划方法的一般思路。下面我们将从严格的理论基础上，引入动态规格的基本概念，以建立动态规划的数学模型。

1．阶段

把所给问题的过程恰当地分成若干个相互联系的阶段，以便于求解，过程不同，阶段数就可能不同。描述阶段的变量称为阶段变量。在多数情况下，阶段变量是离散的，用表示。此外，也有阶段变量是连续的情形。如果过程可以在任何时刻做出决策，且在任意两个不同的时刻之间允许有无穷多个决策时，阶段变量就是连续的。

k 在最短行军路线的例子中，共分为六个相互联系的阶段，常用k 表示阶段变量。从起点A 到点B 为第一阶段，从点B 到点C 为第为第二阶段，……，点F 到点G 为第六阶段，即0,1,,5k = ，对有个阶段的问题，的值为。

n k 0,1,,1k n =? 2．状态

状态表示每个阶段开始面临的自然状况或客观条件，它不以人的主观意志为转移，也称为不可控因素。过程的状态通常可以用一个或一组变数描述，称为状态变量，常用k x 表示第阶段的某一状态。第阶段的状态变量k k k x 的取值集合称

为状态集合，记为 或。例如最短行军

路线问题的第二阶段的状态集合可记为

{1,2,,}k X r = },...,,{)()2()1(

r k k k k x x x X x k =∈},...,,{)4(2)2(2)1(

22x x x X =={1，2，3，4}={,,,}

1C 2C 3C 4C 一般而言状态是离散的，但从分析的观点看，有时将状态作为连续变量处理将会有更多的好处。另外状态可以有多个分量，用向量来表示，称为多维状态。而每个阶段的状态维数可以不同。如果给定过程某一阶段的状态，那么在这段以后过程的发展要受到该段给定状态的影响，而不受该段以前各段状态的影响。这就是说：过程的发展，只受当前的状态的影响，过去的历史只能通过当前的状态去影响它的未来，而不能直接影响它的未来。这种特性叫做无后效性。

如果状态仅仅描述过程的某种具体特征的话，则并不是任何实际过程都满足上述的无后效性，所以在构造决策过程的动态规划模型时，不能仅由描述过程的具体特征这点着眼去规定状态。如果状态的某种规定方式可能导致不满足无后效性，适当地改变状态的规定方法后，往往可以得到满足无后效性的结果。例如在无外力作用下，质点在空中运动，要通过外力去控制在一确定时段内质点的轨迹。如果从描述轨迹这点着眼，可以质点每一刻在空中位置作为过程的状态，但是这样一来就不满足无后效性，因为即使知道了外力的大小和方向，仍无法确定质点受力时运动方向和轨迹，只有把位置和速度都作为状态变量，才能确定质点下一步的方向和轨迹，实现无后效性的要求。

(3) 决策

决策就是某阶段状态给定后，从该状态演变到下一阶段某状态的选择。描述决策的变量，称为决策变量。常用表示第k 阶段处于第状态时采取的决策。显然是状态的函数，它的取值范围称为允许决策集合，通常以表示第k 阶段处于状态的允许决策集合，即

)(k k x u k x )(k k x u k x )(k k x D k x )(k k x u ∈)(k k x D

例如，在最短行军路线问题中，第一阶段的状态集合是 ={,},则从点出发，它有可能三种决策，即取值时，其决策集合为 ={,,},如选择从到的路径，则1X 1B 2B 1B k x 1B )(11B D 1C 2C 3C 1B 2C 211)(C B u =；如选择从到的路径，则。同理，

1B 3C 311)(C B u =},,{)()(4322121C C C B D B u =∈

(4) 状态转移

给定第k 段状态变量的值，如果决策变量的值一经确定，则第

阶段的状态变量的值也就完全确定，即=，这时，

k x )(i k x )()(i k k x u 1k +1+k x 1+k x )(1j k x +1+k x ==

)()(i k k x u )(1j k x +由此可见，一般来说的值随和的值变化而变化，这种变化关系可用函数表示为

1+k x k x k u ),(1k k k k u x T x =+

上式表示了由第k 阶段到第阶段的状态转移规律，称为状态转移方程。依赖于表明状态的转移与所选取的决策有关。

1k +k T k u 在最短行军路线的问题中，第k 段的状态和所做的决策完全确定了第阶段的状态k u 1k +1k x +。这种状态转移完全确定的多阶段决策过程称为确定型多阶段决策过程。

(5) 策略

假设给定问题可分为个阶段，n 0,1,2,,1k n =? ，那么由第0阶段开始到

第阶段终点为止的过程组成的决策序列，就称为全过程策略，简称策略，记为，即

1n ?n P 0)}(),...,(),({)(11110000??=n n n x u x u x u x P

如最短行军路线问题中决定最优路线的策略是

},,,,,{)(22121006G F E D C B x P =

由第k 阶段开始到全过程的终点为止的过程，称为原过程的后部子过程（或称为子过程）。其决策函数序列称为子过程策略，简称子策略。记为

k k k )}(),...,({)(11??=n n k k k kn x u x u x p

在实际问题中可供选择的策略有一定的范围。所有可供选择的策略所组成的集合，称为允许策略集合，用P 表示，即

)()(0000x P x p n n ∈或)()(k kn k kn x P x p ∈

从允许策略集中找出使问题达到最优效果的策略称为最优策略，记为。

)(0*0x p n (6) 历程

从开始到结束的总段数称为历程，如果阶段变量从0变到。则历程是，在离散情形中，根据历程将多阶段决策过程分为：

n 1n +1. 定期多阶段决策过程，在决策之前就已知历程是确定的有限值，进行优化时已知确定的阶段数。

2. 不定期多阶段决策过程，预先知道历程是有限、确定的，但是在得到最优策略之前并不知道它的数值。例如在一般的最短线路问题中找到最优策略之前，并不知道它需要多少步。这一类过程的特点是阶段变量并不明显地进入函数方程。

3. 随机多阶段决策过程，历程是与策略和外部条件有关的随机变量，它的特点是在方程中没有阶段变量。

4. 无限期多阶段决策过程，历程无限（或者实践中历程很大）。例如在机器负荷问题中计划期限是到全部机器损坏为止，则从理论上看就是历程无限的。

(7) 目标函数

当过程处于状态，并采取决策而得到的报酬（或费用），称为第段的报酬函数。显然，它是定义在k x k u k k k D X ×上的函数，记为。在最短线路问题中，它表示第阶段由点到第k+1段点之间的距离，即=， 其中),(k k k u x v k k x 1+k x ),(k k k u x v ij C k x i =，。

k u =j 在决策过程中，用来衡量所实现过程的优劣，定义在全过程和所有后部子过程的确定的数量函数，叫做目标函数（或称指标函数）。若我们考虑的过程是从第k 段开始到过程终点的子过程，则目标函数可表示为：

k ),...,,,(21n k k k kn kn x x x x V V ++=

==

),..,,,(11?+n k k k kn u u u x V ))(,(k kn k k x p x V

其最优目标函数值可表示为：

111(,...,)

()opt (,,,...,)k n k k kn k k k n u u f x V x u u ?u +?=

=

()()opt

(,())kn k kn k kn k kn k p x P x V x p x ∈ = ))(,(*k k kn x p x V kn

在很多实际问题中，目标函数还满足以下递推关系 ：对任意的有

,0k k ≤

或 )))(,(,,())(,(1,11,1++++Φ=k n k k n k k k k kn k kn x p x V u x x p x V

在不同的问题中，目标函数也不同，可能是距离、利润、成本、产品的产量或资源的消耗等等、例如：在最短行军路线问题中，目标函数就是第k 段由点到达终点G 的距离：

kn V k x =

kn V ),...,,(1n k k kn x x x d + =

),...,,,(11?+n k k k kn u u u x d =∑

?=1

),(n k j j j j u x v 其中表示第段的报酬函数，也即第段的距离。显然，它满足递推关系：

),(j j j u x v j j =+ kn V ),(k k k u x v ∑?+=1

1),(n k j j

j j u x v =+ ),(k k k u x v ),...(1,1n k n k x x V ++或有 =+ ))(,(0000x p x V n n ∑?=1

0),(k j j j j u x v ∑?=1

),(n k j j j j u x v =0000(,())(,())k k kn k kn V x p x V x

p x k + 其中k x

是由前一段子过程在子策略下确定的。 k p 0常见的目标函数的形式有：

1. 过程和它的任一子过程的指标是它所包含的各阶段指标之和，即

1

(,)(,)n k k i i i i k V x v x u ?==∑

其中表示第i 阶段的指标，这时

(,)i i i v x u 11(,)(,)(,)k k k k k k k V x v x u V x ++=+

2. 过程和它的任一子过程的指标是它所包含的各阶段的指标的乘积，即

1

(,)(,)n k k i i i i k V x v x u ?==∏

此时

11(,)(,)(,)k k k k k k k V x v x u V x ++= i

3. 过程和它的任一子过程的指标是它所包含的各阶段的指标的最小值，即

1

(,)min [(,)]k k i i i k i n V x v x u ≤≤?= 此时

11(,)min[(,),(,)]k k k k k k k V x v x u V x ++=

从上面的叙述可以看出，在初始状态给定 是，指标函数是策略确定的函数。指标函数的最优值称为最优值函数，用()k k f x 表示：

{,}

()(,,)k k k k k k u f x opt V x u =

其中opt 表示取最优。实际问题中取最大时即为max ，取最小时即为min 。

由上我们可以看到，一个确定性决策过程是由“状态、决策、状态转移规律、报酬函数和目标函数”等五个重要部分组成。因此，从一般抽象理论出发，定义确定性决策过程（即确定性动态规划规则）的基本模型如下。

定义 由具有下述意义的五重组{,U ,,, }，记为{构成的决策过程，称为确定性决策过程（亦称确定性动态规划）。

X ),(k k k u x T ),(k k k u x v ),(kN k kN p x V ,,,,}X U T v V (1) 为状态空间。第k 段状态集合为，其元素为，即。

X k X k x k x ∈k X ?X (2) 为决策空间。第段允许决策集合为，其元素为，即。

U k X k )(k k x D ()k k u x ()k k u x ∈)(k k x D ?U 从出发全过程的允许策略为={，，…，

}，其允许策略集为，即k x )(00x P N )(00x u )(11x u )(11??N N x u )(00x P N )(00x p N ∈)(00x P N 。

k N ?子过程的允许策略为={，…，}，其允许策略集为，即。

)(k kN x p )(k k x u )(11??N N x u )(k kN x P )(k kN x p ∈)(k kN x P (3) T 为状态转移方程：=。

1+k x ),(k k k u x T (4) 为第段处于状态采取决策时所得的效果（所得的报酬），称为报酬函数。它是定义在),(k k k u x v k k x k u D X ×上的函数。

(5) =

))(,(0000x p x V N N ),....,,(100N N x x x V =

),....,,,(11000?N N u u u x V =))(,(k kN k kN x p x V 1,11,1(,,(,())k k k k N k k N k x u V x

p x ψ++++ 这里，函数对变元来说要严格单调。

k ΨN k V ,1+1.3 动态规划的基本方程

如果我们引用上节所介绍的概念和记号，将求解过程逐步写下来，那么就可归纳出该问题求解的动态规划的数学模型。具体如下：

(1) 第5段：

G F F f →=115,4)(

*2*5,3)(2G F F f →=

(2) 第4段：41415()min{(,)()}F

f E v E F f =+F = 4115141252min{(,)()(,)()}v E F f F v E F f F ++， =7}35,43min{=++

其最优点为，即

1F 11F E →2*442()min{(,)()F

5}f E v E F f =+F 5 =

4215142252min {(,)()(,)()}v E F f F v E F f F ++， =m

in{54,23}5++=其最优点为，即

2F *32F E →3443()min{(,)()}F

f E v E F f =+F ========= =

4315143252min{(,)()(,)()}v E F f F v E F f F ++，=

93}6,4min{6=++其最优点为，即

2F 23F E →同理可推得：

(3) 第3段： 1*3314()min{(,)()}7E

f D v D E f E =+最优点为。 *

2

E 32324()min{(,)()}6E

f D v D E f E =+ 最优点为。

2E 33334()min{(,)()}8E

f D v D E f E =+ 最优点为。

2E (4) 第2段： 12213()min{(,)()}13D

f C v C D f D =+最优点为。

1D *22223()min{(,)()}10D

f C v C D f D =+ 最优点为。

*1D 23233()min{(,)()}9D

f C v C D f D =+ 最优点为。

2D 24243()min{(,)()}12D

f C v C D f D =+ 最优点为。

3D (5) 第1段： 1*1112()min{(,)()}13C

f B v B C f C =+最优点为。 *

2

C 12122()min{(,)()}16C

f B v B C f C =+

最优点为。

3C (6) 第0段： 001()min{(,)()}18B

f A v A B f B =+=?最优点为。

*1B 于是，由后反推回去（上述各段中带*号的式子）即得最优化路径：

G G F E D C B A →→→→→→→**2*2*1*2*1

若引用状态变量和决策变量的记号，则上述各式可合并成下列方程组，这就是最短路线问题的动态规划数学模型：

k x k u (DP) (1-1)

1()()66()min {(,())(())};5,4,3,2,1,0()0;

k k k k k k k k k k k k k u x D x f x v x u x f u x k f x +∈=+=???=??并规定这里，DP 是Dynamic Programming 的缩写。表示第6段的点（即G 点）到过程的终点（也是G 点）的最短距离，当然它的值为0。

)(66x f 一般地，多阶段确定性决策过程的动态规划数学模型为：

(DP) (1-2)

11()()()opt {(,)()};1,1,0()0;

k k k k k k k k k k k u x D x N N f x v x u f x k N f x ++∈=+=???=??注意 式(1-2)中目标函数是各段报酬函数和的形式。由于状态转移方程为，所以式(1-2)又叫做该决策过程的逆序解法的基本方程。

),(1k k k k u x T x =+由上例可以看出建立DP 模型时，必须做到

1. 将过程进行恰当的分段，一般可以根据时间和空间划分；

2. 正确选择状态变量，使它既能描述过程，又能满足无后效性；

k x 3. 确定决策变量及每个阶段的允许决策集合k u ()k k D x ；

4. 写出状态转移方程：=；

1+k x ),(k k k u x T 5. 根据题意写出指标函数，它应满足

k V 1) 是定义在全过程及所有后部子过程上的数量函数；

2) 满足递推关系

11111(,,,,)[(,,(,,)k k k k k k k k k k k V x u x u x u V x u ]ψ+++++=

3) 1(,,)k k k k x u V ψ+对于其变量1k V +严格单调，通常取指标函数为下列形式

1

(,)(,)n k k i i i i k V x v x u ?==∑

其中表示第i 段的指标，它显然满足上面三个性质，递推关系可以写成

(,)i i i v x u 1(,)k k k k k V v x u V +=+

下面我们举2个例子。

例1.2 下图是某城市的街道图，每条线代表街道，其上的数字代表走过这条街道所需的费用（通常可以指时间、费用或距离），从A 出发由左向右行进到B ，问应按怎样的路线行走能使总的费用最小？

图 1.3

解：首先建立坐标系如图6，A 的坐标为()0,0B 的坐标为()6,0等等，单箭头表示只允许沿街道向右行进。定义(),s x y 为连接顶点(),x y 和终点B (的路线的最小费用值。于是，费用值就是顶点坐标函数。设)6,0=),(y x u α连接顶点(),x y 和顶点的线路所具有的费用，u 表示从(1,1x y ++)(),x y 沿线路斜上行；(,)d x y α表示连接顶点(,)x y 和顶点的线路所具有的费用，d 表示从(()1,1x y +?),x y 沿线路斜下行。如果不存在这样的路线，规定),(y x u α或),(y x d α等于例如∞∞=)2,4(u α。

利用最短线路问题的特点可以得出递推关系

()((,)1,1(,)min (,)1,1u d x y s x y s x y x y s x y αα+++)????=??++?????

(1.2) 且满足

()6,00s = (1.3)

这是因为从B 到B 的费用是0，最后这个条件称为边界条件。令(6,0))(6,0(,)p x y u =表示从(),x y 斜上行是最优决策，(,)p x y d =表示(),x y 斜下行是最优决策，于是有

0(5,1)min 220s ∞+??==??+??

(5,1)p d =

10(5,1)min 1(5,1)0s p +???==?=??∞+??

u d =u =u d =d =d u d =d =du d =d u =) (4,2)min 7(4,2)52s p ∞??==??+??

22(4,0)min 4(4,0)81s p +??==??+??

14(4,2)min 5(4,2)s p +???==?=??∞??

(3,3)min 10(3,3)37s p ∞??==??+??

37(3,1)min 8(3,1)44s p +??==??+??

24(3,1)min 6(3,1)25s p +???==?=??+??

25(3,3)min 7(3,3)s p +???==?=??∞??

210(2,2)min 9(2,2)18s p +??==??+??

18(2,0)min 8(2,0)26s p +??==??+??

56(2,2)min 11(2,2)47s p +???==?=??+??

59(1,1)min 12(1,1)48s p +??==??+??

78(1,1)min 14(1,1)311s p +???==?=??+??

112(0,0)min 13(0,0)014s p +??==??+??

所以最小费用是13 从(出发，最短线路是即

0,0,,,,,,u d d u u d ()0,0(1,1)(2,0)(3,1)(4,0)(5,1)(6,0)→→→?→→→

例1.3 在上例中增加一个约束，从A 到B 的过程中，如果达到一个顶点后要转向继续前进，就要受到惩罚，费用为3，如果不转向而继续直线前行，就没有惩罚，在这样的约束时用DP 方法解这个问题。

解：在没有约束时间问题的解是A-C-F-J-M-O-B ，费用是13，这条线路看起来象图12.它有三次转向，所以存在转向惩罚约束时，这条路线的总费用是，就可能不再是最优的了，因为可能存在原来费用小于19而只包含

13+33=22×

一次转向的线路。

设在顶点A 已知从C 到B 及从D 到B 的最优路线的费用（包括转向惩罚），如果从A 上行到C 费用为1，又从C 继续上行不转向是从C 到B 得最优线路的话，那么这条线路的费用就是从C 到B 的最小费用；如果从C 转向下行是最优决策，使包括从C 到B 转向惩罚在内的费用最小，于是总费用是沿AC 的费用加上转向费用3再加上从C 到B 的最小费用。还有一种可能必须考虑，如果从C 上行到B 的线路的最小费用只比从C 到B 的最优路线（假设它是从C 转向下行）费用仅仅多1或2，或许应在C 继续上行而避免转向惩罚费用3，即使从C 到B 的最优线路是从C 转向下行，使用不转向的线路仍较转向下行更为可取，

所以在C 需要知道的是上行从C 到B 的最小费用

（包括C 以后的任何转向惩罚）及选择下行离开C 的最小费用，就是说在顶点C 需要知道两个数，相似的分析对D 亦成立，于是定义最优值函数表示按(,,)s x y z z 指示的方向从顶点(,出发到顶点B 的线路费用加转向费用之和的最小值。其中)x y z 只取两个值：=0z 表示上行；=1z 表示下行。

现在设从顶点(,)x y 上行到达(1,1)(0x y z )++=，如果再继续上行，其余费用是；如果转向下行，费用是3（转向费用）加上。所以从(1,1,0s x y ++))(1,1,1s x y ++(,)x y 上行的最小费用是这两个值的最小者。故由最优化原理得递推关系

(,)(1,1,0)(,,0)min (,)(1,1,1)3(1,1,0)(,)min .(1,1,1)3n d d a x y s x y s x y a x y s x y s x y a x y s x y +++??=??++++??++??=+??+++??

(2.1.7) 相似地，如果从(,)x y 下行，得

3+(1,-1,0)(,,1)(,)+min (1,-1,1)d s x y s x y a x y s x y +??=??+??

(2.1.8) 将(2.1.7)和(2.1.8)合并写成一个公式：

(,,)(1)(,)(,)

(1,-12,)min 3(1,12,1)n d s x y z z a x y za x y s x y z z s x y z z =?++???=??+++????

(2.1.9) 边界条件是

(6,0,0)0,(6,0,1)0.s s == (2.1.10)

在计算时规定，如果从(,)x y 出发首先在z 表示的方向移动，则(,,)p x y z U =表示继续上行是下一个最优决策，(,,)p x y z D =表示继续下行是下一个最优决策。如果不是网络的顶点，。于是计算过程于下：

s =∞6(5)k x ==时，

(5,10)+min 3+3(5,11)2+min 200(5,-10)1+min 133(5,11)+min .s s s s ∞??=∞=∞??∞????==????

??==????

+∞???=∞=∞??∞??，，，，，，

，5(4)k x ==时，

(4,20)+min 3+3+(5,1,0)(4,21)5+min 7(4,2,1),(5,1,1)(5,1,0)(4,00)2+min 7(4,0,0),3+(5,1,1)3+(5,1,0)(4,01)8+min 12(4,0,1),(5,1,1)(4,2)4+mi s s s p s s s p s s s p s s ∞??=∞=∞??∞??

??===????

??===????

???==?????

?=，，

，，，，，，，0(5,1,0)n 5(4,2,3+(5,1,1)(4,2);s D D U =0),p U s s ???=?=?????

?=∞，，1

4(3)k x ==时,

(3,30)=s ∞，， 3+(3,31)3+min 10(3,3,1),7s p ∞??==????

，，D =D ），U =U =U =U = (3,10)3+min 13(3,1,0=3+7s p ∞??==????

，， 3+7(3,11)4+min 14(3,1,1),12s p ??==????

，， 7(3,-10)2+min 9(3,-1,0),3+12s p ??==????

，， 3+5(3,-11)2+min 10(3,-1,1),s p ??==??∞??

，， 5(3,-30)2+min 7(3,-3,0),(3,-31)=s p s ??==??∞??

∞，，，；

3(2)k x ==时，

(2,20)2+min 15(2,2,0=3+10s p ∞??==????

，，D ）

，D ），U ），D ），U ），U ）；U ），U ），U ），D ），D ），D ） 3+13(2,21)1+min 15(2,2,1=14s p ??==????

，， 13(2,00)1+min 14(2,0,0=3+14s p ??==????

，， 3+9(2,01)2+min 12(2,0,1=10s p ??==????

，， 9(2,-20)5+min 14(2,-2,0=3+10s p ??==????

，， 3+7(2,-21)4+min 14(2,-2,1=s p ??==??∞??

，，2(1)k x ==时，

15(1,10)5+min 20(1,1,0=3+15s p ??==????

，， 3+14(1,11)4+min 16(1,1,1=12s p ??==????

，， 14(1,-10)7+min 21(1,-1,0=3+12s p ??==????

，， 3+14(1,-11)3+min 17(1,-1,1=14s p ??==????

，，1(0)k x ==时，

20(0,00)1+min 20(0,0,0=3+16s p ??==????

，， 3+21(0,01)0+min 17(0,0,1=17s p ??==????

，，从最后的计算可知，从A 出发上行的最优线路的费用是20.而下行的最优线

路的费用是17.所以在A 点应选择下行，因为(0,0,1

=p D ），则在顶点继续向下：因为1-1（，）(1,-1,1

=p D ），故到达后仍继续向下：如此继续直到最后，得到最优线路是

（，线路费用是14，加上一次转向费用3得总费用是17.

-（2，2）0，0),(1,-1),(2,-2),(3,-3),(4,-2),(5,-1),(6,0)1.4 动态规划的基本定理和最优化原理

从上述条件和规定出发，我们得到{的最优策略的充要条件——即动态规划基本定理（也叫最优性定理）。它是动态规划的理论基础。

,,,,}X U T v V 定理1.1 设

))(,(0000x p x V N N =∑

?=1

),(N j j j j u x v 则允许策略是{的最优策略的充要条件：对任意：0和有

*0N p ,,,,}X U T v V k k N <<0x 0X ∈))(,(0*000x p x V N N =000000()()opt {(,())opt [(,())]}k kN k k k kN k kN k p x p x

V x p x V x p x +

证明 必要性：设是最优策略，则

)(0*0x p N ))(,(0*000x p x V N N =

000000()

opt [(,())]N N N p x V x p x =000000()

opt {(,())(,())}k k k kN k kN k p x V x p x V x p x + =000000()()opt {opt {(,())(,()}}k kN k k k kN k kN k p x p x

V x p x V x

p x + =000000()()opt {(,())opt [(,())]}k kN k k k kN k kN k p x p x

V x p x V x

p x + 上述第二行中，取决于(,())kN k kN k V x p x k x 和()kN k p x ，而k x

是及决定的，因而在上求最优解，相当于将分成两部分与0x )(00x p k )(00x p N )(00x p N )(00x p k ()kN k p x

，先在()kN k p x

上求最优值，然后再求这些子最优解在上的最优解，从而推得第三行。

)(00x p k 充分性：设满足式（2.2.1）

，则对任一)(0*x p oN )(00x p N ∈)(00x P N 有 ))(,(0000x p x V N N =0000(,())(,())k k kN k kN k V x p x V x

p x + ∝0000()(,())opt (,())kN k k k kN k kN k p x

V x p x V x p x + ∝000000()()opt {(,())opt [(,())]}k kN k k k kN k kN k p x p x

V x p x V x

p x + =

))(,(0*000x p x V N N 故是最优策略。

)(0*x p oN 这里记号：“∝”是当opt 是时表示“max ≤”；当opt 是时表示“”。由上面得定理，易得下述决策过程的“最优化原理”。

min ≥最优化原理 设=，允许策略是 ))(,(0000x p x V N N ∑?=1

),(N j j j j u x v )(0*x p oN {,,,,}X U T v V 的最优策略，则对任意：0k k N <<, ,它的

子策略对于以为起点的),(*1*11*???=k k k k u x T x )(**k

x p kN *k x k N ?子过程来说，必是最优策略。 （注意，，都是最优策略中的最优状态和最优决策。

） *1?k x *k x *k u 证明 由题设是最优策略，故有

)(0*x p oN ))(,(0*000x p x V N N = （2.3.1）

))(,())(,(***0*000k kN k k x p x V x p x V kN k +

用反证法：若不是最优子策略，则有 )(**k

kN x p ))(,(***k kN k x p x V kN ∝00*()

opt (,())k kN k k kN p x V x p x * （2.3.2） 此处记号“∝”是：当表示时它表示“opt max <”；当表示时它表示“”。 将式（2.3.2）代入式（2.3.1）得：

opt min >))(,(0*000x p x V N N ∝))(,(0*000x p x V k k +

***()opt (,())k kN k kN k

kN p x V x p x ∝000000()()opt {(,())opt [(,())]}k kN k k k kN k kN k p x p x

V x p x V x

p x + （2.3.3） 式（2.3.3）说明，根据充要条件式（2.2.1）得知不是最优策略，这与题

设矛盾，故得证。

)(0*x p oN 最优化原理所表述的命题，其具体意义在最短行军路线问题的“标号法”解法中已指出：“如果某一条路线是最优路线，那么该路线上任一段子路线，必

定也是段上的以k N ?k N ?*k x 点为起点的最优路线。”一般叙述为：“作为整个过程的

最优策略具有这样的性质：即无论过去的状态和决策如何，对前面的决策所形成的状态而言，余下的诸决策必须构成最优策略。”利用此原理，可以把多阶段决策问题的求解过程看成是一个连续的递推过程，由后向前逐步推算，在求解时，各状态前面的状态和决策，对其后面的子问题来说，只不过相当于其初始条件而已，并不影响后面过程的最优策略。

最优化原理，不仅对于多段确定性决策过程成立，而且对很广泛的许多类型的决策过程也成立，但对于不同类型问题所建立的严格定义的动态规划模型，必须对相应地最优化原理给予必要的证明。

与定理1.1可证明下面定理是正确的。

定理1.2 设

))(,(0000x p x V N N =∑,

?=1

0),(N j j j j u x v 则对任意，:02,k k N k s ≤≤?<

上的允许策略是最优策略的充要条件是，它满足下列方程：

,,,,}X U T v V k N ?)(*k kN x p ))(,(*k kN k kN x p x V =()()opt {(,())opt (,())}ks k sN s ks k ks k sN s sN s p x p x

V x p x V x

p x + （2.4.1） 其中s x

是由和所确定的第段状态、 若在式（2.4.1）中，依次取可，并注意到：

k x )(k ks x p s 1,2,3.....s = )()(1,k k k k k x u x p =+

),())(,(1,1,k k k k k k k k k u x v x p x V =++ )()(1,k k k k k x D x p =+

1(,)k k k k x

T x u += 并定义目标最优值函数为

*()

()opt (,())(,())kN k k k kN k kN k kN k kN k p x f x V x p x V x p x ==

0k N 1≤≤?则得如下推论。

推论 设=∑，则函数序列{},{}分别是目标最优值函数和最优决策函数序列的充要条件是它们满足下列递推方程组：

))(,(0000x p x V N N ?=1

0),(N j j j j u x v )(k k x f )(*k x u k （2.4.2） 1()**1(){(,)[(,)](,)((,))1,2,......,3,2,1,0()0

k k k k k k k k k k k k u x k k k

k k k N N f x opt v x u f T x u v x u f T x u k N N f x ++=+???=+??=???=?}

方程组（2.4.2）就是我们以严格理论（即定理以及最优化原理）为基础建立起来的多段确定性决策过程的数学模型，它也是第一章中曾经从最短路线问题抽象归纳出来的动态规划的基本方程组。从这里也可看到，我们把定理一作为动态规划的基本定理或把“最优化原理”作为动态规划的基本原理是适宜的。

1.5 可逆过程及顺序解法

在最短路线问题中，因从A 点出发到终点G 点，故从A 点到G 点的顺序划分阶段，但解题时却是从G 点开始逆推到A 点，这种解法叫做逆序解法（或反向法）。但应指出，对于最短路线问题，它的两端都是固定的，且路线上的数字表示两点间的距离，那么从总体看，以A 点为始点G 为终点的最短路线，应与以G 点为始点A 为终点的最短路线相同。因而，我们也可以按A 到G 的顺推秩

序来求解此问题。如用标号法求解，其顺序标号列于图1.3.

图 1.3

上述这种顺推解法，叫做顺序解法（或前向法）。而这种可以把阶段次序颠倒过来求最优解的多段决策过程称为可逆过程。对可逆过程的顺序解法，我们也可建立如下数学模型。

设阶段序数和状态变量的定义如前述不变，而决策变量表示第段各状态到第段状态的决策，相应地其允许决策集合为，

即，

则一般的状态方程不是由去确定，而是由k k x )(1+k k x u 1+k 1+k x k k x )(11+?k k x D )()(111+?+∈k k k k x D x u k k u x ,1+k x 1k x +和来确定，即状态转移方程可记为：

1(k k u x +)1)k x ))(,(111++?=k k k k k x u x T x

对于最短路线问题而言，其状态转移方程为：

111(,())(k k k k k k k x T x u x u x ?+++==

于是，最短路线问题的顺序解法的数学模型为：

(DP) []1111()00()opt (,())(());12...,()0;

k k k k k k k k k k k k u D x f x v x u x f u x k f x +???∈?=

+???=?，N = (1-3) 一般地说，当初始状态给定时，用逆序比较方便;当终止状态给定时，用顺序比较方便。