数学 动态规划

逆序解法：Vk ,n
n
vj (sj,u j )
jk
基本方程： fk
(Sk
)
opt
uk Dk
vk (sk,uk )
f k 1 ( S k 1 )
fn1(Sn1) 0
顺序解法：V1，k
k
v j (s j＋1, u j )
j 1
基本方程： fk (Sk＋1)
opt
uk Dk
vk (sk＋1,uk )
其中 vj (s j ,u j ) 表示第j阶段的阶段指标，这时上式可写成
Vk,n (sk , uk , , sn1) vk (sk , uk ) Vk1,n (sk1, uk1, , sn1)
2) 过程和它的任一子过程的指标是它所包含的各阶段的指标的
乘积。即
n
Vk,n (sk , uk ,L , sn1) v j (s j , u j ) jk
设备
甲
乙
丙
0
0
0
0
1
3
5
4
2
7
10
6
3
9
11
11
4
12
11
12
5
13
11
12
§7－1 动态规划的基本概念和基本原理
一. 动态规划的概念
❖ 阶段 ❖ 状态 ❖ 决策和策略 ❖ 状态转移 ❖ 指标函数
(1) 阶段
把所给问题的过程，恰当地分为若干个相互 联系的阶段，以便能按一定的次序去求解。描述 阶段的变量称为阶段变量，常用k表示。阶段的 划分，一般是根据时间和空间的自然特征来划分， 但要便于把问题的过程能转化为多阶段决策的过 程。如例4可分为5个阶段来求解，从A到F可以分 成从A到B，从B到C，从C到D，从D到E，从E到 F； k分别等于1、2、3、4、5。
不同的决定(或选择)，从而确定下一阶段的状态，这种决定 称为决策。描述决策的变量，称为决策变量。它可用一个数 、一组数或一向量来描述。常用uk(sk)表示第k阶段当状态处 于sk时的决策变量。它是状态变量的函数。在实际问题中， 决策变量的取值往往限制在某一范围之内，此范围称为允许 决策集合。常用Dk(sk)表示第k阶段从状态sk出发的允许决策 集合，显然有uk(sk)∈Dk(sk)。
这时就可写成
Vk,n (sk , uk , , sn1 ) vk (sk , uk )Vk1,n (sk1, uk1, , sn1 )
指标函数的最优值，称为最优值函数，记为 fk (sk ) 它表示从第k阶段的状态sk开始到第n阶段的终止状态的过程， 采取最优策略所得到的指标函数值。即
fk (sk ) opt Vk,n (sk , uk ,L , sn1)
Vk,n (sk , uk , sk1 , , sn1 ) k [sk , uk ,Vk1,n (sk1 , , sn1 )]
在实际问题中很多指标函数都满足这个性质。
常见的指标函数形式
1) 过程和它的任一子过程的指标是它所包含的各阶段的指
标的和。即
n
Vk,n (sk , uk ,L , sn1) v j (s j , u j ) jk
第七章 动态规划
第七章 动态规划
最短路线问题 给定一个线路网络图，要从A地向F地铺设一条输油管
道，各点间连线上的数字表示距离，问应选择什么路线， 可使总距离最短？
某公司拟将某种设备5台，分配给所属的甲 乙丙三个工厂，三个工厂获得此设备后，预测 可创造的利润如表，问这5台设备应如何分配给 这3个工厂，使得所创造的总利润为最大？
状态——过程中各阶段所处的“位置” 性质：如果某阶段状态给定后，则在这个阶段以后的过程的发 展不受这个阶段以前的各阶段的影响。无后效性 状态必须满足一定的条件： •能够描述问题的变化过程 •具有无后效性 •能够直接或间接的决算出来
(3)．决策与策略 决策表示当过程处于某一阶段的某个状态时，可以作出
fk－1(Sk )
f0 (S1) 0
（3） 基本方程形式不同 指标函数为阶段指标积形式
逆序解法：Vk ,n
n
vj (sj ,u j )
jk
基本方程： f
k
(
S
k
)
opt
uk Dk
Baidu Nhomakorabea
vk (sk,uk ) •
f k 1 (S k 1 )
fn1(Sn1) 1
顺序解法：V1，k
k
v j (s j＋1, u j )
12
14 17
14
3.逆序解法与顺序解法比较
（1） 状态转移方式不同
逆序解法中第k段的输入状态sk，决策为uk，由 此确定输出为sk+1，即第k+1段的状态，状态转移方 程为
Sk1 Tk (Sk , uk )
顺序解法中第k段的输入状态sk+1，决策为uk， 由此确定输出为sk，状态转移方程为
Sk Tk (Sk1, uk )
j 1
基本方程： f
k
(Sk＋1
)
opt
uk Dk
vk (sk＋1,uk ) •
uk ,L , un
可根据题意而取min或max。
二. 动态规划的基本思想与基本原理
从A到F可以分成从A到B，从B到C，从C到D，从D到E，从E到F 从A到F可以分成从B到A，从C到B，从D到C，从E到D，从F到E
1、 逆序解法
12
13
7
10
4
5
8
3
15
5
9
12
13
7
10
4
17
5
8
3
15
5
（2） 指标函数的定义不同
逆序解法中，定义最优指标函数 fk(sk)表示第k段 从状态sk出发到终点后部子过程最优效益值，f1(s1) 是整体最优函数值。
顺序解法中，定义最优指标函数 fk(sk+1)表示第k 段从起点到状态sk的前部子过程最优效益值，fn(sk+1) 是整体最优函数值。
（3） 基本方程形式不同 指标函数为阶段指标和形式
(5)．指标函数和最优值函数 用来衡量所实现过程优劣的一种数量指标，称为指标函数
。它是定义在全过程和所有后部子过程上确定的数量函数。常 用Vk,n表示，即
Vk,n Vk, n (sk , uk , sk 1,L , sn1), k 1, 2,L , n
对于要构成动态规划模型的指标函数，应具有可分离性 ，并满足递推关系。即Vk,n可以表示为sk、uk、Vk+1,n的函数， 记为
9
2、 顺序解法
阶段的划分A到F 可以分成从B到A，从C 到B，从D到C，从E到 D，从F到E
当初始状态给定时可用逆序解法，当终止状态给定时可 用顺序解法。若问题给定了一个初始状态与一个终止状态， 则两种方法均可使用。
13 17
15
12 7
10 5
8 5
9 4
0
5
4 0
3
6 11
7 12
10 14