动态规划

x2
x1
动态规划（1）
X2 为整数 F*2（V2 ，W2 ）= Max ([ V]是小于等于V的最大整数) F*1（V1 ，W1 ）= Max =Max 0≤2X1 ≤V1 0≤5X1 ≤W1 {8 X1 + F*2（V2 ，W2 ）} {8 X1 + F*2（V1 -2X1，W1 - 5X1）} (重量) (体积) {7 X2} = 7min {[ V2], [W2/2]}
S3 = 0 S3 = 1 S3 = 2 S3 = 3 S3 = 4 S3 = 5
0
注意：投资到3项目到3项目的资金总数 S3 = 投资到3项目的资金总数 X3
动态规划（2）
投资到2 项目的资 金总数X2 P2(X2) ＋F3 ( S2– X2) X2 =0 0 0＋4 0＋6 0＋11 0＋12 0＋12 5＋0 5＋4 5＋6 5＋11 5＋12 10＋0 10＋4 10＋6
X1 为整数
而V1 =8，W1=15 因此 0≤2X1≤8 F*2（V1 -2X1，W1 - 5X1）= 7min {[ 8 -2X1], [(15 - 5X1)/2] {8 X1 + 7min {[ 8 -2X1], [(15 - 5X1)/2]} F*1（8 ，15 ）= Max
0≤5X1 ≤15
5 状态转移方程：确定由一个状态转到另一个状 态的演变过程。 第 k 阶段到 k 1 阶段的状态转移方程为
sk 1 uk (sk )
6 指标函数：衡量过程优劣的数量指标。动态规 划模型的指标函数应具有可分离性和满足递 推关系。
Vk ,n Vk ,n (sk , uk , sk 1,
分配给1厂到3厂 的设备总台数 S1 = 5 由第三表知：总利润21万元
由已知表：第1厂分配4台设备得效益12， 由上表：第2，3厂分配 1台设备得效益5
X1 ＝0，第1工厂不分配， 第2，3 工厂分配 5 台， S2 = X2 +X3 ＝5 由第二表对应 S2 ＝5知： X2 ＝2，第2工厂分配2台， 于是第3工厂分配 3台 最优分配：第1厂 分配0台； 第2厂 分配2台；第3厂分配3台； 总利润21万元
, sn1 ) k 1, 2,
,n
动态规划（1）
动态规划解法：
第一步：划分阶段
第二步：选择状态变量 第三步：确定决策变量 第四步：写状态转移方程 第五步： 指标函数
动态规划（1）

动态规划的逆序解法和顺序解法：
f k ( sk ) opt [vk ( sk , uk ) f k 1 ( sk 1 )]
动态规划（1）
H3(S3,X3)
9/4
在X3=9/4, F3(S3)有最小值,
10
X3
F3(S3) 最大值 X3 ＝10
动态规划（1）
背包问题用动态规划解下列问题：
Max Z= 8 X1 +7X2 经济意义： X1 , X2为物品数量，8，7为单位 物品的价值，2，1为单位物品的体积，8为背 包的最大容积，5，2为单位物品的重量， 15为背包的最大承受重量（太重背包带会断）
S3 = 0 S3 = 1 S3 = 2 S3 = 3 S3 = 4 S3 = 5
0
注意：分配到3厂到3厂的设备总台数 S3 = 分配到3厂的设备台数 X3
动态规划（2）
分配到2 厂的设 备台数 X2 =0 X2 P2(X2) ＋F3 ( S2– X2) X2 =1 X2 =2 X2 =3 X2 =4 X2 =5 0 5＋0 5＋4 5＋6 10＋0 10＋4 11＋0 5 10 14 0 1 2 2 F2 ( S2) X*2
动态规划（2）
分配到1厂 的设备台 X1 =0 数 X1 P1(X1) ＋F2(5 - X1) X1 = 1 X1 = 2 X1 = 3 X1 = 4 X1 = 5 3＋16 =19 7＋14 =21 9＋10 =19 12＋5 13＋0 =13 21 0，2 F1(5 ) X*1
S1 = 5
0＋21 =21
u k Dk ( S k )
k n, n 1,,1 f n1 ( sn1 ) 0
f k ( sk 1 ) opt [vk ( sk 1 , uk ) f k 1 ( sk )]
u k Dk ( S k 1 )
k 1,2,, n f 0 ( s1 ) 0
X1 为整数 由于 X1 ≤ min {[ 8 /2], [(15/5)]=3 F*1（V1 ，W1 ）= Max (X1 为0，1，2，3，分别代入下式，也可用分析) {8 X1 + 7min {[ 8 -2X1], [(15 - 5X1)/2]}}
动态规划（1）
X*1 =0 X*2 = min {[ V2], [W2/2]}
动态规划（2）
一个老板要把五台高效率的设备 调配给自己的三家分厂，各个工 厂得到这些设备所产生的利润如 下表，问如何调配可以获得最大 利润？ 可以理解为5亿 元，投资于三 个项目 工厂3 项目3 0 S3 = X3 S2 = X2 +X3 S1 = X1+X2+X3 S3 X3 S2 S1 X2
产生利润 0台 0亿
工厂1 项目1 0
工厂2 项目2 0
1台 1亿
2台 2亿 3台 3亿 4台 4亿 5台 5亿
3
7 9 12 13
5
10 11 11 11
4
6 11 12 12
X1
动态规划（2）
P3(X3) X3 =0 X3 = 1 X3 = 2 X3 = 3 X3 = 4 X3 = 5 F3(S3) 0 4 6 11 12 12 4 6 11 12 12 X*3 0 1 2 3 4 5

, sn1 ) k 1, 2,
,n
表示从第 k 阶段的状态 s k开始到第 终止的过程。
n阶段的
7 最优值函数：表示从第 k 阶段的状态 s k 开始到第 n 阶段的终止的过程，采取最优策略所得到的指标 函数值。
f k (sk ) opt
uk ,
,un
Vk ,n (sk , uk , sk 1 ,
用 uk (sk ) 表示第 k 阶段当状态处于 s k 时的决策变量。 4 策略：是一个按顺序排列的决策组成的集合。
用
pk ,n (sk ) uk (sk ), uk 1 (sk 1 ),
, un (sn )
表示由过程的第 k 阶段开始到终止状态为止的过程，即问题的后部子 过程，称为 k 子过程策略。当 k 1 成为全过程的策略，简称策略。 所有策略（允许策略集合）中达到最优效果的策略为最优策略 k
五.
动态规划
动态规划（1）
动态规划的基本概念： 1 阶段：把问题分为互相联系有一定次序的阶段，一般按时间和空间的 k 1, 2,3, 4 自然特征划分。 2 状态：每个阶段开始所处自然状况或客观条件，不可控制。 用 Sk 表示第 k 阶段的状态变量，代表第 k 阶段所有始点的集合， 又称该阶段的可达状态集合（状态变量的取值范围）。 状态的性质：无后效性（马尔科夫性） 3 决策：某个阶段的某个状态决定下一个阶段的状态
动态规划（1）
动态规划应用之二：资源分配问题
引例：某种原料总数 为a分配给n种产品， 分配数量Xi用于生产 第i种产品，效益为 gi(xi)
MaxZ g 1( x1) g 2( x 2) ... gn( xn) x1 x 2 ... xn a xi 0
顺推法求解非线性规划： maxZ=4x1+9x2+2x32 x1+x2+x3=10 xi>=0 I=1,2,3
1台
2台 3台 4台 5台
3
7 9 12 13
5
10 11 11 11
4
6 11 12 12 阶段, 决策变量与 状态变量???
动态规划（2）
阶段, 决策变量与状态变量 决策变量: 分配到k厂的设备台数 Xk 状态变量: 分配到k厂到3厂的设备总台数 Sk, S3 = X3 S2 = X2 +X3 S1 = X1+X2+X3 产生利润 0台 工厂1 0 工厂2 0 工厂3 0 S3 X3 S2 S1 X2
1台
2台 3台 4台 5台
3
7 9 12 13
5
10 11 11 11
4
6 11 12 12
X1
动态规划（2）
P3(X3) X3 =0 X3 = 1 X3 = 2 X3 = 3 X3 = 4 X3 = 5 F3(S3) 0 4 6 11 12 12 4 6 11 12 12 X*3 0 1 2 3 4 5
动态规划（2）
另一个结果是，由第三表知：总利润也是21万元 X1 ＝2，第1工厂分配2台， 第2，3 工厂分配 3 台， S2 = X2 +X3 ＝3
由第二表 对应 S2 ＝3 知： X2 ＝2，第2工厂分配2台，
于是第3工厂分配 1台
最优分配：第1厂 分配2台；第2厂 分配2台；第3厂 分配1台；总利润21万元
S2 = 0 S2 = 1 S2 = 2
0 0＋4 0＋6 0＋11
S2 = 3 S2 = 4 S2 = 5
0＋12 0＋12
5＋11 5＋12
10＋6
10＋11
11＋4 11＋6
11＋0 11＋4 11＋0
16 21
1，2 2
分配到2厂到3厂的设备 总台数 S2 = X2 ＋ X3
由已知表：第2厂分配3台设备得效益11 由上表：第3厂分配2 台设备得效益6
S.T. 2X1 +X2 ≤ 8
5X1 +2X2 ≤ 15 X1 , X2 为非负整数
动态规划（1）
用动态规划逆序算法解下列问题（二维背包问题）： Max Z= 8 X1 +7X2 S.T. 2X1 + X2 ≤ 8 X1 , X2 为非负整数 解：用逆序算法。设： （最大效益，重量限制，体积限制） (重量)