运筹学课件动态规划

C4 A — B— C — D — E
f2(C1)=7,f3(C2)=8,f3(C3)=10,f3(c4)=9
阶段1
阶段2 阶段3 阶段4
S0={A} S1={B1,B2} S2={C1,C2,C3,C4 } S3={D1,D2} S4={E}
f3(D1)=11,f4(D2)=13
案例---资源分配
D1 5 E
D2 2
[引例] 马车驿站问题
f(C1)=8
阶段 起点 1A
终点
B1 B2
可选路线
AB1 AB2
路线数 2
f(B1)=8
B1 5 A
f(A)=313 8
B2
2 3 6
7 6
C1 6
f(C2)=85
C2 3
f(C3)=54
3 C3 3
84
f(B2)=11 C4
f(C1)=5
A —B— C —
最k优=4化原理
(Optimality principle) :
最k优=3策略具备这样的决性策质：:无D1论初E始 状态与初始决策如何,以后诸决策对 以第一个决策所形成的状态作为初 始状态的过程而言,必决然策构：成D2最优E策 策略.通俗地说:最优策略的子策略 也k是=2最优的.
例 A13—k如,其=B1，子1—在策C导略2入—:B案D11—例—C中决E2决决，,—策最策策最D：短：：1优A距—CC策12离E略B,为1DD是11 C2—D1—E, D1—E也决是策最：优C3的。D2
（4）状态转移方程 （5）递归方程（k→n）
1、划分为4个阶段 2、用点集表示各阶段的状态 S1=｛A｝;s2= ｛B1,B2,B3｝, s3= ｛C1,C2,C3｝; s4= ｛D1,D2｝ 3、指标函数：Vk，4（i）为第k阶段第i点到E点的距离 4、最优值函数fk（i）为i点到E的最短距离 5、决策变量xk=d[i,j]为第k阶段第i状态的选择 6、边界条件： f5（E）=0 7、基本方程： fk（i）=min｛d[i,j]+ fk+1（j） ｝(k=1,2,3,4)
C1
B1C1
f(D1)=2 f(E)=0
B1 C2
D1 2
C3 2
B1C2 B1C3
3
C2
B2C2
E
B2 C3
B2C3
3
1
C4
B2C4
D2
f(D2)=1
回顾分析C过1 程DD: 12
C1D1 C1D2
2
D —E
12不..将 每考3分 阶虑析 段始CC对 始终32 象 点点划 状DDDD状1221分 态态成与如终4CCCC何阶3322点形段DDDD状成1221; 态(无有记关忆22,而性);
阶段1 阶段2 阶段3 阶段4
3至.每终阶点段距C各离4 始之点DD和12状的态最为CC小44终值DD点(状12状态态转与移2始) 点
这种最优D化1 方法E 称为动D1态规E 划, 由美1 国
4个阶段
一共有2×3×2×1=12条不同的路线
数 立.学4家贝D尔2 曼等E 人于2D02世E纪50年代1 创
D1 5 E
D2 2
2
A5
1
B1
12 14
10 6
B2 10
4 13
B3
12 11
C1
3
9
6
C2
5
8
C3 10
D1 5 E
D2 2
同样，计算S(B1)、 S(B2) 、S(B3)又可以归结为性 质完全相同，但规模更小的问题，即分别求C1，C2，C3 到E的最短路径问题S(Ci) (i=1, 2, 3)。
动态规划用一种全新的思路来考虑这样的问题。
首先，把一个复杂的问题归结为若干个与原问题性 质完全相同，但规模较小的子问题，每一个子问题又可 以递归地归结为性质相同，规模更小的下层子问题。如 此不断进行，一直到子问题非常简单，可以解决为止。
然后，从这些最简单的子问题出发，依次计算上一 层子问题的最优解，直到求出原问题的最优解。
设某公司有某种原料，其数量为a，用于生产n种产品。若 分配数量xi用于生产第i种产品，其收益为gi（xi）。问应 如何分配，才能使生产n种产品的总收入最大？
解 把生产第k种产品看成是第k阶段，划分为n个阶段.
设 sk表示第k阶段初资源可用量（状态变量） xk表示分配给第k阶段资源的数量（决策变量），显然有： 允许决策集合
B1
12 14
10 6
B2 10
4 13
B3
12 11
C1
3
9
6
C2
5
8
C3 10
D1 5 E
D2 2
B1
12 14
10
C1
3
9
6
C2
5
8
C3 10
D1 5 E
D2 2
6
B2 10
4
C1
3
9
6
C2
5
8
C3 10
D1 5 E
D2 2
13
B3
12 11
C1
3
9
6
C2
5
8
C3 10
D1 5 E
D2 2
计算S(Ci)又可以归结为求从D1和D2到E的最短路径 S(D1)和S(D2)这两个子问题。
C1
3
9
6
C2
5
8
C3 10
D1 5 E
D2 2
C1
3
9
D1 5 E
D2 2
6
C2
5
D1 5 E
D2 2
8
C3 10
D1 5 E
D2 2
S(D1)和S(D2)是已知的，它们分别是：S(D1)=5， S(D2)=2。 因而，可以从这两个值开始，逆向递归计算S(A)的 值。
13.1.1 动态规划的基本概念
2
C1 6 8
5 A
3
B1 3 6
B2
8
7 6
C2
3 5
3 C3 3
84
D1 2
1 D2
E
C4 A— B— C — D — E
阶段1 阶段2 阶段3 阶段4
4个阶段
261345...状指决 策 状阶态标策 略 态段变函变 转:量数量移::方程 每 况 如 用 一 有把恰在 不 有 按 合 到 确 一 阶个 或 引 来 种 加3某 同 顺 ， 终 定 个 段所当种阶 客 例 衡 数 法一 选 序 由 止 过 状 状给地选:段 观 量 量 和阶 择 排 过 状 程 态 态择问分开 条 所 指 乘段列程态是的变,如:题为始件实标法的的为由演量引所现。两(的若某决第止一变值用例处过其种个策的过给k过干点中阶的程基形状组过程定集B程个段1自优本式态成程。后状表开，相然劣方，时的到第，(态示或始状的程通的集另如k下)k. 第 常互B子 果11加—过 确联阶法C程 定段系1形,决)B,的k的1式策—子状阶用变C过态2的段量,程B就较1，的，—是多第策C起以，3k略点+便其1称A阶公,子记 为 式能这 策 段s为3略 状按1种=：， 态{一选A记 变}择;定为量构的值P成k,次就n(了s完序k允),全即去许确决求定策。 第解的 P即k,2n集 ：。(阶sk合s)段k描=+{。1有x=述k不(Ts2(k阶个)同s,kx,状kx段状+k1)(态态s的k+{下1B变),1…允,B量,许2x}n,(决记sn)} 为 第 {s第 为 7起称表k策 量 x当 策 4D， 如 选 3Bs3C3.k到 种=1边1=(s34s始1—kD的 是 略 引 择和s{为示12,4s阶 阶=k5选CC==2界),或C集 状 。 例 了1过 +D—∈2{{21段 段阶。择,时,BDd3,条C2C终，3合 态 如 中A程ED(，11有有B32,，:段,[,—}件B,(,BD止4若导C1也变引：起Cs因,2421k即2CB4}3—)变条个个}选}不量例若始,;此入12C;,为,)记C则件状状=择4量同的中对有有}案18全为;、s。态态了，函：2AP，2个过=例—4B{B故数D,55D1常状程=1,B——]B—1决，{中1,1态D的,D用EC到AC策即，122—，一2—}、Ck,,变则即记B有个E2
13.1.2 动态规划的基本原理
2
C1 6 8
5
A 3
B1 3 6
8
B2
7 6
C2 3 5 3
C3 3 84
D1 2
1 D2
E
C4 A — B— C — D — E
阶段1 阶段2 阶段3 阶段4
4个阶段
设f(i)表示从点i到终点E的最短距 离,d(i,j)表示点i,j之间的距离.
显然f(E)=0,为该问题的边界条件.
划分阶段 确定状态变量及允许状态集合 确定决策变量及决策空间 确定状态转移方程 确定最优指标函数并建立递归方程
例：最短路径问题
找出A到E的最短路径
（1）分为四阶段，k=1,2,3,4。
（2）令 Sk （k→n）为k阶段初所处的位置。 （3）令决策变量 xk 为处于某阶段某位置时，选择
下一个位置。
依最据短这路一线原:A理，B从1后C决往2策前：D推1C各4阶E D段2 最最优短子路过长程:1，3 从而得到全程最优过 程。
决决策策：：BB12CC23
动态规划用一种全新的思路来考虑这样的问题。
首先，把一个复杂的问题归结为若干个与原问题性 质完全相同，但规模较小的子问题，每一个子问题又可 以递归地归结为性质相同，规模更小的下层子问题。如 此不断进行，一直到子问题非常简单，可以解决为止。
sk+1=sk-xk （状态转移方程） 指标函数：
s1=a
（边界条件）
若fk(sk)表示数量为sk资源分配给第k种产品时，从第k阶段到第n阶段 总收益，则有：
例1 资源分配问题
5台设备分配给3个工厂，盈利表如下，如何分配可使获利最大？
台数 0 1 2 3 4 5 工厂 分析 3个工厂0看成4 3个8阶1段. 1 1 阶状决则段 态 策 有甲乙丙变 变 变 sk+量 量 量1=xskskkk(-表表kx00=k；示示1,2为分53,3分配)；97配给给第1119第k个k个工1121 工厂厂的1121 至设第备n台个数工；厂的设备台数； Pfk(ks(xk)k表)表示示为为台xk设台备设分备配分给配第到k第1个k工个2厂工至厂第所n得个赢工利厂值所；得到的最大赢利值
。则有:
k=3
s3
x3 0
1
2
3
4
5
k=2
s2
x2 0
1
2
3
4
5
k=1
0
1
0
3
0 0 0+3 0+7 0+9 0+11 0+12
1
5+0 5+3 5+ห้องสมุดไป่ตู้ 5+9 5+11
P3(x3)
2
3
4
7 9 11
P2(x2)+f3(s2-x2)
2
3
4
9+0 9+3 11+0 9+7 11+3 12+0 9+9 11+7 12+3
运筹学课件动态规划
最短路径问题
从起点A到终点E要经过A、B、C、D、E五站，每一站 可以在不同的备选地点停留。每一站的备选地点，每个地 点和下一站的各备选地点之间的距离如下图。
2
A5
B1
12 14
10 6
B2 10
4
1
13
B3
12 11
求从A到E的最短路径
C1
3
9
6
C2
5
8
C3 10
D1 5 E
D2 2
0123 4 5 甲 0 4 8 11 11 11 乙 0 5 9 11 12 12 丙 0 3 7 9 11 12
5
f3(s3)
x3*
0
0
3
1
7
2
9
3
11
4
12
12
5
5 12+0
f2(s2)
0 5 9 12 16 18
x2*
0 1 2 1，2 2 2，3
s1
x1
0
P1(x1)+f2(s1-x1)
以最短路径问题为例，来说明动态规划的基本思想 。
从A到E的最短路径S(A)，可以转化为三个性质完全相 同，但规模较小的子问题，即分别从B1、B2、B3到E的最 短路径，记为S(B1),S(B2),S(B3)。
2
A5
1
B1
12 14
10 6
B2 10
4 13
B3
12 11
C1
3
9
6
C2
5
8
C3 10
同理 f2(B2)=11
13.2.2 动态规划问题的解法:顺序法
最优值函数f(k):从A到k阶段的最短距离；阶段指标函数,即该阶段选择 不同路线的距离。从前向后推。
5
A 3
2 B1 3
6
B2
8
7 6
C1 6 8
C2 3 5
3 C3 3
84
D1 2
1 D2
最优值函数: f0(A)=0
E
f1(B1)=5,f2(B2)=3
然后，从这些最简单的子问题出发，依次计算上一 层子问题的最优解，直到求出原问题的最优解。
Bellman最优性原理
“作为整个过程的最优策略具有这样的性 质：无论过去的状态和决策如何，相对于 前面决策所形成的状态，余下的决策必然 形成最优子策略”
一个最优策略的子策略总是最优的。
13.2.1 动态规划模型的建立
C2 3 5
3 C3 3
84
D1 2
1 D2
E
C4 A — B— C — D — E
阶段1
阶段2 阶段3
S1={A} S2={B1,B2} S3={C1,C2,C3,C4 } S4={D1,D2} S5={E}
阶段4
f5(E)=0 同理 f4(D1)=2,f4(D2)=1
同理 f3(C2)=5,f3(C3)=4,f3(c4)=5
模型求解
逆序法 已知边界条件终点
顺序法 已知始点边界条件
逆序法求解
k=4
k=3
k=2
k=1
最优路径为 最短距离为19
最优解
总结：逆序法
最优值函数f(k):从k阶段到E的最短距离；阶段指标函数,即该阶段选择 不同路线的距离。从后向前推。
2
C1 6 8
5
A 3
B1 3 6
B2
8
7 6