第6章 动态规划-第3节

k=2，0≤X2≤S2，S3=S2-X2 S2 X2(S2) g2(S2, X2)+f3(s3) f2(S2) X2*(S2) 0 0 0+0 0 0 0 0+4 1 5 1 1 5+0* 2 0 0+6 1 5+4 10 2 2 10+0* 0 0+11 1 5+6 3 14 2 2 10+4* 3 11+0
f n ( sn ) max {g (un ) h( sn un )} 0u n sn f k ( sk ) max {g (uk ) h( sk uk ) f k 1 (auk b( sk uk ))} 0u n sn k n 1,,2,1
（4）状态转移方程：Sk+1=Sk-dk=Sk-xk (Sk=Sk+1+xk) （5）由于阶段指标vk(Sk, xk)=gk(xk)，所以指标函Baidu Nhomakorabea：
Vk ,n v j (S j , x j ) g j ( x j )
j k j k n n
V1k v j ( S j x j ) g j ( x j )
解： 设阶段数k表示年度。
状态变量sk为第k年度初拥有的完好机器台数。
决策变量uk为第k年度中分配高负荷下生产的机器台 数。故低负荷下生产的机器台数是sk-uk。 状态转移方程
sk 1 auk b(sk uk ) 0.7uk 0.9(sk uk ), k 1,2,,5
• 动态规划的逆推关系方程为：
f n ( sn ) max {g (un ) h( sn un )} 0u n sn f k ( sk ) max {g (uk ) h( sk uk ) f k 1 (auk b( sk uk ))} 0u n sn k n 1,,2,1
5 正确列出最优指标函数的递推关系及边界条件。
第3节 资源分配问题
• 所谓分配问题，就是将数量一定的一种或若干种资 源（例如原材料，资金，机器设备，劳力，食品等 等），恰当地分配给若干个使用者，使效益函数为 最优。 • 资源分配问题：离散、连续。
（1）资源离散分配问题
• 例1 某工业部门根据国家计划的安排，拟将某种高 效率的设备五台，分配给所属的甲、乙、丙三个工 厂，各工厂获得这种设备，可以提供的期望盈利如 下表所示。
• 问如何分配这五台设备给各厂，才能使国家得到的 期望盈利最大？
工厂 盈利 设备台数
甲
0 3 7 9 12 13
乙
0 5 10 11 11 11
丙
0 4 6 11 12 12
0 1 2 3 4 5
解：设xj（j=1,2,3）分别表示分配给甲、乙、丙三个 厂的设备台数。 则此问题可写成以下数学模型： max z =g1(x1)+g2(x2)+g3(x3)
j 1 j 1
k
k
基本方程为
f k ( S k ) max{g k ( xk ) f k 1 ( S k X k )} 0 xk S k 1 f n 1 ( S n 1 ) 0 (k 1,2,, n)
f k ( S k ) max{g k ( S k 1 ) f k 1 ( S k 1 )} 0 xk S k 1 f 0 (S 0 ) 0 (k 1,2,, n)
依次类推可得，
f 3 ( s3 ) 17.52 s3 f 2 ( s2 ) 20.8s2 f1 ( s1 ) 23.7 s1
因为S1=1000，所以f1(s1)=23700
因此最优策略为
* * * * * u1 0, u2 0, u3 s3 , u4 s4 , u5 s5
• 最后求得的f1(s1)即为所求问题的最大收入。
例2 机器负荷分配问题
• 某种机器可在高低两种不同负荷下进行生产，设 机器在高负荷情况下的产量函数为g=8u1，其中u1 是投入生产的机器数量，年完好率为 a=0.7，在低 负荷情况下的产量函数为h=5y，其中y是投入生产 的机器数量，年完好率为b=0.9。 • 假定开始生产时完好机器的数量为1000台，试问 每年如何安排机器在高低两种负荷下的生产，可 使5年内生产的产品总产量最高。
例1实际上是一个一维资源分配问题。 一维资源分配问题总可以写成“静态规划”问题： max z =g1(x1)+g2(x2)+… +gn(xn)
x1 x2 xn a x j 0, j 1,2,, n
由于这类问题的特殊结构，可以把它看成是一个多阶 段决策问题，并利用动态规划的递推关系求解。
一般有 （1）阶段划分：通常把资源分配给一个或几个使用者 的过程作为一个阶段。即把问题中变量的个数作为阶 段数，k=1, 2, …n。 （2）状态变量SK的含义：SK表示分配用于生产第k种 产品至第n种产品的资源数。显然S1=a，所以该类问题 可用逆序法求解。（也可用顺序法，Sn=a） （3）决策变量dk的选定：dk=xk，含义为分配给生产第 k种产品的资源数。允许决策集合为：Dk(Sk)={dk| 0≤dk=xk≤Sk}。
S2 X2(S2) g2(S2, X2)+f3(s3) f2(S2) X2*(S2) 0 0+12 1 5+11* 4 2 10+6* 16 1或2 3 11+4 4 11+0 0 0+12 1 5+12 2 10+11* 5 21 2 3 11+6 4 11+4 5 11+0
k=1，0≤X1≤S1，S2=S1-X1
当k=5时
f 5 ( s5 ) max {8u5 5( s5 u5 ) f 6 ( s6 )}
0 u 5 s5
max {3u5 5s5 )
0 u 5 s5
u s5 ,
* 5
f 5 ( s5 ) 8s5
当k=4时 f 4 ( s4 ) max {8u4 5( s4 u4 ) f 5 (0.7u4 0.9( s4 u4 ))}
允许决策集合0uksk
第k年度产量为
vk (sk , uk ) 8uk 5(sk uk )
指标函数为
V1,5 vk ( sk , uk )
k 1 5
递推方程为
f (s ) 0 6 6 f k ( sk ) max {8uk 5( sk uk ) f k 1 (0.7uk 0.9( sk uk ))} 0u k sk k 5,,2,1
x1 x2 x3 5 x1 , x2 , x3 0, 且皆为整数
其中g1(x1)，g2(x2)，g3(x3)分别对应表中甲、乙、丙 厂的期望盈利数。
先考虑构成动态规划模型的条件： 1、按工厂将问题划分为三个阶段，并将工厂编号为 k=1,2,3。 2、设状态变量Sk表示为分配给第k个工厂至第3个工厂 的设备台数。（显然S1=5，所以可考虑用逆序法。） 3、决策变量Xk，表示为分配给第k个工厂的设备数。 0≤Xk≤Sk。 4、状态转移方程为Sk+1=Sk-Xk 5、阶段指标gk(sk,xk)表示Xk设备分配到第k个工厂所得 的期望盈利值。
0u 4 s4
max {13.6u4 12.2( s4 u4 )}
0u 4 s4 0u 4 s4
max {1.4u4 12.2s4 }
* u 4 s4 ,
f 4 ( s4 ) 13.6 s4
* u3 s3 相应的 * u2 0 相应的 * u1 0 相应的
如此进行n年，如何确定投入A的资源量u1、…、un，使总收入最大？
（2）资源连续分配问题
• 此类问题的静态规划模型为：
n
max Z {g (ui ) h( si ui )}
i 1
s2 au1 b( s1 u1 ) s au b( s u ) 2 2 2 3 s.t. s n 1 aun b( s n u n ) 0 ui si , i 1,2,, n
因此基本方程为：
f k ( sk ) maxg k ( sk , xk ) f k 1 ( sk xk ) 0 xk sk (k 3,2,1) f (s ) 0 4 4
下面用逆序法采用表格形式进行求解。 k=3，0≤X3≤S3 ，S4=S3-X3 S3 X3(S3) g3(S3，X3)+f4(S4) f3(S3) X3*(S3) 0 0 0+0* 0 0 1 1 4+0* 4 1 2 2 6+0* 6 2 3 3 11+0* 11 3 4 4 12+0* 12 4 5 5 12+0* 12 5
（2）资源连续分配问题
第一年 资源数量 s1
A种生产 数量u1投入;收益g(u1);年终资源回收率a
B种生产 数量s1-u1;收益h(s1-u1);年终资源回收率b
第二年 资源数量 s2=au1+b(s1-u1) 到n年
A种生产 数量u2投入;收益g(u2);年终资源回收率a B种生产 数量s2-u2;收益h(s2-u2);年终资源回收率b
S1 X1(S1) g2(S1X1)+f2(s2) f1(s1) x1* 0 0+21* 1 3+16 2 7+14* 5 21 0或2 3 9+10 4 12+5 5 13+0
按计算表格的顺序反推，得最优分配方案有两个：
第一方案：x1*=0 x2*=2 x3*=3 第二方案：x1*=2 x2*=2 x3*=1 它们所得的总盈利都为21（万元）。 本例若设Sk表示分配给从第1个工厂到第k个工厂的设 备台数，即S3=5，因此，本例还可用顺序法求解，其 结果完全一致。 思考题：如果原设备台数是4台，求最优分配方案？
• 设sk为状态变量，它表示在第k阶段（第k年）可投 入A、B两种生产的资源量； • uk为决策变量，它表示在第k阶段（第k年）用于A 生产的资源量，则sk-uk表示用于B生产的资源量； • 状态转移方程为：sk+1=auk+b(sk-uk) • 最优值函数fk(sk)表示有资源量sk从第 k阶段至第n 阶段采取最优分配方案进行生产后所得到的最大 总收入。
建立动态规划模型的一般步骤
1 划分阶段。即按时间和空间的先后顺序适当地划分为 满足递推关系的若干个阶段。
2 正确选择状态变量。（可知性和无后效性） 3 根据状态变量和决策变量的含义，正确写出状态转移 方程 sk+1=Tk(sk,uk)
4 明确指标函数Vk.n、最优指标函数fk(sk)及k阶段指标 Vk(sk,us)的含义。
S5= 0.7u4+0.9(s4-u4)=0.7s4=397 S6= 0.7u5+0.9(s5-u5)=0.7s5=278
习题
• 6.2 某种机器可在高低两种不同的负荷下进行生产 。设机器在高负荷下生产的产量为g=8u，其中u为 投入生产的机器数量，年终机器的完好率为a=0.7； 在低负荷下生产的产量函数为 h=5y,其中y为投入生 产的机器数量，年终机器的完好率为b=0.9。 • 假定开始生产时完好的机器数量为s1=1000台，试问 企业每年年初应如何安排机器在高、低两种负荷下 的生产，使在第5年年末完好的机器数量 s6=500台 ，并且5年内生产的产品总产量最高。
即前两年应在年初把全部完好的机器投入低负荷生 产，后三年应在年初把全部完好的机器投入高负荷 生产。最高产量为23700（台）。 每年年初的机器状态：S1=1000
S2=0.7u1+0.9(s1-u1)=0.9s1=900
S3= 0.7u2+0.9(s2-u2)=0.9s2=810
S4= 0.7u3+0.9(s3-u3)=0.7s3=567