第六章 动态规划1
动态规划
多阶段决策问题中，各个阶段采取的决策，一般来说是与时间有关的，决策依赖于当前状态，又随即引起状 态的转移，一个决策序列就是在变化的状态中产生出来的，故有“动态”的含义，称这种解决多阶段决策最优化 问题的方法为动态规划方法 。
任何思想方法都有一定的局限性，超出了特定条件，它就失去了作用。同样，动态规划也并不是万能的。适 用动态规划的问题必须满足最优化原理和无后效性 。
动态规划
运筹学的分支
01 原理
03 局限性
目录
02 分类
动态规划（Dynamic Programming，DP）是运筹学的一个分支，是求解决策过程最优化的过程。20世纪50年 代初，美国数学家贝尔曼（R.Bellman）等人在研究多阶段决策过程的优化问题时，提出了著名的最优化原理， 从而创立了动态规划。动态规划的应用极其广泛，包括工程技术、经济、工业生产、军事以及自动化控制等领域， 并在背包问题、生产经营问题、资金管理问题、资源分配问题、最短路径问题和复杂系统可靠性问题等中取得了 显著的效果 。
最优化原理可这样阐述：一个最优化策略具有这样的性质，不论过去状态和决策如何，对前面的决策所形成 的状态而言，余下的诸决策必须构成最优策略。简而言之，一个最优化策略的子策略总是最优的。一个问题满足 最优化原理又称其具有最优子结构性质 。
将各阶段按照一定的次序排列好之后，对于某个给定的阶段状态，它以前各阶段的状态无法直接影响它未来 的决策，而只能通过当前的这个状态。换句话说，每个状态都是过去历史的一个完整总结。这就是无后向性，又 称为无后效性 。
状态：状态表示每个阶段开始面临的自然状况或客观条件，它不以人们的主观意志为转移，也称为不可控因 素。在上面的例子中状态就是某阶段的出发位置，它既是该阶段某路的起点，同时又是前一阶段某支路的终点 。
第6章动态规划
第6章 动态规划动态规划（Dynamic Programming ）是解决多阶段决策过程最优化的一种有用的数学方法。
它是由美国学者Richard .Bellman 在1951年提出的，1957年他的专著《动态规划》一书问世，标志着运筹学的一个重要分支－动态规划的诞生.动态规划也是一种将多变量问题转化为单变量问题的一种方法。
在动态规划中，把困难的多阶段决策问题变换成一系列相互联系的比较容易的单阶段问题一个个地求解。
动态规划是考察解决问题的一种途径 ,而不是一种特殊的算法，不像线性规划那样有统一的数学模型和算法（如单纯形法）.事实上，在运用其解决问题的过程中还需要运用其它的优化算法。
因此，动态规划不像其它方法局限于解决某一类问题,它可以解决各类多阶段决策问题。
动态规划在工程技术、经济管理等社会各个领域都有着广泛的应用，并且获得了显著的效果。
在经济管理方面,动态规划可以用来解决最优路径问题、资源分配问题、生产调度问题、库存管理问题、排序问题、设备更新问题以及生产过程最优控制问题等，是经济管理中一种重要的决策技术。
许多规划问题用动态规划的方法来处理,常比线性规划或非线性规划更有效。
特别是对于离散的问题，由于解析数学无法发挥作用，动态规划便成为了一种非常有用的工具。
动态规划可以按照决策过程的演变是否确定分为确定性动态规划和随机性动态规划；也可以按照决策变量的取值是否连续分为连续性动态规划和离散性动态规划。
本教材主要介绍动态规划的基本概念、理论和方法,并通过典型的案例说明这些理论和方法的应用。
6.1动态规划的基本理论6.1.1多阶段决策过程的数学描述有这样一类活动过程,其整个过程可分为若干相互联系的阶段，每一阶段都要作出相应的决策,以使整个过程达到最佳的活动效果。
任何一个阶段(stage ，即决策点)都是由输入(input ）、决策（decision ）、状态转移律（transformation function )和输出(output )构成的，如图6-1（a ）所示.其中输入和输出也称为状态(state ）,输入称为输入状态，输出称为输出状态。
动态规划的基本原理和基本应用
动态规划的基本原理和基本应用动态规划（Dynamic Programming）是一种通过将一个问题分解为较小的子问题并存储子问题的解来解决复杂问题的方法。
动态规划的基本原理是通过记忆化或自底向上的迭代方式来求解问题，以减少不必要的重复计算。
它在计算机科学和数学中具有广泛的应用，尤其是在优化、组合数学和操作研究等领域。
1.确定最优子结构：将原问题分解为较小的子问题，并且子问题的最优解能够推导出原问题的最优解。
2.定义状态：确定存储子问题解的状态变量和状态方程。
3.确定边界条件：确定初始子问题的解，也称为边界状态。
4.递推计算：利用状态方程将子问题的解计算出来，并存储在状态变量中。
5.求解最优解：通过遍历状态变量找到最优解。
1.背包问题：背包问题是动态规划的经典应用之一、它有多种变体，其中最基本的是0/1背包问题，即在限定容量的背包中选择物品，使得所选物品的总价值最大。
可以使用动态规划的思想来解决背包问题，确定状态为背包容量和可选物品，递推计算每个状态下的最优解。
2. 最长递增子序列：最长递增子序列（Longest Increasing Subsequence）是一种常见的子序列问题。
给定一个序列，找到其中最长的递增子序列。
可以使用动态规划来解决这个问题，状态可以定义为以第i个元素为结尾的最长递增子序列的长度，并递推计算每个状态的解。
3.矩阵链乘法：矩阵链乘法是一种优化矩阵连乘计算的方法。
给定一系列矩阵，求解它们相乘的最小计算次数。
可以使用动态规划解决矩阵链乘法问题，状态可以定义为矩阵链的起始和结束位置，递推计算每个状态下最小计算次数。
4.最短路径问题：最短路径问题是在有向图或无向图中找到两个节点之间最短路径的问题。
可以使用动态规划解决最短路径问题，状态可以定义为起始节点到一些节点的最短距离，递推计算每个状态的最优解。
动态规划算法教学PPT
03
动态规划算法的实现步骤
明确问题，建立数学模型
1
确定问题的目标和约束条件，将其转化为数学模 型。
2
理解问题的阶段划分，将问题分解为若干个子问 题。
3
确定状态变量和决策变量，以便描述子问题的状 态和决策。
划分阶段，确定状态变量和决策变量
01
根据问题的阶段划分，将问题分解为若干个子问题。
02
确定状态变量和决策变量，以便描述子问题的状态 和决策。
02
将子问题的最优解组合起来，得到原问题的最优解。
对最优解进行验证和性能评估，确保其满足问题的要求。
03
04
动态规划算法的优化技巧
分支定界法
分支定界法是一种求解优化问题的算 法，它通过不断生成问题的分支并确 定每个分支的界限，来寻找最优解。 在动态规划中，分支定界法可以用来 优化状态转移方程，减少计算量。
详细描述
多目标规划问题在实际生活中应用广泛，如资源分配、项目计划、城市规划等领 域都有涉及。常用的求解多目标规划的方法包括权重和法、帕累托最优解等。
多阶段决策问题
总结词
多阶段决策问题是动态规划中的一类，解决的问题需要在多个阶段做出决策，每个阶段的决策都会影响到后续阶 段的决策。
详细描述
多阶段决策问题在实际生活中应用广泛，如生产计划、库存管理、路径规划等领域都有涉及。常用的求解多阶段 决策问题的方法包括递归法、动态规划等。
特点
动态规划算法具有最优子结构、重叠 子问题和最优解性质等特征。
动态规划算法的应用领域
计算机科学
在计算机科学中，动态规划算法广泛应用于字符 串处理、排序、数据压缩和机器学习等领域。
电子工程
在电子工程中，动态规划算法用于信号处理、通 信和控制系统等领域。
运筹学第六章 动态规划
f
3
(C
2
)
min
((CC22,,DD21
) )
f f
4 4
( (
D1 D2
) )
6 5
11
min
5
2
min
7
7
最优决策C2 D2
15
f3(C1)=8
2
A5
1
B1 12 14
10
6
B2 10
4 13
B3
12 11
C1
3
9
f3(C2)=7
6
C2
5 8
C3
10
f4(D1)=5
D1
5 f5(E)=0
B1 12 14
2 f2(B2)=110 4
6
5
B2 10
4
1
13
B3
12 11
f2(B3)=19
f3(C1)=8
C1
3
9
f3(C2)=7
6
C2
5 8
C3
10
f3(C3)=12
f4(D1)=5
D1
5 f5(E)=0
E
D2 2
f4(D2)=2
状态 最优决策 状态 最优决策 状态 最优决策 状态 最优决策 状态 A （ A，B2） B2 （B2，C1） C1
22
f1(A)=19
A
f2(B1)=21
B1 12 14
2 f2(B2)=110 4
6
5
B2 10
4
1
13
B3
12 11
f2(B3)=19
f3(C1)=8
C1
3
9
动态规划
5 . 最短路问题：给定一个交通网络图如下，其 中两点之间的数字表示距离（或花费），试求从A点 到G点的最短距离（总费用最小）。
1 C1 3 6 8 3 D1 1 2 2 2 5 E2 2 D2 E1 3
5
A 3
B1
6
8 B2 7 6
C2
5
3
5
F1
3
4
G
C3 8 C4
3
4 D3
3
3 4 E3
6
6
F2
3.航天飞机飞行控制问题：由于航天飞机的运 动的环境是不断变化的，因此就要根据航天飞机飞 行在不同环境中的情况，不断地决定航天飞机的飞 行方向和速度（状态），使之能最省燃料和实现目 的（如软着落问题）。
不包含时间因素的静态决策问题（本质上是一 次决策问题）也可以适当地引入阶段的概念，作为 多阶段的决策问题用动态规划方法来解决。 4.线性规划、非线性规划等静态的规划问题也可 以通过适当地引入阶段的概念，应用动态规划方法 加以解决。
f k sk min d k sk , uk sk f k 1 uk sk u k Dk s k f 6 s6 0或 写 成 5 s5 d 5 s5 , F f
k 5,4,3,2,1
动态规划的基本方程（二）
D4(D1)={E1,E2},D4(D2)= {E1,E2}
D5(E1)={F}, D5(E2)={F}
4 A 5
2 B1 3 5 B2 8 7 7
⑷状态转移方程 上例中的状态转移方程sk+1=uk(sk)
C1 5 8 C2 45 3 C3 4 84 C4
D1 3 5 E1 4 6 D2 2 3 E2 1 3 D3
算法设计与分析_王红梅_课后答案网(部分)
第六章动态规划法• P137 2 ,3, 4•2.解答:cost[i]表示从顶点i 到终点n-1 的最短路径，path[i]表示从顶点i 到终点n-1 的路径上顶点i 的下一个顶点。
cost[i]=min{cij+cost[j]}3 有5 个物品，其重量分别是{3, 2, 1, 4,5}，价值分别为{25, 20, 15, 40, 50}，背包的容量为6。
V[i][j]表示把前i 个物品装入容量为j 的背包中获得的最大价值。
最优解为（0，0，1，0，1）最优值为65. 4.序列A =(x, z , y , z , z , y,x )，B =(z , x , y , y , z , x , z )，建立两个(m+1)×(n+1)的二 维表L 和表S ，分别存放搜索过程中得到的子序列的长度和状态。
z , x , y , y , z,x , z )path[i]= 使 cij+cost[j] 最小的 j i 012345678 9 10 11 12 13 14 15 Cost[i] 18 13 16 13 10 9 12 7 6875943Path[i]145778911 11 11 13 14 14 15 15 0得到最短路径 0->1->4->7->11->14->15 , 长度为 18(a)长度矩阵L(b)状态矩阵S 。
第七章贪心算法2.背包问题:有7 个物品，背包容量W=15。
将给定物品按单位重量价值从大到小排序，结果如下：个物品，物品重量存放在数组w[n]中，价值存放在数组放在数组x[n]中。
按算法7.6——背包问题1．改变数组w 和v 的排列顺序，使其按单位重量价值v[i]/w[i]降序排列；2．将数组x[n]初始化为0；//初始化解向量3．i=1;4．循环直到( w[i]>C )4.1 x[i]=1; //将第i个物品放入背包4.2 C=C-w[i];4.3 i++;5. x[i]=C/w[i];得出,该背包问题的求解过程为:: x[1]=1;c=15-1=14 v=6 x[2]=1; c=14-2=12V=6+10=10 x[3]=1; c=12-4=8V=16+18=34 x[4]=1; c=8-5=3V=34+15=49 x[5]=1; c=3-1=2 V=49+3=52x[6]=2/3 ; c=0; V=52+5*2/3=156/3 最优值为156/3 最优解为(1,1,1,1,1,2/3,0)) (x[i]按排序后物品的顺序构造)5.可以将该问题抽象为图的着色问题,活动抽象为顶点,不相容的活动用边相连(也可以将该问题理解为最大相容子集问题,重复查找剩余活动的最大相容子集,子集个数为所求).具体参见算法7.3 算法7.3——图着色问题1．color[1]=1; //顶点1着颜色12．for (i=2; i<=n; i++) //其他所有顶点置未着色状态color[i]=0;3．k=0;4．循环直到所有顶点均着色4.1k++; //取下一个颜色4.2for (i=2; i<=n; i++) //用颜色k 为尽量多的顶点着色4.2.1 若顶点i已着色，则转步骤4.2，考虑下一个顶点;4.2.2 若图中与顶点i邻接的顶点着色与顶点i着颜色k 不冲突，则color[i]=k;5．输出k;第八章回溯法4.搜索空间(a) 一个无向图(b) 回溯法搜索空间最优解为（1，2，1，2，3）5.0-1 背包问题n∑w i x i≤c 1• 可行性约束函数：i =1• 上界函数：nr =∑Vi5 = 3A B *CD8 ** * 131 =12 =23 = 14 = 2 34215课后答案网（）i=k+1 1第九章分支限界法5，解：应用贪心法求得近似解：(1,4,2,3)，其路径代价为：3+5+7+6=21，这可以作为该问题的上界。
《动态规划》课件
动态规划具有最优子结构和重叠子问题的特点，能够通过保存已解决的子问题来避免重复计 算。
应用场景
动态规划广泛应用于路线规划、资源分配、序列匹配等问题，能够有效地解决复杂的优化和 决策问题。
动态规划的优缺点
1 优点
动态规划能够提供最优的解决方案，同时能够高效地解决问题，避免重复计算。
2 缺点
使用动态规划解决问题需要设计状态转移方程，对于复杂问题可能需要较高的思维和计 算复杂度。
《动态规划》PPT课件
欢迎来到《动态规划》PPT课件! 本课程将深入探讨动态规划的应用和技巧， 帮助你理解这一强大的问题求解方法。
什么是动态规划
动态规划是一种通过将问题拆分为更小的子问题，并根据子问题的解来求解 原问题的方法。它可以应用于许多领域，包括优化、组合数学和图论。动态规划的特点 Nhomakorabea应用场景
参考资料
• 经典教材 • 学术论文 • 网络资源
确定问题的初始状态和结束条件，作为动态规划的边界。
4
确定优化方向
选择最优的状态转移路径，以达到问题的最优解。
经典问题解析
斐波那契数列
通过动态规划求解斐波那契数列，可以有效 地避免重复计算，提高计算效率。
最长公共子序列
使用动态规划求解最长公共子序列，可以在 时间复杂度为O(n*m)的情况下找到最长公共 子序列。
最优子结构
定义
最优子结构表示一个问题的最优解可以通过子 问题的最优解来构建。
举例
在路径规划问题中，通过求解子问题的最短路 径，可以获得整个路径规划的最短路径。
重叠子问题
定义
重叠子问题表示一个问题的子问题会被重复计 算多次。
举例
在斐波那契数列中，计算每个数字需要依赖于 前两个数字，导致重复计算了相同的子问题。
动态规划的基本概念和基本原理
史的一个完整总结。只有具有无后效性的多阶段决策过程
才适合于用动态规划方法求解。
2 A1
3
5 B1 4
7
6
B2
5
3
2
C1 2 5 6
C2 3
2
C3 1
D3
1
E 5 D
2
B3 2
3.决策（decision）
C4 7
当各阶段的状态选定以后可以做出不同的决定（或选择）从
而确定下一个阶段的状态，这种决定（或选择）称为决策。
5.状态转移方程（state transfer equation） 设第k阶段状态为sk，做出的决策为uk（sk），则第k+1阶段 的状态sk+1随之确定，他们之间的关系可以表示为：
sk+1=Tk（sk，uk） 表示从第k阶段到第k+1阶段状态转移规律的方程称为状态 转移方程，它反映了系统状态转移的递推规律。
f3
(C3
)
min
d d
3 3
(C3 (C3
, ,
D1) D2 )
f4 (D1) f4 (D2 )
2 3
min1
5
5
u3（C3）=D1
f3（C4）= d3（C4，D2）+ f4（D2）=7+5=12
u3（C4）=D2
5
C1 2
2
A
1
3
B1 4
7
6
B2
5
3
2
5 6 C2 3 2
C3 1
D1 3
4.策略（policy）
当各个阶段的决策确定以后，各阶段的决策形成一个决策序 列，称此决策序列为一个策略。
运筹学课件(动态规划)
（二）、动态规划的基本思想 1、动态规划方法的关键在于正确地写出基本的递推 关系式和恰当的边界条件（简称基本方程）。要做到 这一点，就必须将问题的过程分成几个相互联系的阶 段，恰当的选取状态变量和决策变量及定义最优值函 数，从而把一个大问题转化成一组同类型的子问题， 然后逐个求解。即从边界条件开始，逐段递推寻优， 在每一个子问题的求解中，均利用了它前面的子问题 的最优化结果，依次进行，最后一个子问题所得的最 优解，就是整个问题的最优解。
d( B1,C1 ) + f1 (C1 ) 3+1 f2 ( B1 ) = min d( B1,C2 ) + f1 (C2 ) = min 3+3 d( B1,C3 ) + f1 (C3 ) 1+4 4 = min 6 = 4 (最短路线为B1→C1 →D) 5
3
2 A 4 B2 B1 2 1 3
最优策略为（30，20），此时最大利润为105万元。
f 2 ( 40)
g2 ( y) y 0 ,10 ,, 40
max
f1 ( 40 y )
90
最优策略为（20，20），此时最大利润为90万元。
f 2 (30)
g2 ( y) y 0 ,10 , 20 , 30
max
f1 (30 y )
70
最优策略为（20，10），此时最大利润为70万元。
f 2 ( 20) ma 0 ,10 , 20
50
最优策略为（20，0），此时最大利润为50万元。
f 2 (10) maxg 2 ( y ) f1 (10 y )
3 2 A 4 B2 B1 2 3 1 3 1
C1 C2 4 3
基于动态规划的全局最优控制
(6-1)
ωw
=
ωe R(i)
=
ωm ρ ⋅ R(i)
式中： Tw 为车轮轴输出扭矩 Te 为发动机轴输出扭矩 Tm 为电机轴输出扭矩 Tbh 为摩擦制动器在车轮上产生的制动力矩（负值） R(i)为变速器第 i 档速比与主减速比的乘积 ρ为电机轴与发动机轴的速比
(6-2)
ηT 为变速器与驱动桥的总传动效率
SOC0为初始SOC值，SOCf为行驶循环终端时刻的SOC值，均为预先给定值。为保证 整个循环的SOC平衡，一般令SOCf＝SOC0。对于末态R(i(tf))没有约束。如果在性能 指标函数中包含进汽车的污染物排放，那么，所求得的最优控制解是对燃油经济性
和排放的综合最优。考虑排放的 L(x(t),u(t),t) 为如下形式：
ηe为电机轴到变速器输入轴的传动效率
ωw、ωe、ωm分别为车轮、发动机和电机的转速
各部件的机械约束如下：
发动机： Te_ min (ωe ) ≤ Te ≤ Te_ max (ωe )
ω e_min ≤ ω e ≤ ω e_max
电机：
Tm_ min (ω m ) ≤ Tm ≤ Tm_ max (ωm )
L(x(t), u(t),t) = Fuel(t) + α ⋅ Emis(t)
(6-7)
式中 Fuel(t) 表示发动机的瞬时燃油消耗率， Emis(t) 表示发动机的瞬时排放，
Emis(t) 可以只包含一项排放，如 NOx，也可以包含所有的排放指标，依需要取舍。
排放项前面的系数α＝0，表示仅考虑燃油经济性；α >0，则表示综合考虑经济性和 排放。
博士学位论文
第六章 基于动态规划的全局最优控制
第六章 基于动态规划的全局最优控制
动态规划
状态 B1 在决策 u2 ( B1 ) 作用下的一个新的状态，记作u2 ( B1 ) C2 . 4、策略 策略是一个按顺序排列的决策组成的集合。由过程的第 k 阶段开始到 终止状态为止的过程，称为问题的后部子过程（或称为 k 子过程）。
返回 结束
动态规划
由每段的决策按照顺序排列组成的决策函数序列
k 1,2,, n.
对于动态规划模型的指标函数，应具有可分离性，并满足递推关系
Vk ,n k [ sk , uk ,Vk 1,n ( sk 1 ,, sn1 )]
在实际问题中指标函数都满足这个性质。 常见的指标函数有下列两种形式 （1）过程和任一子过程的指标是它所包含的各阶段指标的和，即
指标函数的最优值，称为最优值函数，记作 f k (sk ) 它表示从第 k 阶段 的状态 sk 开始到第 n 阶段的终止状态的过程，采取最优策略所得到的 指标函数值。即
f k ( sk ) opt Vk ,n ( sk , uk ,, sn1 )
uk ,,un
返回 结束
动态规划
在不同的问题中，指标函数的含义不同，它可能是距离，利润，成本 ，产品的产量，资源消耗等。 二、动态规划的基本思想和基本方程 结合最短路问题介绍动态规划的基本思想 。最短路线有一个重要特性，
这种递推关系式称为动态规划的基本方程。
返回
结束
动态规划
资源分配问题 某工业部门根据国家计划的安排，将某种高效率的设备 五台，分配给所属的甲、乙、丙三个工厂，各工厂若获得 这种设备之后，可以为国家提供盈利如表2-2所示。
问这五台设备应如何分配给工厂，才能使国家得到的 盈利最大。
返回
结束
动态规划
表2-2
数据、模型与决策 第六章 动态规划
• （2）在多阶段决策过程中，动态规划方法是既将当前一阶段和未 来各阶段分开，又将当前效益和未来效益结合起来考虑的一种最
优化方法。因此，每阶段决策的选取是从全局来考虑的，与该段 的最优选择答案一般是不同的。
• （3）在求整个问题的最优策略时，由于初始状态是已知的，而每
阶段的决策都是该阶段状态的函数，故最优决策所进过的各阶段
f s • k( k) 表示第k周的价格为 s k时，从第k周到第5周采取最优
策略所得的最小期望值。
• 所以，我们得到逆推关系式为： •
•
第六章 动态规划
数据、模型与决策 (第二版)
• 其中 • Sk 50， 060， 0700 k1， 2， 3， 4， 5
• • 并且得出最优决策为
•
第六章 动态规划
第六章 动态规划
数据、模型与决策 (第二版)
6.1.5动态规划的最优性原理 和最优性定理
动态规划的最优性定理：
• 设阶段数为n的多阶段决策过程，其阶段编号为k=0，1
，…… ，n-1。允许策略
p dd d 是最优决策的 * ( *, *,....*. )
0,n1
01
n1
重要条件，对任一个k，0<k<n-1和 s0S0 有
状态便可逐次变换得到，从而确定了最优路线。
第六章 动态规划
数据、模型与决策 (第二版)
• 步骤：
• （1）将系统分为恰当的阶段，并编号；
• （2）确定状态变量sk，状态集合Sk； • （3）确定决策变量dk（sk），以及允许决策的
集合Dk（Sk）； • （4）建立状态转移方程Sk+1=Tk（Sk，uk）; • （5）建立指标函数Vk，n的关系。
运筹学：第6章：动态规划
例6-4中，从s到t可以分成四个阶段：s～A(A有三种选择， A1或A2或A3)，A～B(B1或B2或B3)，B～C(C1或C2)，C～t，
因此k＝1，2，3，4。
2、状态 表示每个阶段开始所处的自然状况或客观条件。
描述各阶段状态的变量称为状态变量，常用sk表示第k阶段的 状态变量。
状态变量的取值有一定的允许集合或范围，此集合称为状态 允许集合，第k阶段的可能状态集用Sk表示。
8
s6
4
A1
3 6
7
4
A2
3 5
B1 2
5
7
B2 4
C1
2 10
min7 6
12
6 2
A3 6
4 4
B3
C2
二、动态规划的数学模型
动态规划的数学模型可以描述如下：
opt V1,n (s1,u1, s2,u2,, sn ,un )
sk 1 Tk sk ,uk
uskk
Sk
sk
Dk
sk
k 1,2,,n
建立实际问题的动态规划模型一般可遵循以下步骤：
第一，按时间或空间顺序将多阶段决策问题划分为适当的 阶段；
二、多阶段决策问题举例
【例6-1】生产与存贮问题。某工厂每月需供应市场一定数量 的产品，并将所余产品存入仓库。一般某月适当增加产量可降 低生产成本，但超产部分存入仓库会增加库存费用。要求确定 一个逐月的生产计划，在满足需求的条件下，使一年的生产与 存贮费用之和最小。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
其它及计算f3(x)同理，结果如下表：
计算过程
0
f1(x)
1 4
2 26
3 40
4 45
5 50
6 51
7 52
8 53
0
d1(x)
f2(x) d2(x) f3(x)
0
0 0 0
1
5 1 5 1
2
26 0 26 0
3
40 0 40 0
4
60 4 80 4
5
70 5 90 5
6
86 4
7
8
100 110 4 5
假设用邻接矩阵C={cij}存储网。
货郎担问题的动态规划函数
分别求从城市i出发的哈密尔顿回路，最后求n条回 路的最小值。
记d ( j ,V )表示从顶点j出发，经V中各顶点一次，最终 回到顶点j的最短路径的长度。 动态规划函数— d ( j ,V )
最优值：d(i,V-{i})
货郎担问题动态规划函数的递归表示
6.1 资源分配问题
假设资源总数为m份，工程个数为n。给每项工程投 入的资源不同，所获得的利润也不同。要求把总数 为m的资源，分配给n个工程，以获得最大利润分配 方案。
数学描述
假设用函数Gi(k) (1≤i≤n,0≤k≤m)表示将k份资 源分配给工程i获得的利润。 设工程i分配xi份资源。资源分配问题数学描述为：
求资源的最优分配方案。
计算过程
解：初始： f1(x) = G1(x) d1(x) = x
opt = max{f1(x),0≤x≤8} = 53
k=1 p=8
计算过程
f 2 (0) G2 (0) f1 (0) 0 d 2 (0) 0 opt 53
f 2 (1) max{ G2 (0) f1 (1), G2 (1) f1 (0)} 5 d 2 (1) 1 opt 53 f 2 (2) max{ G2 (0) f1 (2), G2 (1) f1 (1), G2 (2) f1 (0)} 26 d 2 ( 2) 0 opt 53 f 2 (3) max{ G2 (0) f1 (3), G2 (1) f1 (2), G2 (2) f1 (1), G2 (3) f1 (0)} 40 d 2 (3) 0 opt 53
初始化：cost[i]= INT_MAX; path[i] = -1 0≤i<n cost[n-1] = 0; i = n-1 若i=0，转(4)；否则转(3) i--;根据式(6.1)和(6.2)计算cost[i]、path[i]; 转(2) i=0;route[i]=0; 若route[i]=n-1，终止；否则，转(6) i++；route[i] = path[route[i-1]]；转(5) 其中，数组route存放从0到n-1的最短路径。
0 k x
0 xm
上述解资源分配所采用的算法：动态规划
6.2 动态规划的基本思想
动态规划也称多阶段决策，由状态和决策组成。从 初始状态开始，根据各阶段决策使状态转移，到达 最终状态。
动态规划的一般决策过程示意图
S0
P1
S1
P2
S2
Sn-1
Pn
Sn
设状态Si = {si,1,si,2,…,si,r}。 Sn是最终状态集。S1,..,Sn中至少有一个状态是最 优状态(最优值)，假设为Sk,kn。
5 C (cij ) 6 3
3 6 7 2 3 4 2 7 5
计算过程
解：以从城市1出发为例，求哈密尔顿回路，其它城 市同理。 第一阶段 d(1,{2,3,4}) = min{c12+d(2,{3,4}),c13+d(3,{2,4}), c14+d(4,{2,3})} 第二阶段 d(2,{3,4}) = min{c23+d(3,{4}),c24+d(4,{3})} d(3,{2,4}) = min{c32+d(2,{4}),c34+d(4,{2})}
算法分析
时间复杂性： 初始化：O(m) 计算f2(x),f3(x),…,fn(x): O(nm2) 计算opt,k,p: O(nm) 回溯：O(n) 时间复杂性：O(nm2)
关于资源分配求解过程
f1 ( x) f i ( x) f i 1 ( x) f n ( x) f i 1 ( x) max {Gi 1 (k ) f i ( x k )}
计算过程
path[1] = 4 cost[0] = min{4+cost[1],5+cost[2],8+cost[3]} = 15 最优值 path[0] = 1 回溯求最优解： route[0] = 0 route[1] = 1 route[2] = 4 route[3] = 6 最优解：0146
动态规划算法的基本要素
重叠子问题 在用动态规划递归地自底向上求解问题时，每 次产生的子问题不是新问题，有些被反复计算 多次。动态规划算法利用这些子问题的重叠性 质，对每个子问题只计算一次，将结果保存在 表格中，后续计算只需查找表格，从而节省时 间。
资源分配问题重叠子问题示意图
f3(0) f3(1) f3(2) f3(3) f3(4)
d (i, V {i}) min {cij d ( j ,V {i, j})}
jV {i}
d ( j , V ) min{c jk d (k ,V {k})}
kV
d (k , ) cki
k i
动态规划解货郎担问题实例
4个城市1、2、3、4，邻接矩阵如下表。
动态规划解多段图最短路径算法分析
时间复杂性： 邻接矩阵：初始化：O(n)；计算cost，循环 n-1次，每次访问邻接表一行，O(n2)；计算 route，O(k)；故为O(n2)
考虑邻接表存储的时间复杂性。
6.4 货郎担问题
假设n个城市，分别用 1 ~ n的数字编号。货郎担问 题 是在有向网G V , E ，V {1， 2， ..., n}, E {e ij ,1 i, j n（ } e ij上权表示城市i到城市j的距离）中寻找一条 路径最短的哈密尔顿回 路（经过每个顶点一次 ）。
则称这样的图为多段图 。令 V1 Vk 1，称s V1为源点，
多段图的最短路径问题，是求从源点s到收点t的最 小花费的通路。 设用邻接矩阵C={cij}存储图G。
多段图最短路径问题的动态规划函数
按子集顺序，对多段图各顶点编号。假设源点为 0，收点为n-1。
假设数组元素cost[i]存放从顶点i出发到收点t的最短 路径长度。假设数组元 素path[i]存放使cost[i]取最小 的路径上前方顶点标号 。 动态规划函数— cost[i]
opt max{ s.t.
G ( x )}
i i i 1
n
x
i 1
n
i
m
设其最优解为X* =(x1*,x2*,...,xn*)。
资源分配问题求解
记f i (x)表示将x份资源分配给前i个工程获得的最大 利润。记d i (x)表示使f i ( x)最大时，分配给第i个工 程的资源份额。
(1)
动态规划解多段图最短路径问题实例
6 4 0 5 1 8 5 2 7 6 3 9 8 9 5 4 4 5 6
计算过程
解： cost[6] = 0 cost[5] = 4+cost[6] = 4 path[5] = 6 cost[4] = 5+cost[6] = 5 path[4] = 6 cost[3] = min{8+cost[4],9+cost[6],9+cost[5]} =9 path[3] = 6 cost[2] = min{5+cost[3],7+cost[5]} = 11 path[2] = 5 cost[1] = min{6+cost[3],6+cost[4]} = 11
计算过程
d(4,{2,3}) = min{c42+d(2,{3}),c43+d(3,{2})} 第3阶段 d(3,{4}) = c34 + d(4,ф) = 2 + 3 = 5 {3,4,1} d(4,{3}) = c43 + d(3,ф) = 5 + 6 = 11 {4,3,1} d(2,{4}) = c24 + d(4,ф) = 3 + 3 = 6 {2,4,1} d(4,{2}) = c42 + d(2,ф) = 7 + 5 = 12 {4,2,1} d(2,{3}) = c23 + d(3,ф) = 2 + 6 = 8 {2,3,1} d(3,{2}) = c32 + d(2,ф) = 4 + 5 = 9 {3,2,1}
0 k x
0 xm
解资源分配问题实例
有8个份额的资源，分配给3个工程，其利润函数 如 下表。 x 0 1 2 3 4 5 6 7 8
G1(x) 0 G2(x) 0 G3(x) 0
4 5 5
26 15 15
40 40 40
45 60 80
50 70 90
51 73 95
52 74 98
53 75 100
0 k x
0 xm
d 2 ( x) 使f 2 ( x)达最大值的k d 3 ( x) 使f 3 ( x)达最大值的k d i ( x) 使f i ( x)达最大值的k
f 3 ( x) max {G3 (k ) f 2 ( x k )}
0 k x
f i ( x) max {Gi (k ) f i 1 ( x k )}