迭代自适应动态规划理论及应用(魏庆来,宋睿卓,孙秋野)思维导图
动态规划
多阶段决策问题中，各个阶段采取的决策，一般来说是与时间有关的，决策依赖于当前状态，又随即引起状 态的转移，一个决策序列就是在变化的状态中产生出来的，故有“动态”的含义，称这种解决多阶段决策最优化 问题的方法为动态规划方法 。
任何思想方法都有一定的局限性，超出了特定条件，它就失去了作用。同样，动态规划也并不是万能的。适 用动态规划的问题必须满足最优化原理和无后效性 。
动态规划
运筹学的分支
01 原理
03 局限性
目录
02 分类
动态规划（Dynamic Programming，DP）是运筹学的一个分支，是求解决策过程最优化的过程。20世纪50年 代初，美国数学家贝尔曼（R.Bellman）等人在研究多阶段决策过程的优化问题时，提出了著名的最优化原理， 从而创立了动态规划。动态规划的应用极其广泛，包括工程技术、经济、工业生产、军事以及自动化控制等领域， 并在背包问题、生产经营问题、资金管理问题、资源分配问题、最短路径问题和复杂系统可靠性问题等中取得了 显著的效果 。
最优化原理可这样阐述：一个最优化策略具有这样的性质，不论过去状态和决策如何，对前面的决策所形成 的状态而言，余下的诸决策必须构成最优策略。简而言之，一个最优化策略的子策略总是最优的。一个问题满足 最优化原理又称其具有最优子结构性质 。
将各阶段按照一定的次序排列好之后，对于某个给定的阶段状态，它以前各阶段的状态无法直接影响它未来 的决策，而只能通过当前的这个状态。换句话说，每个状态都是过去历史的一个完整总结。这就是无后向性，又 称为无后效性 。
状态：状态表示每个阶段开始面临的自然状况或客观条件，它不以人们的主观意志为转移，也称为不可控因 素。在上面的例子中状态就是某阶段的出发位置，它既是该阶段某路的起点，同时又是前一阶段某支路的终点 。
动态规划.pdf
第三章：动态规划3.1 动态规划的基本概念一、动态决策问题：决策过程具有阶段性和时序性(与时间有关)的决策问题。
即决策过程可划分为明显的阶段。
二、什么叫动态规划(D.P.–Dynamic Program)：多阶段决策问题最优化的一种方法。
广泛应用于工业技术、生产管理、企业管理、经济、军事等领域。
三、动态规划(D.P.)的起源：1951年,(美)数学家R.Bellman等提出最优化原理，从而建立动态规划，名著《动态规划》于1957年出版。
四、动态决策问题分类：1、按数据给出的形式分为：•离散型动态决策问题。
•连续型动态决策问题。
2、按决策过程演变的性质分为：•确定型动态决策问题。
•随机型动态决策问题。
五1、阶段(stage)n ：作出决策的若干轮次。
n = 1、2、3、4、5。
2、状态(state)S n ：每一阶段的出发位置。
构成状态集，记为S nS 1={A}，S 2={B 1,B 2,B 3}，S 3={C 1,C 2,C 3}，S 4={D 1,D 2,D 3}，S 5={E 1,E 2}。
阶段的起点。
3、决策(decision)X n ：从一个阶段某状态演变到下一个阶段某状态的选择。
构成决策集，记为D n (S n )。
阶段的终点。
D 1(S 1)={X 1(A)}={B 1,B 2,B 3}= S 2，D 2(S 2)={X 2(B 1),X 2(B 2),X 2(B 3)}={C 1,C 2,C 3}=S 3，D 3(S 3)={X 3(C 1),X 3(C 2),X 3(C 3)}={D 1,D 2,D 3}=S 4，D 4(S 4)={X 4(D 1),X 4(D 2),X 4(D 3)}={E 1,E 2}=S 5D 5(S 5)={X 5(E 1),X 5(E 2)}={F;F}={F}。
4、策略(policy)：全过程中各个阶段的决策Xn 组成的有序总体{Xn }。
如 A àB2àC1àD1àE2àF5、子策略(sub-policy)：剩下的n个阶段构成n子过程，相应的决策系列叫n子策略。
动态规划的基本思想
动态规划的基本思想动态规划是一种常见的解决问题的算法思想，它通过将复杂的问题分解成一个个子问题，逐步求解并记录下每个子问题的解，最终得到原问题的解。
这种思想在很多领域都有广泛的应用，例如计算机科学、经济学、物理学等。
一、动态规划的定义与特点动态规划是一种分治法的改进方法，它主要用于解决具有重叠子问题和最优子结构性质的问题。
它的基本思想可以概括为“记住中间结果，以便在需要的时候直接使用”。
动态规划算法的特点包括：1. 问题可以分解为若干个重叠的子问题；2. 子问题的解可以通过已知的子问题解来求解，且子问题的解可以重复使用；3. 需要使用一个数据结构（通常是一个矩阵）来存储子问题的解，以便在需要时直接取出。
二、动态规划的基本步骤动态规划算法通常可以分为以下几个基本步骤：1. 确定问题的状态：将原问题转化为一个或多个子问题，并定义清楚每个子问题的状态是什么。
2. 定义问题的状态转移方程：找出子问题之间的关系，即如何通过已知的子问题解来解决当前问题。
3. 设置边界条件：确定最简单的子问题的解，即边界条件。
4. 计算子问题的解并记录：按顺序计算子问题的解，并将每个子问题的解记录下来，以便在需要时直接使用。
5. 由子问题的解得到原问题的解：根据子问题的解和状态转移方程，计算得到原问题的解。
三、动态规划的实例分析为了更好地理解动态规划的基本思想，我们以求解斐波那契数列为例进行分析。
问题描述：斐波那契数列是一个经典的数学问题，它由以下递推关系定义：F(n) = F(n-1) + F(n-2)，其中F(0) = 0，F(1) = 1。
解决思路：根据递推关系，可以将问题分解为求解F(n-1)和F(n-2)两个子问题，并将子问题的解累加得到原问题的解。
根据以上思路，可以得到以下的动态规划算法实现：1. 确定问题的状态：将第n个斐波那契数定义为一个状态，记为F(n)。
2. 定义问题的状态转移方程：由递推关系F(n) = F(n-1) + F(n-2)可得，F(n)的值等于前两个斐波那契数之和。
动态规划法
动态规划法动态规划法（Dynamic Programming）是一种常用的算法思想，主要用于解决具有重叠子问题性质和最优子结构性质的问题。
动态规划法通过把问题分解为更小的子问题，并将子问题的解存储起来，以避免重复计算，从而提高了算法的效率。
动态规划法有两个核心概念：状态和状态转移方程。
在动态规划过程中，我们需要定义状态，即问题的子问题解，以及状态之间的关系，即状态转移方程。
动态规划法的一般步骤如下：1. 定义问题的子问题：将问题划分为更小的子问题，并明确子问题的解是什么。
2. 定义状态：将问题的子问题解抽象为状态，即用一个变量或者数组表示子问题的解。
3. 定义状态转移方程：根据子问题的关系，定义状态之间的转移方程，即如何根据已知的子问题解计算出更大的问题的解。
4. 缓存子问题解：为了避免重复计算，我们需要将已经计算过的子问题解存储起来，以便后续使用。
5. 递推计算：通过状态转移方程和缓存的子问题解，逐步计算出更大的问题的解，直到计算出最终的问题解。
动态规划法的关键在于找到正确的状态转移方程和合理的存储子问题解的方式。
有些问题的状态转移方程比较容易找到，比如斐波那契数列，每个数都是前两个数的和；而有些问题的状态转移方程可能比较复杂，需要通过观察问题的特点和具体分析来确定。
动态规划法的时间复杂度通常为O(n)，其中n 表示问题规模。
由于利用了子问题的解，避免了重复计算，因此动态规划法相对于暴力求解法能够大大提高算法的效率。
但是，动态规划法的空间复杂度通常较高，需要存储大量的子问题解，因此在实际应用中需要权衡时间和空间的消耗。
总的来说，动态规划法是一种非常灵活且强大的算法思想，能够解决许多复杂的问题，特别适用于具有重叠子问题性质和最优子结构性质的问题。
通过正确定义状态和状态转移方程，并结合缓存子问题解和递推计算，我们可以高效地求解这类问题，提高算法的效率。
动态规划基本理论推广函数迭代与策略迭代法
(3)当
或
fk1(x) fk (x), x X ,
管理科学与系统工程
fk1(x) fk (x)
fk (x)
(4)当
uk1(x) uk (x), x X ,
或
fk1(x) fk (x) , x X
fk (x)
时迭代停止，最优值函数 f (x) fk (x) ，最优策 略u(x) uk (x) ；否则以k+1代替k重复(2),(3).
管理科学与系统工程
距离，它是阶段指标之和， 并满足可分离性要 求，有
V (i, u( x)) dij V ( j, u( x))
最优值函数ƒ(i)为由i出发到达n的最短距离，即
f (i) minV (i,u(x)) V (i,u*(x)) u(x)
式中u*(x)是最优策略，满足基本方程
f
(i)
例1：段数不定的最短路线问题（不定期决策过程）
n个点相互连接组成 一 个连通图(右图中n=5),各点 标号为1,2,…,n。任意两点 i，j之间的距离(费用)记作 dij 。求任意一点i到点n(靶 点)的最短路线(距离)。
5 2753 1 24 6 55 1
2 0.5 3
管理科学与系统工程
例2：无限期决策过程
模型min z
2 j
j0
x
2 j
lim
k V0，状态变Fra bibliotek函数k
为j1 j xj 。( 存在明显的级变量，但级
数是无限的 )
管理科学与系统工程
求解这类问题如果仍使用以前的逐级递推方法， 将遇到极大的计算量，为此必需寻找新方法。 函数方程可以用迭代法求解，通常有函数迭代法 和策略迭代法两种迭代方法。
15自适应迭代学习控制理论及其
二、问题的背景及科学意义
自适应控制理论的公开问题：无法处理本质时变 问题，控制系统的动态品质无法保证。 迭代学习控制理论的限制：只能精确跟踪固定目 标。 过程工业稳态优化控制中的关键问题 ：如何确 保稳态优化中一次次动态进程具有良好性能？ 提出自适应迭代学习控制理论, 为解决上述问题 提供了一个可行的方法。
二、问题的背景及科学意义
自适应控制理论的公开问题：无法处理本质时变 问题，控制系统的动态品质无法保证。 迭代学习控制理论的限制：只能精确跟踪固定目 标。 过程工业稳态优化控制中的关键问题 ：如何确 保稳态优化中一次次动态进程具有良好性能？ 提出自适应迭代学习控制理论, 为解决上述问题 提供了一个可行的方法。
自适应迭代学习控制理论及其应用
李俊民
自适应迭代学习控制理论及其应用
信息世界中的控制科学 问题的背景及科学意义 研究方法及缺陷 亟待解决的关键问题 应用前景
信息世界中的控制科学
控制指在工程系统中反馈和算法的运用 控制就是把反馈作为处理系统不确定性的 工具。 控制问题和目标: 调节问题和跟踪问题
k
k
单关节机械臂的OILC的仿真图
1.5 1.5
状态 x1 和目标
0.5 0 -0.5 0 15
状态 x2 和目标
50 k 100
1
1 0.5 0 -0.5 0 20
50 k
100
控制 u
5 0 -5 0
控制误差
50 k 100
10
15 10 5 0
0
5
10 15 迭代次数
20
迭代学习控制理论及其限制
控制系统的典型结构图
动态规划的基本方法ppt课件
状态具有无后效性的多阶段决策过程的状态转移方程如下
s2 T1 ( s1 , u1 ) s3 T2 ( s2 , u2 )
动态规划中能 处理的状态转移
sk 1 Tk ( sk , uk )
方程的形式。
精选ppt课件
11
5、策略：
是一个按顺序排列的决策组成的集合。在实际问题中，可供选择的 策略有一定的范围，称为允许策略集合。从允许策略集合中找出达 到最优效果的策略称为最优策略。
精选ppt课件
20
3
C1
2 B1 3
1
A
1 2
3
C2
3
D
4 B2 1
4
C3
第二阶段（B →C）： B 到C 有六条路线。
d( B1,C1 43;1
f2 ( B1 ) = min d( B1,C2 ) + f1 (C2 ) = min 3+3
d( B1,C3 ) + f1 (C3 )
间的自然特征来进行的，但要便于问题转化为多阶段决策。
年、
月、
一个数、
2、状态：
路段
一组数、 一个向量
表示每个阶段开始所处的自然状况或客观条件。通常一个阶段有若
干个状态，描述过程状态的变量称为状态变量。
状态变量的取值有一定的允许集合或范围，此集合称为状态允许集合。
精选ppt课件
8
3、决策：
表示当过程处于某一阶段的某个状态时，可以作出不同的决定， 从而确定下一阶段的状态，这种决定称为决策。 描述决策的变量，称为决策变量。决策变量是状态变量的函数。可 用一个数、一组数或一向量（多维情形）来描述。 在实际问题中决策变量的取值往往在某一范围之内，此范围称为允 许决策集合。
动态规划的基本思想
动态规划的基本思想动态规划是一种常用于解决具有重叠子问题和最优子结构特征的问题的算法思想。
它将问题分解成一系列子问题，并通过解决子问题构建出整个问题的最优解。
动态规划的基本思想是将原始问题转化成一个或多个相似的子问题，然后通过解决这些子问题获得原始问题的解。
这种思想在很多实际问题中都能够得到应用。
动态规划的基本流程一般包括以下几个步骤：1. 将原始问题分解为子问题：首先需要将原问题划分为多个子问题，并且确保这些子问题之间有重叠的部分。
2. 定义状态：确定每个子问题需要求解的状态，也即问题需要达成的目标。
3. 确定状态转移方程：根据子问题之间的关系，确定子问题之间的状态转移方程，即如何将子问题的解转移到原问题的解。
4. 解决首个子问题：解决最基本的子问题，获得初始状态下的解。
5. 填充状态表格：根据状态转移方程，依次求解其他子问题，并且填充状态表格。
6. 求解原问题：通过填充状态表格，在保证状态转移方程的基础上求解原问题的最优解。
动态规划的关键在于将原问题转化为子问题，通过递归或者迭代的方式求解子问题，最终获得原问题的最优解。
在这个过程中，重叠子问题的求解是动态规划的特点之一。
由于问题的子问题存在重叠，所以在求解的过程中我们可以保存已经求解过的子问题的解，避免重复计算，从而提高效率。
动态规划还要求问题具有最优子结构特征，即问题的最优解可以通过子问题的最优解构建出来。
通过利用已解决的子问题的最优解，可以有效地解决原问题。
动态规划算法在实际应用中有着广泛的应用。
它可以用于解决很多经典的问题，如最长公共子序列、0-1背包问题、最大子数组和等。
动态规划算法可以有效地解决这些问题，使得它们的时间复杂度得到了有效的降低。
总结来说，动态规划的基本思想是将原始问题转化为子问题，并通过解决子问题构建整个问题的最优解。
动态规划算法通过保存已经解决的子问题的解来避免重复计算，从而提高算法的效率。
动态规划算法在实际应用中具有广泛的应用，是解决具有重叠子问题和最优子结构特征的问题的常用算法思想。
《动态规划》课件
动态规划具有最优子结构和重叠子问题的特点，能够通过保存已解决的子问题来避免重复计 算。
应用场景
动态规划广泛应用于路线规划、资源分配、序列匹配等问题，能够有效地解决复杂的优化和 决策问题。
动态规划的优缺点
1 优点
动态规划能够提供最优的解决方案，同时能够高效地解决问题，避免重复计算。
2 缺点
使用动态规划解决问题需要设计状态转移方程，对于复杂问题可能需要较高的思维和计 算复杂度。
《动态规划》PPT课件
欢迎来到《动态规划》PPT课件! 本课程将深入探讨动态规划的应用和技巧， 帮助你理解这一强大的问题求解方法。
什么是动态规划
动态规划是一种通过将问题拆分为更小的子问题，并根据子问题的解来求解 原问题的方法。它可以应用于许多领域，包括优化、组合数学和图论。动态规划的特点 Nhomakorabea应用场景
参考资料
• 经典教材 • 学术论文 • 网络资源
确定问题的初始状态和结束条件，作为动态规划的边界。
4
确定优化方向
选择最优的状态转移路径，以达到问题的最优解。
经典问题解析
斐波那契数列
通过动态规划求解斐波那契数列，可以有效 地避免重复计算，提高计算效率。
最长公共子序列
使用动态规划求解最长公共子序列，可以在 时间复杂度为O(n*m)的情况下找到最长公共 子序列。
最优子结构
定义
最优子结构表示一个问题的最优解可以通过子 问题的最优解来构建。
举例
在路径规划问题中，通过求解子问题的最短路 径，可以获得整个路径规划的最短路径。
重叠子问题
定义
重叠子问题表示一个问题的子问题会被重复计 算多次。
举例
在斐波那契数列中，计算每个数字需要依赖于 前两个数字，导致重复计算了相同的子问题。
动态规划(完整)
(3) 决策、决策变量
所谓决策就是确定系统过程发展的方案，
决策的实质是关于状态的选择，是决策者
从给定阶段状态出发对下一阶段状态作出
的选择。
用以描述决策变化的量称之决策变量， 和状态变量一样，决策变量可以用一个数， 一组数或一向量来描述．也可以是状态变量
的函数，记以 xk xk (sk ) ，表示于 k 阶段状
动态规划的分类:
• 离散确定型 • 离散随机型 • 连续确定型 • 连续随机型
动态规划的特点:
• 动态规划没有准确的数学表达式和定义 精确的算法, 它强调具体问题具体分析,
依赖分析者的经验和技巧。
• 与运筹学其他方法有很好的互补关系, 尤 其在处理非线性、离散性问题时有其独 到的特点。
通常多阶段决策过程的发展是通过状态的一系列变换来 实现的。一般情况下，系统在某个阶段的状态转移除与本阶 段的状态和决策有关外，还可能与系统过去经历的状态和决 策有关。因此，问题的求解就比较困难复杂。而适合于用动 态规划方法求解的只是一类特殊的多阶段决策问题，即具有 “无后效性”的多阶段决策过程。
4 6
C1
3
B2 3
4T
3 3
C2
阶段指标函数：
vk sk , xk cskxk
5
A3
B3
过程指标（阶段递推）函数:
fk(sk ) min
vk (sk , xk )
fk
1
(sk
1 )
k= 4
f4 (C1) = 3, f4 (C2) = 4
2
k=3
f3(B1)=min{1+f4(C1)=4*, 4+f4(C2)=8}=4
(6) 指标函数
用来衡量策略或子策略或决策的效果的 某种数量指标，就称为指标函数。它是定义 在全过程或各子过程或各阶段上的确定数量 函数。对不同问题，指标函数可以是诸如费 用、成本、产值、利润、产量、耗量、距离、 时间、效用，等等。
《动态规划算法》课件
多阶段决策优化
详细描述
背包问题是一个经典的动态规划问题，通过将问题分解 为多个阶段，并为每个阶段定义状态和状态转移方程， 我们可以找到最优解。在背包问题中，我们使用一个二 维数组来存储每个状态的最优解，并逐步更新状态以找 到最终的最优解。
最长公共子序列求解
总结词
字符串匹配优化
详细描述
最长公共子序列问题是一个经典的动态规划问题，用 于找到两个序列的最长公共子序列。通过动态规划， 我们可以避免在寻找公共子序列时进行冗余比较，从 而提高算法效率。在动态规划中，我们使用一个二维 数组来存储子问题的最优解，并逐步构建最终的最长 公共子序列。
动态规划的基本思想
01
将问题分解为子问 题
将原始问题分解为若干个子问题 ，子问题的解可以构成原问题的 解。
02
保存已解决的子问 题
将已解决的子问题的解保存起来 ，以便在求解其他子问题时重复 使用。
03
递推求解
从子问题的解逐步推导出原问题 的解，通常采用自底向上的方式 求解。
02
动态规划算法的步骤
可并行化
动态规划算法可以并行化执行，以提高计算效率，这对于 大规模问题的求解非常有利。
缺点
• 空间复杂度高：动态规划算法需要存储大量的中间状态，因此其空间复杂度通常较高，有时甚至会超过问题规 模的一个指数倍。
• 问题规模限制：由于动态规划算法的空间复杂度较高，因此对于大规模问题的求解可能会遇到困难。 • 可能产生大量重复计算：在动态规划算法中，对于每个子问题，可能会被多次计算和存储，这会导致大量的重复计算和存储空间浪费。 • 不易发现：动态规划算法的应用范围有限，对于一些非最优子结构问题或没有重叠子问题的优化问题，动态规划算法可能不适用。因此，在解决问题时需要仔细分析问题特性，判断是
运筹学课件(动态规划)
（二）、动态规划的基本思想 1、动态规划方法的关键在于正确地写出基本的递推 关系式和恰当的边界条件（简称基本方程）。要做到 这一点，就必须将问题的过程分成几个相互联系的阶 段，恰当的选取状态变量和决策变量及定义最优值函 数，从而把一个大问题转化成一组同类型的子问题， 然后逐个求解。即从边界条件开始，逐段递推寻优， 在每一个子问题的求解中，均利用了它前面的子问题 的最优化结果，依次进行，最后一个子问题所得的最 优解，就是整个问题的最优解。
d( B1,C1 ) + f1 (C1 ) 3+1 f2 ( B1 ) = min d( B1,C2 ) + f1 (C2 ) = min 3+3 d( B1,C3 ) + f1 (C3 ) 1+4 4 = min 6 = 4 (最短路线为B1→C1 →D) 5
3
2 A 4 B2 B1 2 1 3
最优策略为（30，20），此时最大利润为105万元。
f 2 ( 40)
g2 ( y) y 0 ,10 ,, 40
max
f1 ( 40 y )
90
最优策略为（20，20），此时最大利润为90万元。
f 2 (30)
g2 ( y) y 0 ,10 , 20 , 30
max
f1 (30 y )
70
最优策略为（20，10），此时最大利润为70万元。
f 2 ( 20) ma 0 ,10 , 20
50
最优策略为（20，0），此时最大利润为50万元。
f 2 (10) maxg 2 ( y ) f1 (10 y )
3 2 A 4 B2 B1 2 3 1 3 1
C1 C2 4 3
动态规划基本方法
（3）确定决策变量uk及允许决策集Dk(sk)； （4）给出状态转移方程 sk+1=Tk(sk,uk)； （5）给出满足要求的过程指标函数Vk,n及相应的最 优值函数；
（6）写出递推方程和边界条件，建立基本方程； （7）按照基本方程递推求解。
0≤x1≤s1
=23.7s1
(x1*=0)
f1(1000)=23.7╳1000=23700
s1=1000 s2=900
s3=810
x1*=0
x2*=0
x3*=810
s1-x1*=1000 s2-x2*=900 s3-x3*=0
s4=567 x4*=567 s4-x4*=0
s5=397 x5*=397 s5-x5*=0
2.2 动态规划的基本方程 动态规划的最优性原理（贝尔曼原理）：作为整 个过程的最优策略具有这样的性质，即无论过去的状 态和决策如何，对前面的决策所形成的状态而言，余 下的诸决策必须构成最优策略。简言之，最优策略的 子策略也必是最优的。 根据此原理，要求全过程最优策略，可从子过程 策略的最优化入手。对于过程指标函数是阶段指标函 数和的形式，考虑k-子过程最优值函数fk(sk):
第4节 动态规划和静态规划的关系
静态规划所研究的问题是与时间无关的，而动态
规划所研究的问题是和时间有关的。对于某些静态规 划问题，也可人为地引入时间因素，把它看做一个按 阶段进行的动态规划问题，用动态规划的方法求解。
例 用动态规划法求解
max F=4x12-x22+2x32+12 3x1+2x2+x3≤9 xi≥0 i=1,2,3
0≤x4≤s4
0≤x4≤s4
4动态规划
描述决策的变量，称为决策变量uk(xk)。决策变量 是状态变量的函数。可用一个数、一组数或一向量 （多维情形）来描述。 在实际问题中决策变量的取值往往在某一范围之内， 此范围称为允许决策集合。 4、策略：
决策序列就叫策略。策略有全过程策略和k子策略之分。全过程策略是整个n段决策过程中 依次进行的n个阶段决策构成的决策序列，简称 策略，表示为： u1 , u 2 ,, u n 从阶段k到阶段n依次进行的阶段决策构成的决 策序列称为k-子策略，表示为： u , u ,, u
②“维数障碍”：当变量个数太多时，由于计算机内存和速度 的限制导致问题无法解决。有些问题由于涉及的函数没有理想的 性质使问题只能用动态规划描述，而不能用动态规划方法求解。
状态变量维数不能太高，一般要求小于6。
2、静态决策问题的动态处理
不包含时间因素的决策问题称为静态决策 问题，是一次性决策（如线性规划）。但若 能恰当地人为引入“时段”概念，就可以把 问题转化成一个多阶段决策问题，这样就能 用动态规划去处理了。 这样的例子是大量的（如最短路线问题， 资源分配问题等等）。
多阶段决策过程关于目标函数的总效应是由各阶段的阶段
效应累积形成。适于动态规划求解的问题的目标，必需具
有关于阶段效应的可分离形式、递推性和对于变元RK+1的
严格单调性。k-子过程的目标函数可以表示为:
R k R(x k , u k , x k 1 , u k 1 , , x n , u n ) rk (x k , u k ) rk 1` (x k 1 , u k 1 ) rn (x n , u n )
多阶段决策问题的典型例子：
企业在生产过程中，由于需求是随着时间变 化的因素，因此企业为了获得全年最佳经济效 益，就要在整个生产过程中逐月或逐季的根据 库存和需求决定生产计划。
第07章动态规划
先 进
来描述，常用Sk表示第k阶段的状态变量。通常一个阶段
制 造
有若干个状态。第k阶段的状态就是该阶段所有始点的集
研 究
合。如引例中
所
13
精品课程立体化教材系列
运 第一节 动态规划的基本概念和基本方程
筹
学 S 1 A ， S 2 B 1 , B 2 , B 3 ， S 3 C 1 , C 2 , C 3 ， S 4 D 1 , D 2
精品课程立体化教材系列
运 第一节 动态规划的基本概念和基本方程
筹
学
决策
决策
决策
状态
状态
状态
状态
状态
1
2
n
在多阶段决策问题中，各个阶段采取的决策，一般来
浙 说是与时间有关的，决策依赖于当前的状态，又随即引
江 理
起状态的转移，一个决策序列就是在变化的状态中产生
工 大
出来的，故有“动态”的含义。因此，把处理它的方法
来划分，但要便于把问题的过程能转化为阶段决策的过
程。描述阶段的变量称为阶段变量，常用自然数k表示。
如引例可划分为4个阶段求解，k=1，2，3，4。
2、状态。状态就是阶段的起始位置。它既是该阶段某支
浙
路的起点，又是前一阶段某支路的终点。
江
理 工
（1）状态变量和状态集合。描述过程状态的变量称为状
大 学
态变量。它可用一个数、一组数或一向量（多维情形）
进 制
则这类问题均可用动态规划方法进行求解。
造
研
究
所
3
精品课程立体化教材系列
运 第一节 动态规划的基本概念和基本方程
筹
学
在生产和科学实验中，有一类活动的过程，由