动态规划(数学建模资料)

min [vk ( xk , u k ) f k 1 ( xk 1 )]
f k ( xk ) min [vk ( xk , u k ) f k 1 ( xk 1 )] u k U k (边界条件） f n 1 ( xn 1 ) 0
x k 1 Tk ( x k , u k )
阶段k的准则函数为 vk ( xk , u k ) g k (u k )
14
资源分配问题 用fk(xk) 表示将手中资源xk分配给工厂k,k+1,…, N 时的最大利润， 原问题即为计算 f1(M)
准则函数在第k阶段一个阶段内的取值称为第k阶段的准则函 数，记为vk(xk; uk) 最优性原理中，准则函数具有（阶段）可分性，即
Vk ,n vk ( xk , uk ) vk 1 ( xk 1 , uk 1 ) vn ( xn , un ), 其中 是满足单调性的某种运算，如加法或乘法等。
10
逆序递推
u1
k=1
u2 x2
k=2
uk x3 xk
k
un xk 1 xn
k=n
x1
xn1
f1 ( x1 )
f 2 ( x2 )
f k ( xk )
f n ( xn )
fk(xk)表示第k阶段初始状态为xk时，k后部子过程的最优准则函数
f k ( xk )
pk ,n Pk ,n ( xk ) pk ,n Pk ,n ( xk ) u k U k u k U k
1
动态规划问题的例子
例（续例1.2）最短路问题 (Shortest Path Problem)
S
T
特点：多阶段决策 - 子决策仍然最优 - 动态规划(DP)技术 动态规划 – R.E. Bellman (1950’s) 许多网络优化问题要用到动态规划技术
2
4.1.1 多阶段决策模型
所谓决策(Decision Making)，就是人们为了达到一定的目的，从若干个可 能的策略(Policy)（如行动、方案）中选取最好的策略的过程. 一般来说， 一个决策模型包含三个最基本的因素：
（1）自然状态（或简称状态, State）：这是指决策活动中决策者无法控 制的一些因素，即决策时客观对象所具备的基本条件. 状态的集合称为状 态集合或状态空间.
（2）策略：这是指决策活动中决策者可以采取的行动方案. 策略的集合称 为策略集合或策略空间. （3）益损值：这是指决策活动中决策者可以采取不同的策略，在不同的自 然状态下所获得的收益或损失值. 它是策略和状态的函数，也是决策活动 的目标和基础. 战略决策（高层决策）、战术决策（中层决策）、操作决策（基本决策） 单目标决策、多目标决策 单阶段决策（一次决策）、多阶段决策 确定型决策、非确定型决策或风险型决策（随机决策、模糊决策）
5
无后效性的多阶段决策过程 - 准则函数及可分性 准则函数/指标函数（Criterion Function）是衡量策略好坏的 尺度(益损值). 定义在全过程上的准则函数相当于目标函数，一般记为 V1,n(x1; p1,n ) ，或简记为V1,n 定义在k子过程上的准则函数，记为Vk,n(xk; pk,n ) ,简记为Vk,n
一般记为
Vk ,n v j ( x j , u j ) vk ( xk , uk ) Vk 1,n
j 1
n
6
4.1.2 最优性定理
定理4.1 设有一个准则函数可分的无后效性的多阶段决策过程,阶 * * * * 段变量k=1,2,…,n,允许策略 p1,n (u1 , u 2 ,, u n ) 是最优策略的充 要条件是: 对任意1<k<n, 当初始状态为x1时, 有
* * * * 证明: 必要性. 设允许策略 p1,n (u1 , u 2 ,, u n ) 是最优策略，则
* V1,n ( x1 ; p1,n ) p1, n P , n ( x1 ) 1 p1, n P , n ( x1 ) 1
min
V1,n ( x1 ; p1,n )

min [V1,k 1 ( x1 ; p1,k 1 ) Vk ,n ( x k ; p k ,n )] min min { min [V1,k 1 ( x1 ; p1,k 1 ) Vk ,n ( x k ; p k ,n )]}
pk , n Pk , n ( xk )
p1, k 1P , k 1 ( x1 ) pk , n Pk , n ( xk ) 1 p1, k 1P , k 1 ( x1 ) 1
{V1,k 1 ( x1 ; p1,k 1 )
min
Vk ,n ( x k ; p k ,n )}
7
min
Vk ,n ( xk ; pk ,n )
min
[vk ( xk , uk ) Vk 1,n ( xk 1 ; pk 1,n )
pk 1,n Pk 1,n ( xk 1 )
min [vk ( xk , u k )
min
Vk 1,n ( xk 1 ; pk 1,n )]
3
多阶段决策过程 多阶段决策（Multi-Stage Decision Making），是将决策问题 的全过程恰当地划分为若干个相互联系的子过程（每个子过程 为一个阶段），以便按照一定的次序去求解. 阶段一般是根据 时间和空间的自然特征来划分，以便于问题的求解为目的. 描 述阶段的变量称为阶段变量，一般用k表示. 从第k个阶段开始 点到全过程终点的过程称为后部子过程，或k子过程. 在多阶段决策问题中，状态表示每个阶段开始时所处的自然状 况或客观条件. 描述过程状态的变量称为状态变量，一般用xk 表示第k个阶段的状态变量. 当过程处于某个阶段的某个状态时，从该状态演变为下一个阶 段某状态的选择，称为决策（抉择，Decision）. 描述决策的 变量称为决策变量，一般用uk表示第k个阶段的决策变量，而用 Uk(xk)表示第k个阶段xk状态下的所有允许决策的集合.
共有N个工厂，可以把问题分解为N个阶段： 当阶段k=N时，把手中设备分配给工厂N； 当阶段k=N-1时，把手中设备分配给工厂N-1； 依次类推； 在任意阶段k时，把手中设备分配给工厂k； 当阶段k=1时，把手中设备分配给工厂1.
状态变量xk - 第k阶段初分配者手中拥有的设备台数. 由题意可知 x0 = M， xN+1 = 0 决策变量uk - 第k阶段分配给工厂k的设备台数（0 u k x k ） 状态转移方程 x k 1 x k u k
由所有各阶段的决策组成的决策序列称为全过程策略，或简称 策略，记为p1,n(x1). 可供选择的所有全过程策略的集合构成允 许策略集合，记为P1,n(x1) .其中能使总体性能达到最优的策略 称为最优策略，一般记为
* * * * p1,n (u1 , u 2 ,, u n )
相应于后部子过程（k子过程）的决策序列称为子策略，记为 pk,n(xk) ，所有允许子策略的集合记为Pk,n(xk).
* V1,n ( x1; p1,n ) p1,k 1P ,k 1 ( x1 ) 1
k
min
{V1,k 1 ( x1; p1,k 1 )
k 1 k 1 k 1
pk ,n Pk ,n ( xk )
min
Vk ,n ( xk ; pk ,n )} (4.3)
式中 p1,n ( p1,k 1 ; pk ,n ) , x T ( x , u ),即 x k 是由给定的初始状态x1和 子策略p1，k-1所确定的第k阶段的状态.
xk Gk ( x k 1 , u k )
优点：1、动态规划方法可以处理广泛的实际优化问题； 2、可以得到各阶段的一系列最优解.
缺点：隐式枚举方法 - 指数算法, 当问题规模较大时, 也会遇划方法的几个例子
例4.1 （资源分配问题） 某公司现有M台设备准备分配给该 公司所属的N家工厂. 当分配台uk设备给工厂k时，工厂k利用这 些设备为公司创造的利润（假设非负）为gk(uk). 应当如何分配 设备资源，使得公司总利润最大？
max z g k (uk )
k 1 N
N
g k (u k )
设备数 u k 0 1 2 3 4
工厂k 1 2 3
s.t.

k 1
uk M
uk Z
0 4 6 7 7
0 2 5 6 8
0 3 5 7 8
上述问题可能是非线性整数规划, 甚至gk(uk)没有显式表达式
13
资源分配问题
网 络 优 化
Network Optimization
/netopt
清华大学课号：40420213（本），70420133（研）
第4章动态规划 (Dynamic Programming)
清华大学数学科学系 谢金星 办公室：理科楼1308# （电话：62787812） Email:jxie@ /faculty/~jxie
（2） 对每个阶段，正确选择状态变量xk. 选择状态变量时应当 注意两点：一是要能够正确描述受控过程的演变特性，二是要 满足无后效性. （3） 对每个阶段，正确选择决策变量uk .
（4） 列出相邻阶段的状态转移方程： xk+1= Tk(xk, uk). （5） 列出按阶段可分的准则函数V1,n . 假设问题的目标是极小化
11
顺序递推
u1
k=1
u2
x2
k=2
uk
un
xk 1 xn
k=n
x1
x3
k
xk
xn1
f1 ( x2 )
f 2 ( x3 )
f k ( xk 1 )
f n ( xn 1 )
fk(xk+1)表示第k阶段（结束）状态为xk+1 时，起始阶段到 k 阶段 （可以称为k前部子过程）的最优准则函数