西安电子科技大学数学建模讲义第八讲PPT课件

二、动态规划的求解步骤
正确划分阶段。 确定状态变量和决策变量，并给出状态变
量和决策变量的可行集合。 确定求解的递推顺序，给出状态转移方程。 确定阶段、子过程(子策略)的指标函数，确
定最优值函数的递推方程和边界条件。 递推求解。 与递推过程反向求出最优策略(最优决策变
量值系列)和最优状态变化路线。
用dk(sk,Uk)表示距离. d2(B3,C2)=8,d3(C2,D2)=2 等. 8、目标函数: 策略的数量指标值,记为
Z=opt[v1(s1,u1)*…* vn(sn,un)]. 其中：opt为max或min，*为运算符号.如上例中，
Z=min[d1(s1,u1)+ …+dn(sn,un)]=min[d1+d2+…+ dn]
4、策略(policy)：全过程中各个阶段的决策Un组成的有序总体 {Un}. 如 A B2 C1 D1 E
5、子策略(sub-policy) ：剩下的M个阶段构成M子过程,相应的
决策系列叫M子策略. 如 C1 D1 E 6、状态转移方程：前一阶段的终点(决策)是后前一阶段的起点
(状态).Uk = Sk+1 7、指标函数：各个阶段的数量指标,记为Vk,n(sk,Uk).如上例中,
2、状态(state)Sn： S1={A}，S2={B1,B2,B3}，S3={C1,C2,C3}， S4={D1,D2,D3}，S5={E1,E2}。
3、决策(decision)Xn：决策集Dn(Sn)。 D1(S1)={X1(A)}={B1,B2,B3}= S2， D2(S2)={X2(B1),X2(B2),X2(B3)}={C1,C2;C1,C2,C3 ;C2,C3 } ={C1,C2,C3}=S3， D3(S3)={X3(C1),X3(C2),X3(C3)} ={D1,D2;D1,D2,D3; D1,D2,D3}={D1,D2,D3}=S4，
数学建模讲义
Email:mxw1334@126.com
数学建模专题讲座
最优化模型 ---动态规划
动态规划
1 动态规划的基本概念和方法
–基本概念与名词解释 –最优化原理与动态规划的基本方法
2 动态规划模型的建立与求解步骤
–建立动态规划模型的基本要求 –动态规划的求解步骤
3 动态规划的应用举例
–定价问题 –资源分配问题 –生产存储问题
最优化原理
一、R.Bellman最优化原理： 作为整个过程的最优策略，无论过去的状
态和决策如何，对前面的决策形成状态而言， 余下的诸决策必构成最优策略。
即：若M是从A到B最优路线上的任一点， 则从M到B的路线也是最优路线。
•M A•
•B
二、指标递推方程：
fn*(Sn) = opt [vn(sn,un) * vn(sn,un)], xn∈Dn(Sn) 如上例：
例2：求下列图中A到F的最短路线及最短路线值。
9
B1
5
1
C1
5
D
1
4
3
2
A5
4
B2
3
5
8
C2
4
6
6 D 29
E1 1 F
4
2
1 B3 7
44
7
E2
C3 2
D
3
5
B
9
1
5
C1
1
5
D
1
4
3
2
E
A5
4
B
3
8
C
4
D6
1
1
2
5
2
6
29
Fຫໍສະໝຸດ Baidu
4
2 E
1 B 37
44
7
2
C
D
32
35
1、阶段(stage)n： n = 1、2、3、4、5。
3、决策(decision) uk(sk) ：从一个阶段某状态演变到下一个阶段某 状态的选择.常用uk(sk) 表示第k阶段当状态处于sk时的决策变量.决 策集用Dn(Sk)表示.就是阶段的终点. D1(S1)={u1(A)}={B1,B2,B3}= S2，
D2(S2)={U2(B1),U2(B2),U2(B3)}={C1,C2;C1,C2,C3 ;C2,C3 } ={C1,C2,C3}=S3，
fn*(Sn) = min [vn(sn,un)+ fn+1*(Sn+1) ], n=3、2、1 xn∈Dn(Sn)
f4*(S4) = min [v4(s4,u4)] x4∈D4(S4)
三、求解过程：
用反向嵌套递推法：从最后一个阶段开始， 依次对各子过程寻优，直至获得全过程的最优， 形成最优策略，获得最优策略指标值。
四、动态决策问题分类： 1、按数据给出的形式分为：
• 离散型动态决策问题。 • 连续型动态决策问题。 2、按决策过程演变的性质分为： • 确定型动态决策问题。 • 随机型动态决策问题。
名词解释
例1 某公司欲将一批货物从城市A运到城市E去， 如图所示，走哪条路线最好？
B1 6 C1 3
4 A9
4
D3(S3)={U3(C1),U3(C2),U3(C3)}={D1,D2;D1,D2,D3;D1,D2,D3} ={D1,D2,D3}=S4，
D4(S4)={U4(D1),U4(D2),U4(D3)}={E1,E2;E1,E2;E1,E2} ={E1,E2}=S5，
D5(S5)={X5(E1),X5(E2)}={F;F}={F}。
一、建立动态规划模型的基本要求
将问题划分成若干阶段。有的问题的阶段性 很明显，有的则不明显，需要分析后人为假 设。
确定各阶段的状态变量，并给出状态转移方 程，状态转移方程的形式应当与递推顺序一 致。
状态变量应当满足无后效性要求。 明确指标函数，给出最优函数递推方程，递
推方程的形式应当与递推顺序一致。
第一节 动态规划的基本概念与方法
1 动态规划的基本概念 一、动态决策问题：
决策过程具有阶段性和时序性(与时间有关)的决 策问题。即决策过程可划分为明显的阶段。 二、什么叫动态规划(D.P.– Dynamic Program)：
多阶段决策问题最优化的一种方法。 广泛应用于工业技术、生产管理、企业管理、经 济、军事等领域。 三、动态规划(D.P.)的起源： 1951年,美国数学家R.Bellman(贝尔曼)等人提出 最优化原理，从而建立动态规划，他的名著《动态规 划》于1957年出版。
8 B2 7
5 6 C2 2
D1 4
E
5
6
3
D2
8 B3 9
13 C3
第一阶段
第二阶段 第三阶段 第四阶段
1、阶段(stage)k： 把所给问题的过程，恰当地分成若 干个相互联系的阶段。描述阶段的变量称为阶段变量 ，常用k表示。k = 1、2、3、4。
2、状态(state)Sk：状态表示每个阶段开始所处的状态 ,即是每一阶段的出发位置.阶段的起点.通常一个阶段 有多个状态.记为Sk. S1={A}，S2={B1,B2,B3}，S3={C1,C2,C3}, S4={D1,D2}。