数学模型10：动态规划模型
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
d (C2 , D1 ) f ( D1 ) 4 6 min min 10, u * (C2 ) D1 7 7 d (C2 , D3 ) f ( D3 ) f (C3 ) min{d (C3 , u (C3 )) f (u (C3 ))} d (C3 , D2 ) f ( D2 ) D2 8 7 * min min 15, u (C3 ) 8 7 D3 d (C3 , D3 ) f ( D3 )
d ( A, B1 ) f ( B1 ) B1 6 13 * min min 19, u ( A) 7 12 d ( A, B2 ) f ( B2 ) B2
最短路长
V(A)=19 。
数学建模课件
主讲人：孙云龙
最优路径
最短路长
数学建模课件
应用
解:
例2:
5 年 500辆 卡车 超负荷 低负荷
d ( D2 , E1 ) f ( E1 ) 4 3 min min 7, u * ( D2 ) E1 3 6 d ( D2 , E2 ) f ( E2 ) f ( D3 ) min{d ( D3 , u ( D3 )) f (u ( D3 ))}
= opt Vk,n（xk ,uk ,..,xn+1):最优值函数
指标函数 Vk,n 例1:距离
xk+1 =
Tk(xk ,uk): 状态转移方程
: 终端条件
fn+1(xn+1)=h
数学建模课件
主讲人：孙云龙
(四)图示
阶段变量k u1 x1 u2 x2 k=2 决策变量 uk k xn
un
k=n
3 B1 4 6 7 A 7 (u (C1 ))} 2 2 B 4
C1 8 6 3 C24 7 8 C3 8
D1 3 主讲人：孙云龙 2 4 D2 3 4 1 D3 E1 3 F E2 6
数学建模课件
f ( B1 ) min{d ( B1 , u ( B1 )) f
3 B1 4 6 7 A 7 2 (u ( B1 ))}B2 4
B1 3 1 5
4 C1 3 1 C2
C1
E
3 B2 1 3 3 B3 5
2 5 4 2
D1 D2 D3
3 1 5
E
数学建模课件
主讲人：孙云龙
继续
k=1, { A }
f1(A)=min(d(A,Bi)+f2(Bi))=min(10,8,9)=8
A→E:
最短路径:A → B2 → C1 → D1 → E 距离:
k=1
f1(x1)
xk 状态变量 fk(xk) f2(x2) 最优值函数
xn+1
fn(xn)
策略 p1,n(x1)={u1(x1), u2(x2),.., un(xn)}
数学建模课件
主讲人：孙云龙
再看例1 最短路问题
A
走到F的最短路径
C1 6 A 7 B2 B1 3 4 7 2 4 8 C3 8 6 3 C2 4 7 D2 8 D1 2 4 3 4 D3 1 E2 3 E1
A B1C1D2E1F
V(A)=19 。
C1 8 6 3 4 7 D1
A B2C2D1E1F
3 E1 3 F E2 1 6
6 A 7
3 B1 4 7 2 B2 4
C2
8 C3 8
2 4 D2 3 4
D3
不管该最优策略上某状态以前的状态和决策如何，对 该状态而言，余下的诸决策必构成最优子策略。“ ——Bellman 1957
k=2, { B1,B2,B3}
C1→E: f3(C1)= 5
C2→E: f3(C2) =min(d3(C2,Di)+f4(Di)) =min(4,5,7)=4
2 5 3 1 C2 4 2 D3 D1 D2
B1→E: f2(B1)= 7 B2→E: f2(B2)= 6 B3→E: f2(B3)= 8
3 B1 4 7 2 B2 4
C1 8 6 3 C24 7 8 C3 8
D1 3 主讲人：孙云龙 2 4 D2 3 4 1 D3 E1 3 F E2 6
d ( D1 , E1 ) f ( E1 ) 3 3 min min 6, u * ( D1 ) E1 2 6 d ( D1 , E2 ) f ( E2 ) f ( D2 ) min{d ( D2 , u ( D2 )) f (u ( D2 ))}
3 F 6
状态变量：选取每一步所处的位置为状态变量，记为xi； 决策变量：取处于状态xi时，下一步所要到达的位置，记为ui(S)； 目标函数：设f(xi)为位置xi到F点最短路程，目标求 f(A)； 状态转移方程：f(xi)=min{d(xi,u(xi))+f(xi+1)}，u(xi)=xi+1 其中d(xi,u(xi))=d(xi,xi+1)为xi到可直接到达点xi+1的路程。
d (C1 , D1 ) f ( D1 ) 8 6 mind (C1 , D2 ) f ( D2 ) min3 7 10, u * (C1 ) D2 d (C , D ) f ( D ) 6 7 1 3 3 f (C2 ) min{d (C2 , u (C2 )) f (u (C2 ))}
d ( D3 , E1 ) f ( E1 ) E1 4 3 * min min 7, u ( D3 ) 1 6 E2 d ( D3 , E2 ) f ( E2 )
数学建模课件
f (C1 ) min{d (C1 , u (C1 )) f
D2→E:f4(D2)=1
D3→E:f4(D3)=5
D1 D2 D3
C1→E: f3(C1)=
3 1 5 E C1 3 1 C2 2 5 4 2 D3 D1 D2
min(d3(C1,Di)+f4(Di))=5
3 1 5
E
不考虑→E 怎样实现
数学建模课件
主讲人：孙云龙
继续
k=3, { C1,C2}
《Dynamic programming》
即:最优策略的任一子策略都是最优的。
Mathematic Modeling
数学建模课件
主讲人：孙云龙
(三)一个方程：
fk(xk)= min[vk(xk ,uk)+ fk+1(xk+1)]
fn+1(xn+1)=h
其中：
fk(xk)
(uk ,..,un)
3 A 2
8
B1
4 C1 3 1
1
3 B2 1 3 3 B3 5
2 5
D1 D2
3 1 5 E
f2(B1)= 7 f2(B2)= 6 f2(B3)= 8
C2
4 2 D3
数学建模课件
主讲人：孙云龙
特点
无后效性 局部最优决策过程与全过程
每阶段最优决策:
直接效果:阶段内 间接效果:后阶段
d ( B2 , C2 ) f (C2 ) 2 10 min min 12, u * ( B2 ) C2 d ( B2 , C3 ) f (C3 ) 4 15 f ( A) min{d ( A, u( A)) f (u( A))}
例2 运输问题
运输公司: 计划时间:
500辆卡车 5 年 年利润 损坏率 0.3 % 0.1 %
解
超负荷 低负荷
25 (万元/辆) 16 (万元/辆)
每年年初分配卡车 问:
怎样分配(超, 低)负荷
使总利润最大
数学建模课件
分析: 例1 最短路问题
四个阶段
3
B1
4
A
2wk.baidu.com1
初始状态
C1 8 6 3 C24 7 8 C3 8
D1 3 主讲人：孙云龙 2 4 D2 3 4 1 D3 E1 3 F E2 6
d ( B1 , C1 ) f (C1 ) 3 10 mind ( B1 , C2 ) f (C2 ) min4 10 13, u * ( B1 ) C1 d ( B , C ) f (C ) 7 15 1 3 3 f ( B2 ) min{d ( B2 , u ( B2 )) f (u ( B2 ))}
子策略 pk,n(xk)={uk(xk), uk+1(xk+1), .., un(xn)} 策略 p1,n(x1) → 最优p1,n*(x1)?
数学建模课件
主讲人：孙云龙
(二)最优性原理
“作为整个过程的最优策略具有这样的性质：
不管该最优策略上某状态以前的状态和决策如何， 对该状态而言，余下的诸决策必构成最优子策略。 ——Bellman 1957
动态规划求解：按照动态规划递推公式倒推，逐个阶
段求解。
解
f(E1)=min{d(E1,F)+f(F)}=min{3+0}=3，u*(E1)=F
f(E2)=min{d(E2,F)+f(F)}=min{6+0}=6，u*(E2)=F
数学建模课件
A 6 7
f ( D1 ) min{d ( D1 , u ( D1 )) f (u ( D1 ))}
决策 状态
决策
1
2
n 状态
时间
空间
创始人:R.E.Bellman
20世纪50年代
数学建模课件
主讲人：孙云龙
例1 最短路问题
A
→D
问应选择什么样的路线，可使总路线最短？
3
A 2 1
B1 B2 B3 3 1 3 3
4 C1 3 1 C2 5
2 5
D1 D2
3 1 5
E
4 2
D3
数学建模课件
主讲人：孙云龙
递推
数学建模课件
基本理论
A
3 2
B1
4
主讲人：孙云龙 C1 1 5 D
(一)基本概念
1.阶段、阶段变量 2.状态、状态变量
1
k xk uk(xk)
3 B2 1 3 3 B3 5
第k阶段始
C2
可达状态集 Xk
3.决策、决策变量
→ 终止状态 (子过程) 决策序列
允许决策集 Uk
4.策略、最优策略
数学建模课件
主讲人：孙云龙
数学建模 与 数学实验
动态规划
Email:sunyl@swufe.edu.cn
SUN
数学建模课件
主讲人：孙云龙
动态规划
运筹学的一个分支:
求解多阶段决策过程的最优化数学方法
研究对象:
一项任务需要分几个阶段完成，每个阶段都有多种 选择, 即多阶段决策.
决策 状态
动态:
A Bi Cj Dk E
×3 ×1=18条
最佳线路
数学建模课件
主讲人：孙云龙
多阶段决策过程: 逆序法
四个阶段: fk(xk) 最优值函数(xk→E 最短路长)
k=4
,{ D1,D2,D3}
k=3,
{ C1,C2}
D1→E:f4(D1)=3
C1→D1→E:d3(C1,D1)+f4(D1)=5 C1→D2→E:d3(C1,D2)+f4(D2)=6 C1→D2→E:d3(C1,D3)+f4(D3)=8
3 B2 1 3 3 B3 5
性质:
主讲人：孙云龙 2 D1 3 C1 5 3 E D2 1 1 5 C2 4 2 D3
A →Bi → Cj → Dk → E
第一阶段 3个B中选择: 决策
单阶段决策: 局部 多阶段决策: 整体
线路:3×2
最佳: A →Bi → Cj → Dk → E 则: Bi → Cj → Dk → E 为 Bi 至 E 最佳
数学建模课件
数学模型
A
6 7
3 B1 4 7 2 B2 4
C1 8 6 3 C24 7
8 C3 8
D1 3 主讲人：孙云龙 2 4 D2 3 4 1 D3 E1 3 F E2 6
f ( xi ) min{d ( xi , u ( xi )) f (u ( xi ))}
u ( A) {B1 , B2 }, u ( B1 ) {C1 , C2 , C3 }, u ( B2 ) {C2 , C3} u (C1 ) {D1 , D2 , D3}, u (C1 ) {D1 , D3 }, u (C1 ) {D2 , D3 } u ( D1 ) {E1 , E2 }, u ( D2 ) {E1 , E2 }, u ( D3 ) {E1 , E2 } u ( E1 ) {F }, u ( E2 ) {F }
d ( A, B1 ) f ( B1 ) B1 6 13 * min min 19, u ( A) 7 12 d ( A, B2 ) f ( B2 ) B2
最短路长
V(A)=19 。
数学建模课件
主讲人：孙云龙
最优路径
最短路长
数学建模课件
应用
解:
例2:
5 年 500辆 卡车 超负荷 低负荷
d ( D2 , E1 ) f ( E1 ) 4 3 min min 7, u * ( D2 ) E1 3 6 d ( D2 , E2 ) f ( E2 ) f ( D3 ) min{d ( D3 , u ( D3 )) f (u ( D3 ))}
= opt Vk,n（xk ,uk ,..,xn+1):最优值函数
指标函数 Vk,n 例1:距离
xk+1 =
Tk(xk ,uk): 状态转移方程
: 终端条件
fn+1(xn+1)=h
数学建模课件
主讲人：孙云龙
(四)图示
阶段变量k u1 x1 u2 x2 k=2 决策变量 uk k xn
un
k=n
3 B1 4 6 7 A 7 (u (C1 ))} 2 2 B 4
C1 8 6 3 C24 7 8 C3 8
D1 3 主讲人：孙云龙 2 4 D2 3 4 1 D3 E1 3 F E2 6
数学建模课件
f ( B1 ) min{d ( B1 , u ( B1 )) f
3 B1 4 6 7 A 7 2 (u ( B1 ))}B2 4
B1 3 1 5
4 C1 3 1 C2
C1
E
3 B2 1 3 3 B3 5
2 5 4 2
D1 D2 D3
3 1 5
E
数学建模课件
主讲人：孙云龙
继续
k=1, { A }
f1(A)=min(d(A,Bi)+f2(Bi))=min(10,8,9)=8
A→E:
最短路径:A → B2 → C1 → D1 → E 距离:
k=1
f1(x1)
xk 状态变量 fk(xk) f2(x2) 最优值函数
xn+1
fn(xn)
策略 p1,n(x1)={u1(x1), u2(x2),.., un(xn)}
数学建模课件
主讲人：孙云龙
再看例1 最短路问题
A
走到F的最短路径
C1 6 A 7 B2 B1 3 4 7 2 4 8 C3 8 6 3 C2 4 7 D2 8 D1 2 4 3 4 D3 1 E2 3 E1
A B1C1D2E1F
V(A)=19 。
C1 8 6 3 4 7 D1
A B2C2D1E1F
3 E1 3 F E2 1 6
6 A 7
3 B1 4 7 2 B2 4
C2
8 C3 8
2 4 D2 3 4
D3
不管该最优策略上某状态以前的状态和决策如何，对 该状态而言，余下的诸决策必构成最优子策略。“ ——Bellman 1957
k=2, { B1,B2,B3}
C1→E: f3(C1)= 5
C2→E: f3(C2) =min(d3(C2,Di)+f4(Di)) =min(4,5,7)=4
2 5 3 1 C2 4 2 D3 D1 D2
B1→E: f2(B1)= 7 B2→E: f2(B2)= 6 B3→E: f2(B3)= 8
3 B1 4 7 2 B2 4
C1 8 6 3 C24 7 8 C3 8
D1 3 主讲人：孙云龙 2 4 D2 3 4 1 D3 E1 3 F E2 6
d ( D1 , E1 ) f ( E1 ) 3 3 min min 6, u * ( D1 ) E1 2 6 d ( D1 , E2 ) f ( E2 ) f ( D2 ) min{d ( D2 , u ( D2 )) f (u ( D2 ))}
3 F 6
状态变量：选取每一步所处的位置为状态变量，记为xi； 决策变量：取处于状态xi时，下一步所要到达的位置，记为ui(S)； 目标函数：设f(xi)为位置xi到F点最短路程，目标求 f(A)； 状态转移方程：f(xi)=min{d(xi,u(xi))+f(xi+1)}，u(xi)=xi+1 其中d(xi,u(xi))=d(xi,xi+1)为xi到可直接到达点xi+1的路程。
d (C1 , D1 ) f ( D1 ) 8 6 mind (C1 , D2 ) f ( D2 ) min3 7 10, u * (C1 ) D2 d (C , D ) f ( D ) 6 7 1 3 3 f (C2 ) min{d (C2 , u (C2 )) f (u (C2 ))}
d ( D3 , E1 ) f ( E1 ) E1 4 3 * min min 7, u ( D3 ) 1 6 E2 d ( D3 , E2 ) f ( E2 )
数学建模课件
f (C1 ) min{d (C1 , u (C1 )) f
D2→E:f4(D2)=1
D3→E:f4(D3)=5
D1 D2 D3
C1→E: f3(C1)=
3 1 5 E C1 3 1 C2 2 5 4 2 D3 D1 D2
min(d3(C1,Di)+f4(Di))=5
3 1 5
E
不考虑→E 怎样实现
数学建模课件
主讲人：孙云龙
继续
k=3, { C1,C2}
《Dynamic programming》
即:最优策略的任一子策略都是最优的。
Mathematic Modeling
数学建模课件
主讲人：孙云龙
(三)一个方程：
fk(xk)= min[vk(xk ,uk)+ fk+1(xk+1)]
fn+1(xn+1)=h
其中：
fk(xk)
(uk ,..,un)
3 A 2
8
B1
4 C1 3 1
1
3 B2 1 3 3 B3 5
2 5
D1 D2
3 1 5 E
f2(B1)= 7 f2(B2)= 6 f2(B3)= 8
C2
4 2 D3
数学建模课件
主讲人：孙云龙
特点
无后效性 局部最优决策过程与全过程
每阶段最优决策:
直接效果:阶段内 间接效果:后阶段
d ( B2 , C2 ) f (C2 ) 2 10 min min 12, u * ( B2 ) C2 d ( B2 , C3 ) f (C3 ) 4 15 f ( A) min{d ( A, u( A)) f (u( A))}
例2 运输问题
运输公司: 计划时间:
500辆卡车 5 年 年利润 损坏率 0.3 % 0.1 %
解
超负荷 低负荷
25 (万元/辆) 16 (万元/辆)
每年年初分配卡车 问:
怎样分配(超, 低)负荷
使总利润最大
数学建模课件
分析: 例1 最短路问题
四个阶段
3
B1
4
A
2wk.baidu.com1
初始状态
C1 8 6 3 C24 7 8 C3 8
D1 3 主讲人：孙云龙 2 4 D2 3 4 1 D3 E1 3 F E2 6
d ( B1 , C1 ) f (C1 ) 3 10 mind ( B1 , C2 ) f (C2 ) min4 10 13, u * ( B1 ) C1 d ( B , C ) f (C ) 7 15 1 3 3 f ( B2 ) min{d ( B2 , u ( B2 )) f (u ( B2 ))}
子策略 pk,n(xk)={uk(xk), uk+1(xk+1), .., un(xn)} 策略 p1,n(x1) → 最优p1,n*(x1)?
数学建模课件
主讲人：孙云龙
(二)最优性原理
“作为整个过程的最优策略具有这样的性质：
不管该最优策略上某状态以前的状态和决策如何， 对该状态而言，余下的诸决策必构成最优子策略。 ——Bellman 1957
动态规划求解：按照动态规划递推公式倒推，逐个阶
段求解。
解
f(E1)=min{d(E1,F)+f(F)}=min{3+0}=3，u*(E1)=F
f(E2)=min{d(E2,F)+f(F)}=min{6+0}=6，u*(E2)=F
数学建模课件
A 6 7
f ( D1 ) min{d ( D1 , u ( D1 )) f (u ( D1 ))}
决策 状态
决策
1
2
n 状态
时间
空间
创始人:R.E.Bellman
20世纪50年代
数学建模课件
主讲人：孙云龙
例1 最短路问题
A
→D
问应选择什么样的路线，可使总路线最短？
3
A 2 1
B1 B2 B3 3 1 3 3
4 C1 3 1 C2 5
2 5
D1 D2
3 1 5
E
4 2
D3
数学建模课件
主讲人：孙云龙
递推
数学建模课件
基本理论
A
3 2
B1
4
主讲人：孙云龙 C1 1 5 D
(一)基本概念
1.阶段、阶段变量 2.状态、状态变量
1
k xk uk(xk)
3 B2 1 3 3 B3 5
第k阶段始
C2
可达状态集 Xk
3.决策、决策变量
→ 终止状态 (子过程) 决策序列
允许决策集 Uk
4.策略、最优策略
数学建模课件
主讲人：孙云龙
数学建模 与 数学实验
动态规划
Email:sunyl@swufe.edu.cn
SUN
数学建模课件
主讲人：孙云龙
动态规划
运筹学的一个分支:
求解多阶段决策过程的最优化数学方法
研究对象:
一项任务需要分几个阶段完成，每个阶段都有多种 选择, 即多阶段决策.
决策 状态
动态:
A Bi Cj Dk E
×3 ×1=18条
最佳线路
数学建模课件
主讲人：孙云龙
多阶段决策过程: 逆序法
四个阶段: fk(xk) 最优值函数(xk→E 最短路长)
k=4
,{ D1,D2,D3}
k=3,
{ C1,C2}
D1→E:f4(D1)=3
C1→D1→E:d3(C1,D1)+f4(D1)=5 C1→D2→E:d3(C1,D2)+f4(D2)=6 C1→D2→E:d3(C1,D3)+f4(D3)=8
3 B2 1 3 3 B3 5
性质:
主讲人：孙云龙 2 D1 3 C1 5 3 E D2 1 1 5 C2 4 2 D3
A →Bi → Cj → Dk → E
第一阶段 3个B中选择: 决策
单阶段决策: 局部 多阶段决策: 整体
线路:3×2
最佳: A →Bi → Cj → Dk → E 则: Bi → Cj → Dk → E 为 Bi 至 E 最佳
数学建模课件
数学模型
A
6 7
3 B1 4 7 2 B2 4
C1 8 6 3 C24 7
8 C3 8
D1 3 主讲人：孙云龙 2 4 D2 3 4 1 D3 E1 3 F E2 6
f ( xi ) min{d ( xi , u ( xi )) f (u ( xi ))}
u ( A) {B1 , B2 }, u ( B1 ) {C1 , C2 , C3 }, u ( B2 ) {C2 , C3} u (C1 ) {D1 , D2 , D3}, u (C1 ) {D1 , D3 }, u (C1 ) {D2 , D3 } u ( D1 ) {E1 , E2 }, u ( D2 ) {E1 , E2 }, u ( D3 ) {E1 , E2 } u ( E1 ) {F }, u ( E2 ) {F }