动态规划简介解析
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
动态规划法简介
多阶段决策过程
最短路问题
C1 6
1
8
2
B1 3
D1
3
2
E1 3 5
5
6
C2
5
F1 4 5
A
D2 1
E2
G
3
8 7
B2
3
C3 3
2
2
3
F2
3
6
6
8
D3 3
E3 6
C4 4
特点：若O-H-P-D是最短路，则H-P-D是从H到D 的最短路。
最短路求解过程
13
C1 6
13 1 B1 3
8 10 3
3.决策:可作出的选择dk,允许决策集合; 4.策略:决策序列(子策略);
过程:状态序列(子过程);
对状态要求具有无后效性,允许决策集合只 与当时的状态有关;
5.状态转移方程:决策对下一阶段状态的影 响sk+1 =Tk(sk ,dk);
收益或支出函数r=rk(sk ,dk);
dk
sk
k
sk+1
rk
例 用动态规划方法求如下优化问题的最优 解：
min z x12 3x22 x32
s
.t.xx11
x2 , x2 , x3
x3 0.
5
例 用动态规划方法求如下优化问题的最优
解：
min z x12 3x22 x32
s
.t.
x1 x2 x1, x2 , x3
x3 5 0,且为整数。
6.最优值函数 fk(sk ); 递推方程 fk(sk )=opt{rk(sk ,dk)+fk+1(sk+1)};
动态规划最优性原理
Bellman最优性原理：作为整个过程的最优 策略具有这样的性质:无论过去的状态和 决策如何，对前面的决策所形成的状态 而言，余下的决策必定构成一个最优策 略。
换言之，最优策略的子策略总是最优的。
收
A 0 15 20 25 28 30
益
B 0 0 10 25 45 70
（万元）
C 0 10 20 30 40 50
同样，最优轨线的子轨线也是最优的。
用动态规划方法解优化问题
1)将问题恰当的划分阶段； 2)状态变量的选择:能描述过程的演变，满
足无后效性；
3)确定决策变量及允许决策集合； 4)写出状态转移方程和阶段效益式； 5)最优值函数:是定义在全过程和所有后部
子过程的函数，具有可分离性，与原问 题目标相关,写出递推方程及初始条件。
72 D1
2
7 E1 3
4 5
5 18
6
C2
5
6
55
F1 4
A
D2 1
E2
G
3
8 16 7 B2
93
C3 3
2 83
2
33
F2 96
6
8
12
D3 3
E3 6
C4 4
动态规划法减少了计算量,丰富了计算结果
动态规划的基本概念
1.阶段:反映问题时间或空间的自然特性k;
2.状态:表示在某阶段开始所处的自然状态 或客观条件sk;
分两步：逆推确定各状态的最优值函数及 最优决策规则，顺推确定最优过程及最 优策略。
来自百度文库
动态规划的主要缺点是所谓的“维数灾”。
资源分配问题
例: 某公司拟将50万元资金投放下属A、B、C三个部门，各 部门在获得资金后的收益如表所示，用动态规划方法求总 收益最大的投资分配方案（投资数以10万元为单位）。
投放资金（万 0 10 20 30 40 50 元）
多阶段决策过程
最短路问题
C1 6
1
8
2
B1 3
D1
3
2
E1 3 5
5
6
C2
5
F1 4 5
A
D2 1
E2
G
3
8 7
B2
3
C3 3
2
2
3
F2
3
6
6
8
D3 3
E3 6
C4 4
特点：若O-H-P-D是最短路，则H-P-D是从H到D 的最短路。
最短路求解过程
13
C1 6
13 1 B1 3
8 10 3
3.决策:可作出的选择dk,允许决策集合; 4.策略:决策序列(子策略);
过程:状态序列(子过程);
对状态要求具有无后效性,允许决策集合只 与当时的状态有关;
5.状态转移方程:决策对下一阶段状态的影 响sk+1 =Tk(sk ,dk);
收益或支出函数r=rk(sk ,dk);
dk
sk
k
sk+1
rk
例 用动态规划方法求如下优化问题的最优 解：
min z x12 3x22 x32
s
.t.xx11
x2 , x2 , x3
x3 0.
5
例 用动态规划方法求如下优化问题的最优
解：
min z x12 3x22 x32
s
.t.
x1 x2 x1, x2 , x3
x3 5 0,且为整数。
6.最优值函数 fk(sk ); 递推方程 fk(sk )=opt{rk(sk ,dk)+fk+1(sk+1)};
动态规划最优性原理
Bellman最优性原理：作为整个过程的最优 策略具有这样的性质:无论过去的状态和 决策如何，对前面的决策所形成的状态 而言，余下的决策必定构成一个最优策 略。
换言之，最优策略的子策略总是最优的。
收
A 0 15 20 25 28 30
益
B 0 0 10 25 45 70
（万元）
C 0 10 20 30 40 50
同样，最优轨线的子轨线也是最优的。
用动态规划方法解优化问题
1)将问题恰当的划分阶段； 2)状态变量的选择:能描述过程的演变，满
足无后效性；
3)确定决策变量及允许决策集合； 4)写出状态转移方程和阶段效益式； 5)最优值函数:是定义在全过程和所有后部
子过程的函数，具有可分离性，与原问 题目标相关,写出递推方程及初始条件。
72 D1
2
7 E1 3
4 5
5 18
6
C2
5
6
55
F1 4
A
D2 1
E2
G
3
8 16 7 B2
93
C3 3
2 83
2
33
F2 96
6
8
12
D3 3
E3 6
C4 4
动态规划法减少了计算量,丰富了计算结果
动态规划的基本概念
1.阶段:反映问题时间或空间的自然特性k;
2.状态:表示在某阶段开始所处的自然状态 或客观条件sk;
分两步：逆推确定各状态的最优值函数及 最优决策规则，顺推确定最优过程及最 优策略。
来自百度文库
动态规划的主要缺点是所谓的“维数灾”。
资源分配问题
例: 某公司拟将50万元资金投放下属A、B、C三个部门，各 部门在获得资金后的收益如表所示，用动态规划方法求总 收益最大的投资分配方案（投资数以10万元为单位）。
投放资金（万 0 10 20 30 40 50 元）