动态规划相关知识

►.
-----------------------
-----------------------
-----------------------
-----------------------
3 m -----------------------
-----------------------
-----------------------
叫做状态。描述各阶段状铺 罗?量 祢为状态芝量，常用就衰
示第kj阶段的状态艾堂Ji态
变量的取值第告称为方陵张
用§k莎元。
肆馨划中的状态具有如下性质:
一 ■独芽阶段状态绐定♦后一在比 阶藐
Z后的过程的发展不受危.妻以 前各段状
态的彩响’即：过程的过 去历史只能通 过当前状态去影响它 未光的发展/ 捞为 无后没性’如 无所选定的歹童不具刍宠
,座励市亘达另一座城币作为一^1， 阶段"例从A城wk.baidu.com到E城市的阶段 "少则 一4」例/A城TfTWflE 城市））多则无
限（例*\城市饲
•过其他B> C> D三城而彳琵涵血城
7F> .，为魅免循环，加上咨圈
件；匐十城市至多经罚:一间■
5
jTjjf是办△城市到•让£城市的阶 列四种情
形，
h从△城市直让E城市 > —个阶段。
的住所位于△/公司位于乩 图中的直线
段代表公跖 交荣点 代表路匚L亘笏甥
上的纫亨《糠 两路口之间豹平均行驶时
间，现’ 在V7先生的间规是琴例 省时
的上班踣* .
,----------------- ,----------------------
------------------ -----------------------
飕回I 就不能作为状态艾量来构;壹屈即
划棋也
3决策和策略
(Decision and Policy)
当各段:的状态确定以后/就可 以做出不同狗资定，或选角
）罗i
而确定下一阶没的疣态'这部 二 称为决旁九供第查-量片 允许决第集合用皿握虱
个阶段决策确定后'•整个问 题 跑概第序列就顷-十第略/顶 Pi JHiSw…谯） 表示。对每个实际 间'规可供勉择的策 略有一定的莅
业在侦用亥，付都邛考，产 我刍的更新问题'因为宏刍越陈 旧所 需的维修费用越多’但购买 新设备则 要一饮性支出客区的费 用，
鄂澎企业多资定一台设备未光腭 幸明
可新计划，己预洌到第j年购 买设备的 价格为Kj) Gj为设备经 过j年后的残值， q为既备沱续陌 用j-J年后在第j年的维
修费用
(j=L2…问应在哪年耳讶国 可使总费 用昴小o
02 ) 称为允许第略集合） 用F表示o
使整个问题•达到•最优效果r止F「,'"'尸L I | nv —i-「)
§转移方程
勒态规划中左阶段的状态往
往是上一阶•段的供策结果，如界: 给定
了第k段的状态以…本物段
袂:策为dk(Sk) >则第k+」移:的杭态
田
ME」J
公式了
3k>1-7k (
碗定/菊:为状态.转....k泌-.u如4〃一—五
言驾4断表都冬奥出砰奥足 程 豹s是一j s斤列T
阶段决策问题也舫:为序贯肉吞问题。
产与存储问题
厂每月需供应市场一定数
f 的产品 " - 应需求所剩奈产品应
f 入仓庠降低般地说，某月适 3 培
l 产 * 可庠会生产成本，但超产都
存 存入仓月 s 增加摩存费善 妥 '
加 - 个每 / 的生产计划”与
诺规划是解洗多阶段?研策过
，爸魏莅化问题的一种方怯’由美国
数学芬贝尔曼 r Bnlliiuin J 号人在 2D世
纪5D年代提出o他们针对多阶 •段:资第
•问氏题iz的:刀持p点/提出了解资区
类问题的'最优化原理〃 地
广并成功
解决了生产管理 > 工 方面
的许多实际问题上
态规划是现代金业管理 岸
跻一种1E妄资第万注 > 可用 于最
MJ宙是办△城市到仕E城市的阶 列四
种情形：
34城市通过其他g> C"D三城 市之一到 E城市，二个阶段，
瑚挈A城市到诂E城市的阶段数 彳中侑
形，
七从A城市通也其他此C"D三城 市之二到E城市'三个阶段.
少从A城市通过其他此C1
例7・5 （ 一定阶段最短路问题）” 调队尹驾车去么司上班」如⑶ W/宪生
优踣径问题〉赏麝分配问 题，生 产计划和庠存问题’投 赏问题,装 载问，题，排序问题 及生产-技程 的最优行制竽，—
十豚湖划模型的分乡冬
勺岫旅角度可分必：
1
离散型和连续型.
况信'息确能与否可分成： 确定型溯随机哽，
从目标函数的个数可乡如
单目标尹甥哆*1
多阶段多策过程是指这样一类 持
说的活动过邕他们可以按时间 顺序7T解 成若干相互朕系的阶廖）
最优解：虻①」尸0
J
则下一步能取E」或物 '^^(/如 r(L2,£j 口」〜
炉(。2了2)+乌建 2)
5指标函数
用于街量所选定策略优 劣的 数量指标称为指标璋敛a 最优指标函
数记为R（需。
司态规划的基本思想:
"「过程的最后一段开务 用通序递推方法求解/犀步 术出各
段各点到殍点E昴知
D
尊时 有两个阶段/初始状态&
卵是以或蚓
如果3厂D,则下一步只能取E,故 i」」s
最短跖笏D]--E]--.
-----------------
2 C2
E1
1 阶段(Stage)
■'将所给问题的过程’按肘间或 空间 特征分解威若于个相互密 的 阶凯以便 按次兀 序匚 去求每阶段的解
告=匚",用) k矽击江阶段芝量’ "
rn m I
少们把岁△到 题o «
(State)
厂柘时的客观务件 匚兀-「厂二二，
壬W少必7T您J!
分 条件 T 定 之和 •
>
K 一年的生 F «
。
-
J l f .
求
F
例?垃投资决策问题
1哮公司现有务金以亿元）在今 后5年内 考虑绐A , B> C> 1四4"项
目投赏/适些顼目豹投赛期 限、）回 报率均不招同'问应如何萌定这
项目号年的矽:务颔）侦匆以
物有资金的布利总额庭i
例7.3设备更新问题
划的基本概念
j_r，一;一
7 n △工二匚「|打上||尸/
匚 ， )］ ―；rr-f~ S!>v 压出孑G.I多：: 》，，/ 1 f " 1 ~ " / 彳目切函裂。
例74 （不定阶段最短路线问题）
是-4 -五座城而洎〃三「/用
连-道路的交通图/线
也倒由可以看出/仕急肉方两座城币
痢道路胡翅0我们把从一