宏观经济学 数学基础-3-动态规划
宏观经济学 数学基础-3-动态规划
第一部分高级宏观经济学的数学基础高级宏观经济学中许多模型用到了动态最优化理论。
这一部分主要介绍动态最优化理论的基本原理和方法，作为学习高级宏观经济学的必要准备知识。
动态最优化理论主要包括变分法、最优控制论和动态规划。
第三讲动态规划前面两节介绍了用变分法和最优控制理论（即极大值原理）求解动态最优化问题（我们主要介绍的是连续时间问题）。
同样，动态最优化问题也可以用动态规划方法来求解。
动态规划是美国数学家贝尔曼1957年提出的，同最优控制论一样，动态规划也被说成现代变分法。
动态规划包括离散时间和连续时间两种情形，它在解决离散时间问题时较为方便，我们这里重点讲离散时间下的方法。
此外，动态规划可以解决确定性条件下和不确定条件下的动态最优化问题，与变分法和最优控制相比，动态规划是求解不确定下动态最优化问题很方便的工具，但由于要涉及大量其他数学工具以及课程时间所限，我们这里只介绍解决确定性问题的方法。
一、动态规划原理与贝尔曼方程（一）动态规划问题的特点（二）贝尔曼方程二、离散时间无限界期的动态规划贝尔曼方程的形式动态规划的解三、经济学应用：新古典增长模型中的消费者最优化问题模型设定消费者储存资本并进行投资，即消费者的财富是以资本的形式表示的。
在每一期里，消费者都会把资本租给厂商并向厂商出售自己的劳动。
假设劳动并不会给消费者带来任何负效用，因此，不论工资率为多少，劳动供给始终是1单位。
消费者实际上就相当于在求解如下一个跨期最优化问题：{}1,0max ()t t t t c k t U c β+∞=∑s.t. 1(1)t t t t t c k w r k ++=++0lim 0(1)tt t t t k r →∞==+∏这里，0k 给定，t w 是工资率，t r 是资本的租金率。
如果把消费者的这个最优化问题用贝尔曼方程的方法表示出来，为{}11,()max[()()]t t t t t c k v k u c v k β++=+s.t. 1(1)t t t t t c k w r k ++=++ （1）0lim 0(1)tt t t tk r →∞==+∏把约束条件（1）代入目标函数中，有{}111()max [(1)]()t t t t t t t k v k u w r k k v k β+++=++-+ （2）式（2）的一阶条件（对1t k +求偏导）是11[(1)]()0t t t t t u w r k k v k β++''-++-+= （3）让式（2）两边对t k 求偏导，并应用包络定理，可以得到1()[(1)](1)t t t t t t v k u w r k k r +''=++-+ （4）把式（4）往后挪一期，有111121()[(1)](1)t t t t t t v k u w r k k r ++++++''=++-+ （5）用式（5）代替式（3）中的1()t v k +'，可以得到11()()(1)0t t t u c u c r β++''-++=该方程就是实现消费者最优的欧拉方程。
动态规划超级详细的讲义
动态规划入门1(2008-09-20 21:40:51)第一节动态规划基本概念一，动态规划三要素：阶段，状态，决策。
他们的概念到处都是，我就不多说了，我只说说我对他们的理解：如果把动态规划的求解过程看成一个工厂的生产线，阶段就是生产某个商品的不同的环节，状态就是工件当前的形态，决策就是对工件的操作。
显然不同阶段是对产品的一个前面各个状态的小结，有一个个的小结构成了最终的整个生产线。
每个状态间又有关联（下一个状态是由上一个状态做了某个决策后产生的）。
下面举个例子：要生产一批雪糕，在这个过程中要分好多环节：购买牛奶，对牛奶提纯处理，放入工厂加工，加工后的商品要包装，包装后就去销售……，这样没个环节就可以看做是一个阶段；产品在不同的时候有不同的状态，刚开始时只是白白的牛奶，进入生产后做成了各种造型，从冷冻库拿出来后就变成雪糕（由液态变成固态=_=||）。
每个形态就是一个状态，那从液态变成固态经过了冰冻这一操作，这个操作就是一个决策。
一个状态经过一个决策变成了另外一个状态，这个过程就是状态转移，用来描述状态转移的方程就是状态转移方程。
经过这个例子相信大家对动态规划有所了解了吧。
下面在说说我对动态规划的另外一个理解：用图论知识理解动态规划：把动态规划中的状态抽象成一个点，在有直接关联的状态间连一条有向边，状态转移的代价就是边上的权。
这样就形成了一个有向无环图AOE网（为什么无环呢？往下看）。
对这个图进行拓扑排序，删除一个边后同时出现入度为0的状态在同一阶段。
这样对图求最优路径就是动态规划问题的求解。
二，动态规划的适用范围动态规划用于解决多阶段决策最优化问题，但是不是所有的最优化问题都可以用动态规划解答呢？一般在题目中出现求最优解的问题就要考虑动态规划了，但是否可以用还要满足两个条件：最优子结构（最优化原理）无后效性最优化原理在下面的最短路径问题中有详细的解答；什么是无后效性呢？就是说在状态i求解时用到状态j而状态j就解有用到状态k…..状态N。
经济学动态规划
d2(B2,C1)+f3(C1)=4+11=15 d2(B2,C2)+f3(C2)=4+15=19 d2(B2,C3)+f3(C3)=6+8=14
=14
最小费用路线为B2-C3－D2－E
相应的最优决策u2(B2)=C3
f2(B3)=min
d2(B3,C1)+f3(C1)=1+11=12 d2(B3,C3)+f3(C3)=6+8=14
4 3
A
11
3
B1 4
4
4
B2
6
1
6
B3
C1
9
7
8
C2
12
5
C3
D1
5
3
E
D2
A-B1-C2-D1-E A-B2-C1-D2-E
均为策略
第一节 动态规划原理和模型
允许策略集合：可供选择策略的范围 最优策略：允许策略集合中最优的一个策略 在例1中最优策略为： A-B1-C3-D2-E
4 3
A
11
3
B1 4
=12
最小费用路线为B3-C1－D2－E
相应的最优决策u2(B3)=C1
第二节 动态规划求解方法
(4) S1={A} f1(A)=min
d1(A,B1)+f2(B1)=4+12=16 d2(A,B2)+f2(B2)=3+14=17 d3(A,B3)+f2(B2)=11+12=22
=16
最小费用路线为A-B1-C3－D2－E 相应的最优决策u1(A)=B1 所以整个问题的最小费用路线为A-B1-C3-D2-E 最优策略为{u1(A)=B1,u2(B1)=C3,u3(C3)=D2,u4(D2)=E}
宏观教材讨论个人关于动态规划及高级宏观学习的
宏观教材讨论个人关于动态规划及高级宏观学习的本坛网友鲁峰发表了一篇不错的高宏学习的帖子，名为："个人关于动态规划及高级宏观学习的意见"地址见：作为一名学了N年宏观的经济学工作者，我非常有兴趣和同道中人进行讨论。
同时，也可以为各位致力于宏观学习的童鞋提供一些(可能不完全正确)的建议。
我的研究领域与鲁峰网友近似，为：经济周期理论(按照惯例，也应包括经验研究)、货币理论与政策。
首先，想商议的第一个话题是，"你对宏观经济研究的偏向"。
在讨论这个话题之前，我假设大家都知道，所谓"经验"，是指empirical这个词。
为了避免与positive弄混淆，我用经验，而非"实证"来表示empirical。
按照惯例，如果有人说自己做宏观经济学，我们一般知道他主要是做理论研究的。
但是，宏观理论中，除了其基础--一般均衡理论外，基本上是找不到一处不能验证的理论的。
换言之，宏观理论直接来自于经验事实，同时，任何宏观理论一定要接受实验(经验)的检验，当然，只能用自然实验，而无法进行可控的实验。
我的看法是，宏观经济学不存在理论研究和经验研究之分，这两者都是由宏观经济学理论研究者完成。
如果有人说他用时间序列之类的方法在检验宏观经济理论，那么，按照惯例，这类研究领域应该叫做"应用时间序列研究"，最多叫做"应用计量经济学"，而绝对不能成为"经验宏观经济研究"，更不能叫做"应用宏观经济理论"。
举个例子，鲁克波尔与克莱茨希的一本教材，叫"应用时间序列计量经济学"。
(这两个人是德国人，名字不好记，所以就把中文名字记住了)这本书是SVAR课程的重要参考教材，整本书的内容就是宏观经济学的经验研究。
大家不妨看看书的名字。
另外一个例子，DeJong and Dave将其著作叫做《结构宏观计量经济学》、Canova将其著作叫《应用宏观经济研究方法》。
宏观经济学分析方法系列：变分法、欧拉方程、极值路径与动态经济模型分析
宏观经济学分析⽅法系列：变分法、欧拉⽅程、极值路径与动态经济模型分析附录：宏观经济学分析⽅法：变分法、极值路径与动态最优化(08、09 、10、11 硕已讲，精细订正版)⼀、动态最优化在静态最优化问题中，我们寻找在⼀个特定的时间点或区间上，使⼀个给定的函数最⼤化和最⼩化的⼀个点或⼀些点：给定⼀个函数y y(x)，最优点x 的⼀阶条件是y(x)0.在动态最优化问题中，我们要寻找使⼀个给定的积分最⼤化或最⼩化的曲线x (t).这个最⼤化的积分定义为独⽴变量t、函数x(t)及它的导数dx/dt的函数F下的⾯积。
简⾔之，假设时间区域从t0 0到t1 T，且⽤x表⽰dx/dt，我们寻找最⼤化或最⼩化T0 F[t,x(t), x(t)]dt (20.1 ) 这⾥假定F对t、x(t)、x(t)是连续的，且具有对x和x的连续偏导数.将形如(20.1)，对每⼀个函数x(t)对应着⼀个数值的积分称为“泛函”．⼀个使泛函达到最⼤或最⼩值的曲线称为“ 极值曲线”．极值可接受的“候选”极值曲线是在定义域上连续可微，且特别地满⾜⼀些固定端点条件的函数类x(t) ．(讲！)例1 ⼀家公司当希望获得从时间t 0到t T的最⼤利润时发现，产品的需求不仅依赖于产品的价格p ，⽽且也依赖于价格关于时间的变化率如dp/dt。
假设成本是固定的，并且每个p和dp/dt是时间的函数，p 代表dp/dt ，公司的⽬标可以作如下数学表⽰TMax 0 [t, p(t), p(t)] dt另⼀家公司发现它的总成本依赖于⽣产⽔平x(t) 和⽣产的变化率dx/dt x .假设这个公司希望最⼩化成本，且x和x是时间t的函数，公司的⽬标可以写成t1min C[t, x(t), x(t)]dtt满⾜x(t o) X o,且X(tJ X i这些初始和终值约束称为端点条件．例2 Ramsey经济：消费最优化问题从家庭终⽣效⽤函数的集约形式u u(c)出发，在消费预算约束的集约形式下求解家庭终⽣效⽤最⼤化问题，就是所谓“ Ramsey问题”⼀找出⼀条消费路径c(t)，使家庭终⽣效⽤函数U U(c)最⼤化：1max B e t [c(t)] dtc 0 1k0 o ( (t) c(t))e(n g)t R(t)dt 0⼆、欧拉⽅程：动态最优化的必要条件(三种形式)定理(泛函极值曲线即最优化)的必要条件)：对于⼀个泛函t it F[t,x(t),x(t)]dtt连接点(t o, X o)和(t i, X i)的曲线x x (t)是⼀个极值曲线(即最优化)的必要条件是F F(20 . 2a)x dt x称之为欧拉⽅程.尽管该定理等价于静态最优化的⼀阶必要条件，但是由式中稍微不同的记号可以容易了解，欧拉⽅程实际上是⼀个⼆阶微分⽅程.⽤下标表⽰偏导数，并列出其⾃变“量”，它们本⾝也可能是函数.（20 . 2a）的欧拉⽅程表⽰为F x（t,x,x）⾟［F x（t,x,x）］（20 .2b）dt然后，⽤链式法则求F x关于t的导数，并且省略⾃变“量”，得F x F xt F xx（x） F xx（x）（20 . 2c）这⾥，x d2x/dt2F⾯给出欧拉⽅程是极值曲线的必要条件的证明图20-2证明：（重点！09、10、11硕，已讲）设x x （t）是图20-2中连接点（t°,x°）和（t i,xj的曲线，并且它使F⾯泛函取得最⼤值；F[t,x(t),x(t)]dt(20 . 3)T即x x (t)为极值曲线，欧拉⽅程(20 . 2a)是x x (t)为极值曲线的⼀个必要条件.取X x (t) mh(t)是x x (t)的相邻曲线，这⾥m 是任意常数，h(t) 是⼀个任意函数.为了使曲线刃也通过点(t o ,x o )和(切禺)，则卞也满⾜端点条件：h(t o ) 0h(t i ) 0(20 . 4)⼀旦取定x (t)和h(t)之后，因x (t)和h(t)固定，则积分值^F[t,x(t), x(t)]dt 仅为m 的函数，不妨改写成tt lg(m) t F[t,x (t) mh(t) ,x (t) mh(t)]dt(20 . 5)t由于x (t)使(20 . 3)中的泛函fl F[t,x(t), x(t)]dt 实现最优化，所以t(20 .5)中的函数g(m)仅当m 0时 g(m) 1F[t,x (t) mh(t) ,x (t) mh(t)]dt 才能还原为t最优化，即有dg dm对(20 . 5)即 g(m) :F[t,x(t) mh(t),x(t) mh(t)]dt ⽤链式法则求F / m .由于F 是x 和x 的函数，依次⼜是m 的函数，代⼊(20 . 7)得dg t1上(x mh) F (x mh) dtdmt0x mx m(因为m 0时的：F[t,x(t), x(t)]dt )实现t(20 . 6)由于旦』h 且旦上h ，⽤条件(20 . 6)即岂|m0 0,有mmdm—m o th(t) h (t) dt 0(20 . 8)dm t0xx(注:u h(t)所以,去掉，合并其余两项，有由于h(t)是不必为零的任意函数，因此推出，对于极值曲线的必要条件为⽅括号中式⼦为零，即这就是欧拉⽅程．定理证毕⽅括号中的第⼀项不动，第⼆项的积分⽤分部积分，分部积分公式即vdu vu udv u u(t),v v(t)dv dv dt dtdu dF xdt⽕ dt h(t) dtdt dg dmt i tFh(t)dt xttdt-h(t)dt 0 x由(20 . 4)知，h(t 。
动态规划(生产和存储问题)
动态规划（生产和存储问题）一、动态规划法的发展及其研究内容动态规划是运筹学的一个分支，是求解决策过程最优化的数学方法。
20世纪50年代初美国数学家R.E.BELLMAN等人在研究多阶段决策过程的优化问题时，提出了著名的最优化原理，把多阶段问题转化为一系列的单阶段问题，逐个求解创立了解决这类过程优化问题的新方法——动态规划。
1957年出版的他的名著《Dynamic Proggramming》，这是该领域的第一本著作。
动态规划问世以来，在经济管理·生产调度·工程技术和最优控制等方面得到了广泛的应用。
例如最短路线·库存管理·资源分配·设备更新·组合·排序·装载等问题，采用动态规划法求解比用其他方法更为简便。
二、动态规划法基本概念一个多阶段决策过程最优化问题的动态规划模型通常包括以下几个要素：1．阶段阶段（stage）是对整个过程的自然划分。
通常根据时间顺序或是空间特征来划分阶段，对于与时间，空间无关的“静态”优化问题，可以根据其自然特征，人为的赋予“时段”概念，将静态问题动态化，以便按阶段的顺序解优化问题。
阶段变量一般用k=1.2….n.表示。
1.状态状态(state)是我们所研究的问题（也叫系统）在过个阶段的初始状态或客观条件。
它应能描述过程的特征并且具有无后效性，即当某阶段的状态给定时，这个阶段以后的过程的演变与该阶段以前各阶段的状态无关。
通常还要求状态是可以直接或者是间接可以观测的。
描述状态的变量称为状态变量（State Virable）用s 表示，状态变量的取值集合称为状态集合，用S表示。
变量允许取值的范围称为允许状态集合(set of admissble states).用x(k)表示第k阶段的状态变量，它可以是一个数或者是一个向量。
用X(k)表示第k阶段的允许状态集合。
n 个阶段的决策过程有n+1个状态变量，x(n+1)是x(n)的演变的结果。
中级宏观经济学之无限期动态模型与动态规划 (PPT 73页)
（4.47）
再一次提醒大家，函数 v 和函数 w 是两个完全
不同的函数：函数 v 是以递归形式表述的社会计划
者最优问题中的值函数，而函数 w 是以序列形式表
述的社会计划者最优问题中的函数。
2020/6/17
第四讲 三期动态模型
25
计划者带进当前期的资本存量 k ，是过去决策的一个直接 后果，实际上凝结了所有过去决策的信息，它完全地决定 了从今往后可用于支配的资源数量。因此，它经常被称为 “状态变量（state variable）”：她完全地把当前的经济状态 刻画出来了（也就是说，计划者可以在此基础上进行未来 的选择）。变量 k 是计划者在当前所需要决定（或者说控制） 变量，因此，她经常被成为“控制变量（control variable）”， 因为，这个变量是计划者在当前能控制的变量。
2020/6/17
第四讲 三期动态模型
31
让我们猜： v(k) A B ln(k)
(4.49)
其中，A 和 B 都是待定系数。我们可以分如下
三个步骤来解它：
第一步：给定我们猜测的 v，求解函数方程中右
边的最大化问题，也即求解：
max ln(k k) A B ln(k)
0kk
1
B
FOC k k k k
2020/6/17
第四讲 三期动态模型
10
二、动态规划简介
2020/6/17
第四讲 三期动态模型
11
2.1序列形式表述的社会计划 者问题
因为我们在前面已经证明了竞争均衡解 也是帕雷托最优解。因此，我们可以通 过求解社会计划者问题来获得竞争均衡 的有关数量解，这样，上面这个无限期 模型中的社会计划者最优化问题可以正 规地描述如下：
数学建模动态规划
u5*(E2)F.
4
6
D2 2
F
3
1
D3
3
E2 u4 *(D 1)E1.
f4(D2)5 u4 *(D 2)E2.
f 3 ( C 2 ) m d 3 ( C 2 , D 1 i ) f 4 n ( D 1 ) d 3 ( { C , 2 , D 2 ) f 4 ( D 2 )}
m 4 i7 ,5 n 5 } { 1 . 0
一、基本概念
阶段：是指问题需要做出决策的步数。阶段总数常记为n，相 应的是n个阶段的决策问题。阶段的序号常记为k，称为阶段 变量，k=1,2, …,n. k即可以是顺序编号也可以是逆序编号， 常用顺序编号。 状态：各阶段开始时的客观条件，第k阶段的状态常用状态
变量 s k 表示，状态变量取值的集合成为状态集合，用 S k
4
A
5
2
B1 3
6
8 7
B2
7
C1
5
8
4
C2 5
3
C3 4
8
C4 4
D1
3
5 6
D2 2
1
D3
3
u5*(E1)F,
E1
4
3
E2
u5*(E2)F.
F
f 4 ( D 1 ) m d 4 ( D 1 , E 1 i ) f n 5 ( E 1 ) d 4 ( { D , 1 , E 2 ) f 5 ( E 2 )}
到过程终止时的最佳效益。记为
其中 opt 可根据具体情况取max 或min。 基本方程：此为逐段递推求和的依据，一般为：
式中opt 可根据题意取 max 或 min. 例如，案例1的基本方程为：
中级宏观经济学之无限期动态模型与动态规划
最优的无限序列的资本存量（ k1, k2 , ）。
31.03.2020
第四讲 三期动态模型
17
动态规划的基本思想是试图通过对决策环 境的探讨而发现一种更简单的求解这一最 大化问题的方法，但是这个最大化问题的 解又是与我们原始的最大化问题的解是相 同的。
为了使上面所讲的这一点更明白、更具体， 我们可以再一次看看我们的原始的这个计 划者的最优化问题：
中级宏观经济学之无限期动态模型与动 态规划
路漫漫其悠远
少壮不努力，老大徒悲伤
第四讲 三期及无限期动态模型
31.03.2020
第四讲 三期动态模型
2
第二节 无限期动态模型与动态规划
31.03.2020
第四讲 三期动态模型
3
在本节，我们将介绍一个简单的无限期 模型，借助这个模型，我们一方面看看 那些在两期、三期模型中被运用的宏观 经济分析的基本思路是如何在无限期模 型中被得到继续运用的；另一方面，我 们也要简单介绍并展示一下离散时间的 动态规划怎样被运用的，这种运用对于 求解许多动态问题是非常有帮助的。
31.03.2020
第四讲 三期动态模型
18
w(k ) max 0
kt1
t0
s.t.0kt1 f (kt
),
t
0
tu f (kt ) kt1
k0给定
＝
max
kt1
t0
u
s.t.0k0k给t1定 f (kt ),
f (k0 ) k1
t1u
t 1
f
(kt ) kt1
31.03.2020
第四讲 三期动态模型
14
现在，用（4.40）式替代掉（4.41）式中的it ，并定 义 f (k) F(k,1) (1 )k ，这样，函数 f (k) 就代表了所
第3章动态规划
第3章动态规划动态规划是一种通过将问题分解为子问题，并且以自底向上的方式求解子问题从而求解整个问题的算法设计方法。
它在计算机科学中的应用非常广泛，特别是在优化问题和组合优化问题中。
动态规划的核心思想是将问题划分为多个重叠子问题，并且将计算结果储存起来以供后续使用。
通过这种方式，可以避免重复计算，提高算法效率。
动态规划通常适用于满足最优子结构的问题，即问题的最优解可以通过一系列子问题的最优解得到。
在动态规划中，需要定义一个状态转移方程，用于描述问题的最优解与其子问题的最优解之间的关系。
通过利用状态转移方程，可以从最底层的子问题开始，逐步求解出更大规模的问题的最优解。
最终，可以得到整个问题的最优解。
动态规划的基本步骤包括问题建模、确定状态、定义状态转移方程、确定边界条件和计算最优解。
首先，需要将原始问题转化为适合动态规划求解的形式，通常可以采用数学建模的方法。
然后，需要确定问题的状态，即将问题划分为多个子问题，并且定义子问题的状态。
接下来，需要定义状态转移方程，该方程记录了问题的最优解与子问题的最优解之间的关系。
然后，需要确定边界条件，即问题的最基本解。
最后，通过逐步计算子问题的最优解，得到整个问题的最优解。
动态规划在多个领域都有广泛的应用。
在计算机科学中，动态规划被广泛应用于图论算法、字符串处理算法、序列比对算法等。
此外，动态规划还被应用于经济学、运筹学和生物学等领域的优化问题。
通过应用动态规划，可以有效地解决这些领域中的复杂问题。
总结起来，动态规划是一种通过将问题划分为多个子问题，并且利用状态转移方程求解子问题从而求解整个问题的算法设计方法。
通过避免重复计算，动态规划可以提高计算效率，并且被广泛应用于计算机科学和其他领域的问题求解。
高级宏观经济学-第四讲 三期动态模型ppt课件
2021/6/23
第四讲 三期动态模型
25
并且，通过仔细观察（4.15）、（4.20）式，我们 可以发现，实际上，对于任意一个多期的最优化问题 来说，我们可以一般化地写出时期 t 的值函数：
v(kt ) u(ct ) v(kt1) （4.21）
2021/6/23
第四讲 三期动态模型
26
三、一个例子： 吃蛋糕问题
么，消费者能获得的最大的效用水平。上述值函数对 k2
求导，可得：
2021/6/23
V3 k2
(k2
)
u
f
(k2
) f
(k2 )
第四讲 三期动态模型
(4.11)
16
现在，我们再回到第二期。在第二期得初始时，k1 是 给定的，因为它是在第一期就被决定的。在第二期，
消费者通过选择一个合适的（ c2、k2 ）组合来最大
以最恰当的方式在未来被使用，从而给消费者带来最大的
效用。这一信息像前面一样被浓缩在值函数V2 里。同样，
代约束条件进目标函数，我们可以得到如下的一阶条件：
2021/6/23
第四讲 三期动态模型
22
u(c1 )
V2 k1
(k1 )
u(c1) u(c2 ) f (k1)
(4.18)
同样的，这个一阶条件就是欧拉方程，它实际上
然需要把这种影响考虑进去。在上面的最大化问题
中，我们借助值函数V3 来表示了这种经由 k2 而产生 的效用。
代约束条件进目标函数，并对 k2 求导数，我们
可以得到相应于这个最优化问题的一阶条件：
2021/6/23
第四讲 三期动态模型
18
u(c2
)
V3 k 2
动态规划部分知识点总结
动态规划部分知识点总结动态规划的基本思想动态规划的基本思想可以用“递推”来描述。
在解决一个问题时，通常需要先确定一个递推关系，然后利用递推关系逐步求解问题的最优解。
以求解最长递增子序列（Longest Increasing Subsequence，LIS）问题为例，最长递增子序列是指在一个无序的序列中找到一个最长的子序列，要求子序列中的元素是递增的。
假设原序列为A，最长递增子序列的长度为LIS(i)，则可以通过递推关系来解决这个问题：LIS(i) = max(LIS(j)+1)，其中j<i 且A[j]<A[i]通过这个递推关系，我们可以逐步求解出从A[1]到A[n]的最长递增子序列的长度，最终得到整个序列的最长递增子序列。
动态规划的特点动态规划有一些特点，可以帮助我们更好地理解和应用这种方法。
1. 重叠子问题：动态规划的关键特点之一是重叠子问题，即原问题可以分解为若干个子问题，不同的子问题可能有重叠的部分。
通过记录和利用子问题的解，可以避免重复计算，提高计算效率。
2. 最优子结构：动态规划适用于具有最优子结构性质的问题。
最优子结构指的是原问题的最优解可以通过子问题的最优解来求解。
换句话说，原问题的最优解可以由子问题的最优解推导出来。
3. 状态转移方程：动态规划问题通常可以通过状态转移方程来描述。
状态转移方程是指原问题与子问题之间的关系，它可以用数学公式或递推关系来表示。
通过状态转移方程，可以确定问题的递推规律，从而求解问题的最优解。
动态规划的应用动态规划广泛应用于各种领域，比如算法设计、优化问题、数据挖掘等。
它可以解决许多经典问题，比如最短路径、背包问题、编辑距离、最长公共子序列等。
1. 最短路径：最短路径问题是指在一个加权有向图或加权无向图中，找到一条从起点到终点的路径，使得路径上的边权重之和最小。
动态规划可以用于求解最短路径问题，比如利用Floyd-Warshall算法或Dijkstra算法，通过记录并利用子问题的解来求解最短路径。
宏观经济学分析方法系列：动态规划的Bellman原理
================= ================= 附录：宏观经济学分析方法：动态规划的Bellman 原理（10、11硕已讲，精细订正版）二、一个简化的例子欲对Bellman 原理有一个快速的理解，这里通过一个简化的例子，以勾勒出动态规划方法所特有的向后追溯（backward recursion ，逆向递归，逆向归纳）的特征。
假定：（1）典型个人生存两个时期，他可以在两个时点上，即10、=t 上做决策（3=t 时，他就死亡了）；他被赋予一定量的初始资源0)0(>W 。
（2）理想化的资本市场上存在两种资产1。
一种是无风险的现金或者债券，它的价格在任何时刻都没有变化，始终为1；另一种是有风险的股票，它的价格过程假定由以下二项树描绘（参见下图）。
1所谓理想化资本市场如上一章中的要求，即无交易成本、制度限制、操纵行为等。
简单地说，它表示在每一时点上，股票价格要么以 9/4的概率上涨一倍，要么以 )9/41(-的概率下跌一半。
用)0(w 和)1(w 表示该投资者在10、时刻上，投资于风险资产（股票）上的财富分额。
（3）投资者的非资本收入为0，效用函数具有以下特定形式： x x u =)(（4）为了简化求解，假定投资者不进行任何消费，这样最优决策的惟一目标就是最大化他来自最终财富的期望效用。
至此，最优化问题就可以简化为：⎣⎦)2(..)2(max )1(),0(>W t s W E w w我们的任务就是找到最优的投资决策变量（最优控制）)0(w 和)1(w ，使以上最优化问题得以解决。
可以尝试采用“向前”推导的方法，即从0=t 时刻开始，事先决图 股票价格运动的二项树模型p 1000 1 2 t定一个策略)0(w ，但它是不是最优还不清楚，根据)0(w 我们仅仅能够知道1=t 时刻的期望财富水平的函数表达式，但是最大化这个函数得到的“最优的”)0(w ，并不一定是最优决策过程)]1(),0([w w 的必然组成部分，除非可以明确地知道在所有不同情况状态下的)1(w ，并且它是惟一的。
宏观经济学分析方法系列：动态规划的Bellman原理
==================================附录：宏观经济学分析方法：动态规划的Bellman 原理（10、11 硕已讲，精细订正版）二、一个简化的例子欲对 Bellman 原理有一个快速的理解，这里通过一个简化的例子，以勾勒出动态规划方法所特有的向后追溯（ backward recursion ，逆向递归，逆向归纳）的特征。
假定：（1）典型个人生存两个时期，他可以在两个时点上，即t 0、1上做决策（ t 3 时，他就死亡了）；他被赋予一定量的初始资源W (0) 0。
（2）理想化的资本市场上存在两种资产1。
一种是无风险的现金或者债券，它的价格在任何时刻都没有变化，始终为 1；另一种是有风险的股票，它的价格过程假定由以下二项树描绘（参见下图）。
1所谓理想化资本市场如上一章中的要求，即无交易成本、制度限制、操纵行为等。
p (t)2004/94004/95/91001005/94/9505/925012t图股票价格运动的二项树模型简单地说，它表示在每一时点上，股票价格要么以4/ 9的概率上涨一倍，要么以 (1 4 / 9) 的概率下跌一半。
用 w(0) 和 w(1) 表示该投资者在 0 、1时刻上，投资于风险资产（股票）上的财富分额。
（3）投资者的非资本收入为0 ，效用函数具有以下特定形式：u( x)x（4）为了简化求解，假定投资者不进行任何消费，这样最优决策的惟一目标就是最大化他来自最终财富的期望效用。
至此，最优化问题就可以简化为：max E W (2)w(0 ),w (1)s.t. W (2)0我们的任务就是找到最优的投资决策变量（最优控制） w(0) 和w(1) ，使以上最优化问题得以解决。
可以尝试采用“向前”推导的方法，即从 t0 时刻开始，事先决定一个策略 w(0) ，但它是不是最优还不清楚，根据w(0) 我们仅仅能够知道 t 1时刻的期望财富水平的函数表达 式，但是最大化这个函数得到的“最优的” w(0) ，并不一定是最优决策过程 [ w(0), w(1)] 的必然组成部分，除非可以明确地知道在所有不同情况状态下的 w(1) ，并且它是惟一的。
动态规划基础详解
由上述性质可得观察结论7.1。（P131）
动态规划
三. 动态规划算法设计示例
1. 最长公共子序列问题 （LCS）
递归公式： 令L[i, j]表示Ai 和Bj 的最长公共子序列的长度，则
0 ,i 0或 j 0 L[i , j] L[i - 1 , j - 1] 1 , i 0, j 0, a i b j max L[i , j - 1], L[i - 1, j] , i 0, j 0, a i b j
原问题的最优值为V[n, C] 。
动态规划
三. 动态规划算法设计示例
3. 0/1背包问题
求最优值 用自顶向下的递归方法（并非所有的子问题都需要 解）。 数据的存储：数组V[0..n, 0..C]存储各子问题的最优 值，数组H[0..n, 0..C]存储最优解的信息： H[i, j]=1, 表示求解V[i, j]对应的子问题时将物品 ui装入背包。 H[i, j]=0, 表示求解V[i, j]对应的子问题时物品ui 不装入背包。
动态规划
二. 动态规划的基本原理
2. 适用动态规划求解的问题的基本要素 (1) 满足最优性原理
对于最优化问题可简化为具有最优子结构。
(2) 具有重叠的子问题
重叠的子问题是动态规划算法提高效率的 依据。
动态规划
二. 动态规划的基本原理
3. 设计动态规划算法的步骤
解最优化问题的步骤： 1) 找出问题的最优子结构。 分析问题的最优解（最优值）的结构特征。 2) 递归地定义最优值。 根据最优子结构，确定最优值所满足的递归公式。 3) 计算最优值。 根据最优值的递归公式，自底向上或自顶向下地计算 最优值。 4) 构造最优解。 根据求最优值时得到的最优解信息构造最优解。
动态规划及高级宏观学习
撰写学习笔记个人关于动态规划及高级宏观学习的意见在论坛“宏观版”中，有许多讨论高级宏观学习，特别是动态方法学习的讨论帖。
我看后觉得大家做为非数学专业的人，似乎都对动态规划、动态优化方法学习所需的数学背景比较茫然，不知从何入手。
的确，动态方法本身尽管比较容易掌握，但是真正深入学习却需要很多较高等的数学知识，而这些知识散落在各类数学教材中，如果逐一打好基础，再去学习高级宏观显然是不明智的。
因此，这里就我个人的学习谈一下自己的体会，希望起到抛砖引玉的作用：我觉得要解决的第一个问题是你对宏观经济研究的偏向。
在这里，我觉得宏观计量的经验研究固然需要理解动态规划方法，因为在DSGE模拟时要用到，但是更重要的却是计量方法本身。
因此，本文重点探讨理论研究，我个人也写过一篇宏观计量学习的帖子，可以参见：/bbs/thread-920034-1-1.html。
理论研究中，我觉得如果是以入门来看，那么罗默（2002）已经足够了。
并且我建议在读完迪克西特的《经济理论中的最优化方法（第二版）》一书以后阅读。
网上很多人批评该书的数学工具不够高级，那么我就要问：“你是在学高级数学还是高级宏观经济学？”所以，当一本像罗默（2002）这样的教材能够以简洁的数学知识告诉我们高级宏观在探讨的内容时，我们有什么理由求全责备呢？当然，如果要做真正的理论研究，那么进入杨奎斯特、萨金特（2004）的学习就是必要的。
于是这就引来了第二个问题：动态方法的学习过程。
大体看来，动态方法分为：连续时间问题和离散时间问题两种。
前者术语叫动态“优化”，后者术语叫做动态“规划”方法。
现分而述之：在连续时间优化方面，强烈建议读一下凯曼，施瓦茨（Kamien M.I. & Schwartz N.L）合著的《Dynamic Optimization》一书。
该书由浅入深（阅读此书只需要本科经济专业的微积分和基础线性代数知识）把动态优化问题所有相关问题做了详细阐述，不仅告诉你这个方法如何使用，而且对方法背后的许多数学定理都在附录中给予了证明，供你选择阅读。
动态规划
§12.4 动态规划[学习目标]1. 能建立动态规划问题的数学模型；2. 会表述动态规划问题的一般形式；3. 会求解简单的动态规划问题。
动态规划是解决多阶段决策过程最优化的一种方法。
这种方法把困难的多阶段决策问题变换成一系列互相联系比较容易的单阶段问题，解决了这一系列比较容易的单阶段问题，也就解决了这困难的多阶段决策问题。
多阶段决策问题，是指这样一类活动的过程，在它的每个阶段都需要做出决策，并且一个阶段的决策确定以后，常影响下一个阶段的决策，从而影响整个过程决策的效果。
多阶段决策问题就是要在允许的各阶段的决策范围内，选择一个最优决策，使整个系统在预定的标准下达到最佳的效果。
有时阶段可以用时间表示，在各个时间段，采用不同决策，它随时间而变动，这就有“动态”的含意。
动态规划就是要在时间的推移过程中，在每个时间阶段选择适当的决策，以便整个系统达到最优。
用动态规划可以解决管理中的最短路问题、装载问题、库存问题、资源分配、生产过程最优化问题。
近几十年来，动态规划在理论、方法和应用等方面取得了突出的进展，并在工程技术、经济、工业生产与管理、军事工程等领域得到广泛的应用。
下面我们先看一个简单的例子。
一、引例：最短线路问题如图形5.5，从A 0地要铺设一条管道到A 6地，、中间必须经过五个中间站。
第一可以在A B 11,两地中任选取一个，类似地，第二、三、四、五站可供选择的地点分别是{}{}{}{}A B C D A B C A B C A B 222233344455,,,,,,,,,,,。
连接两点间的管道的距离用图3-7上的数字表示，两点间没有连线的相应两点间不能铺设管道，现要选择一条从A 0到A 6的铺管线路，使总距离最短。
解 最短线路问题有一个特性，如果最短线路在第k 站通过p k ，则这一线路在由p k出发到达终点的所有可能选择的不同线路来说，必定也是距离最短的。
最短线路的这一特性，启发我们从最后一段开始，用从后向前逐渐递推的方法，示出各点到A 6的最短线路，最后球得从A 0到A 6的最短线路。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
（4）
v(kt 1 ) u[wt 1 (1 rt 1 )kt 1 kt 2 ](1 rt 1 )
用式（5）代替式（3）中的 v(kt 1 ) ，可以得到
（5）
u(ct ) u(ct 1 )(1 rt 1 ) 0
第一部分
高级宏观经济学的数学基础
高级宏观经济学中许多模型用到了动态最优化理论。这一部分主要介绍动态最优 化理论的基本原理和方法，作为学习高级宏观经济学的必要准备知识。 动态最优化理论主要包括变分法、最优控制论和动态规划。
第三讲
动态规划
前面两节介绍了用变分法和最优控制理论（即极大值原理）求解动态最优化问题 （我们主要介绍的是连续时间问题）。同样，动态最优化问题也可以用动态规划方法 来求解。动态规划是美国数学家贝尔曼 1957 年提出的，同最优控制论一样，动态规划 也被说成现代变分法。 动态规划包括离散时间和连续时间两种情形，它在解决离散时间问题时较为方 便，我们这里重点讲离散时间下的方法。此外，动态规划可以解决确定性条件下和不 确定条件下的动态最优化问题，与变分法和最优控制相比，动态规划是求解不确定下 动态最优化问题很方便的工具，但由于要涉及大量其他数学工具以及课程时间所限， 我们这里只介绍解决确定性问题的方法。 一、动态规划原理与贝尔曼方程 （一）动态规划问题的特点
kt 1
（2）
式（2）的一阶条件（对 kt 1 求偏导）是
u[wt (1 rt )kt kt 1 ] v(kt 1 ) 0
让式（2）两边对 k t 求偏导，并应用包络定理，可以得到
（3）
v(kt ) u[wt (1 rt )kt kt 1 ](1 rt )
5
ct ,kt 1 t 0
max tU (ct )
s.t.
ct kt 1 wt (1 rt )kt kt lim 0 t t t 0 (1 rt )
这里， k0 给定， wt 是工资率， rt 是资本的租金率。
如果把消费者的这个最优化问题用贝尔曼方程的方法表示出来，为
v(kt ) max[u(ct ) v(kt 1 )]
ct ,kt 1
s.t.
ct kt 1 wt (1 rt )kt kt lim 0 t t 条件（1）代入目标函数中，有
v(kt ) max u[ wt (1 rt )kt kt 1 ] v(kt 1 )
1
（二）贝尔曼方程
2
3
二、离散时间无限界期的动态规划 贝尔曼方程的形式
4
动态规划的解
三、经济学应用：新古典增长模型中的消费者最优化问题 模型设定 消费者储存资本并进行投资，即消费者的财富是以资本的形式表示的。在每一期 里，消费者都会把资本租给厂商并向厂商出售自己的劳动。假设劳动并不会给消费者 带来任何负效用，因此，不论工资率为多少，劳动供给始终是 1 单位。消费者实际上 就相当于在求解如下一个跨期最优化问题：
该方程就是实现消费者最优的欧拉方程。
6