宏观经济学 数学基础-3-动态规划
第一部分中国精算师资格考试准精算师部分01～09科目
2006年度秋季中国精算师资格考试-考试指南第一部分中国精算师资格考试准精算师部分01～09科目01数学基础Ⅰ考试时间：3小时考试形式：客观判断题考试内容和要求：考生应掌握微积分、线性代数和运筹学的基本概念和主要内容。
A.微积分（分数比例约为60％）1.函数、极限、连续2.一元函数微积分3.多元函数微积分4.级数5.常微分方程B.线性代数（分数比例约为30％）1.行列式2.矩阵3.线性方程组4.向量空间5.特征值和特征向量6.二次型C.运筹学（分数比例约为10％）1.线性规划2.整数规划3.动态规划1.《高等数学讲义》（第二篇数学分析）樊映川编著高等教育出版社2.《线性代数》胡显佑四川人民出版社3.《运筹学》（修订版）1990年《运筹学》教材编写组清华大学出版社除以上参考书外，也可参看其他同等水平的参考书。
02数学基础Ⅱ考试时间：3小时考试形式：客观判断题考试内容和要求：A.概率论（分数比例约为50％）1.概率的计算、条件概率、全概公式和贝叶斯公式2.随机变量的数字特征，特征函数；3.联合分布律、边际分布函数及边际概率密度的计算4.大数定律及其应用5.条件期望和条件方差6.混合型随机变量的分布函数、期望和方差等B.数理统计（分数比例约为35％）1.统计量及其分布2.参数估计3.假设检验4.方差分析5.列联分析C.应用统计（分数比例约为15％）1.回归分析2.时间序列分析(移动平滑，指数平滑法及ARIMA模型)1、《概率论与数理统计》茆诗松，周纪芗编著，中国统计出版社1996年7月第1版。
2、《统计预测——方法与应用》，易丹辉编著，中国统计出版社，2001年4月第一版。
除以上参考书外，也可参看其他同等水平的参考书。
03复利数学考试时间：2小时考试形式：客观判断题考试内容和要求：1.利息及利率（分数比例：6%-15%）2.年金（分数比例：15%-25%）3.收益率（分数比例：15%-25%）4.债务偿还（分数比例：15%-25%）5.债券与其他证券（分数比例：15-25%）6.利息理论的应用（分数比例：6%-15%）参考书目：1.《利息理论》（中国精算师资格考试用书）刘占国主编南开大学出版社2000年9月第1版第1～5章、第6章第6.1节04寿险精算数学考试时间：4小时考试形式：客观判断题考试内容和要求：考生应掌握生命表、纯保费（趸缴、均衡）、责任准备金（均衡、修正）、总保费、多元生命函数、多元风险模型等主要内容。
经济学动态规划
d2(B2,C1)+f3(C1)=4+11=15 d2(B2,C2)+f3(C2)=4+15=19 d2(B2,C3)+f3(C3)=6+8=14
=14
最小费用路线为B2-C3－D2－E
相应的最优决策u2(B2)=C3
f2(B3)=min
d2(B3,C1)+f3(C1)=1+11=12 d2(B3,C3)+f3(C3)=6+8=14
4 3
A
11
3
B1 4
4
4
B2
6
1
6
B3
C1
9
7
8
C2
12
5
C3
D1
5
3
E
D2
A-B1-C2-D1-E A-B2-C1-D2-E
均为策略
第一节 动态规划原理和模型
允许策略集合：可供选择策略的范围 最优策略：允许策略集合中最优的一个策略 在例1中最优策略为： A-B1-C3-D2-E
4 3
A
11
3
B1 4
=12
最小费用路线为B3-C1－D2－E
相应的最优决策u2(B3)=C1
第二节 动态规划求解方法
(4) S1={A} f1(A)=min
d1(A,B1)+f2(B1)=4+12=16 d2(A,B2)+f2(B2)=3+14=17 d3(A,B3)+f2(B2)=11+12=22
=16
最小费用路线为A-B1-C3－D2－E 相应的最优决策u1(A)=B1 所以整个问题的最小费用路线为A-B1-C3-D2-E 最优策略为{u1(A)=B1,u2(B1)=C3,u3(C3)=D2,u4(D2)=E}
宏观经济学分析方法系列：变分法、欧拉方程、极值路径与动态经济模型分析
宏观经济学分析⽅法系列：变分法、欧拉⽅程、极值路径与动态经济模型分析附录：宏观经济学分析⽅法：变分法、极值路径与动态最优化(08、09 、10、11 硕已讲，精细订正版)⼀、动态最优化在静态最优化问题中，我们寻找在⼀个特定的时间点或区间上，使⼀个给定的函数最⼤化和最⼩化的⼀个点或⼀些点：给定⼀个函数y y(x)，最优点x 的⼀阶条件是y(x)0.在动态最优化问题中，我们要寻找使⼀个给定的积分最⼤化或最⼩化的曲线x (t).这个最⼤化的积分定义为独⽴变量t、函数x(t)及它的导数dx/dt的函数F下的⾯积。
简⾔之，假设时间区域从t0 0到t1 T，且⽤x表⽰dx/dt，我们寻找最⼤化或最⼩化T0 F[t,x(t), x(t)]dt (20.1 ) 这⾥假定F对t、x(t)、x(t)是连续的，且具有对x和x的连续偏导数.将形如(20.1)，对每⼀个函数x(t)对应着⼀个数值的积分称为“泛函”．⼀个使泛函达到最⼤或最⼩值的曲线称为“ 极值曲线”．极值可接受的“候选”极值曲线是在定义域上连续可微，且特别地满⾜⼀些固定端点条件的函数类x(t) ．(讲！)例1 ⼀家公司当希望获得从时间t 0到t T的最⼤利润时发现，产品的需求不仅依赖于产品的价格p ，⽽且也依赖于价格关于时间的变化率如dp/dt。
假设成本是固定的，并且每个p和dp/dt是时间的函数，p 代表dp/dt ，公司的⽬标可以作如下数学表⽰TMax 0 [t, p(t), p(t)] dt另⼀家公司发现它的总成本依赖于⽣产⽔平x(t) 和⽣产的变化率dx/dt x .假设这个公司希望最⼩化成本，且x和x是时间t的函数，公司的⽬标可以写成t1min C[t, x(t), x(t)]dtt满⾜x(t o) X o,且X(tJ X i这些初始和终值约束称为端点条件．例2 Ramsey经济：消费最优化问题从家庭终⽣效⽤函数的集约形式u u(c)出发，在消费预算约束的集约形式下求解家庭终⽣效⽤最⼤化问题，就是所谓“ Ramsey问题”⼀找出⼀条消费路径c(t)，使家庭终⽣效⽤函数U U(c)最⼤化：1max B e t [c(t)] dtc 0 1k0 o ( (t) c(t))e(n g)t R(t)dt 0⼆、欧拉⽅程：动态最优化的必要条件(三种形式)定理(泛函极值曲线即最优化)的必要条件)：对于⼀个泛函t it F[t,x(t),x(t)]dtt连接点(t o, X o)和(t i, X i)的曲线x x (t)是⼀个极值曲线(即最优化)的必要条件是F F(20 . 2a)x dt x称之为欧拉⽅程.尽管该定理等价于静态最优化的⼀阶必要条件，但是由式中稍微不同的记号可以容易了解，欧拉⽅程实际上是⼀个⼆阶微分⽅程.⽤下标表⽰偏导数，并列出其⾃变“量”，它们本⾝也可能是函数.（20 . 2a）的欧拉⽅程表⽰为F x（t,x,x）⾟［F x（t,x,x）］（20 .2b）dt然后，⽤链式法则求F x关于t的导数，并且省略⾃变“量”，得F x F xt F xx（x） F xx（x）（20 . 2c）这⾥，x d2x/dt2F⾯给出欧拉⽅程是极值曲线的必要条件的证明图20-2证明：（重点！09、10、11硕，已讲）设x x （t）是图20-2中连接点（t°,x°）和（t i,xj的曲线，并且它使F⾯泛函取得最⼤值；F[t,x(t),x(t)]dt(20 . 3)T即x x (t)为极值曲线，欧拉⽅程(20 . 2a)是x x (t)为极值曲线的⼀个必要条件.取X x (t) mh(t)是x x (t)的相邻曲线，这⾥m 是任意常数，h(t) 是⼀个任意函数.为了使曲线刃也通过点(t o ,x o )和(切禺)，则卞也满⾜端点条件：h(t o ) 0h(t i ) 0(20 . 4)⼀旦取定x (t)和h(t)之后，因x (t)和h(t)固定，则积分值^F[t,x(t), x(t)]dt 仅为m 的函数，不妨改写成tt lg(m) t F[t,x (t) mh(t) ,x (t) mh(t)]dt(20 . 5)t由于x (t)使(20 . 3)中的泛函fl F[t,x(t), x(t)]dt 实现最优化，所以t(20 .5)中的函数g(m)仅当m 0时 g(m) 1F[t,x (t) mh(t) ,x (t) mh(t)]dt 才能还原为t最优化，即有dg dm对(20 . 5)即 g(m) :F[t,x(t) mh(t),x(t) mh(t)]dt ⽤链式法则求F / m .由于F 是x 和x 的函数，依次⼜是m 的函数，代⼊(20 . 7)得dg t1上(x mh) F (x mh) dtdmt0x mx m(因为m 0时的：F[t,x(t), x(t)]dt )实现t(20 . 6)由于旦』h 且旦上h ，⽤条件(20 . 6)即岂|m0 0,有mmdm—m o th(t) h (t) dt 0(20 . 8)dm t0xx(注:u h(t)所以,去掉，合并其余两项，有由于h(t)是不必为零的任意函数，因此推出，对于极值曲线的必要条件为⽅括号中式⼦为零，即这就是欧拉⽅程．定理证毕⽅括号中的第⼀项不动，第⼆项的积分⽤分部积分，分部积分公式即vdu vu udv u u(t),v v(t)dv dv dt dtdu dF xdt⽕ dt h(t) dtdt dg dmt i tFh(t)dt xttdt-h(t)dt 0 x由(20 . 4)知，h(t 。
动态规划(生产和存储问题)
动态规划（生产和存储问题）一、动态规划法的发展及其研究内容动态规划是运筹学的一个分支，是求解决策过程最优化的数学方法。
20世纪50年代初美国数学家R.E.BELLMAN等人在研究多阶段决策过程的优化问题时，提出了著名的最优化原理，把多阶段问题转化为一系列的单阶段问题，逐个求解创立了解决这类过程优化问题的新方法——动态规划。
1957年出版的他的名著《Dynamic Proggramming》，这是该领域的第一本著作。
动态规划问世以来，在经济管理·生产调度·工程技术和最优控制等方面得到了广泛的应用。
例如最短路线·库存管理·资源分配·设备更新·组合·排序·装载等问题，采用动态规划法求解比用其他方法更为简便。
二、动态规划法基本概念一个多阶段决策过程最优化问题的动态规划模型通常包括以下几个要素：1．阶段阶段（stage）是对整个过程的自然划分。
通常根据时间顺序或是空间特征来划分阶段，对于与时间，空间无关的“静态”优化问题，可以根据其自然特征，人为的赋予“时段”概念，将静态问题动态化，以便按阶段的顺序解优化问题。
阶段变量一般用k=1.2….n.表示。
1.状态状态(state)是我们所研究的问题（也叫系统）在过个阶段的初始状态或客观条件。
它应能描述过程的特征并且具有无后效性，即当某阶段的状态给定时，这个阶段以后的过程的演变与该阶段以前各阶段的状态无关。
通常还要求状态是可以直接或者是间接可以观测的。
描述状态的变量称为状态变量（State Virable）用s 表示，状态变量的取值集合称为状态集合，用S表示。
变量允许取值的范围称为允许状态集合(set of admissble states).用x(k)表示第k阶段的状态变量，它可以是一个数或者是一个向量。
用X(k)表示第k阶段的允许状态集合。
n 个阶段的决策过程有n+1个状态变量，x(n+1)是x(n)的演变的结果。
中级宏观经济学之无限期动态模型与动态规划 (PPT 73页)
（4.47）
再一次提醒大家，函数 v 和函数 w 是两个完全
不同的函数：函数 v 是以递归形式表述的社会计划
者最优问题中的值函数，而函数 w 是以序列形式表
述的社会计划者最优问题中的函数。
2020/6/17
第四讲 三期动态模型
25
计划者带进当前期的资本存量 k ，是过去决策的一个直接 后果，实际上凝结了所有过去决策的信息，它完全地决定 了从今往后可用于支配的资源数量。因此，它经常被称为 “状态变量（state variable）”：她完全地把当前的经济状态 刻画出来了（也就是说，计划者可以在此基础上进行未来 的选择）。变量 k 是计划者在当前所需要决定（或者说控制） 变量，因此，她经常被成为“控制变量（control variable）”， 因为，这个变量是计划者在当前能控制的变量。
2020/6/17
第四讲 三期动态模型
31
让我们猜： v(k) A B ln(k)
(4.49)
其中，A 和 B 都是待定系数。我们可以分如下
三个步骤来解它：
第一步：给定我们猜测的 v，求解函数方程中右
边的最大化问题，也即求解：
max ln(k k) A B ln(k)
0kk
1
B
FOC k k k k
2020/6/17
第四讲 三期动态模型
10
二、动态规划简介
2020/6/17
第四讲 三期动态模型
11
2.1序列形式表述的社会计划 者问题
因为我们在前面已经证明了竞争均衡解 也是帕雷托最优解。因此，我们可以通 过求解社会计划者问题来获得竞争均衡 的有关数量解，这样，上面这个无限期 模型中的社会计划者最优化问题可以正 规地描述如下：
中级宏观经济学之无限期动态模型与动态规划
最优的无限序列的资本存量（ k1, k2 , ）。
31.03.2020
第四讲 三期动态模型
17
动态规划的基本思想是试图通过对决策环 境的探讨而发现一种更简单的求解这一最 大化问题的方法，但是这个最大化问题的 解又是与我们原始的最大化问题的解是相 同的。
为了使上面所讲的这一点更明白、更具体， 我们可以再一次看看我们的原始的这个计 划者的最优化问题：
中级宏观经济学之无限期动态模型与动 态规划
路漫漫其悠远
少壮不努力，老大徒悲伤
第四讲 三期及无限期动态模型
31.03.2020
第四讲 三期动态模型
2
第二节 无限期动态模型与动态规划
31.03.2020
第四讲 三期动态模型
3
在本节，我们将介绍一个简单的无限期 模型，借助这个模型，我们一方面看看 那些在两期、三期模型中被运用的宏观 经济分析的基本思路是如何在无限期模 型中被得到继续运用的；另一方面，我 们也要简单介绍并展示一下离散时间的 动态规划怎样被运用的，这种运用对于 求解许多动态问题是非常有帮助的。
31.03.2020
第四讲 三期动态模型
18
w(k ) max 0
kt1
t0
s.t.0kt1 f (kt
),
t
0
tu f (kt ) kt1
k0给定
＝
max
kt1
t0
u
s.t.0k0k给t1定 f (kt ),
f (k0 ) k1
t1u
t 1
f
(kt ) kt1
31.03.2020
第四讲 三期动态模型
14
现在，用（4.40）式替代掉（4.41）式中的it ，并定 义 f (k) F(k,1) (1 )k ，这样，函数 f (k) 就代表了所
第3章动态规划
第3章动态规划动态规划是一种通过将问题分解为子问题，并且以自底向上的方式求解子问题从而求解整个问题的算法设计方法。
它在计算机科学中的应用非常广泛，特别是在优化问题和组合优化问题中。
动态规划的核心思想是将问题划分为多个重叠子问题，并且将计算结果储存起来以供后续使用。
通过这种方式，可以避免重复计算，提高算法效率。
动态规划通常适用于满足最优子结构的问题，即问题的最优解可以通过一系列子问题的最优解得到。
在动态规划中，需要定义一个状态转移方程，用于描述问题的最优解与其子问题的最优解之间的关系。
通过利用状态转移方程，可以从最底层的子问题开始，逐步求解出更大规模的问题的最优解。
最终，可以得到整个问题的最优解。
动态规划的基本步骤包括问题建模、确定状态、定义状态转移方程、确定边界条件和计算最优解。
首先，需要将原始问题转化为适合动态规划求解的形式，通常可以采用数学建模的方法。
然后，需要确定问题的状态，即将问题划分为多个子问题，并且定义子问题的状态。
接下来，需要定义状态转移方程，该方程记录了问题的最优解与子问题的最优解之间的关系。
然后，需要确定边界条件，即问题的最基本解。
最后，通过逐步计算子问题的最优解，得到整个问题的最优解。
动态规划在多个领域都有广泛的应用。
在计算机科学中，动态规划被广泛应用于图论算法、字符串处理算法、序列比对算法等。
此外，动态规划还被应用于经济学、运筹学和生物学等领域的优化问题。
通过应用动态规划，可以有效地解决这些领域中的复杂问题。
总结起来，动态规划是一种通过将问题划分为多个子问题，并且利用状态转移方程求解子问题从而求解整个问题的算法设计方法。
通过避免重复计算，动态规划可以提高计算效率，并且被广泛应用于计算机科学和其他领域的问题求解。
宏观经济学分析方法系列：动态规划的Bellman原理
================= ================= 附录：宏观经济学分析方法：动态规划的Bellman 原理（10、11硕已讲，精细订正版）二、一个简化的例子欲对Bellman 原理有一个快速的理解，这里通过一个简化的例子，以勾勒出动态规划方法所特有的向后追溯（backward recursion ，逆向递归，逆向归纳）的特征。
假定：（1）典型个人生存两个时期，他可以在两个时点上，即10、=t 上做决策（3=t 时，他就死亡了）；他被赋予一定量的初始资源0)0(>W 。
（2）理想化的资本市场上存在两种资产1。
一种是无风险的现金或者债券，它的价格在任何时刻都没有变化，始终为1；另一种是有风险的股票，它的价格过程假定由以下二项树描绘（参见下图）。
1所谓理想化资本市场如上一章中的要求，即无交易成本、制度限制、操纵行为等。
简单地说，它表示在每一时点上，股票价格要么以 9/4的概率上涨一倍，要么以 )9/41(-的概率下跌一半。
用)0(w 和)1(w 表示该投资者在10、时刻上，投资于风险资产（股票）上的财富分额。
（3）投资者的非资本收入为0，效用函数具有以下特定形式： x x u =)(（4）为了简化求解，假定投资者不进行任何消费，这样最优决策的惟一目标就是最大化他来自最终财富的期望效用。
至此，最优化问题就可以简化为：⎣⎦)2(..)2(max )1(),0(>W t s W E w w我们的任务就是找到最优的投资决策变量（最优控制）)0(w 和)1(w ，使以上最优化问题得以解决。
可以尝试采用“向前”推导的方法，即从0=t 时刻开始，事先决图 股票价格运动的二项树模型p 1000 1 2 t定一个策略)0(w ，但它是不是最优还不清楚，根据)0(w 我们仅仅能够知道1=t 时刻的期望财富水平的函数表达式，但是最大化这个函数得到的“最优的”)0(w ，并不一定是最优决策过程)]1(),0([w w 的必然组成部分，除非可以明确地知道在所有不同情况状态下的)1(w ，并且它是惟一的。
动态规划讲解大全(含例题及答案)
多阶段决策过程的最优化问题。 在现实生活中，有一类活动的过程，由于它的特殊性，可将过程分成若干个互相联系的阶段，在 它的每一阶段都需要作出决策，从而使整个过程达到最好的活动效果。当然，各个阶段决策的选取不 是任意确定的，它依赖于当前面临的状态，又影响以后的发展，当各个阶段决策确定后，就组成一个 决策序列，因而也就确定了整个过程的一条活动路线，如图所示：（看词条图） 这种把一个问题看作是一个前后关联具有链状结构的多阶段过程就称为多阶段决策过程，这种问 题就称为多阶段决策问题。
在前面的例子中，第一个阶段就是点 A，而第二个阶段就是点 A 到点 B，第三个阶段是点 B 到点 C，而第四个阶段是点 C 到点 D。
状态：状态表示每个阶段开始面临的自然状况或客观条件，它不以人们的主观意志为转移，也称 为不可控因素。在上面的例子中状态就是某阶段的出发位置，它既是该阶段某路的起点，同时又是前 一阶段某支路的终点。
fout.close(); return 0; }
USACO 2.3 Longest Prefix
题目如下： 在生物学中，一些生物的结构是用包含其要素的大写字母序列来表示的。生物学家对于把长的序 列分解成较短的（称之为元素的）序列很感兴趣。 如果一个集合 P 中的元素可以通过串联（允许重复；串联，相当于 Pascal 中的 “+” 运算符） 组成一个序列 S ，那么我们认为序列 S 可以分解为 P 中的元素。并不是所有的元素都必须出现。 举个例子，序列 ABABACABAAB 可以分解为下面集合中的元素： {A, AB, BA, CA, BBC} 序列 S 的前面 K 个字符称作 S 中长度为 K 的前缀。设计一个程序，输入一个元素集合以及一 个大写字母序列，计算这个序列最长的前缀的长度。 PROGRAM NAME: prefix INPUT FORMAT 输入数据的开头包括 1..200 个元素（长度为 1..10 ）组成的集合，用连续的以空格分开的字 符串表示。字母全部是大写，数据可能不止一行。元素集合结束的标志是一个只包含一个 “.” 的行。 集合中的元素没有重复。接着是大写字母序列 S ，长度为 1..200,000 ，用一行或者多行的字符串 来表示，每行不超过 76 个字符。换行符并不是序列 S 的一部分。 SAMPLE INPUT (file prefix.in) A AB BA CA BBC . ABABACABAABC OUTPUT FORMAT 只有一行，输出一个整数，表示 S 能够分解成 P 中元素的最长前缀的长度。 SAMPLE OUTPUT (file prefix.out) 11 示例程序如下： #include <stdio.h>
动态规划ppt
这说明由 C1 到F 的最短距离为12，相应的决策为 u3* (C1) D1.
u3* (C1) D1.
2
f4 (D3 ) 5 4
A
5
f4 (D1) 7
B1 3
6
8 7
B2
7
C1
5
8
4
C2 5
3
C3 4
8
C4 4
u
* 4
(
D3
)
E1.
6
D2 2
1
E2
D3
3
u2* (B1) C2.
u5* (E2 ) F.
4
F
3
u4* (D1) E1.
u4* (D2 ) E2.
u
* 2
(
B2
)
C3.
（1）k=1 时，只有一个状态点A, 则
f1( A) min{ d1( A, B1) f2 (B1), d1( A, B2 ) f2 (B2 )}
min{1 4, 3 3} 5.
即 D3 到F 的最短距离为5，其路径为 D2 E2 F.
相应的决策为： u4* (D3 ) E1.
f4 (D1) 7
4
A
5
f4 (D2 ) 5
2
B1 3
6
8 7
B2
7
（3）k=3 时，状态
C1
5
8
4
C2 5
3
C3 4
8
C4 4
u
* 4
4
A
5
2
B1 3
6
8 7
动态规划基础详解
由上述性质可得观察结论7.1。（P131）
动态规划
三. 动态规划算法设计示例
1. 最长公共子序列问题 （LCS）
递归公式： 令L[i, j]表示Ai 和Bj 的最长公共子序列的长度，则
0 ,i 0或 j 0 L[i , j] L[i - 1 , j - 1] 1 , i 0, j 0, a i b j max L[i , j - 1], L[i - 1, j] , i 0, j 0, a i b j
原问题的最优值为V[n, C] 。
动态规划
三. 动态规划算法设计示例
3. 0/1背包问题
求最优值 用自顶向下的递归方法（并非所有的子问题都需要 解）。 数据的存储：数组V[0..n, 0..C]存储各子问题的最优 值，数组H[0..n, 0..C]存储最优解的信息： H[i, j]=1, 表示求解V[i, j]对应的子问题时将物品 ui装入背包。 H[i, j]=0, 表示求解V[i, j]对应的子问题时物品ui 不装入背包。
动态规划
二. 动态规划的基本原理
2. 适用动态规划求解的问题的基本要素 (1) 满足最优性原理
对于最优化问题可简化为具有最优子结构。
(2) 具有重叠的子问题
重叠的子问题是动态规划算法提高效率的 依据。
动态规划
二. 动态规划的基本原理
3. 设计动态规划算法的步骤
解最优化问题的步骤： 1) 找出问题的最优子结构。 分析问题的最优解（最优值）的结构特征。 2) 递归地定义最优值。 根据最优子结构，确定最优值所满足的递归公式。 3) 计算最优值。 根据最优值的递归公式，自底向上或自顶向下地计算 最优值。 4) 构造最优解。 根据求最优值时得到的最优解信息构造最优解。
动态规划
§12.4 动态规划[学习目标]1. 能建立动态规划问题的数学模型；2. 会表述动态规划问题的一般形式；3. 会求解简单的动态规划问题。
动态规划是解决多阶段决策过程最优化的一种方法。
这种方法把困难的多阶段决策问题变换成一系列互相联系比较容易的单阶段问题，解决了这一系列比较容易的单阶段问题，也就解决了这困难的多阶段决策问题。
多阶段决策问题，是指这样一类活动的过程，在它的每个阶段都需要做出决策，并且一个阶段的决策确定以后，常影响下一个阶段的决策，从而影响整个过程决策的效果。
多阶段决策问题就是要在允许的各阶段的决策范围内，选择一个最优决策，使整个系统在预定的标准下达到最佳的效果。
有时阶段可以用时间表示，在各个时间段，采用不同决策，它随时间而变动，这就有“动态”的含意。
动态规划就是要在时间的推移过程中，在每个时间阶段选择适当的决策，以便整个系统达到最优。
用动态规划可以解决管理中的最短路问题、装载问题、库存问题、资源分配、生产过程最优化问题。
近几十年来，动态规划在理论、方法和应用等方面取得了突出的进展，并在工程技术、经济、工业生产与管理、军事工程等领域得到广泛的应用。
下面我们先看一个简单的例子。
一、引例：最短线路问题如图形5.5，从A 0地要铺设一条管道到A 6地，、中间必须经过五个中间站。
第一可以在A B 11,两地中任选取一个，类似地，第二、三、四、五站可供选择的地点分别是{}{}{}{}A B C D A B C A B C A B 222233344455,,,,,,,,,,,。
连接两点间的管道的距离用图3-7上的数字表示，两点间没有连线的相应两点间不能铺设管道，现要选择一条从A 0到A 6的铺管线路，使总距离最短。
解 最短线路问题有一个特性，如果最短线路在第k 站通过p k ，则这一线路在由p k出发到达终点的所有可能选择的不同线路来说，必定也是距离最短的。
最短线路的这一特性，启发我们从最后一段开始，用从后向前逐渐递推的方法，示出各点到A 6的最短线路，最后球得从A 0到A 6的最短线路。
动态规划及高级宏观学习
撰写学习笔记个人关于动态规划及高级宏观学习的意见在论坛“宏观版”中，有许多讨论高级宏观学习，特别是动态方法学习的讨论帖。
我看后觉得大家做为非数学专业的人，似乎都对动态规划、动态优化方法学习所需的数学背景比较茫然，不知从何入手。
的确，动态方法本身尽管比较容易掌握，但是真正深入学习却需要很多较高等的数学知识，而这些知识散落在各类数学教材中，如果逐一打好基础，再去学习高级宏观显然是不明智的。
因此，这里就我个人的学习谈一下自己的体会，希望起到抛砖引玉的作用：我觉得要解决的第一个问题是你对宏观经济研究的偏向。
在这里，我觉得宏观计量的经验研究固然需要理解动态规划方法，因为在DSGE模拟时要用到，但是更重要的却是计量方法本身。
因此，本文重点探讨理论研究，我个人也写过一篇宏观计量学习的帖子，可以参见：/bbs/thread-920034-1-1.html。
理论研究中，我觉得如果是以入门来看，那么罗默（2002）已经足够了。
并且我建议在读完迪克西特的《经济理论中的最优化方法（第二版）》一书以后阅读。
网上很多人批评该书的数学工具不够高级，那么我就要问：“你是在学高级数学还是高级宏观经济学？”所以，当一本像罗默（2002）这样的教材能够以简洁的数学知识告诉我们高级宏观在探讨的内容时，我们有什么理由求全责备呢？当然，如果要做真正的理论研究，那么进入杨奎斯特、萨金特（2004）的学习就是必要的。
于是这就引来了第二个问题：动态方法的学习过程。
大体看来，动态方法分为：连续时间问题和离散时间问题两种。
前者术语叫动态“优化”，后者术语叫做动态“规划”方法。
现分而述之：在连续时间优化方面，强烈建议读一下凯曼，施瓦茨（Kamien M.I. & Schwartz N.L）合著的《Dynamic Optimization》一书。
该书由浅入深（阅读此书只需要本科经济专业的微积分和基础线性代数知识）把动态优化问题所有相关问题做了详细阐述，不仅告诉你这个方法如何使用，而且对方法背后的许多数学定理都在附录中给予了证明，供你选择阅读。
高级宏观经济学-第四讲 三期动态模型ppt课件
2021/6/23
第四讲 三期动态模型
25
并且，通过仔细观察（4.15）、（4.20）式，我们 可以发现，实际上，对于任意一个多期的最优化问题 来说，我们可以一般化地写出时期 t 的值函数：
v(kt ) u(ct ) v(kt1) （4.21）
2021/6/23
第四讲 三期动态模型
26
三、一个例子： 吃蛋糕问题
么，消费者能获得的最大的效用水平。上述值函数对 k2
求导，可得：
2021/6/23
V3 k2
(k2
)
u
f
(k2
) f
(k2 )
第四讲 三期动态模型
(4.11)
16
现在，我们再回到第二期。在第二期得初始时，k1 是 给定的，因为它是在第一期就被决定的。在第二期，
消费者通过选择一个合适的（ c2、k2 ）组合来最大
以最恰当的方式在未来被使用，从而给消费者带来最大的
效用。这一信息像前面一样被浓缩在值函数V2 里。同样，
代约束条件进目标函数，我们可以得到如下的一阶条件：
2021/6/23
第四讲 三期动态模型
22
u(c1 )
V2 k1
(k1 )
u(c1) u(c2 ) f (k1)
(4.18)
同样的，这个一阶条件就是欧拉方程，它实际上
然需要把这种影响考虑进去。在上面的最大化问题
中，我们借助值函数V3 来表示了这种经由 k2 而产生 的效用。
代约束条件进目标函数，并对 k2 求导数，我们
可以得到相应于这个最优化问题的一阶条件：
2021/6/23
第四讲 三期动态模型
18
u(c2
)
V3 k 2
宏观教材讨论个人关于动态规划及高级宏观学习的
宏观教材讨论个人关于动态规划及高级宏观学习的本坛网友鲁峰发表了一篇不错的高宏学习的帖子，名为："个人关于动态规划及高级宏观学习的意见"地址见：作为一名学了N年宏观的经济学工作者，我非常有兴趣和同道中人进行讨论。
同时，也可以为各位致力于宏观学习的童鞋提供一些(可能不完全正确)的建议。
我的研究领域与鲁峰网友近似，为：经济周期理论(按照惯例，也应包括经验研究)、货币理论与政策。
首先，想商议的第一个话题是，"你对宏观经济研究的偏向"。
在讨论这个话题之前，我假设大家都知道，所谓"经验"，是指empirical这个词。
为了避免与positive弄混淆，我用经验，而非"实证"来表示empirical。
按照惯例，如果有人说自己做宏观经济学，我们一般知道他主要是做理论研究的。
但是，宏观理论中，除了其基础--一般均衡理论外，基本上是找不到一处不能验证的理论的。
换言之，宏观理论直接来自于经验事实，同时，任何宏观理论一定要接受实验(经验)的检验，当然，只能用自然实验，而无法进行可控的实验。
我的看法是，宏观经济学不存在理论研究和经验研究之分，这两者都是由宏观经济学理论研究者完成。
如果有人说他用时间序列之类的方法在检验宏观经济理论，那么，按照惯例，这类研究领域应该叫做"应用时间序列研究"，最多叫做"应用计量经济学"，而绝对不能成为"经验宏观经济研究"，更不能叫做"应用宏观经济理论"。
举个例子，鲁克波尔与克莱茨希的一本教材，叫"应用时间序列计量经济学"。
(这两个人是德国人，名字不好记，所以就把中文名字记住了)这本书是SVAR课程的重要参考教材，整本书的内容就是宏观经济学的经验研究。
大家不妨看看书的名字。
另外一个例子，DeJong and Dave将其著作叫做《结构宏观计量经济学》、Canova将其著作叫《应用宏观经济研究方法》。
宏观经济学分析方法系列：动态规划的Bellman原理
==================================附录：宏观经济学分析方法：动态规划的Bellman 原理（10、11 硕已讲，精细订正版）二、一个简化的例子欲对 Bellman 原理有一个快速的理解，这里通过一个简化的例子，以勾勒出动态规划方法所特有的向后追溯（ backward recursion ，逆向递归，逆向归纳）的特征。
假定：（1）典型个人生存两个时期，他可以在两个时点上，即t 0、1上做决策（ t 3 时，他就死亡了）；他被赋予一定量的初始资源W (0) 0。
（2）理想化的资本市场上存在两种资产1。
一种是无风险的现金或者债券，它的价格在任何时刻都没有变化，始终为 1；另一种是有风险的股票，它的价格过程假定由以下二项树描绘（参见下图）。
1所谓理想化资本市场如上一章中的要求，即无交易成本、制度限制、操纵行为等。
p (t)2004/94004/95/91001005/94/9505/925012t图股票价格运动的二项树模型简单地说，它表示在每一时点上，股票价格要么以4/ 9的概率上涨一倍，要么以 (1 4 / 9) 的概率下跌一半。
用 w(0) 和 w(1) 表示该投资者在 0 、1时刻上，投资于风险资产（股票）上的财富分额。
（3）投资者的非资本收入为0 ，效用函数具有以下特定形式：u( x)x（4）为了简化求解，假定投资者不进行任何消费，这样最优决策的惟一目标就是最大化他来自最终财富的期望效用。
至此，最优化问题就可以简化为：max E W (2)w(0 ),w (1)s.t. W (2)0我们的任务就是找到最优的投资决策变量（最优控制） w(0) 和w(1) ，使以上最优化问题得以解决。
可以尝试采用“向前”推导的方法，即从 t0 时刻开始，事先决定一个策略 w(0) ，但它是不是最优还不清楚，根据w(0) 我们仅仅能够知道 t 1时刻的期望财富水平的函数表达 式，但是最大化这个函数得到的“最优的” w(0) ，并不一定是最优决策过程 [ w(0), w(1)] 的必然组成部分，除非可以明确地知道在所有不同情况状态下的 w(1) ，并且它是惟一的。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第一部分高级宏观经济学的数学基础
高级宏观经济学中许多模型用到了动态最优化理论。
这一部分主要介绍动态最优化理论的基本原理和方法，作为学习高级宏观经济学的必要准备知识。
动态最优化理论主要包括变分法、最优控制论和动态规划。
第三讲动态规划
前面两节介绍了用变分法和最优控制理论（即极大值原理）求解动态最优化问题（我们主要介绍的是连续时间问题）。
同样，动态最优化问题也可以用动态规划方法来求解。
动态规划是美国数学家贝尔曼1957年提出的，同最优控制论一样，动态规划也被说成现代变分法。
动态规划包括离散时间和连续时间两种情形，它在解决离散时间问题时较为方便，我们这里重点讲离散时间下的方法。
此外，动态规划可以解决确定性条件下和不确定条件下的动态最优化问题，与变分法和最优控制相比，动态规划是求解不确定下动态最优化问题很方便的工具，但由于要涉及大量其他数学工具以及课程时间所限，我们这里只介绍解决确定性问题的方法。
一、动态规划原理与贝尔曼方程
（一）动态规划问题的特点
（二）贝尔曼方程
二、离散时间无限界期的动态规划贝尔曼方程的形式
动态规划的解
三、经济学应用：新古典增长模型中的消费者最优化问题
模型设定
消费者储存资本并进行投资，即消费者的财富是以资本的形式表示的。
在每一期里，消费者都会把资本租给厂商并向厂商出售自己的劳动。
假设劳动并不会给消费者带来任何负效用，因此，不论工资率为多少，劳动供给始终是1单位。
消费者实际上就相当于在求解如下一个跨期最优化问题：
{}1,0
max ()t t t t c k t U c β+∞
=∑
s.t. 1(1)t t t t t c k w r k ++=++
0lim 0(1)
t
t t t t k r →∞
==+∏
这里，0k 给定，t w 是工资率，t r 是资本的租金率。
如果把消费者的这个最优化问题用贝尔曼方程的方法表示出来，为
{}
11,()max[()()]t t t t t c k v k u c v k β++=+
s.t. 1(1)t t t t t c k w r k ++=++ （1）
0lim 0(1)t
t t t t
k r →∞==+∏
把约束条件（1）代入目标函数中，有
{}1
11()max [(1)]()t t t t t t t k v k u w r k k v k β+++=++-+ （2）
式（2）的一阶条件（对1t k +求偏导）是
11[(1)]()0t t t t t u w r k k v k β++''-++-+= （3）
让式（2）两边对t k 求偏导，并应用包络定理，可以得到
1()[(1)](1)t t t t t t v k u w r k k r +''=++-+ （4）
把式（4）往后挪一期，有
111121()[(1)](1)t t t t t t v k u w r k k r ++++++''=++-+ （5）
用式（5）代替式（3）中的1()t v k +'，可以得到
11()()(1)0t t t u c u c r β++''-++=
该方程就是实现消费者最优的欧拉方程。