宏观经济学分析方法系列：(课堂放映版、11硕已讲)动态规划的Bellman原理

==================================附录：宏观经济学分析方法：动态规划的Bellman原理（10、11硕已讲，精细订正版）二、一个简化的例子欲对Bellman原理有一个快速的理解，这里通过一个简化的例子，以勾勒出动态规划方法所特有的向后追溯（backward recursion，逆向递归，逆向归纳）的特征。

假定：（1）典型个人生存两个时期，他可以在两个时点上，即1t=0、上做决策（3=t时，他就死亡了）；他被赋予一定量的初始资源0W。

)0(>（2）理想化的资本市场上存在两种资产1。

一种是无风险的1所谓理想化资本市场如上一章中的要求，即无交易成本、GAGGAGAGGAFFFFAFAF现金或者债券，它的价格在任何时刻都没有变化，始终为1；另一种是有风险的股票，它的价格过程假定由以下二项树描绘（参见下图）。

制度限制、操纵行为等。

GAGGAGAGGAFFFFAFAFGAGGAGAGGAFFFFAFAF简单地说，它表示在每一时点上，股票价格要么以 9/4的概率上涨一倍，要么以 )9/41(-的概率下跌一半。

用)0(w 和)1(w 表示该投资者在10、时刻上，投资于风险资产（股票）上的财富分额。

（3）投资者的非资本收入为 0，效用函数具有以下特定形式： x x u =)(（4）为了简化求解，假定投资者不进行任何消费，这样最优决策的惟一目标就是最大化他来自最终财富的期望效用。

至此，最优化问题就可以简化为：⎣⎦)2(..)2(max )1(),0(>W t s W E w w我们的任务就是找到最优的投资决策变量（最优控制）图 股票价格运动的二项树模型100 1)0(w和)1(w，使以上最优化问题得以解决。

可以尝试采用“向前”推导的方法，即从0 t时刻开始，事先决定一个策略GAGGAGAGGAFFFFAFAFGAGGAGAGGAFFFFAFAF)0(w ，但它是不是最优还不清楚，根据)0(w 我们仅仅能够知道1=t 时刻的期望财富水平的函数表达式，但是最大化这个函数得到的“最优的”)0(w ，并不一定是最优决策过程)]1(),0([w w 的必然组成部分，除非可以明确地知道在所有不同情况状态下的)1(w ，并且它是惟一的。

因此，向前推导的方法是行不通的。

换一种思路，我们可以试着从倒数第一期，即1-T 期开始。

这就是说，我们必须获得 1=t 时期，股票价格在200=p 或者50=p 两种情况下的最优投资比例，而这是一个单期静态优化问题。

一旦获得了1=t 时的相应结果)1(w 和)1(W ，就可以按照同样的手续，进一步推导0=t 时刻的最优投资比例，从而一层层地逐步解决问题。

具体求解如下：第一步：1=t 时刻假定此时的财富)1(W 为任意一正数（它是由上一期0=t 时的最优决策所产生的）。

投资到股票上的财富比例为)1(w ，则投向无风险资产上的就是)1(1w -。

我们来计算最后的2=tGAGGAGAGGAFFFFAFAF时刻，积累的财富的期望效用是多少。

先考虑当股票价格200=p 时的情形，根据二项树模型： )1()]1([)1()1()2/1(1951)1(94)1()]1(1[)1()1()2/1(95)1()]1(1[)1()1(294]200)2([W w f W w w W w W w W w W w p W E =⎥⎦⎤⎢⎣⎡-++=-++-+==GAGGAGAGGAFFFFAFAF为了找到最优投资比例)1(w ，只要对)]1([w f 求导，并令一阶导数于0就可以了，容易得到：19/13)1(=w 和383/19)]1([=w f再考察当股票价格50=p 时的情形 ， 我们发现仍旧可以使用上式 。

因为 )1()]1(1[)1()1((2W w W w -+依然表示股票价格上涨一倍的情况下，投资在两种资产上，给投资者带来的期末财富的期望效用；而)1()]1(1[)1()1((2/1W w W w -+则是投资机会相对较差即下跌 一半时，期末财富的期望效用水平。

因此最优解还是19/13)1(=w ，因此这个最优投资比例决策独立于1时刻股票价格和财富的绝对水平。

第二步：0=t 时刻根据上面的推理，我们只要知道1时刻的财富水平)1(W ，就可以知道最终财富的期望效用水平是多少，而1时期的财富水平)1(W ，也是由同第一步类似的决策过程所决定的， 即：GAGGAGAGGAFFFFAFAF[][])0()]0([)]1([)0()0()2/1(1951)0(94)]1([)0()]0(1[)0()0()2/1(95)0()]0(1[)0()0(294)]1([)1()]1([)2(W w f w f W w w w f W w W w W w W w w f W E w f W E =⎭⎬⎫⎩⎨⎧⎥⎦⎤⎢⎣⎡-++=⎭⎬⎫⎩⎨⎧-++-+==同样对)]0(f求导数，并令一阶导数等于0，得到最优化[w条件19w，因此动态最优投资决策方案就是：)0(=13/)1(=w)0(=w，19/131319/尽管实际的问题要比这个简单的例子复杂得多，但从上述求解过程中，仍然可以归纳出最优个人消费（投资）决策的动态规划解法的最显著特征，即它是向后追溯的。

而这正是贝尔曼最优化原理的体现。

三、一般情形现在考察多期（多阶段）离散时间情况下，个人最优消费/投资决策问题的标准建模方法和它的一般解法。

假定：（1）有限生命GAGGAGAGGAFFFFAFAF典型个人生命时期（lifetime）为],0[T，他可以在=T,2,1,0-t 这些离散的时点上做决策2；他被赋予一定量的,1初始资源0W。

)0(>（2）单一消费品2也称交易期界（trading horizon）。

GAGGAGAGGAFFFFAFAFGAGGAGAGGAFFFFAFAF只有一种用于当期消费的易腐消费品。

它不可以储藏，暂时不考虑它是如何生产出来的。

（3）资产价格运动理想化的资本市场上存在1+n 种资产，第 0种资产是无风险的债券，它的单位时间总收益率为f R ；其他n 种都是风险资产，它们的总收益率定义为：n i t P t P t P t R i i i i ,,2,1%,100)()()1()( =⨯-+=)(t R i 是由外部经济环境外生决定的。

（4）资产组合令)(t w i 为投资在第i 种风险资产上的财富占总财富数量的相对份额，则∑=-ni i t w 1)(1就是投资在无风险资产上的财富份额。

因此整个资产组合的总收益率P R 就是：f f i n i i f n i i i n i i R R t R t w R t w t R t w +-=⎥⎦⎤⎢⎣⎡-+∑∑∑===])([)()(1)()(111 （2-2）（5）令)(t ς为非资本收入，如果假定这个收入来源是随机的，也可以称之为外生禀赋过程（endowment process ）。

注意，我们定义)0()0(ς=W 。

根据上述设定，可以把财富积累方程，也即约束条件表GAGGAGAGGAFFFFAFAF 述为：P R t C t t W t W )]()()([)1(-+=+ς （2-3）（6）非负条件要求在任何时刻，不可以出现负的财富和消费，即GAGGAGAGGAFFFFAFAF],0[,0)(;0)(T t t W t C ∈≥≥这样一来，最优化问题（2-1）式就可以表述为：],0[,0)(,0)()]()()([)1(..]),([]),([max 10210)(),(T t t W t C R t C t t W t W t s T T W u t t C u E PT t t w t C ∈≥≥-+=+⎥⎦⎤⎢⎣⎡+∑-=ς （2-4）=============================1、这里有一个非常重要的假定，即效用函数(.)u 是时间可加的（time-additive ）。

时间可加性是一个很强的假设，它假定多期效用函数采取如下这种形式)(),,(11∑==ti i t C u C C u 2、人们可能会对于没有贴现这些期望效用存在疑问，实际上加上时间变量的),(t C u 也是一个效用函数，它的具体形式可以是)(C u e t ρ-。

但是需要注意的是： e 的上角t 指的是一个时间长度，不要把它同作为时点的t 相混淆。

3、]),([2T T W u 也是一种效用函数，形如)(W u e t ρ-。

当然个人完全可以决定不留下任何遗产，即0)(=T W ，那么这一项就从个人视野中消失了。

=============================根据动态规划Bellman原理，我们仍然从倒数第一期开始解，这样它就变成了熟悉的单期问题。

引入1-T时刻的价值函数（valuation function）]1T-TWJ3，即([-),13J 是一个基于财富的引致（derived）效用函数。

GAGGAGAGGAFFFFAFAFGAGGAGAGGAFFFFAFAF]}),([]1),1([{max ]}),([]1),1([{max ]1),1([211,211,T T W u E T T C u T T W u T T C u E T T W J T wC T wC --+--=+--=-- (2-5)为简化求解，目前暂时假定非资本收入()t ς为 0，把财富积累方程（2-3）式代入上式，注意到：⎭⎬⎫⎩⎨⎧+------=∑=f n i f i i R R T R T w T C T W T W 1])1()[1()]1()1([)( 则（2-5）式可改写为：>⎭⎬⎫⎩⎨⎧+------+--<=--∑=---f n i f i i T T w T C R R T R T w T C T W u E T T C u T T W J 1211)1(),1(])1()[1()]1()1([]1),1([max ]1),1([ （2-6） 为简便起见，可将对时间的函数形式都省略掉时点变量不计。

接下来对可供选择的决策变量)1(),1(--T w T C i 求导（注意由于)]}1([{12-=-T C W f u T ，因此要用到复合函数求导法则，即链式法则）, 于是得到最优化的一阶条件4：4 因为效用函数和遗产函数都是凹的，所以二阶条件自动得到满足。

GAGGAGAGGAFFFFAFAF⎪⎪⎪⎩⎪⎪⎪⎨⎧==-=∂∂=⎭⎬⎫⎩⎨⎧⎥⎦⎤⎢⎣⎡+---=∂∂-=-∑n i R R u E w J R R R w u E T C u C J f i T W T i n i f f i i T W T C ,,2,10)](.)([0)((.))1,()(,211)(,21,1 (2-7)根据上式中的第二个一阶条件，第一个一阶条件又可以表示为：GAGGAGAGGAFFFFAFAF)(,21,1W T f C u E R u -= （2-8）如果用 1-T 期的价值函数（2-6）式对W 做微分（使用链式法则和导数基本运算法则），就有： ⎭⎬⎫⎩⎨⎧⎥⎦⎤⎢⎣⎡+-+--∂∂+∂∂⎭⎬⎫⎩⎨⎧⎥⎦⎤⎢⎣⎡+--=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧-∂∂-+⎥⎦⎤⎢⎣⎡+-∂∂-+∂∂=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧'⎥⎦⎤⎢⎣⎡+--+⎥⎦⎤⎢⎣⎡+-'-+∂∂=∑∑∑∑∑∑∑=--==-==-==-n i f f i i W T f i W T ni i n i f f i i W T C n i f i i n i f f i i W T Cn i f f i i n i f f i i W T C W R R R w u E R R C W u E W w W C R R R w u E u R R W w C W R R R w W C u E W C u R R R w C W R R R w C W u E W C u J 1,21,2111,21,111,21,111,21,1)((.))])((.)([)((.))()()()1((.))()()()((.)把一阶条件（2-7）式代入上式，则上式右边第一、二项均为 0。