宏观经济学分析方法系列：(课堂放映版、11硕已讲)动态规划的Bellman原理

=================

=================

附录：

宏观经济学分析方法：动态规划的Bellman原理

（10、11硕已讲，精细订正版）

二、一个简化的例子

欲对Bellman原理有一个快速的理解，这里通过一个简化的例子，以勾勒出动态规划方法所特有的向后追溯（backward recursion，逆向递归，逆向归纳）的特征。

假定：

（1）典型个人生存两个时期，他可以在两个时点上，即1

t

=

0、上做决策（3=t时，他就死亡了）；他被赋予一定量的初始资源0

W。

)0(>

（2）理想化的资本市场上存在两种资产1。一种是无风险的1所谓理想化资本市场如上一章中的要求，即无交易成本、

GAGGAGAGGAFFFFAFAF

现金或者债券，它的价格在任何时刻都没有变化，始终为1；另一种是有风险的股票，它的价格过程假定由以下二项树描绘（参见下图）。

制度限制、操纵行为等。

GAGGAGAGGAFFFFAFAF

GAGGAGAGGAFFFFAFAF

简单地说，它表示在每一时点上，股票价格要么以 9/4的概率上涨一倍，要么以 )9/41(-的概率下跌一半。

用)0(w 和)1(w 表示该投资者在10、时刻上，投资于风险资产（股票）上的财富分额。

（3）投资者的非资本收入为 0，效用函数具有以下特定形式： x x u =)(

（4）为了简化求解，假定投资者不进行任何消费，这样最优决策的惟一目标就是最大化他来自最终财富的期望效用。

至此，最优化问题就可以简化为：

⎣⎦

)2(..)2(max )1(),0(>W t s W E w w

我们的任务就是找到最优的投资决策变量（最优控制）

图 股票价格运动的二项树模型

100 1

)0(w和)1(w，使以上最优化问题得以解决。

可以尝试采用“向前”推导的方法，即从0 t时刻开始，事先决定一个策略

GAGGAGAGGAFFFFAFAF

GAGGAGAGGAFFFFAFAF

)0(w ，但它是不是最优还不清楚，根据)0(w 我们仅仅能够

知道1=t 时刻的期望财富水平的函数表达式，

但是最大化这个函数得到的“最优的”

)0(w ，并不一定是最优决策过程)]1(),0([w w 的必然组成部分，除非可以明确地知道在所有不同情况状态下的)1(w ，并且它是惟一的。因此，向前推导的方法是行不通的。

换一种思路，我们可以试着从倒数第一期，即1-T 期开始。

这就是说，我们必须获得 1=t 时期，股票价格在200=p 或者

50=p 两种情况下的最优投资比例，而这是一个单期静态优化问题。一旦获得了1=t 时的相应结果)1(w 和)1(W ，就可以按照同

样的手续，进一步推导0=t 时刻的最优投资比例，

从而一层层地逐步解决问题。

具体求解如下：

第一步：1=t 时刻

假定此时的财富)1(W 为任意一正数（它是由上一期0=t 时的最优决策所产生的）。投资到股票上的财富比例为)1(w ，则投向无风险资产上的就是)1(1w -。我们来计算最后的2

=t

GAGGAGAGGAFFFFAFAF

时刻，积累的财富的期望效用是多少。

先考虑当股票价格200=p 时的情形，根据二项树模型： )

1()]1([)1()1()2/1(1951)1(94)1()]1(1[)1()1()2/1(9

5)1()]1(1[)1()1(294]200)2([W w f W w w W w W w W w W w p W E =⎥⎦

⎤⎢⎣⎡-++=-++-+==

GAGGAGAGGAFFFFAFAF

为了找到最优投资比例)1(w ，只要对)]1([w f 求导，并令一阶导数于0就可以了，容易得到：

19/13)1(=w 和383/19)]1([=w f

再考察当股票价格50=p 时的情形 ， 我们发现仍旧可以使用上式 。 因为 )1()]1(1[)1()1((2W w W w -+依然表示股票价格上涨一倍的情况下，投资在两种资产上，给投资者带来的期末财富的期望效用；而)1()]1(1[)1()1((2/1W w W w -+则

是投资机会相对较差即下跌 一半时，

期末财富的期望效用水平。因此最优解还是19/13)1(=w ，因此这个最优投资比例决策独立于1时刻股票价格和财富的绝对水平。

第二步：0=t 时刻

根据上面的推理，我们只要知道1时刻的财富水平)1(W ，就可以知道最终财富的期望效用水平是多少，而1时期的财富水平)1(W ，也是由同第一步类似的决策过程所决定的， 即：

GAGGAGAGGAFFFFAFAF

[][]

)

0()]0([)]1([)0()0()2/1(1951)0(94)]1([)0()]0(1[)0()0()2/1(95)0()]0(1[)0()0(294)]1([)1()]1([)2(W w f w f W w w w f W w W w W w W w w f W E w f W E =⎭

⎬⎫⎩⎨⎧⎥⎦⎤⎢⎣⎡-++=⎭

⎬⎫⎩⎨⎧-++-+==

同样对)]0(

f求导数，并令一阶导数等于0，得到最优化

[w

条件19

w，因此动态最优投资决策方案就是：

)0(=

13

/

)1(=

w

)0(=

w，19/13

13

19

/

尽管实际的问题要比这个简单的例子复杂得多，但从上述求解过程中，仍然可以归纳出最优个人消费（投资）决策的动态规划解法的最显著特征，即它是向后追溯的。而这正是贝尔曼最优化原理的体现。

三、一般情形

现在考察多期（多阶段）离散时间情况下，个人最优消费/投资决策问题的标准建模方法和它的一般解法。

假定：

（1）有限生命

GAGGAGAGGAFFFFAFAF