3连续时间动态最优化问题

第三讲连续时间动态最优化问题
一、预备知识
动态最优化问题历来是数学家们关注的热点和难点问题。

从17世纪末的伯努利，到20世纪50年代的贝尔曼和庞特里亚金，中间经过拉格朗日、欧拉等一大批数学家的努力，才使动态最优化理论日臻完善。

20世纪初，在拉姆齐（1928）的工作之后，动态数学技巧才被广泛地引入到经济学中来，目前，这些技巧已是大多数现代经济学家不可或缺的工具。

上一节，我们探讨了离散时间的动态优化问题，介绍了古典的拉格朗日乘数法和比较现代的贝尔曼方程法。

本节我们将在连续时间的动态优化问题中，也介绍两种方法，他们是古典的变分法和比较现代的汉密尔顿最大值原理。

下面分别介绍这两种方法。

二、连续时间动态最优化问题的描述
例1．索罗（Solow）新古典经济增长模型的一个明显缺陷是把储蓄率看成是外生给定的。

事实表明，储蓄率不是常数。

为了将储蓄率内生化，堪斯(Cass，1965)和库普曼斯(Koopmans，1965) 利用拉
姆齐(Ramsey, 1928)倡导的最优化方法，将储蓄率看作是由家庭和企业在竞争市场上追求自身利益最大化的结果，以此证明储蓄率是由模型决定的内生变量。

假设经济包含两个部门，家庭和企业，家庭通过提供劳动服务从企业取得工资，通过提供资产获得利息。

家庭收入分成消费和储蓄两部分。

家庭在预算约束条件下按照消费效用最大化的原则进行消费和投资决策。

家庭生命是无限期的。

家庭大小与成年人口数量对应，成年人口按给定（外生）不变的速度增长，为方便其见，人口的变化规律由下式确定： nt e t L =)(
这里，假设初期人口数量为1，然后按等比级数递增，n 为人口增长率。

C(t)表示 t 时刻的消费， c(t)=C(t)/L(t)表示人均消费。

消费者问题是： [][]na c ra w a
dt
e e t c u t c U Max t nt t c --+=⋅⋅=⎰∞
- 0
)
()()(ρ
(1)
此处，u(c)是c 的增函数并满足边际效用递减规律，u(c)满足稻田条件：
∞=→)(lim
'0c u c , 0)(lim '=∞
→c u c 即当c 趋于零时，边际效用趋于无穷大，当c 趋于无穷大时，边际效用趋于零。

U[c(t)]表示家庭的总效用; a(t)=A(t)/L(t)表示人均净资产; r(t)表示资产收益率; w(t)表示工资率;
ρ>0表示时间偏好率, 其含义是，时间越久远，效用的贴现值
越少，ρ也叫做主观贴现率。

通常假设ρ>n 以保证家庭总效用在消费给定时是有界的1。

最优化问题(1)的另一种表达形式可以将由第二方程求得的消费c 代入到第一个方程获得：
[][][]dt t a
t a t F dt e e a
na ra w u t c U Max t nt t c ⎰⎰∞
∞
-=⋅⋅--+=0
0)
()(),(,))( ρ (2)
这就是目标函数的泛函表示最优化问题转化为：
[][][]dt t a
t a t F dt e e a
na ra w u t a V Max t nt t a ⎰⎰∞
∞
-=⋅⋅--+=0
0)
()(),(,))( ρ
例2． 乔根森（利润最大化）模型
在乔根森的新古典投资理论中，假设企业利用资本K 和劳动L 进行生产，其生产函数具有新古典生产函数),(L K Q Q =形式。

新古典生产函数遵循三个假设，即：（1）边际生产力大于零；（2）边际生产力递减；（3）规模报酬不变。

P 表示产品价格；M 表示资本品价格；W 表示劳动力的工资；δ表示资本折旧率。

则企业的投资与资本的关
1
注：()t t
t
e e
ρρρ+≈
⎪⎭
⎫
⎝⎛=-111, 因此，贴现因子可以写成e 以为底的指数形式，目的是为了便于计算。

系为
K K I δ+'=
在任意时刻企业的净收益为：
)(),(K K M WL L K PQ δ+'--
如果企业贴现率r, 未来净收益的贴现值可表示为：
[][
]
d t
t K t L t K t F dt
e K K M WL L K PQ L K N t ⎰⎰∞
∞
-=-'--=0
'
0)(),(),(,(),(),(ρδ (3)
是目标泛函F 的广义积分。

[][]
d t
t K t L t K t F dt
e K K M WL L K PQ L K V t t L t K ⎰⎰∞
∞
-=-'--=0
'0
)
(),()(),(),(,(),(),(max ρδ
[]K
K I dt
e MI WL L K PQ L K N t δρ+'=--=⎰∞
-0),(),(
该最优化问题还可以写成：
)
()()())(),(),(,(),(max 0,t K t I t K dt
t I t L t K t F L K N L
K δ-='=⎰∞
(4)
一般来说，泛函积分可以表示为两种方式：一种是将泛函积分表示，如（2）和（3）的表示的最优化问题，目标函数是路径及其导数的函数。

另一种表示，如（1）和（4）所示，目标函数是控制变量和状态变量的函数，目标函数受转移动态方程的约束。

三、变分法
3．1 变分问题的一般形式
前面所述的最优化问题可以用目标泛函来表示：
[][]dt t y t y t F y V T
y
⎰'=0)(),(,max (5)
且满足初始条件： Z T y A y ==)(,)0(
目标函数][y V 是路径)(t y 的函数。

我们的目的是选择一条路径使积分表达式（5）达到最大。

由于变分法是利用微积分的工具发展而来，泛函极值问题是函数极值问题的发展和推广，所以，我们要求被积函数具有一阶、二阶导数。

我们知道，使函数达到最大值的点是极值点，所以，使泛函达到极值的曲线或者路径为极值曲线或极值路径。

3．2 预备知识
对含参变量x 积分：
⎰=b
a dt x t F x I ),()(I
⎰='=b a x dt x t F x I dx
dI
),()(' 如果a, b 也看作是参变量，则
⎰=b
a dt x t F
b a I ),(),(
),(x b F b I
=∂∂ ),(x a F a
I
-=∂∂ 分步积分公式：
⎰⎰-=udv vu vdu
复合函数求导法： 对于[])(),(),(t z t y t x F ，有
dt
dz
z F dt dy y F t x x F dt dF ∂∂+∂∂+∂∂∂∂= 由于函数[])(),(,t y t y t F '是),,(y y t '的函数，而y y ',都是t 的函数，所以，F 和F '都是t 的复合函数。

因此，我们有
dt
y d y F dt dy y F t F dt dF y y y y ''∂∂+∂∂+∂∂='''
'
3．3．欧拉方程的推导
第一步，将求极值曲线的问题变换为求极值点的问题。

假设)(*t y 是已知的极值曲线，我们的目的是找到这条曲线所满足的必要条件。

任意选取连接（0，A ）和（0，Z ）点的扰动曲线)(t p , 则可以构造极值曲线的邻近路径： )()()(*t p t y t y ⋅+=ε
)()()('
*t p t y t y '⋅+='ε
其中，ε是一个任意小的数，当它趋于0时，)()(*t y t y → 对于给定的)(*t y 和)(t p ，每一个ε对应于一条邻近路径y ，从而确定泛函的特定值。

于是，泛函就成了ε的函数)(εV V =，其表达式为：
[]
d t t p t y t p t y t F V T
⎰⋅+⋅+=0'*'*)()(),()(,)(εεε
由于极值曲线)(*t y 对应点ε＝0， 所以，函数)(εV V =在ε＝0点达到最大值，根据一元函数极值的必要条件，必有：
0)()(000=⎪⎪⎭
⎫ ⎝⎛''∂∂+∂∂=⎪⎪⎭
⎫
⎝⎛∂'∂'∂∂+∂∂∂∂=∂∂=⎰⎰⎰dt t p y F
t p y F dt y y F y y F dt F d dV T
T T εεεε
或者
0)()(00
=''∂∂+∂∂⎰⎰
dt t p y
F dt t p y F
T T
第二步：进行分步积分
根据分步积分法，上式的第二个积分可以简化为：
dt y F
dt d t p dt
y F dt d t p t p y F t dp y F dt t p y F T
T T
T
T
'
∂∂-='∂∂-'∂∂='∂∂=''∂∂⎰⎰⎰⎰
00
00
)
()()()()(
代入（）式，可得：
0)(0
=⎪⎪⎭
⎫ ⎝⎛'∂∂-∂∂⎰
dt t p y F dt d y F T
第三步：求欧拉方程
上式包含附加任意函数p(t)，泛函积分达到最优的条件应该不依赖于附加函数p(t)，事实上，我们可以证明
0='
∂∂-∂∂y F dt d y F .
为证明上述结论，我们证明下面的引理： 如果给定函数)(t f 和任意函数)(t g 满足：
0)(0=⎪⎪⎭⎫ ⎝⎛'∂∂-∂∂⎰dt t p y F dt d y F T
0)()(0
⎰
=T
dt t g t f , 则必有0)(＝t f .
证明（反证法）：如果0)(≠t f ，不失一般性，我们假设存在一点0t 使0)(0>t f ，由于)(t f 是连续函数，所以必然存在一个充分小的数
δ使)(t f 在区间),(00δδ+-t t 上，满足0)(>t f 。

下面我们构造函数:
＝)(t g 1，当),(00δδ+-∈t t t
＝)(t g 0，当),(00δδ+-∉t t t
⎰
⎰
⎰⎰
⎰
+-+-+->=++=δ
δ
δ
δ
δ
δ
0000000)(0)(0)()(0
t t t t T
t t T
dt t f dt dt t f dt dt t g t f ，这与原假
设矛盾，所以，0)(=t f 成立。

由于
y F
dt d y F '∂∂-∂∂就相当于)(t f ，所以，0=?
??+?y F dt d y F 。

这就是泛函积分最优的一阶条件，也称欧拉方程。

第四步，欧拉方程的另一种表达方式 由于
)
()(''t y F t y F F dt y d y F dt dy y F t F dt dF y F dt d y y y y y t y y y y ''+'+'∂∂+∂∂+∂∂=='∂∂'''''''＝
所以，
0='∂∂+∂∂y
F dt d y F 被改写成
0)()(=-''+'+''''y y y y y y t F t y F t y F F
例1， 假设消费者的即时效用函数)
1(1)()1(θθ--=-c c u 2。

则最优化问题
[][][]dt t a
t a t F dt e e a
na ra w u t a V Max t nt t a ⎰⎰∞
∞
-=⋅⋅--+=0
)
()(),(,))( ρ
对应的泛函是：
[]t n e a
na ra w t a t a t F )(11)()(),(,------+='ρθθ
t
n t n e c n r e a
na ra w n r a F
)()()())((-------=--+-=∂∂ρθρθ t n t n e c e a
na ra w a F
)()()(-------=--+-=∂∂ρθρθ t n t n t n t n t n t n t n t n e c
c e c n e a a
na ra w e a n r a na ra w e a na ra w n e a a
na ra w e a n r a na ra w e a
na ra w n a
F
dt d )(1)()(1)(1)()(1)(1)()()()()())(()()()())((-----------------------------+-=--+----++--+-=--+----++--+-=∂∂ρθρθρθρθρθρθρθρθθρθθρθθρ
a a n r c
--=)( 根据欧拉方程：
t n t n t n e c c e c n e c n r )(1)()()()(----------+-=-ρθρθρθθρ t n t n t n e c c e c n e c r )(1)()()()(----------+-=-ρθρθρθθρρ c
c c r θθθρ---⋅=-1)( )()/1(/ρθ-⋅=r c c
2
此表达式中的“-1”仅仅是为了表达方便，因为当θ趋于1时，u (c )趋于log(c )这个结果可以用洛比达法
则证明。

然而，由于家庭选择关于效用函数的线性变换的不变性，忽略()θ--1/1不会影响结论。

消费者的人均消费路径，由资产收益率和时间偏好率之差决定。

四、最大值原理
如上所述，企业利润最大化和消费者的效用最大化也可以用另外一种形式表达。

以效用最大化为例。

消费者的最优化问题可以写成：
目标函数：dt t c t k t f V T
t c ⎰=0)
()](),(,[)0(max
转移方程：)](),(,[)(t c t k t g t k
= 初始条件： 0)0(k k = 0)()(≥⋅⋅-T T r e T k
其中V （0）是由初始时刻0看出的目标函数值，是在0和t 之间适用的平均贴现率，T 是计划终端时期，它可以是有限或无限的。

关于有限或无限期界之间的区别，另行讨论。

变量k(t)是状态变量，变量c(t)是控制变量。

它们都是时间的函数。

(A.55a)式中的目标函数是瞬时幸福函数在0到T 期间内的积分。

这些幸福函数依次依赖于状态和控制变量k(t)和c(t)以及时间t.
转移动态是一个关于资本的k(t)的微分方程；这一约束表示了控
制变量c(t)的选择是如何影响状态变量k(t)的运动模式。

这一关于)(t k
的表达式被称为转移方程或运动方程。

尽管我们只写出了一个转移方程，但实际上有一个约束的连续统，0到T 之间的每个时点上一个约束。

初始条件给出了状态变量k(t)的初始值，即状态变量的初始状
态。

最后一个约束是说在计划期界结束时所选择的状态变量k(t)，以
)(T r 的速度贴现后必须为非负。

对于有限的T 值，只要贴现率是正且有限的，这一约束就意味着0)(≥T k 。

如果k(t)代表一个人的净资产且T 为这个人的寿命，约束就排除了负债死亡的可能性。

如果计划期界是无限的，那么该条件显示净资产可以为负而且可以在数值上永远增长下去，只要其增长率小于)(t r 。

这一条件排除了连环信贷或蓬齐负债手段。

4．1. 一阶条件的试探性推导
仿照非线性最优化问题的静态解法－库恩－塔克条件，我们构造类似的拉格朗日函数
[]{}
⎰⎰⋅-⋅⋅+-⋅+T T T T r e T k v dt t k t c t k t g t dt t c t k t f L 00)()())()](),(,[()()(),(, μ＝ 此处，)(t μ、ν分别是对于于转移方程和生命总结时的资产约束的拉格朗日乘数。

由于时间变量是连续的，所以，在0到T 期之间的每一个时点上约束条件都成立，所以相应就有连续统的拉格朗日乘子)(t μ、ν，被称为共状态变量或动态拉格朗日乘子。

与静态情形类似，这些共状态变量可被理解为影子价格：u (t)是在t 时的1单位资本存量的增加，以在0时的效用单位表示的价格或价值。

由于每个约束都等于0，每个乘积也等于0。

因此所有约束的总和等于0： {}⎰=-⋅T
dt t k t c t k t g t 0
0))()](),(,[()( μ 为了找到静态问题中的一阶必要条件，我们将对0到T 之间的
所有t 把L 对c(t)和k(t)最大化。

这种方法的问题是我们并不知道如何取对k 的导数。

为了避免这个问题，我们通过项分部积分可以把拉格朗日函数改写为
[]{}
[]{}[]{}⎰⎰⎰
⎰⎰⎰⋅-⋅-⋅-⋅⋅+⋅-⋅+⋅+⋅⋅+=⋅⋅+⋅-⋅⋅+=⋅⋅+-⋅+=T
T T r T
T T T T r T T T T r e T k v T k T k dt t k t dt
t c t k t g t t c t k t f e T k v dt t k t dt t c t k t g t t c t k t f e T k v dt t k t c t k t g t dt t c t k t f L 0)(0000
)(00)()()()()0()()()](),(,[()()(),(,)()()()](),(,[()()(),(,)())()](),(,[()()(),(,μμμμμμμ
第一个积分符号内的表达式被称为汉密尔顿函数，记作： ))(),(,()](),(,[),,,(t c t k t g t c t k t f t c k H ⋅+≡μμ
汉密尔顿函数有一个经济学解释(参见多夫曼[1969]).在一个时点上，消费者消费c(t)且拥有资本存量k(t)。

这样两个变量通过两条渠道影响到效用。

第一，消费和资本对效用的直接贡献，第二，消费的选择通过转移方程，影响到资本存量的变化。

而资本存量的变化的价值正是资本存量的变化与影子价格的乘积。

有了汉尔密顿函数之后，拉格朗日函数可改写为
[]{}T T r T
e T k v T k T k dt t k t t c t k t H L ⋅-⋅⋅+⋅-⋅+⋅⋅+=⎰)(00)()()()0()()()(),(,μμμ
令)(*t k 和)(*t c 分别为状态变量和控制变量的最优时间路径。

如果我们以一任意的扰动函数)(t p 来扰动最优路径)(*t c ，那么我们可以生成一个对控制变量而言的相邻路径：
)()()(1*t p t c t c ⋅+=ε
当c(t)被扰动时，根据预算约束，就产生了对k(t)和k(T)的相应扰动：
)()()(2'
*t p t k t k t ⋅+=ε
)()()(2'*T p T k T k t ⋅+=ε 其中，ε是一个任意小的数，当它趋于0时，
)()(*t c t c →，
)()(*t k t k →
)()(*T c T k →
对于给定的)(*t c 和)(*t k ，每一个ε对应于一条邻近路径，从而确定泛函的特定值)(εL 。

于是，泛函就成了ε的函数)(εL L =，其表达式为：
[]{}[]{}T
T r T T
T r T
e T p T k v T p T k T k dt t p t k t t p t c t p t k t H e T k v T k T k dt t k t t c t k t H L ⋅-⋅-⋅⋅+⋅+⋅+⋅-⋅+⋅⋅+⋅+⋅+⋅+=⋅⋅+⋅-⋅+⋅⋅+=⎰⎰)(2*2*002*1*1*)(00)]()([)]()([)()0()]()([)()()(),()(,)()()()0()()()(),(,)(εεμμεμεεμμμε
现在我们可以取拉格朗日函数对的导数并令其为0：
[]{}
[]{}T T r T T T r T e T p v T p T dt t p t k t t p t c t p t k t H e T p T k v T p T k T k dt t p t k t t p t c t p t k t H d dL ⋅-⋅-⋅⋅+⋅-⋅⎭
⎬⎫⎩⎨⎧∂⋅+⋅∂+∂⋅+⋅+=⋅⋅+⋅+⋅+⋅-⋅+⋅⋅+⋅+⋅+⋅+=⎰⎰)(2202*1*2*)(2*2*002*1*2*)]([)]([)()]()([)()()(),()(,)]()([)]()([)()0()]()([)()()(),()(,)(μεεμεεεεεμμεμεεε
ε
这里利用了微积分的复合函数求导法则，即
)]()(21t p k
H t p c H dc dk k H dt dc c H H ⋅∂∂+∂∂=∂∂+∂∂∂∂＝ε
化简得
[][]
[]0
)
()()]()()(),(,)()(),(,)(2)(02**1**=⋅+⋅-+⋅⎭⎬⎫⎩⎨⎧⋅⎭⎬⎫⎩⎨⎧+∂∂+∂∂=⋅-⎰T p e v T dt t p t k t c t k t H t p c t c t k t H d dL T T r T μμεε
[]0)
()()]()()()(2)(021=⋅+⋅-+⋅⎭⎬⎫⎩⎨⎧⋅⎭⎬⎫⎩⎨⎧+∂∂+∂∂=⋅-⎰T p e v T dt t p t k H t p c H d dL T T r T μμεε
由于)(),(21t p t p 是任意的，所以，只有当方程中的每个分量都等于0时，才能保证方程()对所有的扰动路径都成立，也就是说
0=∂∂c
H 0=+∂∂μ k
H T T r e v T ⋅-⋅=)()(μ
上述关于控制变量的一阶条件表明，如果)(*t c , )(*t k 是动态最优化问题的解，那么对于所有的t 来说汉密尔顿函数对控制变量c 的导数都等于0。

这一结果被称为极大值原理。

汉密尔顿函数对状态变量k 的偏导数等于拉格朗日乘数的导数的负值。

这一结果与转移方程一起常被称为欧拉方程。

最后，期末的共状态变量μ等于与k 相关的非负约束的静态拉格朗日乘子v 的贴现值。

五、横截性条件
静态问题的库恩－塔克一阶必要条件包括了一个与不等式约束相关的互补松弛性条件。

在静态问题中，这些条件表明如果一个约束不
是等式，那么与之相关的影子价格就为0。

在目前的动态问题中，有一个不等式约束要求在计划期末留下来的资本存量以速率贴现后不可能为负，与这一约束相关的条件要求。

我们可以把这一互补松弛性条件改写为
u(T)·k(T)=0
这一边界条件常被称作横截条件。

它表明如果所留下的资本数量为正，0)(>T k ，则其价格必为0，u(t)=0。

反过来，如果在期末资本价格为正, 0)(>T μ，则行为者将不会留下任何资本k(t)=0。

五、举例：新古典增长模型
假定经济行为者选择消费c(t)和资本k(t)的路径以最大化问题：
[][][]0)(lim 1
)0()()()()(log )()(0)(≥=⋅--=⋅=-∞→∞
-⎰t t r t t t c e t k k t k t c t k k dt e t c t c U Max δαρ
为求解这个最优化问题，建立汉密尔顿方程
)()log(),,,(k c k c e t k c H t ⋅--⋅+=-δμμαρ
一阶条件为
μδαμμαρ -=-⋅=∂∂=-⎪⎭⎫ ⎝⎛⋅=∂∂--)(011k k
H c e c H t
c
c --=ρμμ δραα--=-1k c
c 加上转移方程，就构成了一个关于k 和c 的非线性ODE 系统。

关于方程的性质我们下一次再讲。