动态最优化 动态规划的经济学应用

（二）贴现形式的经济学动态规划求解
（4）欧拉方程： 把由包络定理 得出的
df xk1
v xk1, uk1
代入：
dxk 1
xk 1
vxk , uk df xk1 T xk , uk 0
uk
dxk 1
uk
得欧拉方程：
vxk , uk v xk1, uk1 T xk , uk 0
第十三讲 动态规划的经济学应用
（二）几个确定性例子
（2）最优增长
消费者的目的是最大化效用：
Max tU ct t 0
S.T. ct kt1 yk t t 0,1,2,
ct 0
k0 0给定
ct : 人均消费；kt : 人均资本存量；
yk t : 人均资本产出函数
第十三讲 动态规划的经济学应用
Max
st ,st1 ,
i
0
iU
At i
yt i
sti
贝尔曼方程：
f
At ,
yt , Rt1
MaxU st
At
yt
st
f
At 1 ,
yt1, Rt
第十三讲 动态规划的经济学应用
（二）几个确定性例子
（1）确定性条件下的储蓄
把状态转移方程 At1 Rt st 代入贝尔曼方程：
f
At ,
第十三讲 动态规划的经济学应用
（三）不确定性动态规划问题
（1）基本形式
不确定动态规划问题的形式：
Max E0 trxt , ut t 0 S.T . xt1 g xt , ut ,t1 t 0,1,2,
x0给定 贝尔曼方程：
V xt
max ut
rxt ,ut E
V gxt ,ut ,t
第十三讲 动态规划的经济学应用
（一）经济学的动态规划建模步骤
（9）求欧拉方程：
把状态转移方程 xk1 Tk xk ,uk 代入贝尔曼方程：
fk xk
max
uk xk Dk xk
vk
xk , uk
fk1 Tk xk , uk
右边式子对控制变量求取最大化一阶条件，得：
vk xk , uk dfk1 Tk xk , uk 0
yt ,
Rt 1
MaxU st
At
yt
st
f
Rt st ,
yt 1 ,
Rt
右边式子对控制变量求取最大化一阶条件，得：
U At yt st f Rt st , yt1, Rt Rt st 0
st
At 1
st
U ct At
yt st
st
f
Rt st , yt1, Rt
xk
Max
uk ,,un1
Vk ,n
xk , uk , uk1, uk2 ,, un1
Vk,n
xk
,
p* k ,n
xk
（8）写出动态规划基本方程（贝尔曼方程）：
fk xk
max
uk xk Dk xk
vk
xk , uk
fk 1 ~xk 1
k n 1, n 2,,1,0
其中：~xk1 Tk xk , uk*
dAt
At
f
At , yt , Rt1
At
U At
yt
st
d At
yt dAt
st
f
At , yt , Rt1
At
U ct
f
At1, yt1,
At 1
Rt
U ct1
第十三讲 动态规划的经济学应用
（二）几个确定性例子
（1）确定性条件下的储蓄
把本尼维斯特
—
沙因克曼公式：f
At
1, yt1 At 1
（储蓄）
tU ct tU At yt R1At1 tU At yt st
第十三讲 动态规划的经济学应用
（二）几个确定性例子
（1）确定性条件下的储蓄
定义值函数：
由：f
xk
Max
uk ,uk1 ,
i
0
iv
xk i , uk i
得：f
At , yt , Rt1
st
EtV
st Rt
,
Rt
第十三讲 动态规划的经济学应用
（四）不确定性动态规划举例
（1）回报为随机时的消费
uk
dxk 1
uk
贝尔曼方程对状态变量使用包络定理，得
（本尼维斯特—沙因克曼公式）：
dfk vk xk , uk dfk1 vk1 xk1, uk1
dxk
xk
dxk 1
xk 1
第十三讲 动态规划的经济学应用
（一）经济学的动态规划建模步骤
（9）求欧拉方程：
把由包络定理 得出的
dfk 1 dxk 1
v
xk , uk
f
~xk 1
k n 1, n 2,,1,0
其中：~xk1 T xk , uk*
第十三讲 动态规划的经济学应用
（二）贴现形式的经济学动态规划求解
（4）欧拉方程：
把状态转移方程 xk1 T xk ,uk 代入贝尔曼方程：
f
xk
uk
max
xk Dk xk
vxk
,
uk
f
T
xk
ykt
kt 1
kt1
f ຫໍສະໝຸດ Baidut1
kt 1
0
U ykt kt1 f kt1 0
第十三讲 动态规划的经济学应用
（二）几个确定性例子
（2）最优增长
贝尔曼方程
f
kt
MaxU kt 1
ykt
kt
1
f
kt
1
对状态变量使用包络定理，得：
（本尼维斯特——沙因克曼公式）
df xk vxk , uk
,
Rt
U
ct
1
代入最大化一阶条件：U ct
Rt
f
Rt st , yt1, Rt
At 1
0
得到关于St的欧拉方程为：
U ct RtU ct1 0
欧拉方程 :U ct RtU ct1经济学含义：（拉姆齐规则）
最优的消费选择应使得：分配到这一期要的消费的边际效用
等于分配到下一期的消费的边际效用乘上利率和贴现率
,
uk
右边式子对控制变量求取最大化一阶条件，得：
vxk , uk df xk1 T xk , uk 0
uk
dxk 1
uk
贝尔曼方程对状态变量使用包络定理，得：
df xk vxk , uk df xk1 v xk1, uk1
dxk
xk
dxk 1
xk 1
第十三讲 动态规划的经济学应用
At 1
Rt
0
U ct
Rt
f
Rt st , yt1, Rt
At 1
0
第十三讲 动态规划的经济学应用
（二）几个确定性例子
（1）确定性条件下的储蓄
贝尔曼方程对状态变量使用包络定理，得： （本尼维斯特——沙因克曼公式）
df xk vxk , uk
dxk
xk
即：df At , yt , Rt1 U At yt st
得关于控制变量kt
的欧拉方程：
1
U ykt kt1 U ykt1 kt2 ykt1 0
欧拉方程：U ykt kt1 U ykt1 kt2 ykt1经济含义：
最优投资路径的选择应使得：分配给这一期的投资kt
，剩下
1
的当期消费的边际效用等于下一期投资kt
剩下的消费的边际
2
效用乘上资本的边际产出和贴现率
vk1 xk 1, uk 1
xk 1
代入：
vk xk , uk dfk1 Tk xk , uk 0
uk
dxk 1
uk
得欧拉方程：
vk xk , uk vk1 xk1, uk1 Tk xk , uk 0
uk
xk 1
uk
（关于某变量的差分方程，可用差分方程法求解或
用迭代法模拟解的路径）
kt i1
贝尔曼方程：
f
kt
MaxU kt 1
ykt
kt
1
f
kt
1
第十三讲 动态规划的经济学应用
（二）几个确定性例子
（2）最优增长
f
kt
MaxU kt 1
ykt
kt
1
f
kt
1
右边式子对控制变量求取最大化一阶条件：
U ykt kt1 f kt1 0
kt 1
kt 1
U ykt
kt1
dxk
xk
即：df kt U ykt kt1
dkt
kt
f kt U ykt kt1ykt
f kt1 U ykt1 kt2 ykt1
第十三讲 动态规划的经济学应用
（二）几个确定性例子
（2）最优增长
把本尼维斯特 — 沙因克曼公式：f kt1 U ykt1 kt2 ykt1 代入最大化一阶条件：U ykt kt1 f kt1 0
（6）写出多阶段决策模型
n1
Max
vk xk , uk vn xn
k 0
S.T. xk1 Tk xk , uk k 1,2,, n
uk Dk uk , k 1,2,, n 1 x0给定
第十三讲 动态规划的经济学应用
（一）经济学的动态规划建模步骤
（7）定义值函数：
fk
动态最优化方法
——第13讲 动态规划的经济学应用
第十三讲 动态规划的经济学应用
（一）经济学的动态规划建模步骤
（1）根据多阶段决策的经济问题，将过程进行适 当的分段（按时间或空间划分）；
k 0,1,2,, n
（2）正确选择状态变量xk ，是它既能描述过程， 又能满足无后效性。明确初始状态 x0
第十三讲 动态规划的经济学应用
（二）贴现形式的无限期动态规划
目标函数具有贴现形式：
vk xk ,uk kvxk ,uk ,0 1
（1）带贴现的平稳无限期多阶段决策模型
Max
kvxk , uk
k 0
S.T. xk1 T xk , uk k 1,2,, n
uk U , k 1,2,, n 1 x0给定
x r
xt ,
xt
ut
E
g
xt , ut
ut
,
t
r
xt1, ut
xt 1
1
t
0
第十三讲 动态规划的经济学应用
（四）不确定性动态规划举例
（1）回报为随机时的消费
消费者试图最大化：
Max E0 tU ct t 0 S.T . At1 Rt At ct A0给定
t 0,1,2,
（3）确定决策变量uk 以及每个阶段的允许策略集
合 Dk uk
（4）写出状态转移方程：xk1 Tk xk ,uk
第十三讲 动态规划的经济学应用
（一）经济学的动态规划建模步骤
（5）明确各个阶段的一期报酬函数：vk xk ,uk
确定整个阶段的目标函数：
n1
V0,n x0, x1,, xn vk xk ,uk vn xn k 0
第十三讲 动态规划的经济学应用
（四）不确定性动态规划举例
（1）回报为随机时的消费
状态变量定义为：At ,Rt1 控制变量定义为：st At ct
转移方程为：
At1 Rt At ct Rt st
报酬函数为：
U ct U At st
贝尔曼方程：
V
At
,
Rt
MaxU st
At
uk
xk 1
uk
第十三讲 动态规划的经济学应用
（三）确定性动态规划的经济学例子
（1）确定性条件下的储蓄
消费者的目标：选择每期消费实现长期的效用最大化
Max tU ct t 0 S.T. At1 Rt At yt ct t 0,1,2,
A0给定 At ：t期初的财富； yt ：t期的劳动力收入； Rt ：t期储蓄利率； ct ：t期的消费
第十三讲 动态规划的经济学应用
（二）几个确定性例子
（1）确定性条件下的储蓄
状态变量定义为：At , yt , Rt1
控制变量定义为：st Rt1At1 At yt ct 转移方程为：At1 Rt st 因为： ct At yt Rt1At1
一期报酬函数 vxt ,ut 变为：
（二）几个确定性例子
（2）最优增长
状态变量为：kt
控制变量为：kt 1
一期报酬函数 vxt ,ut 变为：Uyk t kt1
定义值函数：
由：f
xk
uMk ,uka1x, i0
iv
xk i , uk i
得：f
kt
Max kt1 ,kt2 , i0
iU y k ti
xt
第十三讲 动态规划的经济学应用
（三）不确定性动态规划问题
（2）随机欧拉方程
贝尔曼方程右端的一阶必要条件：
rxt ,
u t
ut
E
g
xt , ut
u t
,
t
V
g
xt
,
ut
,
t
xt
0
贝尔曼方程应用包络定理，得：
V
xt
rxt , ut
xt
V xt1
r xt1, ut1
xt 1
由上边两式联立得，随机欧拉方程：
第十三讲 动态规划的经济学应用
（三）不确定性动态规划问题
（1）基本形式
引入不确定性：
t 为独立同分布的随机变量序列（不确定因素）
不确定因素影响着状态变量：（状态变量为随机变量）
xt1 g xt , ut ,t1
目标函数是最大化期望值：
E0 trxt , ut t 0
（ Et y 表示在t期的已知信息情况下随机变量y的数学期望）
第十三讲 动态规划的经济学应用
（二）贴现形式的经济学动态规划求解
（2）定义值函数：
f
xk
Max V uk ,uk1, k ,n
xk , uk , uk1, uk2 ,
Max
uk ,uk1 ,
i
0
iv
xk i , uk i
（3）贝尔曼方程：
f
xk
max
uk xk Dk xk