时间序列分析方法 第05章 最大似然估计

第五章 最大似然估计

在本章中我们开始讨论时间序列模型的参数估计方法，其中极大似然估计是一种最为常用的参数估计方法。我们仅仅讨论极大似然估计的原理和似然函数的推导，而对获取极大似然估计的算法不加以详述。

§5.1 引 言

5.1.1 ARMA 模型的极大似然估计

假设数据的真实生成过程是一个),(q p ARMA 过程，则该过程的数据生成机制为： q t q t t p t p t t t Y Y Y c Y -----++++++++=εθεθεφφφ 112211 其中t ε是白噪声序列，满足：

⎩

⎨⎧≠==t s t

s E t s ,0,)(2σεε

我们将要讨论如何利用t Y 的观测值来估计母体参数：

),,,,,,,,,(22121σθθθφφφq p c =θ

我们将要采用的方法是极大似然估计方法，因此需要获得似然函数的表达式。假设获得

了T 个样本),,,(21T y y y ，如果能够计算出相应的联合概率密度函数：

);,,,(21),,(1θT Y Y y y y f T

上述函数可以视为在给定参数下样本发生的概率，因此合理的参数取值是使得上述概率最大，如此参数便称为极大似然估计。这时我们需要极大化上述联合概率密度。

为此，我们假设噪声序列是高斯白噪声序列，即 ),0(...~2σεN d i i t

虽然这个假设非常强，但是在这样假设下得到的参数估计θ

ˆ，对于非Gauss 过程来说也是很有意义的。

具体求解极大似然估计的步骤是：一是先求出并计算似然函数，二是求似然函数的最大值。这里涉及到一些代表性的非线性数值优化问题。

§5.2 高斯)1(AR 过程的似然函数

假设数据生成过程是一个具有高斯白噪声序列的)1(AR 过程：

t t t Y c Y εφ++=-11

这时对应的参数向量为：),,(2'=σφc θ。我们首先寻求联合概率分布函数，也就是这些参数对应的似然函数。

(1) 求上述过程似然函数的代表性过程是利用条件概率密度进行传递，所以需要先求出1Y 的概率密度。它的均值和方差为：

φ-=11c EY ，2

2

211)(φσμ-=-Y E

由于它具有正态分析，因此对应的密度函数为：

⎥⎦⎤⎢⎣⎡-----==)1/(2)]}1/([{exp )1/(21

)

,,;();(22212221111φσφφσπσφc y c y f y f Y Y θ (2) 在给定11y Y =的条件下，2Y 的条件概率分布可以得到：

)),((~|21112σφy c N y Y Y +=

对应的概率密度函数为：

⎥⎦

⎤

⎢⎣⎡---=2212212|2)(exp 21);|(12σφπσy c y y y f Y Y θ (3) 类似地，在给定前两个观测值的条件，3Y 的条件概率密度函数为：

⎥⎦

⎤⎢⎣⎡---=

22232

123,|2)(exp 21);,|(213σφπσ

y c y y y y f Y Y Y θ 注意到上述条件概率分布中只依赖一阶滞后的条件观测值。 (4) 最后一个样本的条件概率分布为：

⎥⎦

⎤

⎢⎣⎡---=

---2212121,,,|2)(exp 21);,,,|(1213σφπσ

T T T T Y Y Y Y y c y y y y y f T θ 注意到上述条件概率分布中也只依赖一阶滞后的条件观测值。 (5) 根据无条件密度函数与条件密度函数之间的关系，可以得到：

∏=----=T

t t t Y Y Y T T Y Y Y y y f y f y y y y f t t T T 2

1|1121,,,);|();();,,,,(1111θθθ

经常对上述函数取对数，得到对数似然函数：

)];|([log );(log )(1|2

111θθθ-=-∑+=t t Y Y T

t Y y y f y f t t L

(6) 将具体的密度函数代入上式，可以得到)1(AR 过程的似然函数为：

∑=-⎥⎦

⎤

⎢⎣

⎡-----------

---=T

t t t

y c y T T c y 222

122221222)(log ]2/)1[()2log(]2/)1[()

1/(2)]}1/([{)]1/(log[21)2log(21)(σφσπφσφφσπθL

可以将上述似然函数表示为更为紧凑的向量和矩阵形式。令均值向量和自协方差为μ和

Ω，注意到过程之间具有的自协方差函数表达形式，则有：

V Ω2σ=，⎥⎥⎥

⎥⎥⎥⎦

⎤⎢⎢⎢⎢⎢⎢⎣⎡-=------1111

1132132

2122 T T T T T T φφφφφφφφφφφφφV 这样一来，所观测到的样本可以当作多元正态母体)(Ωμ,N 的一个简单抽样，具有的联

合概率密度函数为：

⎥⎦

⎤⎢⎣⎡-'--=---μ)(y Ω)μ(y Ωθ);(y 1Y 21exp ||)2(2/112/T f

π 理论上可以对上述极大似然函数求导数，然后获得参数估计。但是，一般情况下的导数方程是非线性方程，难以获得精确的最大值估计。一种近似的方法是假设第一个观测值是确

定性的，然后求解给定1Y 时的条件似然函数值，这时的目标函数是：

∑=-⎥⎦

⎤⎢⎣⎡-------=T

t t t T Y Y Y y c y T T y y y f T 22212

12|,,2)(log ]2/)1[()2log(]2/)1[();|,,(log 12σφσπθ

上式最大值相当于求下式的最小值：