时间序列分析讲义(2)

（3） 最大似然估计法（MLE ）首先大家打开教材第43页看，我们纠正教材中的错误。

它说： “对于一组相互独立的随机变量),,2,1(,T t tx =，当得到一个样本),,,(21T x x x 时，似然函数可表示为∏===T t t x f x f x f x f T x x x L 1)()2()2()1(),,2,1(γγγγγ 式中),,,(21k γγγγ =是一组未知参数”。

我们知道时间序列一般不是独立的，而是相依的离散时间随机过程。

因此，得到的样本),,,(21T x x x 不可能是相互独立的，似然函数绝不是以上概率密度乘积的形式。

所以，教材中这一段是错误的。

似然函数在估计理论中有着根本的重要性的一个原因是因为“似然原理”。

这个原理说：已知假定的模型是正确的，数据非得告诉我们的关于参数的全部包含在似然函数中，数据的所有其他方面是不切题的。

实际上，一般的ARMA 过程（含AR 、MA 过程）参数的最大似 然估计计算过程很复杂。

至少有三种方法写出精确的似然函数：向后预报法、递推预报法、状态空间与卡尔曼（Kalman ）滤波法。

我们讲只对递推预报法最简要介绍，从而为引出模型选择的AIC 、BIC 信息准则铺平道路。

我们先以最简单的因果的AR(1)过程的MLE 为例，说明MLE 的主要思想。

考虑因果的AR(1)过程，满足模型tu t X t X +-+=110φφ， ),0(~2σN IID t u ， 且11<φ。

则均值为 )(110t X E =-=φφμ。

我们以),1,(2σφμ为三个未知参数，而)11(0φμφ-=不作独立的未知参数。

模型中心化为 tu t X t X +--=-)1(1μφμ。

设已得到了样本值),,,(21T x x x 。

则关于参数),1,(2σφμ的似然函数为 )2,1,;1()2,1,;12()2,1,;2,,2,11()2,1,;1,,1(),,2,1;2,1,(σφμσφμσφμσφμσφμx f x x f T x x x T x f T x x T x f Tx x x L ⨯---= 联合概率密度在样本值),,,(21T x x x 处的值写为条件概率密度和最后一个无条件概率密度的乘积。

由AR(1)模型知当1,,1-t X X 给定时，tX 的条件分布为 )2),1(1(~1,,1σμφμ--+-t X N t X X t X 。

（正态分布） 再由因果性和传递形式和正态分布性质对均方极限的封闭性，有)2112,(~0111φσμφμ-∑∞=-+=N j j u j X （正态分布）。

所以，似然函数等于[]⎭⎬⎫⎩⎨⎧---⎪⎭⎫ ⎝⎛=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧----⨯⎪⎪⎭⎫ ⎝⎛∏=⎭⎬⎫⎩⎨⎧-----=)1,(221exp 2112222)1(22211exp 221122)1(1221exp 21),,2,1;2,1,(φμσφπσμσφσπφμφμσσπσφμS T x T t t x t x Tx x x L 其中[][]⎪⎪⎭⎫ ⎝⎛∑=+∑-∞==∑=----+--=T t t u t T x x t u E T t t x t x x S 2212),,1(22)1(12)1)(211()1,( μφμμφφμ （可写为包含向后预报）称为无条件平方和函数，它不含2σ。

[1] 无条件的（或精确的）最大似然估计。

最大化无条件对数似然函数),,2,1;2,1,(ln T x x x L σφμ。

将2σ整体，而不是σ看作一个未知参数，解0)1,(212ln 422=+-=∂∂φμσσσS T L 得)1,(1ˆ2φμσS T=。

再将上式带回到对数似然函数中得到⎪⎭⎫ ⎝⎛-+⎪⎭⎫ ⎝⎛-+-=211ln 21)1,(1ln 2)1)2(ln(2)1,(ln φφμπφμS TT T L ， 它已经不含2σ。

然后再相当于最小化“约简的似然函数”（或称“剖面似然函数”）⎪⎭⎫ ⎝⎛--⎪⎭⎫ ⎝⎛=211ln 1)1,(1ln )1,(φφμφμT S Tl 来求得最大似然估计1ˆ,ˆφμ。

最后带入得白噪声方差的最大似然估计 )1ˆ,ˆ(1ˆ2φμσS T=。

[2] 无条件的（或精确的）最小二乘估计。

直接最小化无条件平方和函数)1,(φμS 来求得估计1ˆ,ˆφμ，然后取白噪声方差的最小二乘估计为 )1ˆ,ˆ(21)1ˆ,ˆ(2ˆφμφμσS T S -==个数由度为残差数减去参数回归中残差平方和的自。

[3] 条件的最大似然估计。

在给定1X 的条件下最大化条件的似然函数。

在以上精确的似然函数中舍去最后的因子无条件概率密度值)2,1,;1(σφμx f ，即得到条件的似然函数 ⎭⎬⎫⎩⎨⎧---⎪⎭⎫ ⎝⎛=⨯---=)1,(221exp 2)1(22)2,1,;12()2,1,;2,,2,11()2,1,;1,,1()1,,2;2,1,(φμσπσσφμσφμσφμσφμc S T x x f T x x x T x f T x x T x f x T x x L 其中[]∑==∑=----=T t t u T t t x t x c S 2222)1(1)1,(μφμφμ 称为条件平方和函数，它不含2σ，它比前面无条件平方和函数)1,(φμS 少一项2)1)(211(μφ--x 。

解 0)1,(4212212)1,,2;2,1,(ln =+--=∂∂φμσσσσφμc S T x T x x L 得)1,(112ˆφμσcS T -=。

再将上式带回到对数条件似然函数中得到21)1,(12ln 21)1,,2;1,(ln --⎪⎭⎫ ⎝⎛---=T c S T T x T x x L φμπφμ ， 它已经不含2σ。

然后再相当于最小化条件平方和函数)1,(φμc S 来求得估计1ˆ,ˆφμ。

最后得白噪声方差的条件最大似然估计 )1ˆ,ˆ(112ˆφμσcS T -=。

* [4] 条件的最小二乘估计。

直接最小化以上的条件平方和函数)1,(φμc S 来求得估计1ˆ,ˆφμ，所以它们与条件的最大似然估计1ˆ,ˆφμ相同。

但是，取白噪声方差的估计为)1ˆ,ˆ(31)1ˆ,ˆ(2ˆφμφμσcS T c S -==个数由度为残差数减去参数回归中残差平方和的自。

一般ARMA 过程MLE 和OLS 简介。

现在设{}t X 为因果且可逆的零均值（或已经零均值化）ARMA(p,q)过程（没有常数项⎪⎪⎭⎫ ⎝⎛∑=-=p j j 110φμφ）qt u q t u t u p t X p t X t X -++-++-++-=θθφφ 1111， )2,0(~σWN tu 。

01)(1=---=Φp p x x x φφ 与01)(1=+++=Θq q x x x θθ 的根都在单位圆1||=z 以外，且没有公共根。

我们认为它也包括AR(p)和MA(q)过程为特例。

给定样本),,1('=n X X n X 。

我们求参数向量),,1('=p φφ φ，),,1('=qθθ θ和白噪声方差2σ的（无条件的）最大似然估计、（无条件的）最小二乘估计。

设nj i j i E n ≤≤⎪⎭⎫ ⎝⎛-='=Γ,1)(γn X n X 为n X 的自协方差阵，且是非奇异的，其中包含所有未知参数计φ，θ，2σ。

则n X 的高斯（正态）似然函数为⎭⎬⎫⎩⎨⎧-Γ'--Γ-=n X n X n X θφ121exp 21)(det 2)2();2,,(n n n L πσ。

虽然我们只要求)2,0(~σWN t u 是弱白噪声，{}t X 不一定是高斯序列，我们仍然称上式为“（拟）高斯似然函数”。

最大化此高斯似然函数以求得参数的估计φˆ，θˆ，2ˆσ，仍然称为“（拟）最大似然估计”。

对一般ARMA 过程，协方差阵n j i j i E n ≤≤⎪⎭⎫ ⎝⎛-='=Γ,1)(γn X n X 的形式极为复杂。

至少有三种方法写出精确的似然函数：向后预报法、递推预报法、状态空间与卡尔曼（Kalman ）滤波法。

我们讲只对递推预报法最简要介绍。

记01ˆ=X 。

对2≥j ，记j X ˆ为用1,,1-j X X 对jX 做的线性最小均方误差预报。

（回忆在平稳序列的偏自相关系数的第一种定义中用到过此概念）。

且记预报的均方误差为jr j X j X E 22)1ˆ1(σ=+-+。

jX ˆ和j r 都只含有参数向量),,1('=p φφ φ，),,1('=q θθ θ，而不含有白噪声方差2σ，它们的具体递推计算公式复杂，此处从略。

则高斯似然函数可改写为⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧∑=------=n j j r j X j X n r r r n L 112)ˆ(221exp 21)110(2)22();2,,(σπσσ nX θφ。

解02);2,,(ln =∂∂σσn X θφL 得 ),(1ˆ2θφS n=σ， 其中“加权的平方和函数”为∑=--=n j j r j X j X S 112)ˆ(),(θφ。

把),(1ˆ2θφS n=σ再带回到对数似然函数中得到 ()),(21)2ln(2);,(ln θφn X θφl n n L -+-=π， 它已经不含2σ。

然后再相当于最小化“约简的似然函数”（或称“剖面似然函数”）∑=-+⎪⎭⎫ ⎝⎛=n j j r n S n l 11ln 1),(1ln ),(θφθφ， 就得到（无条件的）最大似然估计θφˆ,ˆ，以及 )ˆ,ˆ(1ˆ2θφS n=σ。

如果在样本较大时忽略),(θφl 中的∑=-n j j r n 11ln 1项，相当于直接最小化加权的平方和函数∑=--=n j j r j X j X S 112)ˆ(),(θφ， 就得到（无条件的）最小二乘估计θφ~,~。

然而取白噪声方差的最小二乘估计为)~,~(1)~,~(2~θφθφS qp n S --==个数由度为残差数减去参数回归中残差平方和的自σ。

注解。

在样本较大时),(θφl 中的∑=-n j j r n 11ln 1项相对于),(θφS 项小得多，可忽略，模型参数个数q p +相对于样本数n 小得多，因此 MLE )ˆ,ˆ(1ˆ2θφS n=σ≈ OLS )~,~(12~θφS q p n --=σ。

注解. 如果以给定的数据的初始值为条件，即以给定)0(,,1>p pX X 的值和取)0(0121>=-=-==-=q q u q u p u p u 为条件，最小化条件的加权的平方和函数),(θφcS ，则得条件的最小二乘估计θφ,，然后再取白噪声的条件最小二乘估计为),(212θφS qp n --=σ。