第3章 自回归滑动平均模型

Yt = 1 1 Yt + 1 - Zt + 1 f f
(3.5)
在(3.5)中用 t + 1 代替 t ，我们得到 Yt + 1 = (Yt + 2 - Zt + 2 ) f 。将此表达式代入 (3.5)中并且向前迭代 t ，我们有
Yt = 1 1 Zt + 1 + Yt + ! f f
=-
1 1骣 1 1 Zt + 1 + ç Yt + 2 - Zt + 2 ÷ ÷ ç ÷ f f çf f 桫
{Zt } 表示宽意义上的白噪音序列，这就是说， Zt : WN(0, s 2 ) 或者意味着
Zt : i.i.d.(0, s 2 ) 或者意味着 {Zt } 是具有均值为零方差为 s 2 的不相关的随机变
量序列。用 {Zt } 做成一个加权平均，我们就完成了如下的滑动平均(MA)时 间序列模型：
Yt = Zt + q1Zt- 1 + L + qq Zt- q , Zt : WN(0, s 2 )
第三章 自回归滑动平均模型
3.1 简介
本章引入了时间序列分析常用的几个概率模型。假定所要研究的序列已 经用前两章介绍的方法剔除了趋势。粗略地说，存在三种模型：滑动平均模 型(MA)；自回归模型(AR)和自回归滑动平均模型(ARMA)。它们用来描述平稳 时间序列。此外，因一些类型的非平稳性可以用差分的手段来处理，所以 我们也研究自回归融合滑动平均模型(ARIMAs)这种类型。
å
¥
f j Zt- j 。 j= 0
3.3.2 渐进平稳性 关于 AR(1)过程还存在另一个微妙之处。假设过程不回到遥远的过去但从 初始值 Y0 开始。那么 Yt = Zt + f Zt- 1 + f 2 Zt- 2 + L + f t- 1Z1 + f tY0 。 如果 Y0 是一个随机变量满足 EY0 ¹ 0 且与序列 {Zt } 独立，则 EYt = f t EY0 。在这种情 况下，过程 {Yt } 甚至不是平稳的。为了绕过这个问题，假定 Y0 满足 EY0 = 0 且与 序列 {Zt } 独立。考虑 Yt 的方差：当 t , f <1 时，
q(B) = 1+ q1B + L + qq Bq 而 BZt = Zt- 1 。 {Yt } 可逆的条件由如下定理给出。
定理 3.1 如果方程 q( B) = 0 的根全部位于单位圆之外，那么 MA(q) 模 型 {Yt } 是可逆的。 证明： MA(1) 情形说明了证明思路。 注释：假如一个常数均值 m 加入到方程中，使的 Yt = m+ q( B)Zt ，那么
EYt = m ，但是，自协方差函数保持不变。
3.3 自回归模型 另一类常用的模型是自回归(AR)模型。AR 模型之所以有吸引力是因为它 很类似于传统的回归模型。当我们用时间序列的过去(滞后)值代替经典回归 模型中的预测子后，我们就得到了一个 AR 模型。因此我们有理由料想为经典 回归导出的大部分统计结果可以不做什么修改就推广到 AR 情形。情况确实 如此并且正因为这个原因，AR 模型已经成为最常用的线性时间序列模型之一. 形式上，AR(p)模型 {Yt } 可以写为 f ( B)Yt = Zt ，这里 f (B) = (1- f 1B - L - f p B p ) ，
3.2 滑动平均模型 设 {Zt } 是具有均值为零方差为 s 2 的独立同分布的随机变量序列并用
Zt : i.i.d.(0, s 2 ) 表示之。假如我们只要求 {Zt } 是不相关的而不必是独立的，
则 {Zt } 有时被称为白噪音序列并用 Zt : WN(0, s 2 ) 表示之。从直观上说，这 意味着序列 {Zt } 是随机而且没有系统结构的。 在本书的通篇，我们都用
qi2 ,
i= 0
k ９q, k k = 0, 其它.
0,
知，对于 MA(q) 模型，其 ACF 在 q 次滞后以后变为零。它显然是一个平稳模型。
例 3.1
考虑 MA(1) 模型 Yt = Zt - q1Zt- 1 。它的相关函数满足
ì 1, ï ï ï r Y (k ) = ï - q1 (1 + q12 ), í ï ï 0, ï ï î k = 0, k = 1, 其它.
{Zk : k = ,L , t}]而不依赖于将来值。正式地，如果存在满足
å
¥
yi < i= 0
的常数序列 {y i } 使得 Yt =
å
¥ i= 0
y i Zt- i ，则称过程 {Yt } 是
因果的(在别的著作中，称为平稳的)。
问题 3. 因果条件太严苛吗？ 设 {Yt } 是非因果的 AR(1)模型 Yt = f Yt- 1 + Zt , f > 1的平稳解。虽然非 因果，我们知道 Yt =
问题 1. 我们可以找到满足方程(3.4)的平稳过程吗？ 首先，假如这样的过程 {Yt } 的确存在，它会是怎样的呢？ ·既然 {Yt } 满足方程(3.4)，它必须有如下形式：
Yt =
å
k
Βιβλιοθήκη Baidu
f i Zt- i + f
k+ 1
Yt- k - 1
i= 0
·暂假定 f < 1 。既然 {Yt } 是平稳的，那么对于所有的 t ， EYt 2 = 常量 。 特别地，命 Yt = EYt 2 ，则我们有：当 k
(3.3)
如果 q1 < 1，方程(3.2)收敛而方程(3.3)发散。当我们想去解释残差 {Zt } 时 ，处理一个收敛的表达式当然是更合意的。因此方程(3.2)更可取。在这种 情形下， MA(1) 模型 {Yt } 被称为是可逆的。
一般地，设 {Yt } 是一个 MA(q) 模型，由 Yt = q( B)Zt 给出，这里
BYt = Yt- 1 。于是， Yt = f 1Yt- 1 + L + f pYt- p + Zt 。正式地，我们有如下定义。
定义 3.1
称 {Yt } 为 AR(p)过程，如果
(i) {Yt } 是平稳的； (ii) 对所有的 t ， {Yt } 满足 f ( B)Yt = Zt 。
3.3.1 因果和平稳二象性
(3.1)
此模型称为 q 阶滑动平均模型并记为 MA(q) 。
命题 3.1 (i) (iii)
设 {Yt } 是(3.1)式给出的 MA(q) 模型。那么
2 EYt = 0 ； (ii) var Yt = (1+ q12 + L + qq )s 2 ；
ì 0, ï ï ï cov(Yt , Yt + k ) = ï 2 q- k í ï s å qi q , ï ï i= 0 i + k ï î
k > q, k £ q.
证明： cov(Yt , Yt+ k ) = E(YYt + k ) t
= E(Zt + L + qq Zt- q )(Zt + k + L + qq Zt + k- q )
=s
2
å
q- k
qiqi+ k ,
其中, q0 @1.
q
i= 0
观察公式
ì q- k ï ï ï 邋qi qi+ k ï i= 0 r (k ) = ï í ï 1, ï ï ï 0, ï ï î
y j Zt- j 。
对于 AR(p)模型 f ( B)Yt = Zt ，我们记
Yt = f
- 1
( B) Z t = y ( B) Z t =
å
i= 0
¥
y i Zt- i
(3.6)
其中， y 0 = 1 。在什么条件下，这个表达式是明确定义的呢[即，这个 AR(p)模型是因果的吗]？以下定理给出了这个问题的答案。
问题 2. 对于假设 f > 1 ，情况又怎样呢？ 这个假设是无关紧要的，因为一当我们建立了 {Yt } 的正确形式，它就不 需要了。虽然当 f > 1 时，过程 {Yt } 不再收敛，我们仍可以重写(3.4)如下。 既然 Yt + 1 = f Yt + Zt + 1 ，方程两边同时除以 f ，我们有
Yt 2
时，
2
å
k
2
f j Zt-
j
=f
2k + 2
Yt- k - 1
0
j= 0
因此依 L2 ， Yt =
å
¥
f j Zt- j 。 j= 0
对于这个新定义的过程 Yt = å
¥
f j Zt- j ，我们有如下性质： j= 0
(i) 对于所有的 t ， Yt 满足(3.4)； (ii) EYt = 0 ， var Yt = s 2 (1- f 2 ) ； (iii)
3.3.3
因果性定理
请回忆一个过程被称为因果的，如果它可以用噪音过程的现在和过 去值 {Zt , Zt- 1, Zt- 2 ,L } 来表示。正式地，我们有如下定义： 定义 3.3 称过程 {Yt } 是因果的，如果存在满足 å
¥ j= 0
yj <
的常数序列
{y j } 使得 Yt =
å
¥ j= 0
å
¥
-f j= 1
- j
Zt + j 是(3.4)的平稳解。然而可以证
% % 明(见习题 1)对于一个新定义的噪音 {Zt } : i.i.d.(0, s 2 ) ， {Yt } 也满足 % % % Yt = f - 1Yt- 1 + Zt , Zt : i.i.d.(0, s 2 ) 。
因此，不失一般性，我们可以仅仅考虑因果过程！对于 AR(1)情形，因 果表达式是 Yt =
在不同的著作中，关于 AR(一般地，ARMA)模型的平稳性和因果性的 概念似乎存在着混淆。本节我们来澄清这种模棱两可的情况。
主要问题：AR(p)总是存在的吗？
为了回答这个问题，考虑简单的 AR(1)情形：
Yt = f Yt- 1 + Zt , Zt : WN(0, s 2 )
(3.4)
迭代这个方程，有 Yt = Zt + f Zt- 1 + L + f k + 1Yt- k- 1 。
定理 3.2
AR(p)过程是因果的，如果其特征多项式 f ( z) = 1- f z - L - f p z p
1} ]。
的根全部位于单位圆之外[即， {z : f ( z) = 0} ? {z : z
证明：记 f ( z ) 的根为 z1,L , z p 。注意它们中的一些可以是相等的。依所给 假设，我们可以按增加的顺序把它们排列起来 1 < z 1 < L < z p 。对于某个
1 1 1 Zt + 1 - 2 Zt + 2 - L + k + 1 Yt + k + 1 。 f f f
=L =-
因此， Yt = -
å
¥
f j= 1
- j
Zt + j 是(3.4)的平稳解。然而，过程 {Yt } 是不自然的，
因为它依赖于不可观测的 {Zt } 的将来值。我们不得不提出一个进一步的 条件。 因果条件：一个有用的 AR 过程应该仅仅依赖它的历史值[即
ゥ 骣 j ç f Z , cov(Yt , Yt + k ) = cov ç邋 t- j ç ç 桫 j= 0
÷ f l Zt + k- l ÷ ÷ ÷ l= 0
k
=s
2
å
j= 0
¥
f
2 j+ k
= s 2f
(1- f 2 ) 。
因此，这个新定义的 {Yt } 是平稳的并且问题 1 的答案是存在 平稳 AR(1)过程 {Yt }满足(3.4)。
考虑另一个 MA(1) 模型
X t = Zt 1 Zt- 1 q1
那么有 r X (k ) = r Y (k ) 。
{ X t } 和 {Yt } 二者具有相同的协方差函数。那么 { X t } 和 {Yt } 二者谁
更可取呢？
为了回答这个问题，倒过头来将 {Zt } 用数据来表示。对于数据集 {Yt } ，残差
var Yt = s 2 (1 + f 2 + L + f
2( t - 1)
) + f 2t var Y0
s 2 (1- f 2t ) = +f 1- f 2 s2 ® 。 2 (1- f )
2t
var Y0
由于方差一直随时间变化，因此，即使 EY0 = 0 ，过程 {Yt } 还是 非平稳的。只有当 t 很大时，它才是平稳的(即它是渐进意义上 平稳的)。具有固定初始值的 AR 模型不是严格意义上平稳的； 它只是渐进平稳的。正因为如此，当我们模拟一个 AR 模型时， 我们不得不放弃初始的一大块数据以使 Y0 的效应可以忽略不计。
{Zt } 可以写为
Zt = Yt + q1Zt- 1 = Yt + q1 (Yt- 1 + q1Zt- 2 )
= Yt + q1Yt- 1 + q12Yt- 2 + L
(3.2)
对于数据集 {X t } ，残差 {Zt } 可以写为
Zt = X t + 1 1 1 Zt- 1 = L = X t + X t- 1 + 2 X t- 2 + L q1 q1 q1