平稳时间序列分析-ARMA模型
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第三章
平稳时间序列分析
第二节 ARMA模型
AR模型（Auto Regression Model） MA模型（Moving Average Model） ARMA模型（Auto Regression Moving
Average model）
一、AR模型(Auto Regression Model)
(1)xt 0.8xt1 t (2)xt 0.8xt1 t (3)xt xt1 0.5xt2 t (4)xt xt1 0.5xt2 t
例3.5— (1)xt 0.8xt1 t
自相关系数按负指数单调收敛到零
例3.5:— (2)xt 0.8xt1 t
自相关系数呈现正负相间地衰减
,
c
不能恒等于零
p
i 1
（2）呈负指数衰减
p
(k) ciik 0 i 1
拖尾性说明 xt 之前的每一个序列值 xt1, xt2 ,L 都
会对 xt 构成影响，但因为自相关系数呈负指数衰 减，所以，间隔较远的序列值对现时值的影
响很小，具有所谓的“短期相关性”。
例3.5:考察如下AR模型的自相关图
阻尼状态。
(2)
当
2 1
+
4
2
>
0
时，特征方程有不等实
数根。2, 1的值位于过阻尼区（自相关函数呈
指数衰减）。
(3)当
2 1
+
4
2
<
0
时，特征方程根为共轭
复根。 2, 1的值位于欠阻尼区（自相关函数呈
正弦震荡衰减）。
AR(2)模型的平稳性也可以如下讨论： 对AR(2)模型：
X t 1 X t1 2 X t2 t
方程两边同乘以Xt，再取期望得：
0 1 1 2 2 E(X tt )
又由于：
E(
X
tt
)
1 E( X
t1 t
)
2E(X t2t
)
E(
2 t
)
2
于是：
0
1 1
2 2
2
同样地，由原式还可得到：
1 1 0 2 1
2 1 1 2 0
于是方差为 ：
0
(1
2
)
2
(1 2 )(1 1 2 )(1 1
0
1,
0 1 1
将原过程改写为
xt 1(xt1 ) t
Var(xt ) Var(xt )
Var[1(xt1 )] Var(t ) 2 cov(xt1 ,t )
12Var ( xt 1 )
2
0
12Var ( xt
)
2
所以
Var
(
xt
)
2
1 12
3、自协方差函数
在平稳AR(p)模型两边同乘 xtk,k 1 ，再求期望 E(xt xtk ) 1E(xt1xtk ) p E(xt p xtk ) E(t xtk )
例3.4:求平稳AR(2)模型的协方差
0 E Xt 2 1E Xt1 Xt
2 E
X
t2
X
t
Et
Xt
1
1
2
2
2
其中
Et Xt Et 1 Xt1 2 Xt2 t
2
利用
Baidu Nhomakorabea
k 1 k1 2 k2 1
0
1
2
2
1 2 (12 )2
12
2
由 1 2 1, 12 2 知 1 1, 2 1 等价于
平稳域
{1,2 2 1，且2 1 1}
事实上，由于
2 + 1 = - 1 2 + (1 +2) = 1 – (1- 1) (1- 2 )
2 - 1 = - 1 2 - (1 +2) = 1 – (1+ 1) (1+ 2 ) 无论 1, 2为实数或共轭复数，由 1 < 1,
7、偏自相关系数的计算
（1）直接利用回归方法计算 滞后k偏自相关系数实际上就等于k阶自回归 模型第个k回归系数的值。 首先将序列中心化，作如下形式的回归
xt 11xt1 t xt 21xt1 22 xt2 t
LL
xt k1xt1 k 2 xt2 L kk xtk t
注意到：
xt 11xt1 t xt 21xt1 22 xt2 t
对于非中心化序列
xt 0 1xt1 2 xt2 L p xt p t
作变换
0
1 1 p
yt xt
则原序列即化为中心化序列
yt 1 yt1 2 yt2 L p yt p t
所以，以后我们重点讨论中心化时间序列。
AR模型的算子表示
令 (B) 11B 2B2 p B p
1 0 1 2
所以，平稳AR(2)模型的协方差函数递推公式为
0
1 2 (1 2 )(1 1 2 )(1 1
2
)
2
1
1 0 1 2
k
1 k1 2 k2，k
2
4、自相关系数
（1）自相关系数的定义：
k
k 0
特别
0 1
（2）平稳AR(P)模型的自相关系数递推公式：
k 1k1 2 k2 L p k p
所以， xt 2 是通过 xt1与 xt 相关的，这种
间接相关出现在任何AR模型中。
xt 2 与 xt 的自相关系数 2 等于 xt 2与 xt1
的自相关系数 1乘以 xt1与 xt 的自相关系
数 1。即
2 (1)2
5、平稳AR(p)模型自相关系数的性质
（1）拖尾性
p
(k) ciik ,
c1, c2 ,
稳定的充分条件是：
1 2 L p 1
例3.1平稳性判别
模 型
特征根判别
(1)
1 0.8
(2)
1 1.1
(3)
1
1 2
i
2
1i 2
(4)
1
1 2
3
2
1 2
3
平稳域判别 0.8 1.1
2 0.5,2 1 0.5,2 1 1.5 2 0.5,2 1 1.5,2 1 0.5
例3.5:— (3)xt xt1 0.5xt2 t
自相关系数呈现出“伪周期”性
例3.5:— (4)xt xt1 0.5xt2 t
自相关系数不规则衰减
6、偏自相关函数
自相关函数ACF(k)给出了Xt与Xt-k的总体 相关性，但总体相关性可能掩盖了变量间完全 不同的相关关系。
例如，在AR(1) 中，Xt与Xt-2间有相关性可 能主要是由于它们各自与Xt-1间的相关性带来 的:
则 AR( p) 模型可表示为
(B)xt t
（二）AR模型平稳性判别
判别原因：AR模型是常用的平稳序列的拟合模 型之一，但并非所有的AR模型都是平稳的 。 判别方法：特征根判别法，平稳域判别法。
例3.1:考察如下四个模型的平稳性
(1)xt 0.8xt1 t (2)xt 1.1xt1 t
上述方程称为Yule-Walker方程。
（3）常用AR模型自相关系数递推公式 AR(1)模型
k 1k , k 0
AR(2)模型
1,
k
1
1
2
1k1 2 k2
k 0 k 1 k2
说明：在AR(1)模型中，即使 xt 2没有直接出 现在模型中， xt 2 和 xt 也是相关的。因为
xt1 1xt2 t1
将平稳的AR(p)模型表示成如下的传递形式
xt
t
(B)
p i 1
1
ki
i
B
t
p i 1
ki (i B) j t
j0
p
kiij t j G j t j
j0 i1
j0
其中系数{G j , j 1,2, }称为Green函数
求Green函数递推公式
xt (BG)x(t
t B) t
( B)G( B) t
2)
由平稳性的定义，该方差必须是一不变的正数，
于是有 1+2<1, 2-1<1, |2|<1
对高阶自回模型AR(p)来说，多数情况下没有 必要直接计算其特征方程的特征根，但有一些有用 的规则可用来检验高阶自回归模型的稳定性：
(1)AR(p)模型稳定的必要条件是：
1 2 L p 1
(2)由于 i (i 1,L , p) 可正可负，AR(p)模型
t
由待定系数法可得如下递推公式
G0
G j
1
j
kG jk，j
k 1
1,2,
, 其中k
0k,
,k p kp
（2）平稳的AR(p)模型的方差
由平稳AR模型的传递形式
xt G j t j j0
两边求方差得
Var(xt )
G
2j
2
,
G j为Green函数
j0
例3.2: 求平稳AR(1)模型的方差
2 < 1都有 (1 1) (1 2 ) > 0，从而得
2+ 1<1
2-1<1
且
-1 < 2 < 1
平稳域是一个三角形区域。见下图阴影部分。
平稳AR(2) 过程1, 2取值域（阴影部分）
回归参数 2， 1的取值变化分三种情形讨
论。
（1）当
2 1
+
4
2
=
0
时，特征方程有相等实
数根。2, 1取值在图中的抛物线上，称为临界
（一）AR模型定义
具有如下结构的模型称为 p 阶自回归模型，简
记为 AR( p)
xt 0 1xt1 2 xt2 p xt p t
p 0
E(
t
)
0，Var(
t
)
2
,
E(
t
s
)
0,
s
t
Exs t 0,s t
特别当 0 0 时，称为中心化 AR( p) 模型
AR(P)序列中心化变换
平稳AR(1)模型的传递形式为
xt
t 1 1B
i0
(1B)i t
1i ti
i0
Green函数为 Gj 1 j , j 0,1,
平稳AR(1)模型的方差为
Var(xt )
G2jVar(t )
j0
12
j
2
j0
2
1 12
也可用以下方法计算
Q Ext Ext1 ,
Ext 0 1Ext1 Et
根据 E( t xtk ) 0 ,k 1
得自协方差函数的递推公式
k 1 k1 2 k 2 p k p
例3.3:求平稳AR(1)模型的自协方差函数
递推公式： k 1 k 1 1k 0
平稳AR(1)模型的方差为
0
2
1 12
自协方差函数的递推公式为：
k
1k
2
1 12
,k 1
0
2 X
2
12
在稳定条件下，该方差是一非负的常数，从而有
||<1。
而AR(1)的算子多项式方程：
(z) 1z 0
的根为z=1/ AR(1)稳定，即 || <1，意味着特征根大于1。
2、AR(2)模型平稳条件
xt 1xt1 2 xt2 t
特征根为
1 1
12 42
2
2 1
12 42
2 2 12 E( X t X t1 )E( X t1 X t2 )
即自相关函数中包含了这种所有的“间接”相关。
与之相反，Xt与Xt-k间的偏自相关函数 (partial autocorrelation，简记为PACF)则是消除 了中间变量Xt-1，…，Xt-k+1 带来的间接相关后的 直接相关性，它是在已知序列值Xt-1，…，Xt-k+1 的条件下，Xt与Xt-k间关系的度量。
xt xt1 t
特征根为 ，平稳条件 1
平稳域为 ; 1
AR(1)模型的平稳性条件也可以如下讨论：
对1阶自回归模型AR(1)
X t X t1 t
方程两边平方再求数学期望，得到Xt的方差：
E(
X
2 t
)
2
E(
X
2 t 1
)
E(
2 t
)
2E(
X
t 1
t
)
由于Xt仅与t相关，因此，E(Xt-1t)=0。如 果该模型稳定，则有E(Xt2)=E(Xt-12)，从而上式 可变换为：
（三）AR模型平稳性常用判别方法
特征根判别 AR(p)模型平稳的充要条件是它的p个特征根
都在单位圆内。 根据特征根和算子多项式的根成倒数的性质，
AR(p)模型平稳的充要条件是该模型的算子多项式 的根都在单位圆外。
平稳域判别
平稳域为：{1,2 , ,p 单位根都在单位圆内}
（四）两个常见模型的平稳性条件 1、AR(1)模型平稳条件
定义：对于平稳AR(p)序列，所谓滞后k偏自相关 系数就是指在给定中间k-1个随机变量
xt1 , xt2 , , xtk 1
的条件下，或者说，在剔除了中间k-1个随机变量
的干扰之后， xtk对 xt 影响的相关度量。用数学
语言描述就是
xt ,xt k
xt 1 , ,xt k 1
E[(xt Eˆxt )(xtk Eˆxtk )] E[(xtk Eˆxtk )2
(3)xt xt1 0.5xt2 t
(4)xt xt1 0.5xt1 t
例3.1平稳序列时序图
(1)xt 0.8xt1 t
(3)xt xt1 0.5xt2 t
例3.1非平稳序列时序图
(2)xt 1.1xt1 t
(4)xt xt1 0.5xt1 t
从时序图上可以看出，（1）（3）模型平稳， （2）（4）模型非平稳。
结 论
平稳
非 平稳
平稳
非 平稳
（三）平稳AR模型的统计性质
1、均值 如果AR(p)模型满足平稳性条件，则有
Ext E(0 1xt1 p xt p t )
根据平稳序列均值为常数，且 { t }为白噪声
序列，有
Ext , E(t ) 0 ,t T
推导出
0
1 1 p
2、方差 （1）Green函数定义
平稳时间序列分析
第二节 ARMA模型
AR模型（Auto Regression Model） MA模型（Moving Average Model） ARMA模型（Auto Regression Moving
Average model）
一、AR模型(Auto Regression Model)
(1)xt 0.8xt1 t (2)xt 0.8xt1 t (3)xt xt1 0.5xt2 t (4)xt xt1 0.5xt2 t
例3.5— (1)xt 0.8xt1 t
自相关系数按负指数单调收敛到零
例3.5:— (2)xt 0.8xt1 t
自相关系数呈现正负相间地衰减
,
c
不能恒等于零
p
i 1
（2）呈负指数衰减
p
(k) ciik 0 i 1
拖尾性说明 xt 之前的每一个序列值 xt1, xt2 ,L 都
会对 xt 构成影响，但因为自相关系数呈负指数衰 减，所以，间隔较远的序列值对现时值的影
响很小，具有所谓的“短期相关性”。
例3.5:考察如下AR模型的自相关图
阻尼状态。
(2)
当
2 1
+
4
2
>
0
时，特征方程有不等实
数根。2, 1的值位于过阻尼区（自相关函数呈
指数衰减）。
(3)当
2 1
+
4
2
<
0
时，特征方程根为共轭
复根。 2, 1的值位于欠阻尼区（自相关函数呈
正弦震荡衰减）。
AR(2)模型的平稳性也可以如下讨论： 对AR(2)模型：
X t 1 X t1 2 X t2 t
方程两边同乘以Xt，再取期望得：
0 1 1 2 2 E(X tt )
又由于：
E(
X
tt
)
1 E( X
t1 t
)
2E(X t2t
)
E(
2 t
)
2
于是：
0
1 1
2 2
2
同样地，由原式还可得到：
1 1 0 2 1
2 1 1 2 0
于是方差为 ：
0
(1
2
)
2
(1 2 )(1 1 2 )(1 1
0
1,
0 1 1
将原过程改写为
xt 1(xt1 ) t
Var(xt ) Var(xt )
Var[1(xt1 )] Var(t ) 2 cov(xt1 ,t )
12Var ( xt 1 )
2
0
12Var ( xt
)
2
所以
Var
(
xt
)
2
1 12
3、自协方差函数
在平稳AR(p)模型两边同乘 xtk,k 1 ，再求期望 E(xt xtk ) 1E(xt1xtk ) p E(xt p xtk ) E(t xtk )
例3.4:求平稳AR(2)模型的协方差
0 E Xt 2 1E Xt1 Xt
2 E
X
t2
X
t
Et
Xt
1
1
2
2
2
其中
Et Xt Et 1 Xt1 2 Xt2 t
2
利用
Baidu Nhomakorabea
k 1 k1 2 k2 1
0
1
2
2
1 2 (12 )2
12
2
由 1 2 1, 12 2 知 1 1, 2 1 等价于
平稳域
{1,2 2 1，且2 1 1}
事实上，由于
2 + 1 = - 1 2 + (1 +2) = 1 – (1- 1) (1- 2 )
2 - 1 = - 1 2 - (1 +2) = 1 – (1+ 1) (1+ 2 ) 无论 1, 2为实数或共轭复数，由 1 < 1,
7、偏自相关系数的计算
（1）直接利用回归方法计算 滞后k偏自相关系数实际上就等于k阶自回归 模型第个k回归系数的值。 首先将序列中心化，作如下形式的回归
xt 11xt1 t xt 21xt1 22 xt2 t
LL
xt k1xt1 k 2 xt2 L kk xtk t
注意到：
xt 11xt1 t xt 21xt1 22 xt2 t
对于非中心化序列
xt 0 1xt1 2 xt2 L p xt p t
作变换
0
1 1 p
yt xt
则原序列即化为中心化序列
yt 1 yt1 2 yt2 L p yt p t
所以，以后我们重点讨论中心化时间序列。
AR模型的算子表示
令 (B) 11B 2B2 p B p
1 0 1 2
所以，平稳AR(2)模型的协方差函数递推公式为
0
1 2 (1 2 )(1 1 2 )(1 1
2
)
2
1
1 0 1 2
k
1 k1 2 k2，k
2
4、自相关系数
（1）自相关系数的定义：
k
k 0
特别
0 1
（2）平稳AR(P)模型的自相关系数递推公式：
k 1k1 2 k2 L p k p
所以， xt 2 是通过 xt1与 xt 相关的，这种
间接相关出现在任何AR模型中。
xt 2 与 xt 的自相关系数 2 等于 xt 2与 xt1
的自相关系数 1乘以 xt1与 xt 的自相关系
数 1。即
2 (1)2
5、平稳AR(p)模型自相关系数的性质
（1）拖尾性
p
(k) ciik ,
c1, c2 ,
稳定的充分条件是：
1 2 L p 1
例3.1平稳性判别
模 型
特征根判别
(1)
1 0.8
(2)
1 1.1
(3)
1
1 2
i
2
1i 2
(4)
1
1 2
3
2
1 2
3
平稳域判别 0.8 1.1
2 0.5,2 1 0.5,2 1 1.5 2 0.5,2 1 1.5,2 1 0.5
例3.5:— (3)xt xt1 0.5xt2 t
自相关系数呈现出“伪周期”性
例3.5:— (4)xt xt1 0.5xt2 t
自相关系数不规则衰减
6、偏自相关函数
自相关函数ACF(k)给出了Xt与Xt-k的总体 相关性，但总体相关性可能掩盖了变量间完全 不同的相关关系。
例如，在AR(1) 中，Xt与Xt-2间有相关性可 能主要是由于它们各自与Xt-1间的相关性带来 的:
则 AR( p) 模型可表示为
(B)xt t
（二）AR模型平稳性判别
判别原因：AR模型是常用的平稳序列的拟合模 型之一，但并非所有的AR模型都是平稳的 。 判别方法：特征根判别法，平稳域判别法。
例3.1:考察如下四个模型的平稳性
(1)xt 0.8xt1 t (2)xt 1.1xt1 t
上述方程称为Yule-Walker方程。
（3）常用AR模型自相关系数递推公式 AR(1)模型
k 1k , k 0
AR(2)模型
1,
k
1
1
2
1k1 2 k2
k 0 k 1 k2
说明：在AR(1)模型中，即使 xt 2没有直接出 现在模型中， xt 2 和 xt 也是相关的。因为
xt1 1xt2 t1
将平稳的AR(p)模型表示成如下的传递形式
xt
t
(B)
p i 1
1
ki
i
B
t
p i 1
ki (i B) j t
j0
p
kiij t j G j t j
j0 i1
j0
其中系数{G j , j 1,2, }称为Green函数
求Green函数递推公式
xt (BG)x(t
t B) t
( B)G( B) t
2)
由平稳性的定义，该方差必须是一不变的正数，
于是有 1+2<1, 2-1<1, |2|<1
对高阶自回模型AR(p)来说，多数情况下没有 必要直接计算其特征方程的特征根，但有一些有用 的规则可用来检验高阶自回归模型的稳定性：
(1)AR(p)模型稳定的必要条件是：
1 2 L p 1
(2)由于 i (i 1,L , p) 可正可负，AR(p)模型
t
由待定系数法可得如下递推公式
G0
G j
1
j
kG jk，j
k 1
1,2,
, 其中k
0k,
,k p kp
（2）平稳的AR(p)模型的方差
由平稳AR模型的传递形式
xt G j t j j0
两边求方差得
Var(xt )
G
2j
2
,
G j为Green函数
j0
例3.2: 求平稳AR(1)模型的方差
2 < 1都有 (1 1) (1 2 ) > 0，从而得
2+ 1<1
2-1<1
且
-1 < 2 < 1
平稳域是一个三角形区域。见下图阴影部分。
平稳AR(2) 过程1, 2取值域（阴影部分）
回归参数 2， 1的取值变化分三种情形讨
论。
（1）当
2 1
+
4
2
=
0
时，特征方程有相等实
数根。2, 1取值在图中的抛物线上，称为临界
（一）AR模型定义
具有如下结构的模型称为 p 阶自回归模型，简
记为 AR( p)
xt 0 1xt1 2 xt2 p xt p t
p 0
E(
t
)
0，Var(
t
)
2
,
E(
t
s
)
0,
s
t
Exs t 0,s t
特别当 0 0 时，称为中心化 AR( p) 模型
AR(P)序列中心化变换
平稳AR(1)模型的传递形式为
xt
t 1 1B
i0
(1B)i t
1i ti
i0
Green函数为 Gj 1 j , j 0,1,
平稳AR(1)模型的方差为
Var(xt )
G2jVar(t )
j0
12
j
2
j0
2
1 12
也可用以下方法计算
Q Ext Ext1 ,
Ext 0 1Ext1 Et
根据 E( t xtk ) 0 ,k 1
得自协方差函数的递推公式
k 1 k1 2 k 2 p k p
例3.3:求平稳AR(1)模型的自协方差函数
递推公式： k 1 k 1 1k 0
平稳AR(1)模型的方差为
0
2
1 12
自协方差函数的递推公式为：
k
1k
2
1 12
,k 1
0
2 X
2
12
在稳定条件下，该方差是一非负的常数，从而有
||<1。
而AR(1)的算子多项式方程：
(z) 1z 0
的根为z=1/ AR(1)稳定，即 || <1，意味着特征根大于1。
2、AR(2)模型平稳条件
xt 1xt1 2 xt2 t
特征根为
1 1
12 42
2
2 1
12 42
2 2 12 E( X t X t1 )E( X t1 X t2 )
即自相关函数中包含了这种所有的“间接”相关。
与之相反，Xt与Xt-k间的偏自相关函数 (partial autocorrelation，简记为PACF)则是消除 了中间变量Xt-1，…，Xt-k+1 带来的间接相关后的 直接相关性，它是在已知序列值Xt-1，…，Xt-k+1 的条件下，Xt与Xt-k间关系的度量。
xt xt1 t
特征根为 ，平稳条件 1
平稳域为 ; 1
AR(1)模型的平稳性条件也可以如下讨论：
对1阶自回归模型AR(1)
X t X t1 t
方程两边平方再求数学期望，得到Xt的方差：
E(
X
2 t
)
2
E(
X
2 t 1
)
E(
2 t
)
2E(
X
t 1
t
)
由于Xt仅与t相关，因此，E(Xt-1t)=0。如 果该模型稳定，则有E(Xt2)=E(Xt-12)，从而上式 可变换为：
（三）AR模型平稳性常用判别方法
特征根判别 AR(p)模型平稳的充要条件是它的p个特征根
都在单位圆内。 根据特征根和算子多项式的根成倒数的性质，
AR(p)模型平稳的充要条件是该模型的算子多项式 的根都在单位圆外。
平稳域判别
平稳域为：{1,2 , ,p 单位根都在单位圆内}
（四）两个常见模型的平稳性条件 1、AR(1)模型平稳条件
定义：对于平稳AR(p)序列，所谓滞后k偏自相关 系数就是指在给定中间k-1个随机变量
xt1 , xt2 , , xtk 1
的条件下，或者说，在剔除了中间k-1个随机变量
的干扰之后， xtk对 xt 影响的相关度量。用数学
语言描述就是
xt ,xt k
xt 1 , ,xt k 1
E[(xt Eˆxt )(xtk Eˆxtk )] E[(xtk Eˆxtk )2
(3)xt xt1 0.5xt2 t
(4)xt xt1 0.5xt1 t
例3.1平稳序列时序图
(1)xt 0.8xt1 t
(3)xt xt1 0.5xt2 t
例3.1非平稳序列时序图
(2)xt 1.1xt1 t
(4)xt xt1 0.5xt1 t
从时序图上可以看出，（1）（3）模型平稳， （2）（4）模型非平稳。
结 论
平稳
非 平稳
平稳
非 平稳
（三）平稳AR模型的统计性质
1、均值 如果AR(p)模型满足平稳性条件，则有
Ext E(0 1xt1 p xt p t )
根据平稳序列均值为常数，且 { t }为白噪声
序列，有
Ext , E(t ) 0 ,t T
推导出
0
1 1 p
2、方差 （1）Green函数定义