第三章 平稳时间序列分析3

【例3.10】求AR(2)模型系数的矩估计

AR(2)模型 xt 1 xt 1 2 xt 2 t Yule-Walker方程 1 1 2 1 2 1 1 2
矩估计（Yule-Walker方程的解）

ˆ2 1 ˆ ˆ1 1 2 ˆ1 1
1, , p ,1, ,q , ,
2
1、矩估计

原理 用相应阶样本自相关系数估计总体自相 关系数 ( , , , , , ) ˆ
( , pq 1
1 1 p 1 q 1
, p , 1 ,
ˆ pq , q )

2、平稳条件与可逆条件


ARMA(p,q)模型的平稳条件 P阶自回归系数多项式Φ (B)=0的根都在单 位圆外,即ARMA(p,q)模型的平稳性完全由 其自回归部分的平稳性决定 ARMA(p,q)模型的可逆条件 q阶移动平均系数多项式θ (B)=0的根都在 单位圆外，即ARMA(p,q)模型的可逆性完 全由其移动平滑部分的可逆性决定
2、极大似然估计

原理 极大似然准则：抽取的样本出现概率最大。 因此未知参数的极大似然估计就是使得似然 函数（联合密度函数）达到最大的参数值
~) max{p( x ~); , ,, } ˆ , ˆ ,, ˆ ;x , x L( 1 2 k 1 1 2 k
似然方程
~ n S ( ) ~ ~ 0 2 l ( ; x ) 2 4 2 2 ~ ln 1 S ( ) ~ ~ 1 l ( ; x ) ~ ~ ~ 0 2 2 2
可转化为无穷阶MA模型
可转化为无穷阶AR模型
3、传递形式与逆转形式

传递形式
xt 1 ( B )( B ) t t G j t j
j 1

逆转形式
t 1 ( B )( B ) x t
xt I j xt j
j 1
Green函数：
i 1 i 1 i 1
~
n
n
t

用迭代法，求得使其达最小的参数值。
最小二乘估计的特点

最小二乘估计充分应用了每一个观察值 所提供的信息，因而它的估计精度高； 不需总体分布，便于实现，所以条件最 小二乘估计方法使用率最高。

例2.5续

确定1950年—1998年北京市城乡居民定期 储蓄比例序列拟合模型的口径 拟合模型：AR(1) 估计方法：极大似然估计 模型口径
由时序图可见，无周期性和单调趋势，序列平稳
序列自相关图
除延迟1阶在2倍标准差外，其它都在2倍标准差范围内 波动，平稳，自相关系数1阶截尾。


所以可考虑拟合模型MA(1)
序列偏自相关图
显然，偏自相关系数拖尾。
【例3.9】

1880-1985全球气表平均温度改变值差分序列
由时序图可见，无周期性和单调趋势，序列平稳

样本相关系数的近似分布

Barlett定理
1 ˆ k ~ N (0, ) , n n

Quenouille定理
1 ˆ kk ~ N (0, ) , n n
何时可作为截尾？何时为拖尾？
模型定阶的经验方法

95％的置信区间（正态分布2̘σ原则）
2 ˆk Pr n 2 ˆ Pr kk n 2 0.95 n 2 0.95 n
模型定阶的经验方法： 若样本(偏)自相关系数在最初d阶明显大于2 倍标准差，后面几乎 95 ％的值都落在 2 倍 标准差范围内，且衰减为小值波动的过程 很突然。这时常视为截尾，截尾阶数为d。
例2.5续

选 择 合 适 的 ARMA 模 型 拟 合 1950 年 — 1998 年北京市城乡居民定期储蓄比例序 列。
二、计算样本相关系数

样本自相关系数

样本偏自相关系数
ˆk
(x
t 1
nk
t
x )(xt k x )
2 ( x x ) t t 1
n
ˆ D k ˆ kk ˆ D
ˆ1 1 ... ˆ k -2 ˆ1 ... ˆ2 ... ... ˆk ... 1 ˆ1 ˆ D ... ˆ k -1 ˆ1 1 ... ˆ k -2 ˆ k -1 ... ˆ k -2 ... ... ˆ1 ...
序列自相关图
显然，延迟3期后，虽自相关系数都落在2σ 线内,但却逐渐 的衰减为小值波动，拖尾，平稳 。

所以可考虑拟合模型AR(1)
序列偏自相关图
显然，除延迟1期的偏自相关系数显著大于2σ 线外,其 它突然衰减为小值波动，可认为1阶截尾。
【例3.8】
美国科罗拉多州某一加油站连续57天的OVERSHORT序列
AR(P)
MA(q) ARMA(p,q)
拖尾
q阶截尾 拖尾
P阶截尾
拖尾 拖尾
3.3 平稳序列的建模



建模步骤 模型识别 参数估计 模型检验 模型优化
一、建模步骤
平 稳 非 白 噪 声 序 列 计 算 样 本 相 关 系 数
模型 识别
参数 估计
No
模型 检验
模 Yes 型 优 化
序 列 预 测

特别当φ 0=0 时，称为中心化ARMA(p,q)模型
系数多项式

引进延迟算子，中心化ARMA(p,q)模型 可简记为 ( B) xt ( B) t
(B) 1 1B 2 B2 p B p
其中p阶自回归系数多项式：
q阶移动平均系数多项式：
(B) 1 1 B 2 B 2 q B q
2 ˆ ˆ 2 1 ˆ 2 ˆ12 1
【例3.11】求MA(1)模型系数的矩估计

xt t 1 t 1 MA(1)模型 由MA(1)协方差函数公式
2 2 (1 ) 1 1 0 1 1 2 2 1 0 1 1 1

由于S ( )和 ln 都不是 的显式表达式。因而似然 方程组实际上是由p+q+1个超越方程构成，通常需 要经过复杂的迭代算法才能求出未知参数的极大 似然估计值
极大似然估计的特点


优点 极大似然估计充分应用了每一个观察值所提供的信息， 因而它的估计精度高 同时还具有估计的一致性、渐近正态性和渐近有效性 等许多优良的统计性质 缺点 需要已知总体分布
xt 25.17 0.69xt 1 t
ˆ 2 ) 16.17 Var(
例3.8续

确定美国科罗拉多州某一加油站连续57天的 OVERSHORTS序列拟合模型的口径 拟合模型：MA(1) 估计方法：条件最小二乘估计 模型口径
4、ARMA(p,q)模型的统计性质

均值
自协方差 自相关系数
E ( xt )
1 1 p
2
0

(k ) Gi Gi k
i 0

(k ) (k ) (0)
G G
j 0 j j 0

j k
2 G j

自相关系数和偏自相关系数都具有拖 尾性
模型定阶的困惑：


因样本的随机性，样本的相关系数不会呈现出 完全截尾，本应截尾的自相关或偏自相关系数 仍会呈现出小值振荡； 因平稳时间序列具有短期相关性，随着延迟阶 数无穷大时，自相关或偏自相关系数都会衰减 至0值附近作小值波动；
何时可作为截尾？何时为拖尾？ 没有绝对的标准，主要靠经验。有时也利用一 下由两种系数的近似分布推出的结论。

矩估计
ˆ12 1 1 4 ˆ1 ˆ1 2
【例3.12】求ARMA(1,1)模型系数的矩估计

xt 1 xt 1 t 1 t 1 ARMA(1,1)模型 自相关系数与自协方差的关系方程
1 (1 1 )(1 11 ) 1 2 1 0 1 211 2 1 1
【例3.7】考察ARMA模型的自相关性

ARMA(1,1): xt 0.5xt 1 t 0.8t 直观地考察该模型自相关系数和偏自相关系 数的性质。

样本自相关图

样本偏自相关图
显然，自相关系数和偏自相关系数拖尾
这也是直观选择拟合模型的 常用方法之一
ARMA模型相关性特征：
模型 自相关系数 偏自相关系数
G0 1 k , j Gk j j Gk j 1
逆函数：
k 1
I0 1 k , k 1 j Ik j j Ik j 1 j , j p j , j q 其中 j , j 0, j p 0, j q
样本一阶均值估计总体均值 样本方差估计总体方差
1 n ˆ ( x i x) n i 1
2 x 2
ˆx
x
i 1
n
i
n
ˆ2 ˆ2 1 1 p 2 ˆ 2 ˆ x 2 2 ˆ ˆ 1
1 q
将偏自相关系数代入Y-W方程
1 ˆ1 ˆ Dk ... ˆ k -1
由克莱姆法则，解Yule-Walker方程组得到。
三、模型识别 基本原则
ˆk
ˆ kk
P阶截尾
拖尾 拖尾
选择模型
拖尾
q阶截尾 拖尾
AR(P)
MA(q) ARMA(p,q)
一般先通过时序图直观判断序列平稳性，再根据基 本原则选择模型。
实际中，为便于计算，很多时候看作服从多元正态分 布
3、最小二乘估计

原理来自百度文库

使残差平方和达到最小的那组参数值即为最 小二乘估计值
n t 1 n
ˆ) 2 Q( t ( xt 1 xt 1 p xt p 1 t 1 q t q )2
t 1
实际中最常用的参数估计方法是条件最小二乘估 计法

条件最小二乘估计

假设条件：过去未观测到的序列值为0，即
xt 0 , t 0
t ( B) 从 而 t x t x t i x t 1 ( B) i 1

残差平方和方程
Q( ) t2 [ xt i xt 1 ]2
序列自相关图
显然，自相关系数拖尾。

所以可考虑拟合模型ARMA(1,1)
序列偏自相关图
显然，偏自相关系数拖尾。
四、参数估计

待估参数（也称模型口径） 非中心化的ARMA(p,q)可转化为 ( B ) xt t ( B ) 有p+q+2个未知参数
常用估计方法： 矩估计 极大似然估计 最小二乘估计
三、ARMA模型
用过去的自己，并考虑到随机干 扰或误差序列来预测自己
1、定义 具有如下结构的模型称为自回归移动 平均模型，简记为ARMA(p,q)
xt 0 1 xt 1 p xt p t 1 t 1 q t q p 0， q 0 2 E ( ) 0 ， Var ( ) t t , E ( t s ) 0, s t
c2 4 , c 2 ˆ2 1 12 2 2 , c ˆ1 1 c2 4 ,c 2 2

矩估计
c ˆ ˆ 2 , ˆ 1 1 ˆ 1 c
矩估计的特点：



优点 估计思想简单直观 不需要假设总体分布 计算量小（低阶模型场合） 缺点 信息浪费严重 只依赖p+q个样本自相关系数信息，其他信 息都被忽略 估计精度较差 通常矩估计方法被用作极大似然估计和最小二乘 估计迭代计算的初始值