计量学-ARMA模型的自相关函数(1)

合集下载

ARMA模型的自相关函数和偏自相关函数图谱

（1 > 0，1 > 0，2 >0） ARMA（2，2） k=1, 2 有两个峰值然后按指数或正弦
0.6 0.4 0.2 0.0 -0. 2 -0. 4 -0. 6 2 4 6 8 10 12 14
（1 > 0，1 > 0，2 > 0） k=1, 2 有两个峰值然后按指数或正弦衰减
0.8 0.6 0.4 0.2 0.0 -0. 2 -0. 4 -0. 6 -0. 8 2 4 6 8 10 12 14
0. 8 0. 6 0. 4 0. 2 0. 0 -0. 2 -0. 4 -0. 6 -0. 8 2 4 6 8 10 12 14
（1 > 0，2 < 0，1 > 0） ARMA（1，2） xt = 1 xt-1+ ut + 1 ut-1+ 2 ut-2 k=1, 2 有两个峰值然后按指数衰减
若1 < 0，k=1 时有负峰值然后截尾若1 < 0，负的平滑式指数衰减
0. 8
0.8 0.6 0.4 0.2 0.0 -0. 2 -0. 4 -0. 6 -0. 8 2 4 6 8 10 12 14
0. 6 0. 4 0. 2 0. 0 -0. 2 -0. 4 -0. 6 -0. 8 2 4 6 8 10 12 14
若1 < 0，正负交替地指数衰减
0. 8 0. 6 0. 4 0. 2 0. 0 -0. 2 -0. 4 -0. 6 -0. 8 2 4 6 8 10 12 14
若11 < 0，k=1 时有负峰值然后截尾
0. 8 0. 6 0. 4 0. 2 0. 0 -0. 2 -0. 4 -0. 6 -0. 8 2 4 6 8 10 12 14

计量学-ARMA模型的自相关函数

计量学-ARMA模型的自相关函数简介自相关函数是计量学中用于分析时间序列数据的一种重要工具。

在时间序列分析中，自相关函数（Autocorrelation Function，简称ACF）用于衡量时间序列数据在不同时间点之间的相关性。

ARMA模型是一种常用的时间序列模型，它结合了自回归模型（AR）和移动平均模型（MA），是描述时间序列数据的一种有效方法。

自相关函数的定义自相关函数衡量的是时间序列数据在不同滞后阶数下的相关性。

它通过计算不同滞后阶数的样本自相关系数来反映时间序列数据之间的关联程度。

自相关函数的计算公式如下：ACF(k) = (Cov(X_t, X_{t-k})) / (Var(X_t))其中，k表示滞后阶数，X_t表示时间t的观测值，Cov表示协方差，Var表示方差。

ARMA模型ARMA模型是一种常用的时间序列模型，它是在自回归模型（AR）和移动平均模型（MA）的基础上进行组合的。

ARMA模型的一般形式如下：X_t = c + AR(p) + MA(q) + ε_t其中，X_t表示时间t的观测值，c是常数，AR(p)表示p阶自回归项，MA(q)表示q阶移动平均项，ε_t表示白噪声项。

AR(p)模型的表达式为：X_t = c + Σ(φ_i * X_{t-i}) + ε_t其中，φ_i为自回归系数，c为常数，ε_t为白噪声项。

MA(q)模型的表达式为：X_t = c + Σ(θ_i * ε_{t-i}) + ε_t其中，θ_i为移动平均系数，c为常数，ε_t为白噪声项。

ARMA模型的自相关函数ARMA模型的自相关函数可以通过模型参数进行计算。

假设ARMA模型的参数为(φ, θ)，其中φ表示自回归系数，θ表示移动平均系数，即ARMA(φ, θ)模型。

ARMA模型的自相关函数可以表示为AR和MA模型自相关函数的线性组合。

具体而言，可以通过以下公式计算ARMA模型的自相关函数：ACF(k) = Σ(φ^i * ACF_AR(k-i)) + Σ(θ^j * ACF_MA(k-j))其中，ACF_AR(k-i)表示AR模型在滞后阶数为k-i时的自相关函数，ACF_MA(k-j)表示MA模型在滞后阶数为k-j时的自相关函数，φi表示φ的i次方，θj表示θ的j次方。

MA和ARMA模型估计

2
*
对上式两端求逆z变换
左端 Z [ S x ( z ) A( z )] Rxx ( m ) * am ak Rxx ( m k )
k 0 p
2
1
右端 Z [ B( z ) H (1 / z )]
1 2 * *
Z [ B( z ) H ( z )]
1 2 1
得
p N (z) p ni z i / ai z i r ( k ) z k A( z ) i 0 i 0 k 0
上式中两端同乘以

i 0
p
ai z i
得：
17

i 0
p
ni z i a i z i r ( k ) z k
i 0 k 0
k 1
p
m 0,1,2...q m q 1
----ARMA模型参数与自相关函数之间的关系
4
当a0 1，且ak 0(k 1,2... p)时

Rxx (m )
2
k m

q
bk h( k m )
令 k-m=l l=k

qm 2

k 0
bk m h( k )
m 0,1,2...q m q 1
q
A( z ) A(1 / z ) ai z i a j z j
i 0 j 0 i 0
p
p
p
ai a j z j i
j 0
p
ck z k
p k q i 0
q
a a z R (l )z
j i j 0 i j
p

l

ARMA模型介绍知识分享

MA（q）的自相关函数（AC）
根据自相关函数，当k>q时，yt 与y t-k 不相关，这种现象称为截尾，因此，当k>q时，自相关函数为零是MA（q）的一个特征。也就是说，可以根据自相关系数是否从某一点开始一直为零来判断MA（q）模型的阶。
MA（q）的偏自相关系数随着滞后期的增加，呈现指数衰减，趋向于零，这称为偏自相关系数的拖尾性。
Quick → Estimate equation 在窗口中输入因变量，自变量为AR(p)和
MA(q)，以ARMA(1,2)为例：
GDP c AR(1) MA(1) MA(2)
参考AC或PAC确定滞后期根据回归结果选择适合的估计结果
模型结果的分析
ARMA模型估计对参数t检验其显著性水平要求并不严格，更多的是考虑模型的整体拟合效果。
调整可决系数、AIC和SC准则都是模型选择的重要标准。
AIC准则和SC准则
赤池信息准则：AIC=-2L/n+2k/n，其中L 是对数似然值，n是观测值数目，k是被估计的参数个数。AIC准则要求其取值越小越好。
施瓦茨准则：SC=-2L/n-klnn/n，使用时也要求SC值越小越好。
ARIMA模型
考虑ARIMA(p,d,q)模型一个ARIMA(p,d,q)模型代表一个I(d)变量
经过d次差分后所做的AR(p)和MA(q)模型。
结束语
谢谢大家聆听！！！
17
Yt 1Yt1 2Yt2 ... pYt p ut 1ut1 qutq
则称该序列为（p,q）阶自回归移动平均模型。记为ARMA（p,q）
随机时间序列分析模型的识别
对于AR、MA、ARMA模型，在进行参数估计之前，需要进行模型的识别。识别的基本任务是找出ARMA（p,q）、 AR（p）、MA（q）模型的阶。识别的方法是利用时间序列样本的自相关函数和偏自相关函数。

arma模型的数学表达式

arma模型的数学表达式摘要：1.ARMA 模型的概述2.ARMA 模型的数学表达式3.ARMA 模型的应用正文：一、ARMA 模型的概述自回归滑动平均模型（ARMA）是一种常用的时间序列分析方法，主要用于拟合和预测具有线性趋势的时间序列数据。

ARMA 模型是由自回归模型（AR）和滑动平均模型（MA）组合而成的，可以同时对时间序列数据中的长期依赖关系和短期依赖关系进行建模。

二、ARMA 模型的数学表达式ARMA 模型的数学表达式分为两个部分：自回归部分（AR）和滑动平均部分（MA）。

1.自回归部分（AR）自回归模型主要描述时间序列数据中的长期依赖关系，其数学表达式为：X_t = c + Φ1X_{t-1} + Φ2X_{t-2} +...+ ΦpX_{t-p} + ε_t其中，X_t 表示时间序列数据在t 时刻的取值，c 为常数项，Φ1、Φ2、...、Φp 为自回归系数，ε_t 为误差项。

2.滑动平均部分（MA）滑动平均模型主要描述时间序列数据中的短期依赖关系，其数学表达式为：X_t = μ+ θ1ε_{t-1} + θ2ε_{t-2} +...+ θqε_{t-q}其中，X_t 表示时间序列数据在t 时刻的取值，μ为常数项，θ1、θ2、...、θq 为滑动平均系数，ε_{t-1}、ε_{t-2}、...、ε_{t-q}为误差项。

将自回归部分和滑动平均部分相结合，即可得到ARMA 模型的数学表达式：X_t = c + Φ1X_{t-1} + Φ2X_{t-2} +...+ ΦpX_{t-p} + μ+ θ1ε_{t-1} + θ2ε_{t-2} +...+ θqε_{t-q}其中，c、μ为常数项，Φ1、Φ2、...、Φp、θ1、θ2、...、θq 分别为自回归系数和滑动平均系数，ε_t、ε_{t-1}、ε_{t-2}、...、ε_{t-q}为误差项。

三、ARMA 模型的应用ARMA 模型广泛应用于金融、经济学、气象学等领域的时间序列数据分析和预测。

ARMA模型

2 M

2 kk
2 M
样本来自AR（
p
）模型。
注：实际中，此判断方法比较粗糙，还不能定阶，目前流行的方法是H.Akaike 信息定阶准则（AIC）
ARMA模型有三种基本类型：
自回归（AR：Auto-regressive）模型移动平均（MA：Moving Average）模型自回归移动平均（ARMA：Auto-regressive Moving Average）模型
1 时间序列分析模型【ARMA模型】简介 1、自回归【 AR 】模型
自回归序列 X t ：
l 1
q
M 的68.3%或95.5%。
如果当1 k q0 时， k 明显地异于0，而 q0 1 ,, q0 M 近似为0，且满足上述不等式的个数达到了相应的比例，则可近似地认为 k 在 0 步截尾

q
1 时间序列分析模型【ARMA模型】简介
（2）
kk 的截尾性判断
N
时间序列分析模型时间序列分析模型armaarma模型模型简介简介三模型的识别与建立三模型的识别与建立在需要对一个时间序列运用bj方法建模时应运用序列的自相关与偏自相关对序列适合的模型类型进行识别确定适以及消除季节趋势性后的平稳序列11自相关函数与偏自相关函数自相关函数与偏自相关函数1ma的自相关与偏自相关函数自协方差函数时间序列分析模型时间序列分析模型armaarma模型模型简介简介样本自相关函数ma序列的自相关函数这种性质称为自相关函数的步截尾性
X t ut 1ut 1 2ut 2 qut q
【3】
式【3】称为 q 阶移动平均模型，记为MA（ q ）
注：实参数 1 ,2 ,,q 为移动平均系数，是待估参数

计量经济学-第四部分时间序列中的ARMA模型

二. 自回归（AR）过程 1.自回归（AR）过程表示为：
Yt=c+1Yt-1+ 2Yt-2+...+pYt-p+vt
其中为 vt 为白噪音过程
引入滞后算子，则原式可写成
(L)Yt=c+vt 其中
(L)=1-1L- 2L2 -...- pLp
5
ARIMA模型的概念
2. AR(p)过程平稳的条件
将上述p+1个方程联立，得到所谓的Yule-Walker方程组，共p+1个方程，p+1个未知数，得出AR（p）过程的方差及各级协方差。
8
ARIMA模型的概念
三. 自回归移动平均（ARMA）过程
1. ARMA过程的形式
Yt=c+1Yt-1+ 2Yt-2+...+pYt-p+1 t-1+ 2 t-2+...+ q t-q+ t
四. 信息准则(information criteria) Akaike 信息准则 AIC=log(ˆ 2 ) 2k
T
Schwarz 信息准则 SC=log(ˆ 2 ) k log T
T Hannan-Quinn 信息准则 HQIC=log(ˆ 2 ) 2k log(log T)
T
其中 ˆ 2 为残差平方， k=p+q+1是所有估计参数
ARMA模型的概念和构造
1
一、ARIMA模型的基本内涵
一、ARMA模型的概念自回归移动平均模型（autoregressive
moving average models,简记为ARMA模型），由因变量对它的滞后值以及随机误差项的现值和滞后值回归得到。包括移动平均过程（MA）、自回归过程（AR）、自回归移动平均过程（ARMA）。

计量学-ARMA模型的自相关函数(1)

平方和为
n
n
S et2 (Yt ˆ1Yt 1 ˆpYt p )2
根据最小t p二1 乘原t p理1 ，利用一阶条件求上
述最小二乘函数最小化的参数值ˆ1,,ˆp ，即为最小二乘估计。
25
（二）利用样本自协方差方程的矩估计
对于一般的平稳AR(p)模型，有关于自相
p
ˆiˆj jik
i, j0
i, j0

可以利用原时间序列的自协方差和前面得协到方的差自，回进归而系计数算估出计自，相计关算系出数。Y~t 的自
18
q=1时的参数估计
方法一：直接利用一阶自相关函数进行参数估计
1

1 1 12
112 1 1 0
1

1
1
21
4 12
19
由于可逆性条件要求1的绝对值小于1，
因此只有
1

1
1
21
412
满足要求。
把样本自相关系数 ˆ1作为 1 的估计代入
14
第三节自回归移动平均模型的估计
ARMA模型的参数估计常用的方法是利用均值（期望）、自相关函数，包括YuleWalker方程的矩估计方法。这些矩估计方法是一致估计，但未必有效。
充分有效的估计方法是最大似然法，但最大似然法比较复杂。
在样本容量较大时矩估计与最大似然估计是接近的。
1
12

2 q
0
k 1,,q k q
16

首先利用样本数据计算出 n

k
的估计值
(Yt Y )(Ytk Y )

ARMA自回归模型

clearformat longclcx0=[2568 2737 2813 2877 2963 3259 3855 4008 4396 5162 5487 6107 6954 8650 10729 13807 17022 19779 22583 24513 26527 29671 32201 35329 39128 46338 51529 57695]';subplot(2,2,1)plot(x0,'.'),lsline,title('原始数据图像')subplot(2,2,2)autocorr(x0)title('自相关函数图像')subplot(2,2,3)parcorr(x0)title('偏相关函数图像')subplot(2,2,4)normplot(x0)title('数据的正态概率图')%n=length(x0);%t=1:n; t=t';%[b,bint,r,rint,stats]=regress(x0,[ones(n,1),t]);%x0=x0-(b(1)+b(2)*t);n=length(x0);m=n-1;meanx0=mean(x0);varx0=sum((x0-meanx0).^2);r=[];for k=1:mr(k)=sum((x0(1:n-k)-meanx0).*(x0(k+1:end)-meanx0)) / varx0;endQ=0;for k=1:mQ=Q+r(k)^2/(n-k);endQ=Q*n*(n+1)x=diff(x0);figuresubplot(2,2,1)plot(x,'.'),lsline,title('差分后数据图像')subplot(2,2,2)autocorr(x)title('自相关函数图像')subplot(2,2,3)parcorr(x)title('偏相关函数图像')subplot(2,2,4)normplot(x)title('数据的正态概率图')%[PartialACF, Lags, Bounds] = parcorr(x)n=length(x);m=n-1;meanx=mean(x);varx=sum((x-meanx).^2);r=[];for k=1:mr(k)=sum((x(1:n-k)-meanx).*(x(k+1:end)-meanx)) / varx; endQ=0;for k=1:mQ=Q+r(k)^2/(n-k);endQ=Q*n*(n+1)y=diff(x)figuresubplot(2,2,1)plot(y,'.'),lsline,title('差分后数据图像')subplot(2,2,2)autocorr(y)title('自相关函数图像')subplot(2,2,3)parcorr(y)title('偏相关函数图像')subplot(2,2,4)normplot(y)title('数据的正态概率图')%[PartialACF, Lags, Bounds] = parcorr(x)n=length(y);m=n-1;meany=mean(y);vary=sum((y-meany).^2);r=[];for k=1:mr(k)=sum((y(1:n-k)-meany).*(y(k+1:end)-meany)) / vary; endQ=0;for k=1:mQ=Q+r(k)^2/(n-k);endQ=Q*n*(n+1)n=length(y);[b,bint,r1,rint,stats]=regress(y(3:end),[ones(size(y(3:end))),y(2:n-1),y(1:n-2)]); AIC1=log(var(r1))+4/n[b,bint,r2,rint,stats]=regress(y(2:end),[ones(n-1,1),y(1:n-1)])AIC2=log(var(r2))+2/n[b,bint,r3,rint,stats]=regress(y(4:end),[ones(size(y(4:end))),y(3:n-1)y(2:n-2),y(1:n-3)])AIC3=log(var(r3))+6/nfor i=24:32x0(i)=318.8084+1.6256*x0(i-1)-0.2572*x0(i-2)-0.3744*x0(i-3);endx0'。

ARMA模型

ARMA 模型（一）模型的引进AR ：011t t k t k t Y Y Y βββε--=++++ （注意：如果假设t Y 的均值为零，0β可以不写）如果序列在其均值附近波动：t 可用： 12...TT Y Y Y F Y T+++==来预测1T F +，1211 (1)T T Y Y Y F T +++++=+来预测2T F +，等等。

事实上，新的信息更能反映未来，远离现在的数据对未来的影响应该变小。

所以，按照这样一种想法，改用移动平均）。

121212111111 (11)()()TT T T T T T T T Y Y Y F Y T Y Y F Y T F Y Y F Y F T T+++++++++++==++===+-≈+- 那么，1T Y +是实际值，1T F +是上一期的预测值，所以11()T T Y F ++-是误差，即1T e +。

可见，下一期的预测值是用前一期的预测值的基础上，加上修正误差。

实际上它是跟踪数据的变化，这就是移动平均提供的一个非常好的思想！当然，也有问题，就是滞后，前后两期的误差是否一样是需要考虑的。

以此类推，继续将1T F +写成T 时刻的预测值和T 时刻的误差修正之和，如此递推下去，就可将t Y 用不同滞后期的误差项表示：即MA ：11t t t k t k Y e e e μαα--=++++ （一定平稳！）。

而ARMA 模型为：01111t t p t p t t q t q Y Y Y e e e βββαα----=+++++++对时间序列的分析的一种重要工具——自相关。

注意：移动平均可平滑数据，消除周期变动和不规则变动的影响，使长期趋势显示出来。

（二）方法性工具自相关系数只是序列逐项之间的一种简单相关，它和x 和y 之间的简单相关系数实际上是一样的。

1.自相关函数：k γ当序列t Y 完全随机时，它的自相关系数理论上为零，没有任何自相关，但是我们不可能穷尽这个总体，所以，我们只能用它的样本数据来算，当使用样本数据来算的时候可能不是零，比如说0.008、0.007或者负的0.008、0.007。

ARMA模型的特性(精)

第三章 ARMA 模型的特性本章为本书重点之一，主要掌握三类模型的格林函数形式、平稳性和可逆性条件、AFC 和PAFC 的形式和特点。

第一节线性差分方程一、后移(Backshift)算子:1. 定义：后移算子B 定义为1t t BX X -=，从而m t t m B X X -=。

2. 后移算子的性质：(1) 常数的后移算子为常数：Bc c =(2) 分配律：()m n m n t t t t m t n B B X B X B X X X --+=+=+ (3) 结合律：()m n m n m t t t n t m n B B X B B X B X X ---=== (4) 后移算子B 的逆为前移算子11t t B X X -+=(5) 对于1ϕ<，无限求和得2233(1 (1)t X B B B X Bϕϕϕϕ++++=-前面的MA(m)模型、AR(n)模型和ARMA(n,m)模型可分别表示为：()t t X B a θ=()t t B X a ϕ= ()()t t B X B a ϕθ=其中：212()1n n B B B B ϕϕϕϕ=---- 212()1m m B B B B θθθθ=----二、线性差分方程11221122t t t n tnt t t m t mX X X X a a a aϕϕϕθθθ----------=---- 可将写成()()t t B X B a ϕθ=这里212()1n n B B B B ϕϕϕϕ=---- 212()1m m B B B B θθθθ=----差分方程通解为：()()t X C t I t =+ 这里，C (t)是齐次方程解，I (t)是特解。

三、齐次方程解的计算无重根考虑齐次差分方程 ()0t B X ϕ=其中12()(1)(1)(1)n B G B G B G B ϕ=---假定G 1，G 2，…，G n 是互不相同，则在时刻t 的通解：1122t ttt n nX AG A G A G =+++ 其中A i 为常数（可由初始条件确定）。

第四章线性ARMA模型1

{rt
}为p-阶自回归过程 ,表示为AR(p)
0 ,1 , , p 是未知参数或系数。
AR(1)过程 rt 0 1rt1 t （4.3-1）
在平稳性条件下
E(rt
)
0 1 1
注意到
t
与
rt 1
独立，
2
0 var(rt ) 112
因方差非负，要求 12 1
（4.3-2）
（4.3-1）定义的AR（1）模型是平稳的充分必要条件是
这里，et 为白噪声.
et -时刻t的新信息(innovation)
{ i } 称为 Yt 的权重
(4.1)有意义要求：
2 i
i0
(4.1)
所以
{
2 i
}必须是收敛序列，即当
i
时
2 i
0
通常，我们取 j j ,其中 1 j 1. 则
Yt et et 1 2et 2 (4.1.1)
i0
1
2 i
,
i 1
k 0
其中， 0 1
对若平稳序列而言，当 i 时 i 0,
从而随着 l 的增加 l 收敛到0
4.2 滑动平均模型
4.2.1滑动平均模型介绍
当（4.1）仅仅有有限个权重为非零时，我们称之为滑动
平均过程，即
rt t 1 t1 q tq （4.2）
我们称(4.2)为 MA(q)模型或者q阶滑动平均模型.
MA(2)模型
rt t 1t1 2t2
自协方差函数
1
(1
1
2
)
2 e
,
2
2

2 e
,
自相关系数是
l 0(l 2)

ARMA模型以及ARIMA模型建模(高教知识)

只用到了p+q个样本自相关系数信息，其他信息都被忽略
估计精度差
通常矩估计方法被用作极大似然估计和最小二乘估计迭代计算的初始值
全面分析
10
极大似然估计
原理
在极大似然准则下，认为样本来自使该样本出现概率最大的总体。因此未知参数的极大似然估计就是使得似然函数（即联合密度函数）达到最大的参数值
42
例3.9:全球气表平均温度改变值预测
全面分析
43
模型优化
问题提出
当一个拟合模型通过了检验，说明在一定的置信水平下，该模型能有效地拟合观察值序列的波动，但这种有效模型并不是唯一的。
优化的目的
选择相对最优模型
全面分析
44
例3.13:拟合某一化学序列
全面分析
45
序列自相关图
全面分析
,n
Quenouille
ˆkk
~
N (0, 1) n
,n
全面分析
6
模型定阶经验方法
95％的置信区间
Pr
2 n
ˆk
2 n
0.95
Pr
2 n
ˆkk
2 n
0.95
模型定阶的经验方法
如果样本(偏)自相关系数在最初的d阶明显大于两倍标准差范围，而后几乎95％的自相关系数都落在2
倍标准差的范围以内，而且通常由非零自相关系数
偏自相关图显示除了延迟1阶的偏自相关系数显著大于2倍标准差之外，其它的偏自相关系数都在2 倍标准差范围内作小值随机波动，而且由非零相关系数衰减为小值波动的过程非常突然，所以该偏自相关系数可视为一阶截尾
所以可以考虑拟合模型为AR(1)
全面分析
25
例2.5续

ARMA模型的参数估计主要内容(精)

第六章 ARMA 模型的参数估计—主要内容 §6.1 AR(p)模型的参数估计问题: 已知p 的AR(p):1,0pt j t j t j X a X t ε-==+≥∑,2~WN(0,)t εσ.(1.1)由12{,,,}N x x x 去估计12(,,,)T p a a a =a 和2σ.1. AR(p)模型的Yule-Walker 估计自回归系数p a 由自协方差函数{}k γ惟一确定.111121022120p p p p p p a a a γγγγγγγγγγγγ----⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦ 白噪声的方差2σ由20Tp p σγ=-γa 决定. 现获12{,,,}N x x x , N p >, 则作(1) ,1~t t N y x x t N =-=;(2) 11ˆ,0,1,,N k k jj k j yy k p Nγ-+===∑;(3) 只要12,,,N x x x 不全同, 则ˆpΓ正定, 得惟一 1ˆˆˆp p p -=a Γγ, 2100ˆˆˆˆˆˆˆˆT T p p p p p σγγ-=-=-γa γΓγ.实用中, Levinson 递推公式(无需求逆, 快):(1)2001,1102221,1,11,21,1,101,12,2,1,,1,1,1ˆˆˆˆˆˆˆˆ(1)ˆˆˆˆˆˆˆ...ˆˆˆˆˆˆˆˆ...ˆˆˆˆ,1,k k kk k k k k k k k k k k k k k k k j k j k k k k j a a a a a a a a a aa a a j k k p σγγγσσγγγγγγγγ-+-++++++-⎧=⎪=⎪⎪=-⎪⎨----⎪=⎪----⎪=-≤≤≤⎪⎩(2) 12,1,2,ˆˆˆˆˆˆ(,,,)(,,,)p p p p p a a aa a a =,22ˆˆp σσ=.以上Yule-Walker 估计的最大优点是:1ˆˆ()10,when ||1pj j j Az a z z ==-≠≤∑ 即最小相位(只要1ˆp +Γ正定). 定理 1.1(参见[18]) 若2~WN(0,)t εσ独立同分布,4E t ε<∞, 则当N →∞时, 有(1) 22ˆˆ,,..,1j j a a a s j p σσ→→≤≤;(2) 2111ˆˆ(,,)(0,)T p p p N a a a a N σ---−−−→Γ依分布(3)1ˆsup ||(lnln ),a.s.j j j pN aa O N ≤≤-=, 221ˆsup ||(lnln ),a.s.j j j pN O N σσ≤≤-=. 由上(2)得:,ˆ()(0,)T j j j j N a a N σ-−−−→依分布.(其中,j j σ是21p σ-Γ中相应元素)置信水平0.95的j a 渐近区间:,,ˆˆ[ 1.96, 1.96]j j j j j j aN a N σσ-+.2. AR(p)模型的最小二乘估计设12,,,p d d d 是12,,,p a a a 的估计, 称使残差1122ˆ()j j j j p j p y d y d y d y ε---=-+++的2121ˆ(,,,)Np jj p S d d d ε=+=∑最小的ˆ{}jd 为最小~. 记1111122212,,p p p p p p p N N N p N y y y y d y y y d y d y y y y -+++---⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦Y X d 当T X X 正定时, 有惟一的112ˆˆˆ(,,,)()T T T p aa a -=X X X Y 22121||ˆˆˆˆ(,,,)p X S aa a N pN pσ-==--Y a .理论表明:1ˆˆp Y W O N -⎛⎫-= ⎪⎝⎭d a 最小二乘估计估计,N →∞. 即两种估计差别不大. 对二乘估计,也有大样本性质定理1.2若4E t ε<∞,2~WN(0,)t εσ独立同分布,12ˆˆˆ,,,p a a a是最小二乘估计, 则当N →∞时, 有2111ˆˆ(,,)(0,)T p p p N a a a a N σ---−−−→Γ依分布3. AR(p)模型的最大似然法设模型的 21~(0,)pt t j t jj X a XN εσ-==-∑, 则212111(,,)~exp 22N pN t N t t p ϕεεεσπσ-+=+⎛⎫⎛⎫- ⎪ ⎪⎝⎭⎝⎭∑从而得关于12,,,N x x x 的似然函数为2(,)L σa 221111exp 22N pp N t j t j t p j x a x σπσ--=+=⎛⎫⎛⎫⎛⎫ ⎪=-- ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭∑∑通过解似然方程222(ln (,))(ln (,))0,0,L L σσσ∂∂==∂∂a a a结果2,σa 同最小二乘法.例1.1 设白噪声{}~(0,1)t N ε, 模型为12341.160.370.110.18t t t t t t x x x x x ε----=--++分别用Yule-Walkey 法和最小二乘法估计参数2,σa . 结果见程序ese6_1_1.m 4. AR(p)模型的定阶问题若偏相关系数ˆˆ,,0,0k pk pk k k k a a =>≠≈, 则认为ˆp p=. ,11011,22102120,ˆˆˆˆˆˆˆˆˆˆˆˆk k k k k k k k k a a a γγγγγγγγγγγγ----⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦,1,2,1[][...0...0]T T k k k k p a a a a a =以上结果由以下定理保证.定理1.3 若AR(p)中2~WN(0,)t εσ是独立同分布, 则对任何k p >, 有,,ˆlim 0,j k j N a j pa j p→∞≤⎧=⎨>⎩.为了检验0,:0k k H a =, 可借助,,ˆk k k k aa -极限分布. 定理1.4 若AR(p)中2~WN(0,)t εσ是独立同分布的, 4E t ε<∞, 则对确定的k p >, 有21,1,1,,ˆˆ(,,)(0,)T k k k k k k k N a a a a N σ---−−−→Γ依分布推论1.5 在定理1.4的条件下, 对k p >, 有,ˆ(0,1)k k Na N −−−→依分布.(证明略见196页)故,ˆk k a有95%的概率落在 ( 1.96,1.96)N N -.因此取p 的估计, 1.96ˆˆsup{:||,110}j j pj a j k N=>≤≤≈ 可能较高.实际中, 常用AIC 准则: (1) 分别取00,1,,p k P ==(上界或较大数);(2) 求AR(k )时的2ˆk σ; (3) 计算 202ˆAIC()ln ,0,1,,k kk k P Nσ=+= (4) ˆmin{|[AIC()]}kpk k = 称为AIC 定阶. 注1: 一般ˆpp ≥(真), 并无ˆp p −−−→依概率, 即不相合; 注2: 通常, 略高的阶数比低的阶数要好. 有利历史数据利用, 等.为克服不相合, 改用BIC(k )函数定阶.20ln ˆBIC()ln ,0,1,,k k Nk k P Nσ=+=(上界) 注3: 若2~WN(0,)t εσ是独立同分布的, 则BIC(k )是强相合的;注4: 当N 不大, BIC 定阶偏低,会失真, 宜取AIC.5. AR(p) 模型的拟合检验设由12{,,,}N x x x 已得ˆp, 12ˆˆˆ(,,,)p a a a , 2ˆσ, 对残差:ˆ1ˆˆˆ,1~pt t j t j j y a y t p N ε-==-=+∑, 用§4.3白噪声检验: 若符, 则认可, 并用于预测,否则重估、改用MA(q), ARMA(p,q).6. AR(p)序列的谱密度的估计ˆp,12ˆˆˆ(,,,)p a a a ,2ˆσ代入2i 2()2|(e )|f A λσλπ=.注5: 若t ε是独立同分布的2WN(0,)σ,ˆp是由AIC 或BIC 定阶的, 则ˆ()fλ一致收敛到()f λ.例1.2 {}t x 取附录B7 中的300个数据, 对 AR 模型的阶数分别为01~10p P ==上界, 解Y-W 方程, 4截尾的.2468100.020.040.060.080.10.120.142468100.060.080.10.120.140.160.18246810-0.4-0.200.20.40.60.81kγAICBIC所以用B7数据拟合出AR 模型的阶数应为4, 即 12341.1490.3150.1300.196t t t t t t X X X X X ε----=--++通常AIC 定阶略高, 下图即为用以上模型产生的300个数据, 重复1000次中定阶的结果, 定阶有别.1234567891020040060080012345678910100200300400500600700AICBIC但充分多数据和大数重复后, 定阶的情况很接近.123456789100200400600800123456789102004006008001000例1.3 对用B7数据拟合出的模型, 进行拟合检验. (1) 中心化: t t N y x x =-;AICBIC(2) 计算残差:41234ˆ 1.1490.3150.1300.196t t t t t t y y y y y ε-----=-++-; (5~296t =)(3) 计算ˆ:1296t t ε≤≤的自相关系数 ˆ{},1~k k M ρ=; (4) 计算卡方值: (假设是白噪声的统计量)222212ˆˆˆˆ()296()m m χρρρ=+++;(5) 计算临界值()chi2inv(0.95,),1~20m m m λ==(6) 判断: 所有2ˆ()(),1~20m m m χλ<=, 则不能拒绝残差是独立的白噪声的假设, 即认可.5101520051015202530350123402468101214160.05()m λ临界值2ˆ()m χ()fλ实线ˆ()fλ虚线§6.2 MA(q)模型的参数估计 MA(1)模型: 1,t t t X b t εε-=+∈, ||1b <.不难得: 22201(),b b γσσγσ=+=,于是得: 121b b ρ=+, 即2110b b ρρ-+=, 可解得: 2111142b ρρ--=, (112ρ<,||1b <时).估计值: 211 a.s.ˆ114ˆˆ2b b ρρ--=−−−→,(t ε独立白噪声).1. 一般可逆MA(q)模型的矩估计及其计算若先知1,qt t j t jj X b t εε-==+∈∑,2~WN(0,)t εσ,则有{:0}k k q γ≤≤及1q +个非线性方程2011()k k k q k q b b bb b b γσ+-=+++ (01b =)反之, 若先知{}k γ, 由上方程, 可解得21~{,}q b σ.线性迭代法求解法: (1) 用12,,,N x x x 求0ˆˆ~q γγ;(2) 初值: 任取212(0),(0)[(0),(0),,(0)]T q b b b σ=b(3) 迭代:202211122ˆ(),1(1)(1)ˆ()[(1)(1)()(1)(1)],ˆ().(11)()q kk k q k q k q j b j b j b j b j b j j b j b j b j k q j γσγσγσ+-⎧=⎪+-++-⎪⎪=---+⎪⎨⎪+--⎪⎪=↑≤≤-⎪⎩(4) 停止:2ˆ|()()()|()qq kkt t k k t j b j b j γσδ-+==-<∑∑某.(5) 检验可逆条件, 不满足, 重取初值, 重算.也可用§3.1中的方法(MA(q)的k γ是q 截尾的) (1) 用12,,,N x x x 求0ˆˆ~q γγ;(2) 作,1~ˆ,0,()0,k k k l j l j k k qk q γγΓγ-=≤≤⎧==⎨>⎩(3) 分别计算1ˆˆˆlim T k k kk ∏ΩΓΩ-→∞=和 2021ˆˆˆˆˆ,()ˆT q C C A C σγ∏∏σ=-=-b γ 其中:1010001001000,0000001000000q q qA C ⨯⨯⎛⎫⎛⎫ ⎪ ⎪==⎪ ⎪⎪ ⎪⎪⎝⎭⎝⎭1212312111ˆ,k k k q q q q q k q q qγγγγγγγγΩγγγγ+++-⨯⨯⎛⎫⎛⎫ ⎪⎪==⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭γ12ˆˆˆˆ(,,,)T qb b b =b . 合理性由以下定理给出. 定理2.1若MA(q)中t ε是独立同分布的2WN(0,)σ,则当N 充分大后,1ˆˆ,,qb b 几乎必然满足可逆条件. 实用可逆充分条件是: i ˆe0,[,]qk kk qλγλππ-=->∈-∑.2. MA(q)模型的逆相关函数法—简介想法: 视 MA 模型 AR 模型,故先求AR 模型参数, 而后求MA 模型参数, 即1qt t j t j j X b εε-==+∑1()()t t t t X B z X B z εε⇔=⇔=1(1)jj t t j a z X ε∞=⇔-=∑1(1)pj j t t j a z X ε=⇔-≈∑:AR(p)方法步骤:(1) 用1~N x ,求ˆ{}k γ,用AIC 等法定出AR(p)的阶N p ;(2) 取N p p =, 用Y-W 方程确定2,1,2,ˆˆˆˆ,,,,p p p p p a a a σ;(3) 用引理2.2, 计算ˆ()y k γ, 即(,01p a =-),,201ˆˆ,0ˆ()ˆ0,p kp jp j k j y paak p k k pγσ-+=⎧≤≤⎪=⎨⎪>⎩∑,(4) 利用Y-W 方程12ˆˆˆˆˆ(1)(0)(1)(1)ˆˆˆˆˆ(2)(1)(0)(2)ˆˆˆˆˆ()(1)(2)(0)y y y y y y y y y y y y q q b q b q q q b γγγγγγγγγγγγ⎡⎤--⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥--⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥---⎣⎦⎣⎦⎣⎦和212ˆˆˆˆˆˆˆˆ(0)(1)(2)()p y y y q yb b b q σγγγγ-=++++ 求得(12ˆˆˆ,,,qb b b )和2ˆσ.3. MA(q)模型的新息估计方法—简介设1ˆ0X =, 111ˆ(|,,)k k k X L X X X ++=;则样本新息: 1111ˆ(|,,)k k k k X L X X X ε+++=-; 预测均方差: 21ˆE k k νε+=; 前证可表: 1,11ˆˆ,qm m j m j j X m q θε++-==≥∑, ,m j θ递推得,当m 较大时, 得: 新息m ε的估计ˆˆm m mX X ε=-, 由此对较大的t , 得近似MA(q)模型11ˆˆˆˆqqt t j t j t t j t j j j X b X X b εεε--==≈+=-+∑∑从而有1ˆˆqt j t j j X b ε-=≈∑与1,1ˆˆqm m j m j j X θε+-==∑比; 合理的估计: 2,ˆˆ,1~,j m jm b j q θσν===; 具体的新息估计步骤: (1) 用12,,,N x x x , 取1/3()m o N =, 计0ˆˆ~m γγ;(2) 用递推公式约定10()0j -=∑,001,,,0120,0ˆˆˆˆˆˆˆˆ,01ˆˆˆˆ,1k n n k n k k k j n n j j k j n n n n j j j k n n mνγθγθθνννγθν-----=--==⎡⎤=-≤≤-⎢⎥⎣⎦=-≤≤∑∑ (3) 取2,ˆˆˆˆ,1~,j m jm b j q θσν===. 方法的理论依据为定理2.3([18]) 略.4. MA(q)模型的定阶方法—(q 后截尾特点)⎧⎪⎪⎨⎪⎪⎩(1) 0ˆˆˆˆ{/}k k qk ργγ==使开始明显变小的 (2) AIC 定阶1) 假设已获得q 的上界0Q ;2) 逐个计算MA(m )(00,1,2,,m Q =)的2ˆm σ; 3) 计算20ˆAIC()ln()2/,0,1,2,,m m m N m Q σ=+=4) 比出最小值的最小m 作为q 的估计.5. MA(q)模型的拟合检验设由12{,,,}N x x x 已得ˆq , 12ˆˆˆ(,,,)qb b b , 2ˆσ,令 ˆˆ120ˆˆˆ0,q q t t N y x x εεε--=====- 和 ˆ1ˆˆˆ,1~q t t j t j j y b t N εε-==-=∑,对1/3()L O N =, 若 ˆ{:,1,,}t t L L N ε=+为白噪声, 则认可模型, 否则重新估计拟合模型. 或改用AR(p), ARMA(p,q)例2.1设{}t x 是§3.1例1.1中197个化学浓度的数据, 对数据1t t t y x x -=-建立MA(1)模型为10.5276,t t t Y t εε-=+∈拟合检验步骤:(1) 取3[197]16L =+=; (2) 计算残差: 令1ˆ0ε=, 1ˆˆ0.5276,2~197t t t y t εε-=+= (3) 计算ˆ{:~197}t t L ε=的自相关系数; (4) 计算0ˆ:{:~197}t H t L ε=是白噪声的统计量 222212ˆˆˆˆ()192()m m χρρρ=+++;(5) 计算临界值()chi2inv(0.95,),1~15m m m λ==(6) 判断: 若所有2ˆ()()m m χλ<, 1~15m =, 则不能拒绝残差是独立的白噪声的假设.0510150510152025模型通过检验.6. MA(q)序列的谱密度的估计把ˆq ,12ˆˆˆ(,,,)q b b b ,2ˆσ代入2i 2()|(e )|2f B λσλπ= 得谱估计: 2ˆˆ()2f σλπ=2ˆi 0ˆ1e q j jj b λ=+∑. 若参数是相合估计, 则ˆ()fλ是()f λ的相合估计.例2.2 模拟计算MA(2)模型120.360.85,t t t t X t εεε--=-+∈.分别用(1) 矩估计方法;(2) 逆相关函数方法;(3) 新息估计方法;对来上述模型100个(或300个)数据进行参数估计. 结果见程序tse6_2_2.m。

时间序列分析-第六章 ARMA模型的参数估计讲解

在实际问题中， j, j 未知，可用ˆ 2ˆ p1 的 j j 元素 ˆ j, j 代替 j, j ，得到 j 的近似置信区间
[ˆ j 1.96 ˆ j, j / n,ˆ j 1.96 ˆ j, j / n]
B. AR(p)模型参数的最小二乘估计
如果 ˆ1,ˆ2 ,ˆ p 是自回归系数1,2 ,, p 的估计，白噪声 j 的估计定义为

ˆ
2 0

rˆ0
aˆˆ1k21

rˆ1
/
ˆ
2 0
ˆ
2 k 1
(1

aˆk2,k
)

k
k
ˆ

k
1,k
1
(rˆk1
rˆk 1 j aˆkj )(rˆ0
j 1

rˆj aˆkj )1
j 1
aˆk1, j aˆk, j aˆk 1,k1aˆk,k 1 j 1 j k, k p
2
为求l(α, 2 )的最大值点，解方程
l(α, 2 ) n p 1 2 2 2 2 4 S(α) 0
于是，得
2 1 S(α).
n p
将上式代入l(α, 2 )表达式，得到
l(α,
2)

N
2
p
ln{S (α )}
ˆ1 0.506 ,ˆ 2 1.074
例1.2 求AR(2)模型
X t 1 X t1 2 X t2 t
参数 1, 2 , 2 的估计，这里n=300, 1 1,2 0.24,
t ~ i.i.d.N (0, 1) (1) AR(2)模型的矩估计为

ARMA模型

截尾性、拖尾性图示
判断ARMA(p,q)的阶
• 通过试验确定ARMA模型的阶数(p,q)：试取一组 (p,q)进行拟合估计(一般取(偏)自相关数明显非零的延时期数k做p、q)，计算出残差序列，检验残差是否为白噪声，若非白噪声仍有自相关性,则换一组(p,q)继续试验。 • 另一种确定ARMA模型的阶数(p,q)的方法是：若序列非AR(p)、MA(q)情况,则用AR(1)拟合序列{yt }, 再考察其残差序列的样本自相关函数是否截尾，若q1步截尾,则模型为ARMA(1,q1),否则,再用AR(2) 拟合序列{yt},考察其残差序列的样本自相关函数是否截尾,若q2步截尾,则模型为ARMA(2,q2);否则, 再继续增大p,重复上述的做法,直至残差序列的样本自相关函数截尾为止。
ˆ t (k ) , k 1 y ˆ t (k ) 式中：y yt k , k 0
预测的置信区间
• 对于ARMA(p,q)模型，我们可以得到yt+l预测的95%的置信区间: yt(l)1.96*se(l), 式中se(l)是误差标准差 .
R程序—预测
• • • • • • • • ufore = predict(usol, n.ahead =6) #预测未来6期 U = ufore$pred+1.96*ufore$se #算出95%置信上限 L = ufore$pred-1.96*ufore$se #算出95%置信下限 #下面作时序图,含原序列、拟合值预测值序列、95%置信区间 uuf=ts(c(u-usol$residuals,ufore$pred)) # 合并拟合值与预测值 ts.plot(u,uuf,col=1:2) # 画原序列、拟合值预测值序列时序图 lines(U, col="blue", lty="dashed") #在图中补充95%置信上限 lines(L, col="blue", lty="dashed") #在图中补充95%置信下限

arma模型的自相关函数

arma模型的自相关函数ARMA模型是一种常用的时间序列模型，用于描述随时间推移的随机变量序列。

ARMA模型由自回归部分和移动平均部分构成，包含AR(p)模型和MA(q)模型。

在ARMA模型的建模和分析中，自相关函数(ACF)和偏自相关函数(PACF)是非常重要的工具。

自相关函数是指某个时间序列在时间上不同点上的观测值之间的相关性度量。

在ARMA 模型中，自相关函数用来判断时间序列是否具有自回归性，并用于确定AR(p)模型中的p 值。

ACF函数的定义如下：$ACF_k = \frac{\sum_{t=k+1}^n (Y_t - \bar{Y})(Y_{t-k}-\bar{Y})}{\sum_{t=1}^n (Y_t-\bar{Y})^2}$其中，$k$表示时间序列上的滞后，$Y_t$表示时间序列在时刻$t$的观测值，$n$表示样本容量，$\bar{Y}$为样本均值。

ACF函数的值在$[-1,1]$之间，表示时间序列在滞后为$k$时的相关性水平，如果$ACF_k$的值越接近1，则表示时间序列在滞后为$k$时具有较强的正自相关性；如果$ACF_k$的值越接近-1，则表示时间序列在滞后为$k$时具有较强的负自相关性；如果$ACF_k$的值接近于0，则说明时间序列在滞后为$k$时不存在明显的自相关性。

在ARMA模型的建模中，通常通过绘制ACF函数的图像来判断时间序列的自回归阶数$p$。

如果ACF函数在滞后为$p$时截尾，则说明AR(p)模型是合适的；如果ACF函数在滞后为$q$时截尾，则说明MA(q)模型是合适的；如果ACF函数在滞后为$p$和$q$时都截尾，则说明ARMA(p,q)模型是合适的。

ARMA模型的偏自相关函数(PACF)是另一个很重要的工具。

定义如下：PACF函数用于计算$k$期滞后时，剔除滞后为$1,2,...k-1$后，$k$期滞后对当前观测值$Y_t$的影响程度。

在ARMA模型中，PACF函数用于判断自回归系数的大小，如果PACF函数在滞后为$p$时截尾，则说明时间序列在滞后$p$时自相关系数是显著的；如果PACF函数在滞后为$q$时截尾，则说明时间序列在滞后$q$时移动平均系数是显著的。

第六讲 ARMA模型

素 Graphs → Time Series → Cross Correlations (2) 自回归过程：Analyze → Time Series → Autoregression 4. 比较两次回归分析的结果： Graph → Sequence（ Consump；普通回归分析的预测序列；自回归分析的预测序列）
2 1 2 a
(3) 平稳性：MA (1)过程总是平稳的。 (4)可逆性：为满足可逆性，θ(B) = 1－θ1B = 0 的根必须在单位圆外。
B
1
1
1, 即1 1
注：以后对MA(1)过程性质的讨论中，都假定可逆性条件满足，即有：|θ1|<1。
(5) MA(1)过程的自相关函数ACF
一、 MA(1)模型：一阶移动平均模型

如果一个系统在 t 时刻的响应 Xt 仅与其前一时刻进
入系统的扰动at-1存在着一定的相关关系，描述这种
关系的数学模型就是一阶移动平均模型，记作 MA(1)，即
X t at 1at 1
序列均值为0；
at为零均值的白噪声序列；
θ为移动平均系数。
• 引进延迟算子B， B p xt xt p , p 1
例2：模拟产生的250个数据的如下MA(1)过程的趋势图和自相关图：
xt at 0.85at 1 (1 0.85B ) at 其中1 0.85 at为正态N (0,1)白噪声
6
4
2
0
-2
-4 80
82
84
86
88
90
92 X
94
96
98
00
滞后一阶截尾
呈负指数衰减
Xt=at－0.85at-1 =(1－0.85B) at 其中θ1=0.85>0 at为白噪声