时间序列中的ARMA模型共40页
时间序列中的ARMA模型
c u=
1 (1 2 ... p)
的无条
6
ARIMA模型的概念
Yt-u=1(Yt-1-u)+ 2(Yt-2-u)+...+p(Yt-p-u)+vt
0=1 1+ 2 2+...+p p+ 2 1=1 0+ 2 1+...+ p p-1
……
p=1 p-1+ 2 p-2+...+ p 0
1-1Z- 2Z2 -...- pZp 0
特征方程的根全部落在单位圆以外时， ARMA(p,q)是一个平稳过程。
9
ARIMA模型的概念
3.ARMA(p, q)过程的特征
1）E(Yt)=
c
1 (1 2 ... p)
2）ARMA(p, q)过程的方差和协方差
10
ARIMA模型的概念
四. AR、MA过程的相互转化
于滞后长度描图）。
14
ARMA模型的识别
2. 自相关函数和偏自相关函数的概念
①自相关函数
过程Yt的第j阶自相关系数即 j j 0 ，
自相关函数记为ACF(j) 。 ②偏自相关函数
偏自相关系数 *j度量了消除中间滞后项影响
后两滞后变量之间的相关关系。偏自相关函数 记为PACF(j)
15
ARMA模型的识别
结论一：平稳的AR(p)过程可以转化为一个MA(∞)过程， 可采用递归迭代法完成转化
结论二：特征方程根都落在单位圆外的 MA(q)过程具 有可逆性
平稳性和可逆性的概念在数学语言上是完全等价的， 所不同的是，前者是对AR过程而言的，而后者是对 MA过程而言的。
02平稳时间序列的ARMA模型
一、平稳ARMA模型
1.1 移动平均过程（Moving Average Process） 考察在白噪声过程的基础上生成的随机过程： yt = + t （1.1） yt = + t + t-1 （1.2） yt = + t + 1t-1 + … + qt-q （1.3）
i 0
其中，μ为yt的均值，dt是yt的线性确定性成分，如 周期性成分、时间t的多项式等。εt是白噪声过程， θ0=1，θi满足绝对可加或平方可加条件。 在随后的分析中我们通常都认为yt不含任何确定性 成分的随机过程，如果原序列含有均值或时间趋势 项，首先要进行退势处理。
16
二、ARMA模型的识别
(1 1 L p Lp ) yt t yt (1 1 L p Lp )1 t ( L) t
一个可逆的MA(q)过程可以转换为一个无限阶的 自回归过程
yt (1 1 L q L ) t
q
(1 1 L q Lq )1 yt ( L) 1 yt t
AR(1)的自相关函数
j j j 1, 2,
AR(p)的自相关函数
尤尔—沃克(Yule-Walker)方程
j 1 j 1 2 j 2 p j p
j g11j g22j g ppj
18
二、ARMA模型的识别
2.2 偏自相关函数 在AR(1)中，yt与yt-2之间也相关，它们之间的相关 性源于它们都和yt-1相关，在排除了yt-1的影响后， yt与yt-2之间的相关系数称为偏自相关系数。 偏自相关系数由下式表示 yt = 11yt-1 + ut yt = 21yt-1 + 22yt-2 + ut … yt = k1yt-1 + k2yt-2 + … + kkyt-k + ut 不同模型的自相关图和偏自相关图的特征
平稳时间序列的ARMA模型
第五讲（续）平稳时间序列的ARMA模型1 平稳性有一类描述时间序列的重要随机模型受到了人们的广泛关注，这就是所谓的平稳模型。
这类模型假设随机过程在一个不变的均值附近保持平衡。
其统计规律不会随着时间的推移发生变化。
平稳的定义分为严平稳和宽平稳。
定义1（严平稳）设{},t x t T ∈是一个随机过程,t x 是在不同的时刻t 的随机变量，在不同的时刻t 是不同的随机变量，任取n 个值1,,n t t K 和任意的实数h ，则1,,n x x K 分布函数满足关系式1111(,,;,)(,,;,)n n n n n n F x x t t F x x t h t h =++L L L L则称{},t x t T ∈为严平稳过程。
在实际中，这几乎是不可能的。
由此考虑到是否可以把条件放宽，仅仅要求其数字特征(数学期望和协方差)相等。
定义2（宽平稳）若随机变量{},t x t T ∈的均值（一阶矩）和协方差（二阶矩）存在，且满足：（1）任取t T ∈，有()t E x c =； （2）任取t T ∈，t T τ+∈，有[(())(())]()E X t a X t a R ττ-+-=协方差是时间间隔的函数。
则称{},t x t T ∈ 为宽平稳过程，其中()R τ为协方差函数。
2 各种随机时间序列的表现形式白噪声过程（white noise ，如图1）。
属于平稳过程。
y t = u t , u t ~ IID(0, σ2)图1 白噪声序列（σ2=1）随机游走过程（random walk，如图11）。
属于非平稳过程。
y t = y t-1 + u t, u t~ IID(0, σ2)图2 随机游走序列（σ2=1）图3 日元兑美元差分序列图4股票综合指数图5随机趋势非平稳序列（μ= 0.1）图6 随机趋势非平稳序列（μ= -0.1）图7 对数的中国国民收入序列图8 中国人口序列3 延迟算子延迟算子类似于一个时间指针，当前序列值乘以一个延迟算子，就相当于把当前序列值的时间向过去拨了一个时刻，记B 为延迟算子，有,1p t p t x B x p -=∀≥。
时间序列ARMA模型及分析
ARMA模型及分析本次试验主要是通过等时间间隔，连续读取70个某次化学反应的过程数据，构成一个时间序列。
试对该时间序列进行ARMA模型拟合以及模型的优化，最后进行预测。
以下本次试验的数据：表1 连续读取70个化学反应数据47 64 23 71 38 64 55 41 59 48 71 35 57 4058 44 80 55 37 74 51 57 50 60 45 57 50 4525 59 50 71 56 74 50 58 45 54 36 54 48 5545 57 50 62 44 64 43 52 38 59 55 41 53 4934 35 54 45 68 38 50 60 39 59 40 57 54 23 资料来源：O’Donovan, Consec. Readings Batch Chemical Proces, ler et al.下面的分析及检验、预测均是基于上述数据进行的，本次试验是在Eviews 6.0上完成的。
一、序列预处理由于只有对平稳的时间序列才能建立ARMA模型，因此在建立模型之前，有必要对序列进行预处理，主要包括了平稳性检验和纯随机检验。
图1 化学反应过程时序图序列时序图显示此化学反应过程无明显趋势或周期，波动稳定。
见图1。
图2 化学反应过程相关图和Q统计量从图2的序列的相关分析结果:1. 可以看出自相关系数始终在0周围波动，判定该序列为平稳时间序列2.看Q统计量的P值：该统计量的原假设为X的1期，2期……k期的自相关系数均等于0，备择假设为自相关系数中至少有一个不等于0，因此如图知，该P值在滞后2、3、4期是都为0,所以拒接原假设,即序列是非纯随机序列,即非白噪声序列(因为序列值之间彼此之间存在关联,所以说过去的行为对将来的发展有一定的影响,因此为非纯随机序列,即非白噪声序列)。
二、模型识别由于检验出时间序列是平稳的，且是非白噪声序列，因此可以建立模型，在建立模型之前需要识别模型阶数即确定阶数。
中级计量经济学-考察时间序列自相关性的ARMA模型
rˆh l E rhl rh , rh1,
E c0 ahl 1ahl1 c0
eh l rhl rˆh l ahl 1ahl1
vareh l
1 12
2 a
总 结 ： 对 于 MA(1) 模 型，超过1步的点预测 为rt的无条件均值，预 测误差的方差为rt的无 条件方差
，当l
1
0，当l 1
1，当l 0
1
1 12
，当l
1
MA2：l
0
1 12
2 2
0，02 当1l2122
2 2
，当l
2
总结：MA(q)的ACF会在滞后q期之后截尾，有限记 忆，利用此性质来确定MA模型的order
22
实际MA模型的应用
模型的选择 模型的估计 模型的检验 模型的预测 模型应用举例
6
AR(2)模型的性质（续）
ACF特征：l 1l1 2l2 l c1 x1l c2 x2l
如果 12 42 0 ，x1, x2 为实数，ACF为两个指数衰减的混合 如果 12 42 0 ，x1, x2 为虚数，ACF为逐渐衰弱的正弦余弦波
，表明商业周期的存在
7
AR(p)模型
23
MA模型的应用——模型选择
ACF与PACF
若ACF表现为一个衰减拖尾的形状（非截尾），基本 可以选择AR模型，再以截尾的PACF来确定order
若ACF在滞后期为q处截尾，即 q 0，但对于 l q则有l 0
则rt服从一个MA(q)模型
Information Criteria
24
表达式：
rt 0 1 rt1 p rt p at
11B pBp rt 0 at
特征方程
平稳时间序列分析-ARMA模型
1 0 1 2
所以，平稳AR(2)模型的协方差函数递推公式为
0
1 2 (1 2 )(1 1 2 )(1 1
2
)
2
1
1 0 1 2
k
1 k1 2 k2，k
2
4、自相关系数
（1）自相关系数的定义：
k
k 0
特别
0 1
（2）平稳AR(P)模型的自相关系数递推公式：
k 1k 1 2 k 2 p k p
例3.5:— (3)xt xt1 0.5xt2 t
自相关系数呈现出“伪周期”性
例3.5:— (4)xt xt1 0.5xt2 t
自相关系数不规则衰减
6、偏自相关函数
自相关函数ACF(k)给出了Xt与Xt-k的总体 相关性，但总体相关性可能掩盖了变量间完全 不同的相关关系。
例如，在AR(1) 中，Xt与Xt-2间有相关性可 能主要是由于它们各自与Xt-1间的相关性带来 的:
对于非中心化序列
xt 0 1xt1 2 xt2
p xt p t
作变换
1 1
0
p
yt xt
则原序列即化为中心化序列
yt 1 yt1 2 yt2 p yt p t
所以，以后我们重点讨论中心化时间序列。
AR模型的算子表示
令 (B) 11B 2B2 p B p
则 AR( p) 模型可表示为
平稳AR(1)模型的传递形式为
xt
t 1 1B
i0
(1B)i t
1i ti
i0
Green函数为 Gj 1 j , j 0,1,
平稳AR(1)模型的方差为
Var(xt )
G2jVar(t )
j0
ARMA时间序列模型及其相关应用教材PPT(共 49张)
对于零均值的平稳时间序列中，给定 Xt1, ,Xtk1 ，则 Xt和Xtk 之间
的偏相关函数定义为：
偏 相 关 函 数 = E [X tX tk] =E [X tX tk]
E [X t2]E [X tk2]
2 X
注意：此时的期望指的是条件期望 。
17
AR模型偏相关函数
设 X t 为零均值的实平稳时间序列，设它满足AR(p)模型：
9
AR与MA模型的比较
自回归模型： X t 1 X t 1 2 X t 2 p X t p a t.
意义在于仅通过时间序列变量的自身历史观测值来反映有关因素对预测 目标的影响和作用，不一定平稳。
滑动平均模型：X t a t 1 a t 1 2 a t 2 q a t q .
型。
其中， a t 是独立同分布的随机变量序列，且满足 E[at ] 0，D[at]a2 也称
白噪声序列。 为了方便表示，引进延迟算子的概念。令：
Xt1 BXt Xt2BXt-1B2Xt Xtp BpXt
则自回归模型可写为： (B)Xt at
其中： (B ) 1 1 B 2 B 2 p B p .
(B) Xt
=
(B)at
模型简记为ARMA(p, q).
显然，当q =0时，ARMA(p, q)模型就是AR (p)模型； 显然，当p =0时，ARMA(p, q)模型就是MA (q)模型；
ARMA(p, q)模型的平稳性只依赖于AR 部分； ARMA(p, q)模型的可逆性只依赖于MA 部分；
1976年，英国统计学家G.E.P.Box和英国统计学家G.M.Jenkins联合出版了 《时间序列分析——预测和控制》一书，在总结前人的研究的基础上， 系统地阐述了ARMA模型的识别、估计、检验及预测的原理和方法，成 为时间序列分析的核心，故ARMA 模型也称为Box-Jenkins模型。
第八章 平稳时间序列建模(ARMA模型)
p 阶自回归模型记作AR(p)，满足下面的方程：
ut c 1 ut 1 2 ut 2 p ut p t
(5.2.4) 其中：参数 c 为常数；1 , 2 ,…, p 是自回归模型系数； p为自回归模型阶数；t 是均值为0，方差为 2 的白噪声
序列。
4
2. 移动平均模型MA(q)
q 阶移动平均模型记作MA(q) ，满足下面的方 程：
ut t 1 t 1 q t q
(5.2.5)
其中：参数 为常数；参数1 , 2 ,…, q 是 q 阶移动
平均模型的系数；t 是均值为0，方差为 2的白噪声 序列。
AR(p)模型均可以表示为白噪声序列的线性组合。
8
2．MA(q) 模型的可逆性
考察MA(q) 模型
ut (1 1 L 2 L2 q Lq ) t
2 E ( t ) 0
2
(5.2.16)
t t
qቤተ መጻሕፍቲ ባይዱ
若
1 1 z 2 z q z 0
在单位圆外（即绝对值大于1，或模大于1），这意味着 自回归过程是发散的。如果MA模型滞后多项式的根的 倒数有在单位圆外的，说明MA过程是不可逆的，应使 用不同的初值重新估计模型，直到得到满足可逆性的动 平均。
20
4. ARMA(p,q)模型的估计选择
EViews估计AR模型采用非线性回归方法，对于MA模 型采取回推技术(Box and Jenkins,1976)。这种方法的优点
L0utut。则式（5.2.7）可以改写为：
(1 1 L 2 L 2 p Lp ) ut c t
ARMA模型介绍ppt课件
可编辑课件PPT
7
自回归移动平均模型(ARMA)
如果时间序列Yt是它的当期和前期的随机误差 项以及前期值的线性函数，即可表示为：
Y t 1 Y t 1 2 Y t 2 . .p Y t . p u t 1 u t 1 q u t q
则称该序列为（p,q）阶自回归移动平均模型。 记为ARMA（p,q）
两者结合的模型（ARMA）
习惯上用AR(p)、MA(q)或ARMA(p,q)来 表示对应的滞后时期。
可编辑课件PPT
5
AR(p)模型
AR(p)模型是回归模型的一种形式，其一般形 式为：
Y t1 Y t 1 2 Y t 2 . ..p Y t p u t
另一种表达方式是用差分形式：
Y t Y t 1 1 Y t 1 . .p . 1 Y t p 1 u t
可编辑课件PPT
16
ARIMA模型
考虑ARIMA(p,d,q)模型 一个ARIMA(p,d,q)模型代表一个I(d)变量
经过d次差分后所做的AR(p)和MA(q)模 型。
可编辑课件PPT
17
此课件下载可自行编辑修改，此课件供参考！ 部分内容来源于网络，如有侵权请与我联系删除！感谢你的观看！
时间序列模型在上世纪80年代中期后得 到快速发展。
可编辑课件PPT
2
本章主要内容
时间序列模型的特点 AR、MA和ARMA模型的形式 AR、MA和ARMA模型的识别 AR、MA和ARMA模型的估计
可编辑课件PPT
3
时间序列分析模型的特点
时间序列分析通常并不需要建立在经济理论 所体现的经济关系基础之上，而是“让数据 自己说话”。Yt可由其自身的滞后值以及随 机误差项来解释，因此时间序列分析模型又 称乏理论（a-theoretic)模型。
时间序列中的ARMA模型-文档资料
0 = 11 + 22 + . . . + pp +
2
p p 1
= + + . . . +
p 1 p 1 2 p 2
……
p 0
将上述p+1个方程联立，得到所谓的Yule-Walker方程 组，共p+1个方程，p+1个未知数，得出AR（p）过程 的方差及各级协方差。
4
对于任意的，MA(q)是平稳的。
ARIMA模型的概念
二. 自回归（AR）过程 1.自回归（AR）过程表示为：
Y t = c + 1 Y t 1 + 2 Y t 2 + . . . + p Y t pt + v 其中为 v t 为白噪音过程
引入滞后算子，则原式可写成
15
ARMA模型的识别
2. 自相关函数和偏自相关函数的概念
①自相关函数 过程 Y t 的第j阶自相关系数即 j j 0 ， 自相关函数记为ACF(j) 。 ②偏自相关函数
步骤1：模型识别 步骤2：模型估计 步骤3：模型的诊断检验 步骤4：模型预测
14
三、ARMA模型的识别、估计、诊断、预测
(一).ARMA模型的识别 1. 识别ARMA模型的两个工具：
自相关函数(autocorrelation function,简记为 ACF）； 偏自相关函数(partial autocorrelation function,简 记为PACF) 以及它们各自的相关图（即ACF、PACF相对 于滞后长度描图）。
时间序列--ARMA模型的特性
j0
i 1
所以，齐次方程解是由衰减指数项、多项式、衰 减正弦项，以及这些函数旳组合混合生成旳。
上述过程中计算Gi 并不方便，通常通过解方程 n 1n1 2n2 ...n 0 得到其根为：i,i 1,2,...,n 。 由于 n 1n1 2n2 ...n 0 的根与 11B 2B2 nBn 0 的根互为倒数，因此 i Gi 。
k期滞后协方差为:
k
E( X tK (1 X t1
2 X t2
L n Xtn
t
))
1 k1 2 k2 L n k n
从而有自有关函数 :
k 1k1 2k2 ... n kn
可见，不论k有多大， k旳计算均与其１到n阶滞后 旳自有关函数有关，所以呈拖尾状。
假如AR(n)是平稳旳，则|k|递减且趋于零。
则 (B)G(B) (B)
令
* j
j
0,
,
0 jn jn
* l
0l,,
0lm lm
则 (B)G(B) (B) 化为
* j
B
j
Gk
Bk
l*Bl
j0
k0
l0
比较等式两边B旳同次幂旳系数，可得
l
*jGl j
* l
,
l
1, 2,3,...
j0
由上式，格林函数可从 l 1 开始依次递推算出。
二、ARMA模型旳逆函数
• ARMA（n,m）模型逆函数通用解法 对于ARMA（n,m）模型旳逆函数求解模型格林函数
求解措施相同。
令
I (B) 1 I j Xt j , I0 1
j 1
则平稳序列 Xt旳逆转形式 at Xt I j Xt可j 表达为 j 1
ARMA模型ppt课件
k
k 1, j k j
j 1
k 1
1 k 1, j j
j 1
k 1 k 2,3,
k 其中 k 是滞后 期的自相关系数，
kj k1, j kkk1,k j , j 1, 2, , k 1
9
1 时间序列分析模型【ARMA模型 】简介
【1】式称为 p 阶自回归模型，记为AR（ p ）
注1：实参数 1,2 , , p 称为自回归系数，是待估参数.
随机项 ut 是相互独立的白噪声序列，且服从均值为0、
方差为 2 的正态分布.随机项与滞后变量不相关。
注2：一般假定
Xt
均值为0，否则令
X
t
Xt
3
1 时间序列分析模型【ARMA模型 】简介
【6】
注4：ARMA过程的平稳条件是滞后多项式 (B) 的根均在单位圆外
可逆条件是滞后多项式 (B) 的根都在单位圆外 7
1 时间序列分析模型【ARMA模型 】简介
二、随机时间序列的特性分析
1、时序特性的研究工具 （1）自相关 构成时间序列的每个序列值 Xt , Xt1, Xt2, , Xtk 之间的简单
的根均在单位圆外，即 (B) 0 的根大于1
4
1 时间序列分析模型【ARMA模型 】简介 2、移动平均【MA】模型
移动平均序列 Xt：
如果时间序列 X t 是它的当期和前期的随机误差
项的线性函数，即可表示为
X t ut 1ut1 2ut2 qutq 【3】
式【3】称为 q阶移动平均模型，记为MA（ q ）
时间序列作业ARMA模型--
一案例分析的目的本案例选取2001年1月，到2013年我国铁路运输客运量月度数据来构建ARMA模型，并利用该模型进行外推预测分析。
二、实验数据数据来自中经网统计数据库2013-04 1.75 2013-05 1.62 2013-06 1.80 2013-07 1.99 2013-08 2.03 2013-09 1.92 2013-10 1.64数据来源：中经网数据库三、ARMA模型的平稳性首先绘制出N的折线图，如图从图中可以看出，N序列具有较强的非线性趋势性，因此从图形可以初步判断该序列是非平稳的。
此外，N在每年同期出现相同的变动方式，表明N还存在季节性特征。
下面对N 的平稳性和季节季节性进行进一步检验。
四、单位根检验为了减少N 的变动趋势以及异方差性，先对N进行对数处理，记为LN其曲线图如下：GENR LN = LOG(N)对数后的N趋势性也很强。
下面观察N 的自相关表，选择滞后期数为36，如下：从上图可以看出，LN的PACF只在滞后一期是显著的ACF随着阶数的增加慢慢衰减至0，因此从偏/自相关系数可以看出该序列表现一定的平稳性。
进一步进行单位根检验，打开LN选择存在趋势性的形式，并根据AIC自动选择滞后阶数，单位根检验结果如下：T统计值的值小于临界值，且相伴概率为0.0001，因此该序列不存在单位根，即该序列是平稳序列。
五、季节性分析趋势性往往会掩盖季节性特征，从LN的图形可以看出，该序列具有较强的趋势性，为了分析季节性，可以对LN进行差分处理来分析季节性：Genr = DLN = LN – LN (-1)观察DLN的自相关表，如下：DLN在之后期为6、12、18、24、30、36处的自相关系数均显著异于0，因此，该序列是以周期6呈现季节性，而且季节自相关系数并没有衰减至0，因此，为了考虑这种季节性，进行季节性差分：GENR SDLN = DLN –DLN(-6)再做关于SDLN的自相关表，如下：SDLN在滞后期36之后的季节ACF和PACF已经衰减至0，下面对SDLN建立SARMA模型。
ARMA模型
截尾性、拖尾性图示
判断ARMA(p,q)的阶
• 通过试验确定ARMA模型的阶数(p,q)：试取一组 (p,q)进行拟合估计(一般取(偏)自相关数明显非零 的延时期数k做p、q)，计算出残差序列，检验残 差是否为白噪声，若非白噪声仍有自相关性,则换 一组(p,q)继续试验。 • 另一种确定ARMA模型的阶数(p,q)的方法是：若 序列非AR(p)、MA(q)情况,则用AR(1)拟合序列{yt }, 再考察其残差序列的样本自相关函数是否截尾， 若q1步截尾,则模型为ARMA(1,q1),否则,再用AR(2) 拟合序列{yt},考察其残差序列的样本自相关函数 是否截尾,若q2步截尾,则模型为ARMA(2,q2);否则, 再继续增大p,重复上述的做法,直至残差序列的样 本自相关函数截尾为止。
ˆ t (k ) , k 1 y ˆ t (k ) 式中：y yt k , k 0
预测的置信区间
• 对于ARMA(p,q)模型，我们可以得到yt+l预测 的95%的置信区间: yt(l)1.96*se(l), 式中se(l)是误差标准差 .
R程序—预测
• • • • • • • • ufore = predict(usol, n.ahead =6) #预测未来6期 U = ufore$pred+1.96*ufore$se #算出95%置信上限 L = ufore$pred-1.96*ufore$se #算出95%置信下限 #下面作时序图,含原序列、拟合值预测值序列、95%置信区间 uuf=ts(c(u-usol$residuals,ufore$pred)) # 合并拟合值与预测值 ts.plot(u,uuf,col=1:2) # 画原序列、拟合值预测值序列时序图 lines(U, col="blue", lty="dashed") #在图中补充95%置信上限 lines(L, col="blue", lty="dashed") #在图中补充95%置信下限
时间序列分析-第六章 ARMA模型的参数估计讲解
假定数据x1, x2 ,, xn适合于以下模型
X t 1 X t1 2 X t2 p X t p t , t p 1,, n
(1.2)
其中，p为给定的非负整数，1,2 ,, p 为未知参数，记
α (1,, p )T 为系数参数，{t }为独立同分布序列，且
sup
n
P(|
n
|
M)
,
就称{n }是依概率有界的，记为n O p(1).如果
{n / cn } O p(1),就称n O p(cn ).
记ˆ为Yule Wal ker 估计，ˆL为最小二乘估计，
则对AR模型，有
ˆL ˆ O p(1 / n), n .
ˆ1
rˆ1(rˆ0 rˆ2 ) rˆ02 rˆ12
ˆ 2
rˆ0rˆ2 rˆ12 rˆ02 rˆ12
ˆ 2 rˆ0 ˆ1rˆ1 ˆ2rˆ2
计算出的前5个样本协方差函数值为
r0 2.7888 , r1 2.2171, r2 1.4362 , r3 0.8060 , r4 0.2705
l(α, 2
|
x1 , x2 ,, xn )
n log(2 )
2
1 2
| Γn
1
|2
1 2
xTn
n1 x n
其中，Γn 为 (x1, x2 ,, xn )T 的协方差阵，| Γn | 表示 Γn
的行列式，使得对数似然函数l(α, 2 | x1, x2 ,, xn )
达到极大值的 αˆ 和 ˆ 2 称为 α 和 2 的极大似然估计。
C. AR(P)模型的极大似然估计
时间序列ARMA模型
第1节 时间序列ARMA 模型一、时间序列及其特征识别（一）地理时间序列的分类与构成1.地理系统中的时间序列如果对地理系统进行长期观测，每隔一定的时间作一个记录，则记录结果可以构成时间序列。
如果只针对某一个指标进行观测，得到的记录为一元时间序列；如果同时观测多个指标，则可形成多元时间序列。
因此，所谓时间序列（time series ），实际上就是将某个指标在不同时刻的不同数值，按照时间先后的顺序排列而成的数列。
时间序列分析就是利用这组数列，应用数理统计方法加以处理，以预测未来事物的发展。
地理系统的演化过程一般包含两种成分，一是确定性成分，二是随机性成分。
确定性成分具有一定的物理意义，它们又包括周期成分和非周期成分，其坐标曲线具有比较明确的规则；随机成分则表现得没有规则，其坐标曲线似乎是任意摆动和振荡的轨迹，这种轨迹很难从物理上进行阐释，只能借助随机过程理论和方法予以分析。
随机时间序列通常包括平稳和非平稳两种情况，二者的性质有很大不同。
简而言之，时间序列的分类和构成可以图示如下（图4-1-1）。
这种分类不是特别严格的，它们之间的界限有时很难区分。
例如，有些学者将周期性序列视为广义的平稳序列。
地理时间序列{确定型{ 周期型序列{简单周期复合周期 非周期序列{ 准周期序列 暂态序列{趋势型序列跳跃型序列突变型序列随机型{平稳序列{相依型序列独立型序列非平稳序列 图4-1-1 地理时间序列的分类与构成地理系统时间序列的周期性一般与地球的公转、太阳活动和月球绕转有关，因此自然地理的许多现象如江河的水位、生物的发育都具有一定的季节性。
与此相关，许多人文地理现象由于生态环境的季节变化也表现出明确的周期规律，例如风景旅游地的游客人数具有季节性特征。
认识自然变化的周期性规律有时是非常重要的，例如，早在80 年代，浙江省气象研究所就有人（田清鉴）研究发现，1887 年、1909 年、1931 年、1954 年、1975 年，我国长江、黄淮海流域都曾发生特大洪水，时间间隔平均约为22 年，与太阳黑子的22 年周期有关，由此可以推断，1997 年前后还会发生特大洪水。
时间序列的ARMA模型
If a mixed ARMA model seems to fit the data, also try a model with one fewer AR term and one fewer MA term
How do we choose the best model?
In most cases, the best model turns out a model that uses either only AR terms or only MA terms It is possible for an AR term and an MA term to cancel each other’s effects, even though both may appear significant in the model
Like a multiple regression model, but Xt is regressed on past values of Xt
The AR(1) Model
A simple way to model dependence over time is with the “autoregressive model of order 1” This is a OLS model of Xt regressed on lagged Xt-1
Model estimation
Model validation
Model forecasting
1
4/9/2010
Autoregressive (AR) and moving average (MA)
So, what’s the big difference?