第六章 时间序列分析-参数估计

20
极大似然估计
当 X 1 x1 已知时，根据正态分布的性质， X 2 也为正态分布，并 且
E X 2 X 1 x1 x1 , Var X 2 X 1 x1 2
X 2 X 1 x1 ~ N x1 , 2
21
极大似然估计
X 2 在第一个 X1 x1 已知的条件下的概率分布为
模型的参数估计
待估参数
p q 1 个未知参数
1,,p ,1,,q ,
常用估计方法
矩估计 极大似然估计 最小二乘估计
2
1
矩估计
原理
样本自相关系数估计总体自相关系数
ˆ 1 (1 , , p ,1 , , q ) 1 ( , , , , , ) ˆ pq p 1 q pq 1
略
估计精度差
通常矩估计方法被用作极大似然估计和最小二乘 估计迭代计算的初始值
14
极大似然估计
原理
在极大似然准则下，认为样本来自使该样本出
现概率最大的总体。因此未知参数的极大似然 估计就是使得似然函数（即联合密度函数）达 到最大的参数值
ˆ , ,, ; x , ~) max{p(~); , ,, } ˆ L(1 ˆ2 x 1 2 k 1 x k
17
极大似然估计
我们首先从简单情况开始讨论。设 x1 ,, xT 是 AR(1)序列的一 个样本观测值，
X t X t 1 t ,
2 t ~ i.i.d .N 0, 2 ，此时参数为 θ , 。 假设白噪声


18
极大似然估计
首先考察样本中第一个 X 1 的概率分布，由前面的讨 论
15
极大似然估计
本节将要讨论的是根据极大似然原理，给出模型参数 1 ,, p ，
1 ,,q 和白噪声方差 2 的极大似然估计。为此，首先需要给定样本
x1,, xT 的联合分布，
F x1,, xT ; θ
θ 1 , , p , 1 , , q , 2 。 其中
2
log f x ; , log f
T 2 X1 1 t 2
X t X t 1
x
t
xt 1 ; , 2
1 1 1 log 2 log 2 1 2 2 1 2 x12 2 2 2 1 T 2 2 T 1 2 log 2 T 1 2 log 2 xt xt 1 2 t 2
2 X1 1 X 2 X1
2
x1 ; ,
2

23
极大似然估计
X1, X 2 , X 3 的联合分布
f X1 x1; , 2 f X 2 X1 x2 x1 ; , 2 f X3 X 2 , X1 x3 x2 , x1 ; , 2
；类似地，得到
29
条件极大似然估计
如果样本中第一个 X 1 是已知的，则有
f XT ,, X 2 X1 xT ,, x2 x1 ; , 2 f X t X t1 xt xt 1 ; , 2
16
极大似然估计
一般地，我们可以假设 t 的服从正态分布，即
t ~ i.i.d .N 0, 2
ˆ 尽管这个假设要求比较高，但是，从理论上说由此得到的估计 θ 也常
常适合于非正态分布情况。求最大似然估计一般包含两步，第一步， 计算似然函数。第二步，求使得这个似然函数达到最大的 θ 值。不 象以前独立同分布样本计算似然函数比较容易， 由于在这个问题中样 本 x1 ,, xT 不是相互独立的，也不是同分布的，所以如何计算 ARMA(p, q)的样本 x1 ,, xT 的似然函数是本节的一个重要工作。
2
例:求AR(2)模型系数的矩估计
AR(2)模型 xt 1 xt 1 2 xt 2 t Yule-Walker方程
1 1 2 1 2 1 1 2
矩估计（Yule-Walker方程的解）
ˆ ˆ 1 2 2 12 ˆ ˆ ˆ ˆ 1 1 2 2 ˆ12 ˆ 1 1 1
9
一般ARMA(p,q)模型系数的矩估计
3. ARMA模型的矩估计
ˆ 1 ˆq ˆq 1 ˆ ˆq 2 ˆ q1 ˆq p 1 ˆq p 2 ˆ p
ˆq p 1 ˆq 1 ˆq p 2 ˆq 2 ˆ ˆq q p
f X1 , X 2 , X3 x1 , x2 , x3 ; , 2 f X1 , X 2 x1 , x2 ; , 2 f X3 X 2 , X1 x3 x2 , x1 ; , 2
24
极大似然估计
一般地，样本中第 t 个 X t 在前 t-1 个已知的条件下，由于模 型的特点，实际上前 t-1 个 X t 1 ,, X1 只有 X t 1 作用于 X t ，因此 有
3
例:求MA(1)模型系数的矩估计
MA(1)模型 方程 xt t 1 t 1
0 (1 12 ) 2 1 1 1 2 矩估计 0 1 12 1 1
ˆ 1 1 4 12 ˆ1 ˆ 2 1
26
极大似然估计
我们可以给出
XT ,, X1 的联合分布为
2
f XT ,,源自文库X1 xT ,, x1; ,
f X1 x1; ,
2
f X t X t1 xt xt 1 ; , 2
T t 2
27
极大似然估计
相应的对数似然函数为
L ,
c2 4 , c 2 2 c2 4 ,c 2 2
ˆ 1 12 2 2 , c ˆ 1 1
5
一般ARMA(p,q)模型系数的矩估计
1. AR模型的矩估计
Yule-Wolker方程
1 12 p 1 p 1 11 2 p 2 p 2 p2 2 p p p 1 1
28
似然方程
n S ( ) L( ; x) 0 2 2 4 2 2 1 ln 1 S ( ) L( ; x) 2 0 2 2
由于S ( ) 和ln 都不是 的显式表达式。因 而似然方程组实际上是由p+q+1个超越方程 构成，通常需要经过复杂的迭代算法才能 求出未知参数的极大似然估计值
EX 1 0, EX 12 2 1 2
因为 t 是正态分布的，所以 X 1 也服从正态分布。
19
极大似然估计
X 1 的概率分布
x12 1 f X1 x1 ; , 2 exp 2 2 2 1 2 2 1 2
7
一般ARMA(p,q)模型系数的矩估计
2. MA模型的矩估计
0 1 12 q2 2
k k k 11 q q k 2 , k 1, 2, , q
解此方程的MA模型的矩估计。
8
一般ARMA(p,q)模型系数的矩估计
则前 t 个 X t ,, X1 的联合分布
f X t , X t1 ,, X1 xt , xt 1 , , x1 ; , 2
f X t 1 ,, X1 xt 1 , , x1 ; , 2 f X t X t1 ,, X1 xt xt 1 ,, x1 ; , 2 f X t 1 ,, X1 xt 1 , , x1 ; , 2 f X t X t1 xt xt 1 ; , 2
12
一般ARMA(p,q)模型系数的矩估计
3. ARMA模型的矩估计
ˆ0 y 1 12 q2 2 ˆk y k k 11 q q k 2 , k 1, 2, q
ˆ 其中 k y
ˆˆ ˆ
i 0 j 0 i
p
p
j i j k
, k 0,1,, q
13
对矩估计的评价
优点
估计思想简单直观 不需要假设总体分布 计算量小（低阶模型场合）
缺点
信息浪费严重 只用到了p+q个样本自相关系数信息，其他信息都被忽
10
1
一般ARMA(p,q)模型系数的矩估计
3. ARMA模型的矩估计 第二步，
ˆ ˆ yt X t 1 X t 1 p X t p
11
一般ARMA(p,q)模型系数的矩估计
3. ARMA模型的矩估计
第三步，把 yt 近似看作MA模型
yt t 1 t 1 q t q
f X t X t 1 ,, X1 xt xt 1 , , x1 ; , 2 f X t X t 1 xt xt 1 ; , 2 xt xt 1 2 1 exp 2 2 2
25
极大似然估计
x2 x1 2 1 2 f X 2 X1 x2 x1 ; , exp 2 2 2
22
极大似然估计
根据初等概率论的乘法公式， X1 , X 2 的联合分布为
f X1 , X 2 x1 , x2 ; ,
2
f x ; , f x
6
一般ARMA(p,q)模型系数的矩估计
1. AR模型的矩估计 当k=0时，
0 11 p p

2
则可以得到白噪声方差的矩估计。
ˆ ˆ ˆ 2 ˆ0 1ˆ1 pˆ p
p ˆ ˆ ˆ0 1 j j j 1
3. ARMA模型的矩估计 第一步，先给出AR部分的参数 估计。
1 ,, p
的矩
q1 q 12 q p 1 p q 1 q 1 1 q 2 q p 2 p q 2 q p 11 q p 22 q p q p
4
ARMA(p,q)模型系数的矩估计
ARMA(1,1)模型 方程 xt 1 xt 1 t 1 t 1 矩估计
1 (1 1 )(1 11 ) 1 0 1 12 211 2 1 1
c ˆ 2 ˆ ˆ 1 , 1 ˆ 1 c