时间序列分析-第二章 自回归模型
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
( )
j b j
j
b z
j
j
只要级数
j
b X
j
t j
j
( ) X t
j
b X
j j
twk.baidu.com
j
b X
j
t j
并称B是时间t的后向推移算子，简称推移算子。 推移算子有称为时滞算子或延迟算子，推移算子的性质： （1）对和t无关的随机变量Y有BY=Y，
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
单摆的120个观测值(a=-1.25)：
3
x 10
12
2
1
0
-1
-2
-3
-4
0
20
40
60
80
100
120
),实数 定义2.1（ AR( p) 模型） 如果 { t } 是白噪声WN(0，
2
AR( p) 模型
§2.2 自回归模型及其平稳性
例子：
单摆的120个观测值(a=-0.35)
8 6
4
2
0
-2
-4
0
20
40
60
80
100
120
单摆的120个观测值(a=-0.85)：
8 6 4 2 0 -2 -4 -6 -8
0
20
40
60
80
100
120
单摆的10000个观测值(a=1)：
100 80 60 40 20 0 -20 -40 -60 -80
是（1.2）的p个解，而且（1.2)的任何解都可以写成
这p个解的线性组合
（1.7）
Xt
k r ( j ) 1
j 1 l 0
' t U t l , j z j , t Z
其中的随机变量Ul , j 可以由 { X t } 的初值唯一决定，（1.7）称为 齐次线性差分方程（1.2）的通解。
p
j 0
j 0
A(B) X t ( B)[(z)X t ] (B)[ ( B) X t ]
p j 0
{Yt } ,多项式 ( z ) c j z j 和随机变量U,V,W有 (6) 对时间序列{ X t } ，
( B)(UX t VYt W ) U (B) X t V (B)Yt W (1)
迭代得到 取 yt =xt+n , t 1,2,n
0
n0取50即可，但特征根接近单位圆是要取大的n0
AR(p)模拟(AR(4))
6
4
2
0
-2
-4
-6
0
10
20
30
40
50
60
70
80
4
3
2
1
0
-1
-2
-3 0
10
20
30
40
50
60
70
80
§2.3 AR()序列的谱密度和Yule-Walker方程
Yt X t
-1 k r ( j）
j 1 l 0
t t U t ' z o ( ), a.s.t l, j j
其中1 min{ z j }
可以用此事实作为模拟产生AR()序列的理论基础。
AR序列的模拟
2 取 x1 x0 0, 生成{ t }~WN(0, ）
第二章 自回归模型
本章目录
推移算子和常系数差分方程
自回归模型及其平稳性
AR( p) 序列的谱密度和Yule-Walker方程
平稳序列的偏相关系数和Levinson递推公式 AR( p) 序列举例
§2.1推移算子和常系数差分方程
一.推移算子 ( z) 对任何时间序列 { X t } 和无穷级数 在某种意义下收敛，就定义
证明:设A(z)有分解
1 r( j) A( z ) (1 z j z) k j 1 k
则有
1 r( j) A( B) (1 z B ) j j 1
齐次线性差分方程的通解
定理1.1 设A(z)是k个互不相同的零点 z1, z2 ,zk 其中z j
t l { z 是r(j)重零点。则 j t }, l 0,1,2,r ( j ) 1, j 1,2,k
AR()序列的谱密度 由线性平稳列的谱密度公式得到平稳解的谱密度
f ( ) 2
2
ij e j j 0
2
2 1 f ( ) 2 A(ei ) 2
je 如果A(Z)有靠近单位圆的根 度在 j 处有一个峰值。
i j
i 则A(e )
j
会接近于零，造成谱密
X t p
1 [ X t a1 X t 1 a2 X t 2 a p 1 X t p 1 ], t p 0 ap
若初值是随机变量则递推得到的是时间序列。
用推移算子把差分方程写成
A( B) X t 0, t Z , 其中A( z ) 1 a j z j 0, z 1
差分方程（1.2）的实值解可以表示为
k r ( j ) 1
j 1 l 0
' t V t l , j j cos( jt j ), t Z
{Vl , j ,l , j } 可以由初始值唯一决定。
通解的收敛性 如果差分方程的特征多项式A(Z)的根都在单位圆外： z j 1, j 1, 2,k或A( z ) 0, z 1 取 1 min{ z j : j 1, 2 k}, 则
2
j 0 j
j k
定理3.1 如果平稳序列{Xt}的自协方差函数{k}绝对可和： k 则 {Xt}有谱函数 （3.4）
1 f ( ) 2
j
ik e k
由于谱函数是实值函数，所以（3.4）还可以写成
1 f ( ) 2
1 k cos(k ) [ 0 2 k cos(k )] 2 k k 1
推论3.2 AR(）的平稳解序列{Xt}有谱密度
1 f ( ) 2
k ik e k
2 1 2 A(ei ) 2
j
Yule-Walker方程 对n≥p,把X t , X t 1, X t n1的递推时写成矩阵形式的 X t 2 X t n X t X t 1 t X X X X t t 1 t 1 n t 1 an t 1 X X X X t n 3 t 1 t n1 t n2 t n1
j
非齐次线性差分方程及其通解
设{Yt}为实值时间序列 （1.10） A( B ) X Y , t Z
t t
满足（1.10）的时间序列称为（1.10）的解。 如果有（1.10）的某个解，则通解可以写成
X t X t(0)
k r ( j ) 1
j 1 l 0
' t U t l , j z j , t Z
a1, a2 ,ap , a p 0
p j 1
使得多项式A(z)的零点都在单位圆外 A( z ) 1 a j z j 0, z 1 则称P阶差分方程
X t a j X t j t , t Z
j 1
p
是一个p阶自回归模型，简称为 AR( p) 模型
满足 AR( p) 模型(2.5)的平稳时间序列称为（2.5）的平稳解或 AR( p)
序列
T 称 a (a1 , a2 ,a p ) 为 AR( p) 模型的自回归系数。
称条件（2.4）是稳定性条件或最小相位条件。
A（z）称为模型（2.5）的特征多项式。
AR( p) 的平稳解
设多项式A(Z)的互异根是
取
1 min{ z j }
1
x1 x0 0, 生成{ t }~WN(0, 2）
从而有泰勒级数
X t A（B) t j t j
j 0
令
A（B) j B j
1 j 0
如果{Xt}是（2.6）的平稳解，则
X t A1 (B) A(B) X t A1 (B)t
由此可见平稳解如果存在必然为
X t A ( B) t j t j
引理2 设实系数多项式 且满足最想相位条件
A( z ) 1 j z j 0, z 1
j 1
p
则存在>0使得
1 1 A （ z) j z j , z 1 A( z ) j 0
定理2.1的证明
通解与平稳解的关系
AR()的通解{Yt}与平稳解有如下关系
-
eik f ( )d 是非负可积函数。
利用公式计算{ k }
k = eik f ( )d
-
2 2
-
l(l-j) e j l d j=0 l 0
2 l(l-j-k) e d j l 2 j=0 l 0
自协方差函数
因为AR()的平稳解为
X t A（B) t j t j
1 j 0
由线性平稳性质知道{Xt}为零均值，自协方差函数为
k E( X t k X t )
2
j 0 j
j k
, k 0,1,2...
谱密度的自协方差函数 谱函数的定义是满足 k =
t l z j t l ( / z j ) t o( t )
于是方程的任意解满足 X t o( t )a.s., t 称Xt以负指数阶收 敛到0.
通解不收敛的情形 如果特征多项式有单位根，则方程有一个周期解
X t cos( jt ), t Z
如果单位圆内有根，则方程有一个爆炸解 1 X t ( ) cos( j t ), t Z
n n （2）B (aX t ) aB X t aX t n
B （3 ）
n m
X t B n ( B m ) X t X t n m
（4）对多项式 ( z ) c j z j 有 ( B) X t c j X t j
p
p
（5) 对多项式 ( z ) c z j 和(z)=d z j 的乘积 A( z) ( z)(z) j j j 0 有
j 1
p
A( z )称为差分方程的特征多项式。
{ X t } 和{Y t} 是解，则 X t +Yt 也是解。 解有线性性质：
差分方程的基础解：设多项式A(z)是k个互不相同的零点 z1, z2 ,zk ， 其中z j是r(j)重零点。 可以证明对每个z j有
t A( B)t ' z j 0, l 0,1,2,r ( j ) 1
j 设1 min{ z }, 则 j o( ） 有
k 2 j j k 2 ( j )( l )
j 0 j 0 l k
c0 1 c1 k
l k l k
{ k } 即 为复指数衰减。 {Xt}序列前后的相关减少很快，称为时间序列的短记忆性。
二.常系数齐次线性差分方程 给定p个实数 a1, a2 ,ap , a p 0,我们称
X t [a1 X t 1 a2 X t 2 ap X t p ] 0, t Z
为p阶齐次常系数线性差分方程，简称齐次差分方程。 满足上式方程的实数列称为它的解， 满足上式的实值（或复值）时间序列也成为它的解。 上式的解可以由p个初值逐次递推得到 X t [a1 X t 1 a2 X t 2 a p X t p ], t p
j 1
p
于是 m = a m j , m 1, 2...
j 1
p
AR(p)的平稳解及通解定理 定理2.1 （1） 由（2.9）定义的时间序列是AR(p)模型 （2.5）的唯一平稳解。 （2）AR(p)的模型的通解有如下的形式
t Yt j t j U l , j t ' z j ,t Z j 0 j 1 l 0 -1 k r ( j）
1 j 0
称为平稳序列的Wold系数。
Wold系数的推导
记a0 =-1则A( z ) a j z j
j 0
1=A( z ) A1 ( z ) ( a j m j ) z m
m 0 j 0
p
于是 m = a m j , m 1, 2... 0，m>0
j b j
j
b z
j
j
只要级数
j
b X
j
t j
j
( ) X t
j
b X
j j
twk.baidu.com
j
b X
j
t j
并称B是时间t的后向推移算子，简称推移算子。 推移算子有称为时滞算子或延迟算子，推移算子的性质： （1）对和t无关的随机变量Y有BY=Y，
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
单摆的120个观测值(a=-1.25)：
3
x 10
12
2
1
0
-1
-2
-3
-4
0
20
40
60
80
100
120
),实数 定义2.1（ AR( p) 模型） 如果 { t } 是白噪声WN(0，
2
AR( p) 模型
§2.2 自回归模型及其平稳性
例子：
单摆的120个观测值(a=-0.35)
8 6
4
2
0
-2
-4
0
20
40
60
80
100
120
单摆的120个观测值(a=-0.85)：
8 6 4 2 0 -2 -4 -6 -8
0
20
40
60
80
100
120
单摆的10000个观测值(a=1)：
100 80 60 40 20 0 -20 -40 -60 -80
是（1.2）的p个解，而且（1.2)的任何解都可以写成
这p个解的线性组合
（1.7）
Xt
k r ( j ) 1
j 1 l 0
' t U t l , j z j , t Z
其中的随机变量Ul , j 可以由 { X t } 的初值唯一决定，（1.7）称为 齐次线性差分方程（1.2）的通解。
p
j 0
j 0
A(B) X t ( B)[(z)X t ] (B)[ ( B) X t ]
p j 0
{Yt } ,多项式 ( z ) c j z j 和随机变量U,V,W有 (6) 对时间序列{ X t } ，
( B)(UX t VYt W ) U (B) X t V (B)Yt W (1)
迭代得到 取 yt =xt+n , t 1,2,n
0
n0取50即可，但特征根接近单位圆是要取大的n0
AR(p)模拟(AR(4))
6
4
2
0
-2
-4
-6
0
10
20
30
40
50
60
70
80
4
3
2
1
0
-1
-2
-3 0
10
20
30
40
50
60
70
80
§2.3 AR()序列的谱密度和Yule-Walker方程
Yt X t
-1 k r ( j）
j 1 l 0
t t U t ' z o ( ), a.s.t l, j j
其中1 min{ z j }
可以用此事实作为模拟产生AR()序列的理论基础。
AR序列的模拟
2 取 x1 x0 0, 生成{ t }~WN(0, ）
第二章 自回归模型
本章目录
推移算子和常系数差分方程
自回归模型及其平稳性
AR( p) 序列的谱密度和Yule-Walker方程
平稳序列的偏相关系数和Levinson递推公式 AR( p) 序列举例
§2.1推移算子和常系数差分方程
一.推移算子 ( z) 对任何时间序列 { X t } 和无穷级数 在某种意义下收敛，就定义
证明:设A(z)有分解
1 r( j) A( z ) (1 z j z) k j 1 k
则有
1 r( j) A( B) (1 z B ) j j 1
齐次线性差分方程的通解
定理1.1 设A(z)是k个互不相同的零点 z1, z2 ,zk 其中z j
t l { z 是r(j)重零点。则 j t }, l 0,1,2,r ( j ) 1, j 1,2,k
AR()序列的谱密度 由线性平稳列的谱密度公式得到平稳解的谱密度
f ( ) 2
2
ij e j j 0
2
2 1 f ( ) 2 A(ei ) 2
je 如果A(Z)有靠近单位圆的根 度在 j 处有一个峰值。
i j
i 则A(e )
j
会接近于零，造成谱密
X t p
1 [ X t a1 X t 1 a2 X t 2 a p 1 X t p 1 ], t p 0 ap
若初值是随机变量则递推得到的是时间序列。
用推移算子把差分方程写成
A( B) X t 0, t Z , 其中A( z ) 1 a j z j 0, z 1
差分方程（1.2）的实值解可以表示为
k r ( j ) 1
j 1 l 0
' t V t l , j j cos( jt j ), t Z
{Vl , j ,l , j } 可以由初始值唯一决定。
通解的收敛性 如果差分方程的特征多项式A(Z)的根都在单位圆外： z j 1, j 1, 2,k或A( z ) 0, z 1 取 1 min{ z j : j 1, 2 k}, 则
2
j 0 j
j k
定理3.1 如果平稳序列{Xt}的自协方差函数{k}绝对可和： k 则 {Xt}有谱函数 （3.4）
1 f ( ) 2
j
ik e k
由于谱函数是实值函数，所以（3.4）还可以写成
1 f ( ) 2
1 k cos(k ) [ 0 2 k cos(k )] 2 k k 1
推论3.2 AR(）的平稳解序列{Xt}有谱密度
1 f ( ) 2
k ik e k
2 1 2 A(ei ) 2
j
Yule-Walker方程 对n≥p,把X t , X t 1, X t n1的递推时写成矩阵形式的 X t 2 X t n X t X t 1 t X X X X t t 1 t 1 n t 1 an t 1 X X X X t n 3 t 1 t n1 t n2 t n1
j
非齐次线性差分方程及其通解
设{Yt}为实值时间序列 （1.10） A( B ) X Y , t Z
t t
满足（1.10）的时间序列称为（1.10）的解。 如果有（1.10）的某个解，则通解可以写成
X t X t(0)
k r ( j ) 1
j 1 l 0
' t U t l , j z j , t Z
a1, a2 ,ap , a p 0
p j 1
使得多项式A(z)的零点都在单位圆外 A( z ) 1 a j z j 0, z 1 则称P阶差分方程
X t a j X t j t , t Z
j 1
p
是一个p阶自回归模型，简称为 AR( p) 模型
满足 AR( p) 模型(2.5)的平稳时间序列称为（2.5）的平稳解或 AR( p)
序列
T 称 a (a1 , a2 ,a p ) 为 AR( p) 模型的自回归系数。
称条件（2.4）是稳定性条件或最小相位条件。
A（z）称为模型（2.5）的特征多项式。
AR( p) 的平稳解
设多项式A(Z)的互异根是
取
1 min{ z j }
1
x1 x0 0, 生成{ t }~WN(0, 2）
从而有泰勒级数
X t A（B) t j t j
j 0
令
A（B) j B j
1 j 0
如果{Xt}是（2.6）的平稳解，则
X t A1 (B) A(B) X t A1 (B)t
由此可见平稳解如果存在必然为
X t A ( B) t j t j
引理2 设实系数多项式 且满足最想相位条件
A( z ) 1 j z j 0, z 1
j 1
p
则存在>0使得
1 1 A （ z) j z j , z 1 A( z ) j 0
定理2.1的证明
通解与平稳解的关系
AR()的通解{Yt}与平稳解有如下关系
-
eik f ( )d 是非负可积函数。
利用公式计算{ k }
k = eik f ( )d
-
2 2
-
l(l-j) e j l d j=0 l 0
2 l(l-j-k) e d j l 2 j=0 l 0
自协方差函数
因为AR()的平稳解为
X t A（B) t j t j
1 j 0
由线性平稳性质知道{Xt}为零均值，自协方差函数为
k E( X t k X t )
2
j 0 j
j k
, k 0,1,2...
谱密度的自协方差函数 谱函数的定义是满足 k =
t l z j t l ( / z j ) t o( t )
于是方程的任意解满足 X t o( t )a.s., t 称Xt以负指数阶收 敛到0.
通解不收敛的情形 如果特征多项式有单位根，则方程有一个周期解
X t cos( jt ), t Z
如果单位圆内有根，则方程有一个爆炸解 1 X t ( ) cos( j t ), t Z
n n （2）B (aX t ) aB X t aX t n
B （3 ）
n m
X t B n ( B m ) X t X t n m
（4）对多项式 ( z ) c j z j 有 ( B) X t c j X t j
p
p
（5) 对多项式 ( z ) c z j 和(z)=d z j 的乘积 A( z) ( z)(z) j j j 0 有
j 1
p
A( z )称为差分方程的特征多项式。
{ X t } 和{Y t} 是解，则 X t +Yt 也是解。 解有线性性质：
差分方程的基础解：设多项式A(z)是k个互不相同的零点 z1, z2 ,zk ， 其中z j是r(j)重零点。 可以证明对每个z j有
t A( B)t ' z j 0, l 0,1,2,r ( j ) 1
j 设1 min{ z }, 则 j o( ） 有
k 2 j j k 2 ( j )( l )
j 0 j 0 l k
c0 1 c1 k
l k l k
{ k } 即 为复指数衰减。 {Xt}序列前后的相关减少很快，称为时间序列的短记忆性。
二.常系数齐次线性差分方程 给定p个实数 a1, a2 ,ap , a p 0,我们称
X t [a1 X t 1 a2 X t 2 ap X t p ] 0, t Z
为p阶齐次常系数线性差分方程，简称齐次差分方程。 满足上式方程的实数列称为它的解， 满足上式的实值（或复值）时间序列也成为它的解。 上式的解可以由p个初值逐次递推得到 X t [a1 X t 1 a2 X t 2 a p X t p ], t p
j 1
p
于是 m = a m j , m 1, 2...
j 1
p
AR(p)的平稳解及通解定理 定理2.1 （1） 由（2.9）定义的时间序列是AR(p)模型 （2.5）的唯一平稳解。 （2）AR(p)的模型的通解有如下的形式
t Yt j t j U l , j t ' z j ,t Z j 0 j 1 l 0 -1 k r ( j）
1 j 0
称为平稳序列的Wold系数。
Wold系数的推导
记a0 =-1则A( z ) a j z j
j 0
1=A( z ) A1 ( z ) ( a j m j ) z m
m 0 j 0
p
于是 m = a m j , m 1, 2... 0，m>0