时间序列分析-均值和自协方差函数的估计

对某个r 2 成立。
则有重对数律
lim sup N ( X N ) 2 f (0), a.s. (1.8)
N
2 ln ln N
lim inf N
N ( X N ) 2 f (0), a.s. (1.9)
2 ln ln N
易见重对数律满足时
( X N ) o(1) 0( ln ln N ),
N ( X n ) / o(1) 不收敛。
N
2 ln ln N
AR(2)的均值计算
令 A(z) (1 ei z)(1 ei z)
考虑AR(2)模型
A(B) X t t
X t 2 cos X t1 2 X t2 t
为模拟方便设 {t}iid N (0, 2 ) 。
X N
1 N
可以据此计算 的 95% 置信区间。
[ X N 1.96 / N , X N 1.96 / N ].
其中的1.96也经常用2近似代替。
(1.3)
平稳列的均值估计的中心极限定 理
定理1.2 设{t }是独立同分布的 WN (0, 2 )，线
性平稳序列{Xt} 由
X t ktk , t Z ,
定理2.2 要求白噪声的方差有4阶矩。下面关于 线性平稳序列的样本自相关系数的中心极限定 理不要求噪声项的4阶矩有限。
定理2.5 设{t}是独立同分布的 WN (0, 2 ), 线性
平稳序列 {Xt} 由(2.8)定义。如果自协方差函数
{ k }平方可和，并且对某个常数 0.5,
m
2 k
0,
f ()2d
则对任何正整数h，当 N 时，有以下结果
1 N ( 0 0, 1 1, , h h ) 依分布收敛到 (0 ,1, ,h ).
2 N (1 1, 2 2, , h h ) 依分布收敛到
(R1, R2 , , Rh ).
自相关检验的例子
例2.1(接第三章例1.1)对MA(q)序列 {Xt} 。利
k是 k 的渐进无偏估计：
limE k k . N
2如果{Xt} 是严平稳遍历序列。则对每个确定
的k,
和
k
k
分别是 k 和
k 的强相合估计：
lim k k , a.s.,limk k , a.s..
N
N
定理2.1的证明
下面只对由(2.2)定义的样本自协方差函数证明 定理2.1。对由(2.4)定义的 k 的证明是一样的。
在假设 H0 :{Xt}是MA(q)下，对m>q有
Pr(
N | m |
1.96) 0.05
1 212 2q2
自相关检验的例子
现在用{Xt}表示第三章例1.1中差分后的化学浓 度数据。在 H0 :{Xt} 是MA(q)下。用 k 代替真
值k 后分别对 q 0,1 计算出
Tq (m)
N ( ) k j k, j1,2, ,N
令 yj xj xN. 记
0
A
0
y1
0
y1
y2
y1
y2
y3
yN 1 yN 0
yN 1 yN
0
yN
0
0
N 1 AAT N
(2.5)
只要yi不全是零则A满秩。
样本自协方差的正定性
事实上，设 y1 yk1 0, yk 0. 则A矩阵
(1.5)
k
定义。其中{ k} 平方可和。如果 {Xt} 的谱密度
f
( )
2 2
| k
k
tk
|, t Z ,
(1.6)
在 0连续，并且 f (0) 0. 则当 N 时，
N ( X N ) d N (0, 2 f (0))
推论
当{ k }绝对可和时，f () 连续。
推论1.3
是
o( 2 ln ln N ). N
除了个别情况，这个阶数一般不能再被改进。
收敛速度(2)
定理1.4 设 {t }是独立同分布的 WN (0, 2 )。线
性平稳序列{Xt}由(1.5)定义。谱密度 f (0) 0。
当以下的条件之一成立时： 1 当k , |k| 以负指数阶收敛于0.
2 谱密度 f () 在 0连续。并且 E | t |r
于由(1.1)定义的
_
XN
。有
E XN
1 N
N
EX k
k 1
1 N
N
k 1
.
所以X
N
是均值
的无偏估计。
均值估计的相合性
好的估计量起码应是相合的。否则，估计量不 收敛到要估计的参数，它无助于实际问题的解 决。
对于平稳序列{Xt} ，如果它的自协方差函数{ k } 收敛到零，则：
利用切比雪夫不等式
设 EX1. 则{Yt} {Xt } 是零均值的平稳序列。 利用
Y N
1 N
N
Yj
j 1
XN
k
1 N
N k
(Yj Y N )(Yjk
j 1
Y N )
1 N
N k
[YjYjk
j 1
Y
N (Yjk
2
Yj) Y N
].
(2.7)
定理2.1的证明
定理2.1的证明
只考虑线性序列。
设{ t }是4阶矩有限的独立同分布的 WN (0, 2 )( 2 0). 实数列{ k }平方可和。 线性平稳序列
m
.
|k|m
(2.13)
则对任何正数h.当 N 时，
N (1 1, 2 2, , h h )
依分布收敛到
(R1, R2 , , Rh ).
ARMA序列{的 j} 满足(2.13).ARMA序列的白噪 声列是独立同分布序列时定理2.5结论成立。
独立同分布列的中心极限定理
推论2.6 如果{Xt}是独立同分布的白噪声，
谱密度平方可积的充要条件
对于实际工作者来讲谱密度平方可积的条件通 常很难验证。于是希望能把定理2.2中谱密度
平方可积的条件改加在自协方差函数 { k} 的收
敛速度上。
定理2.3 对于一平稳序列{X t}. 它的自协方差函 数平方可积的充分必要条件是它的谱密度平方 可积。
这个结论主要是利用实变函数论中Fourier级数
论分布的情况是很有用的。
§4.2 自协方差函数的估计
自协方差估计公式及正定性
k 的相合性 k 的渐进分布
模拟计算
自协方差函数估计公式
k
1 N
N k
(xj
j 1
xN )(x jk
xN ), 0 k
N
1,
k k
(2.2)
样本自相关系数(ACF)估计为
k
k 0
,| k |
然后由均值和自协方差函数解出模型参数。 均值和自协方差可以用矩估计法求。 还要考虑相合性，渐进分布，收敛速度等问题。
均值估计公式
设 x1, x2 , , xN 是平稳列 {X t}的观测。
EXt 的点估计为
xN
1 N
N
xk
k 1
把观测样本看成随机样本时记作大写的
X1, X 2 , , X N
N
Xt, N
t 1
1 N
N
t
t 1
AR(2)的均值计算(2)
估计收敛性的模拟
为了观察 N 时 X 后观察 X N , N n0,n0 1,
N
的收敛可以模拟L个值然 , L的变化。
为了研究固定N情况下 X N 的精度以至于抽样分 布。可以进行M次独立的随机模拟，得到M个X N
的观察值。这种方法对于难以得到估计量的理
第四章
均值和自协方差函数的估计
本章结构
均值的估计 自协方差函数的估计 白噪声检验
§4.1 均值的估计
相合性 中心极限定理 收敛速度 X 的模拟计算
均值、自协方差函数的作用
AR,MA,ARMA模型的参数可以由自协方差函数 唯一确定。
有了样本之后，可以先估计均值和自协方差函 数。
k
N k t 1
( xt
xN )( xtk
xN )
N t 1
(
xt
xN )2
是样本自相关系数，则对任何正整数h:
1:
N (1, 2, , h)
依分布收敛到多元标准正态分布 N (0, Ih ). 这里
Ih 是 h h 的单位矩阵。
自相关检验的例子
实际工作中人们还计算概率 p P(| N 1 || 5.778|). 并且把p称为检验的p值。明显p值越小，数据 提供的否定原假设的依据越充分。现在在 H0 下 ，N 1 近似服从标准正态分布。所以p值几乎是 零，因而必须拒绝{Xt} 是MA(0)的假设。 取q=1时，| T1(m) | 1.96(1 m 6). 所以不能拒绝{X t} 是MA(1)的假设。
N mq
2
2
, m 1, , 6.
2
1 21 22 2q
m 1
2
3
4
5
6
q 0 5.778 0.281 0.951 0.121 1.071 0.116
q 1
0.243 0.821 0.104 0.925 0.100 1.631
在q=0的假设下，{Ta (1)} 5.778 1.96. 所以应当 否定q=0.
相合性
设统计量
^
N
是
的估计，在统计学中有如下的
定义
1
如果
E
^
N
，则称
^
EN
是
的无偏估计。
^
2 如果当 N , E N . 则称 N 是 的渐
进无偏估计。
3
如果^ N 依概率收敛到
^
，则称 N
是
的相
合估计。
4如果^ N a.s. 收敛到 ，则称^ N 是的强相合
估计。
一般情况下，无偏估计比有偏估计来得好，对
Байду номын сангаас
X t j t j , t Z. j
(2.8)
{Xt}有自协方差函数
{ X t }有谱密度
k 2 j jk j
f
()
2 2
|
j
j eij
|2
.
(2.9) (2.10)
设自协方差函数列{ k }平方可和。
设{Wt}为独立同分布的N (0,1) 。
令 定义4 正E态14,时M0间 序12 列(4 )4 1/2 0
N 1
(2.3)
自协方差函数估计公式
估计 k 一般不使用除了 N k 的估计形式：
1 N k
N k
(xj
j 1
xN )(x jk
xN )
(2.4)
因为： 我们不对大的k值计算 k 更重要的是只有除以N的估计式才是正定的。
样本自协方差的正定性
只要观测 x1, x2 ,
正定。
, x 不全相同则 N
如果
和 成立，则 |
k k
|
k k
0
当N 时
N ( X N ) d N (0, 2 f (0))
并且
2 f (0) 0 2 j .
j 1
(1.7)
收敛速度
相合的估计量渐进性质除了是否服从中心极限 定理外，还包括这个估计量的收敛速度。
收敛速度的描述方法之一是所谓的重对数律。 重对数律成立时，得到的收敛速度的阶数一般
用定理2.2得到，只要当 m q : N m 依分布收
敛到 Rm 的分布。
Rm (tm tm 2t m )Wt , m q 1
注意m
t 1
q
1 时，m
0, tm
0, tm
中的 t m
应属于[q, q] ，所以令l t m 有
q
Rm lWlm lq
Rm为期望为0，方差为1 212 2q2 的正态分 布。
Pr(|
XN
| )
E(X N )2 2
0.(
0)
得到
X
N
依概率收敛到
。于是
X
N
是
的相
合估计。
均值估计的性质
定理1.1 设平稳序列 {Xt} 有均值 和自协方差
函数{ k }。则
1
X
N
是
的无偏估计。
2
如果 k
0, 则
XN
是
的相合估计。
3 如果{X t}还是严平稳遍历序列，则 X N 是
j (M 0 j )W0 ( t j t j )Wt . j 0 t 1
Rj (t j t j 2t j )Wt , j 1 t 1
(2.11) (2.12)
样本自协方差和自相关的中心极 限定理
定理2.2 设{t}是独立同分布的 WN (0, 2 )。满 足 4 E14 。如果线性平稳序列(2.8)的谱密 度(2.10)平方可积：
左面会出现一个以 yk值开始非零的斜面。显然
是满秩的。
故 x1, , xN 不全相同时 N 正定。
n(1 n N)作为N 的主子式也是正定的。
k 的相合性
定理2.1 设平稳序列的样本自协方差函数 k由 式(2.2)或(2.4)定义。
1 如果当 k 时， k 0. 则对每个确定的k，
的理论。只有证明 f () 0 时用了周期图(如
P.67定理3.1的证明，那里{ k }绝对可和)。证明
略。
推论2.4 设{t } 是独立同分布的白噪声 WN(0, 2).
满足4
E
4 t
. 如果线性平稳序列(2.8)的自协
方差函数平方可和：k
2 k
.
则定理2.2中的结
论成立。
k 快速收敛条件下的中心极限定理
的强相合估计。
第三条结论利用1.5的遍历定理5.1可得。 一般地，任何强相合估计一定是相合估计。 线性平稳列的均值估计是相合估计。 ARMA模型的均值估计是相合估计。
独立同分布样本的中心极限定 理
若 X1, X 2 , , X Nidd (, 2 ) 。则
N ( X N )d N (0, 2 )