时间序列分析-第四章 均值和自协方差函数的估计

可以据此计算 的 95% 置信区间。
[ X N 1.96 / N , X N 1.96 / N ].

(1.3)
其中的1.96也经常用2近似代替。
平稳列的均值估计的中心极限定 理
定理1.2 设 { t }是独立同分布的 WN (0, 2 )，线 性平稳序列 {X t } 由 X t k t k , t Z , (1.5) k 定义。其中{ k } 平方可和。如果 { X t } 的谱密度
定理2.1的证明
定理2.1的证明
只考虑线性序列。 设{ t }是4阶矩有限的独立同分布的 k } 平方可和。 WN (0, 2 )( 2 0). 实数列{ 线性平稳序列

Xt
j


j t j
, t Z.
(2.8)

{ X t }有自协方差函数
k 2 j j k
j (M 0 j )W0 ( t j t j )Wt . j 0
t 1
(2.11)
R j ( t j t j 2 t j )Wt , j 1
t 1

(2.12)
样本自协方差和自相关的中心极 限定理

定理2.2 设 { t }是独立同分布的 WN (0, 2 )。满 足 4 E14 。如果线性平稳序列(2.8)的谱密 度(2.10)平方可积：
均值估计公式

设 x1 , x2 ,, xN 是平稳列 { X t }的观测。 EX t 的点估计为
xN

1 N
x
k 1
N
k

把观测样本看成随机样本时记作大写的
X1 , X 2 ,, X N
相合性




设统计量 N 是 的估计，在统计学中有如下的 定义 ^ ^ 1 如果 E N ，则称 E N 是 的无偏估计。 ^ 2 如果当 N , E N . 则称 N 是 的渐 进无偏估计。 ^ ^ 3 如果 N 依概率收敛到 ，则称 N 是 的相 合估计。 ^ ^ 4如果 N a.s. 收敛到 ，则称 N 是 的强相合 估计。
AR(2)的均值计算

i i A ( z ) (1 e z )(1 e z) 令 考虑AR(2)模型 A(B ) X t t
X t 2 cos X t 1 X t 2 t 2 为模拟方便设 {t }iid N (0, ) 。
, a.s., , a.s.. lim k k lim k k
N N
定理2.1的证明

下面只对由(2.2)定义的样本自协方差函数证明 的证明是一样的。 定理2.1。对由(2.4)定义的 k 设 EX1. 则{Yt } {X t } 是零均值的平稳序列。 利用
样本自相关系数(ACF)估计为

k
(2.2)
k ,| k | N 1 0
(2.3)
自协方差函数估计公式

估计 k 一般不使用除了 N k 的估计形式： N k 1 (2.4) ( x j x N )( x j k x N )
N k
j 1
0 y1 y N 1
y1 y2 yN 0
y2 y3 0
y N 1 yN
yN 0 0
N 1 AAT N
(2.5)
只要 y i不全是零则A满秩。
样本自协方差的正定性



事实上，设 y1 yk 1 0, yk 0. 则A矩阵 左面会出现一个以 yk 值开始非零的斜面。显然 是满秩的。 N 正定。 故 x1 ,, xN 不全相同时 n (1 n N ) 作为 的主子式也是正定的。 N
( R1, R2 ,, Rh ).
自相关检验的例子

例2.1(接第三章例1.1)对MA(q)序列 { X t } 。利 用定理2.2得到，只要当 m q : N m 依分布收 敛到 Rm 的分布。
m 0, t m 0, t m 中的 t m 注意m q 1 时， 应属于[q, q] ，所以令l t m 有
2 1 2 q
1.96) 0.05
自相关检验的例子

现在用 { X t }表示第三章例1.1中差分后的化学浓 代替真 度数据。在 H0 :{X t } 是MA(q)下。用 k 值k 后分别对 q 0,1 计算出
Tq (m) N m q 2 2 1 2 1 2 q
第四章
均值和自协方差函数的估计
本章结构

均值的估计 自协方差函数的估计 白噪声检验
§4.1 均值的估计


相合性 中心极限定理 收敛速度 X 的模拟计算
均值、自协方差函数的作用




AR,MA,ARMA模型的参数可以由自协方差函数 唯一确定。 有了样本之后，可以先估计均值和自协方差函 数。 然后由均值和自协方差函数解出模型参数。 均值和自协方差可以用矩估计法求。 还要考虑相合性，渐进分布，收敛速度等问题。
f ( ) d
2


则对任何正整数h，当 N 时，有以下结果 , ,, ) 依分布收敛到 1 N ( 0 1 h 0 1 h
(0 , 1 ,, h ).
, ,, ) 依分布收敛到 2 N ( 1 2 h 1 2 h

第三条结论利用1.5的遍历定理5.1可得。 一般地，任何强相合估计一定是相合估计。 线性平稳列的均值估计是相合估计。 ARMA模型的均值估计是相合估计。
独立同分布样本的中心极限定 理

若 X1, X 2 ,, X N idd (, 2 ) 。则
2 N ( X N )dN (0, )

{ X t }有谱密度
j
(2.9)
2 f ( ) | j eij |2 . 2 j
(2.10)

设自协方差函数列 { k }平方可和。 设 {Wt }为独立同分布的 N (0,1) 。 令 4 E14 , M 0 12 ( 4 4 )1/2 0 定义正态时间序列

k
k 0 成立，则
d N ( X N ) N (0, 2 f (0))

并且 2 f (0) 0 2 j .
j 1
(1.7)
收敛速度


相合的估计量渐进性质除了是否服从中心极限 定理外，还包括这个估计量的收敛速度。 收敛速度的描述方法之一是所谓的重对数律。 重对数律成立时，得到的收敛速度的阶数一般 是
^

一般情况下，无偏估计比有偏估计来得好，对 _ 于由(1.1)定义的 X N 。有
E XN


1 N
1 EX k N k 1
N
.
k 1
N
所以 X N 是均值 的无偏估计。
பைடு நூலகம்
均值估计的相合性


好的估计量起码应是相合的。否则，估计量不 收敛到要估计的参数，它无助于实际问题的解 决。 对于平稳序列{X t } ，如果它的自协方差函数{ k }
Rm
l q
Rm ( t m t m 2t m )Wt , m q 1
t 1

W
l
q
l m

2 Rm为期望为0，方差为 1 212 2q 的正态分

布。 在假设 H0 :{X t }是MA(q)下，对m>q有
Pr( | N | m 1 2 2
因为： 我们不对大的k值计算 k 更重要的是只有除以N的估计式才是正定的。
样本自协方差的正定性


N 只要观测 x1 , x2 ,, xN 不全相同则 正定。 令 y j x j xN . 记
) ( k j k , j 1,2,, N
0 0 A y1
2 ln ln N o( ). N

除了个别情况，这个阶数一般不能再被改进。
收敛速度(2)

定理1.4 设 { t }是独立同分布的 WN (0, )。线 性平稳序列 { X t }由(1.5)定义。谱密度 f (0) 0 。 当以下的条件之一成立时： 1 当 k , |k| 以负指数阶收敛于0. 2 谱密度 f ( ) 在 0 连续。并且 E | t |r 对某个 r 2 成立。
N k 1 N 1 Y N Yj X N (Y j Y N )(Y j k Y N ) k N j 1 N j 1 2 1 N k [Y jY j k Y N (Y j k Y j ) Y N ]. N j 1
(2.7)
k 的相合性

定理2.1 设平稳序列的样本自协方差函数 k由 式(2.2)或(2.4)定义。 k 0. 则对每个确定的k， 1 如果当 k 时， k是 k 的渐进无偏估计：
. E lim k k
N

2如果{X t } 是严平稳遍历序列。则对每个确定 和 分别是 和 的强相合估计： 的k, k k k k

2 f ( ) | k t k |, t Z , (1.6) 2 k 在 0 连续，并且 f (0) 0. 则当 N 时，
d N ( X N ) N (0, 2 f (0))
推论

f ( ) 连续。 当{ k } 绝对可和时， 推论1.3 如果 k | k | 和 当N 时
2

则有重对数律
limsup
N
N ( X N ) 2 ln ln N
2 f (0), a.s.
(1.8) (1.9)
liminf
N
N ( X N ) 2 f (0), a.s. 2 ln ln N
易见重对数律满足时
( X N ) o(1) 0( ln ln N N ), ( X n ) / o(1) 不收敛。 N 2ln ln N
§4.2 自协方差函数的估计


自协方差估计公式及正定性 的相合性 k 的渐进分布 k 模拟计算
自协方差函数估计公式

1 k N
N k j 1
(x
j
x N )( x j k x N ), 0 k N 1,
k k
收敛到零，则：

利用切比雪夫不等式
Pr(| X N | )


E ( X N )2


得到 X N 依概率收敛到 。于是 X N 是 的相 合估计。

2
0.( 0)

均值估计的性质

定理1.1 设平稳序列 { X t } 有均值 和自协方差 函数{ k }。则 1 X N 是 的无偏估计。 2 如果 k 0, 则 X N 是 的相合估计。 3 如果{ X t }还是严平稳遍历序列，则 X N 是 的强相合估计。
2
XN
1 N
X
t 1
N
t
, N
1 N

t 1
N
t
AR(2)的均值计算(2)
估计收敛性的模拟

为了观察 N 时 X N 的收敛可以模拟L个值然 后观察 X N , N n0,n0 1,, L的变化。 为了研究固定N情况下 X N 的精度以至于抽样分 布。可以进行M次独立的随机模拟，得到M个X N 的观察值。这种方法对于难以得到估计量的理 论分布的情况是很有用的。