第3章平稳线性ARMA模型5模型检验
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
考虑假设检验问题
H0 : j 0 H1 : j 0, 1 j m
9
ARMA(p, q)模型的诊断检验
由于极大似然估计βˆ 为参数β 的渐近无偏估计，
并且具有渐近正态性。因此，记 2vjj 表示V β 的
第 j j 项元素，则 ˆj 渐近分布为 N j ,T 1 2vjj 。
样本残差的自相关系数为
T
ˆtˆtk
ˆk
t k 1 T
ˆt2
t 1
4
ARMA(p, q)模型的诊断检验
构造检验统计量
m
Q T ˆk2 k 1
则检验ˆt 是否为白噪声样本值的问题可转化为检验
统计量 Q 取值的问题。
5
ARMA(p, q)模型的诊断检验
利用 LB(Ljung-Box)检验统计量
AIC 536.4556 535.7896
SBC 543.2011 540.2866
• 结果
ˆ 2 logT p q 1
非中心化的ARMA( p,q )模型SBC为
SBC T logˆ 2 logT p q 2
19
ARMA(p, q)模型的优化
在实际问题中，我们分别计算模型的AIC值和SBC值，比较其大小， AIC值或者SBC值小的所对应的模型较优一些。在所有通过诊断检验 的模型中使得AIC值或者SBC值达到最小的所对应的模型为相对最优 的模型。我们总在尽可能全面的范围内考察有限多个模型的AIC值和 SBC值，选择AIC值和SBC值达到最小的那个模型作为所选的拟合模 型。因此，这样得到的最优模型只是一个相对最优的模型。
14
ARMA(p, q)模型的优化
关于AIC准则，最早是在线性模型中提出的。一般情况下，AIC准 则拟合精度和参数个数的加权函数
AIC=－2log(模型的极大似然函数值)+2(模型中参数的个数) 使得AIC的值达到最小的模型被认为是最优模型。
15
ARMA(p, q)模型的优化
关于ARMA( p,q )模型，其对数似然函数
t统计量 16.34
3.5
P值 <0.0001 0.0007
结论 显著 显著
28
模型优化
• 问题提出
• 当一个拟合模型通过了检验，说明在一定的置 信水平下，该模型能有效地拟合观察值序列的 波动，但这种有效模型并不是唯一的。
• 优化的目的
• 选择相对最优模型
29
例3.13:拟合某一化学序列
30
序列自相关图
• 假设条件
H0 : j 0 H1 : j 0
1 j m
• 检验统计量
T
nm
ˆ j j a jjQ(~)
~
t(n m)
25
例2.5续
• 检验1950年——1998年北京市城乡居民定期储蓄 比例序列极大似然估计模型的参数是否显著
• 参数检验结果
检验参数
20
模型的显著性检验
• 目的
• 检验模型的有效性（对信息的提取是否充分）
• 检验对象
• 残差序列
• 判定原则
• 一个好的拟合模型应该能够提取观察值序列中几乎所 有的样本相关信息，即残差序列应该为白噪声序列
• 反之，如果残差序列为非白噪声序列，那就意味着残 差序列中还残留着相关信息未被提取，这就说明拟合 模型不够有效
• 参数估计
yieldt
51.26169
t
1 0.42481B
• 模型检验
• 模型显著有效
• 两参数均显著
34
问题
• 同一个序列可以构造两个拟合模型，两个 模型都显著有效，那么到底该选择哪个模 型用于统计推断呢？
• 解决办法
• 确定适当的比较准则，构造适当的统计量，确 定相对最优
35
AIC准则
m
LB T T 2
ˆk2
k 1 T k
可以证明，
m
LB T T 2
ˆk2
~ 2 m, m 1。
k 1 T k
6
ARMA(p, q)模型的诊断检验
因此，对于上述检验统计量，当 LB 的值较大时， 拒绝原假设，说明模型拟合不显著。当 LB 的 值较小时，说明模型拟合显著有效的，检验的 临界值可以查相应的 2 分布获得。
7
ARMA(p, q)模型的诊断检验
参数的显著性检验就是检验模型的每一个未 知参数是否显著为零，其检验的目的就是为了使 得模型更为精简。如果模型中某个参数不显著， 则说明该参数所对应的那个变量的影响不明显， 应该将此变量从拟合模型中删除，最终得到的 模型将是由一系列非零变量组成的。
8
ARMA(p, q)模型的诊断检验
均值
1
t统计量 46.12
6.72
P值 <0.0001
<0.0001
结论 显著
显著
26
例3.8续:对OVERSHORTS序列的拟合模型进行检验
• 残差白噪声检验
延迟阶数 LB统计量
6
3.15
12
9.05
• 参数显著性检验
检验参数 均值
t统计量 －3.75
1
10.60
P值
0.6772 0.6171
13
ARMA(p, q)模型的优化
AIC准则（An information criterion）是由日本统计学家赤池弘次（Akaika）在1973 年提出的。该准则既考虑拟合模型对数据的接近程度，也考虑模型中所含待定参数 的个数。
通常拟合模型的好坏由似然函数值的大小来衡量的。似然函数值越大，说明模 型拟合的程度越好。模型中未知参数个数越多，说明模型中所包含的自变量越多， 进而可以说明模型拟合的准确度会越高。但是，未知参数个数越多，说明模型中所 包含的自变量越多，未知的风险也会越多。而且，由于参数个数越多，参数估计的 难度就更大，估计精度也会更差。
中心化的ARMA( p,q )模型AIC为
AIC T logˆ 2 2 p q 1
非中心化的ARMA( p,q )模型AIC为
AIC T logˆ 2 2 p q 2
17
ARMA(p, q)模型的优化
Akaika在1976年改进了AIC准则，这避免了在大样本情况下，AIC 准则在选择阶数时收敛性不好的缺点。在AIC准则的基础上，提出了 BIC准则。Schwartz在1978年根据Bayes理论也提出了同样的判别准 则，称为SBC准则，其具体定义如下
序列，说明这样的模型还不够有效，通常需要选择其他模型，重新拟 合。
3
ARMA(p, q)模型的诊断检验
ARMA( p, q )模型的残差为
ˆt ˆ B1 ˆ B Xt 其中 ˆ B 1ˆ1B ˆpBp ， ˆ B 1ˆ1B ˆqBq 。
• 最小信息量准则（An Information Criterion ）
• 指导思想
• 似然函数值越大越好
• 未知参数的个数越少越好
•
AIC统计量 AIC
n
ln(ˆ
2
)
2(未知参数个数
)
36
例3.13续
• 用AIC准则和SBC准则评判例3.13中两个拟 合模型的相对优劣
模型 MA(2) AR(1)
10
ARMA(p, q)模型的诊断检验
一般地，上式中用 vˆ jj 代替 v jj ， 2 最小使用残差平
方和估计
Qβˆ
ˆ 2
~ 2 T m
T m
11
ARMA(p, q)模型的诊断检验
检验统计量为
t T m ˆj j ~ t T m
vjjQ βˆ
结论
模型显著 有效
P值 <0.0004 <0.0001
结论 显著 显著
27
例3.9续:对1880-1985全球气表平均温度改变值差分 序列拟合模型进行检验
• 残差白噪声检验
延迟阶数 6 12
LB统计量
5.28 10.30
P值
0.2595 0.4247
结论
模型显著 有效
• 参数显著性检验 检验参数
1 1
取检验水平 ，由此可以得到检验的拒绝域为
t t1 2 T m
12
ARMA(p, q)模型的优化
当一个拟合模型经过了模型的适应性检验和参数检验以后，说明在一 定的检验水平下，所得到的模型可以比较有效地拟合观测值序列的变 化，但是这种有效的模型并不是唯一的，有时针对一个时间序列的观 测值可能会得到两个以上比较有效的拟合模型。这时，模型选择的方 法就被提出，下面我们将引入信息准则概念，解决模型优化问题
31
序列偏自相关图
32
拟合模型一
• 根据自相关系数2阶截尾，拟合MA(2)模型 • 参数估计
yieldt 51.17301 (1 0.32286 B 0.31009 B2 ) t
• 模型检验
• 模型显著有效 • 三参数均显著
33
拟合模型二
• 根据偏自相关系数1阶截尾，拟合MA(1)模型
23
例2.5续
• 检验1950年——1998年北京市城乡居民定 期储蓄比例序列拟合模型的显著性
• 残差白噪声序列检验结果
延迟阶数 LB统计量
6
5.83
12
10.28
18
11.38
P值 0.3229
0.5050 0.8361
检验结论
拟合模型 显著有效
24
参数显著性检验
• 目的
• 检验每一个未知参数是否显著非零。删除不显 著参数使模型结构最精简
SBC=－2log(模型的极大似然函数值)+log(T)(模型中参数的个数) SBC 准则对于 AIC 准则的改进就是将未知参数个数的权数由 2 改为 样本容量T 的对数，即 log(T)。可以证明，SBC 准则是最优模型的真 实阶数的相合估计。
18
ARMA(p, q)模型的优化
关于ARMA( p,q )模型，定义SBC如下 中心化的ARMA( p,q )模型SBC为
模型检验
• 模型的显著性检验
• 整个模型对信息的提取是否充分
• 参数的显著性检验
• 模型结构是否最简
1
ARMA(p, q)模型的诊断检验
ARMA( p,q )模型的建立是一个反复适应的过程，从模型 识别和参数估计开始，在进行了参数估计以后，通过假 设检验来检查模型的适应性。一般地，与回归分析类似， 关于模型的诊断检验有两类问题。一类是模型的显著性 检验，另外一类是参数的显著性检验。
Lθ T
2log 2 1 log
2
2
1 log 2
VT1
1
2
2
XVT1X
1 log 2 2
16
ARMA(p, q)模型的优化
对于中心化的ARMA( p,q )模型未知参数个数为 p q 1个，非中心 化的ARMA( p,q )模型未知参数个数为 p q 2个，所以
2
ARMA(p, q)模型的诊断检验
t 应该满足 Et 0, Var t 2 。对于任何已经经过模型识别和参数估
计得到的模型， ˆt 是未观测的白噪声 t 的估计，所以模型的显著性检
验就是基于残差序列 ˆt 的分析得到的。如果残差序列ˆt 是白噪声 序列，则这样的模型就是有效模型。反之，残差序列ˆt 不是白噪声
21
假设条件
• 原假设：残差序列为白噪声序列
H0：1 2 m 0,m 1
• 备择假设：残差序列为非白噪声序列
H1：至少存在某个 k 0,m 1，k m
22
检验统计量
• LB统计量
m
LB n(n 2)
(
ˆ k2
) ~ 2 (m)
k1 n k
H0 : j 0 H1 : j 0, 1 j m
9
ARMA(p, q)模型的诊断检验
由于极大似然估计βˆ 为参数β 的渐近无偏估计，
并且具有渐近正态性。因此，记 2vjj 表示V β 的
第 j j 项元素，则 ˆj 渐近分布为 N j ,T 1 2vjj 。
样本残差的自相关系数为
T
ˆtˆtk
ˆk
t k 1 T
ˆt2
t 1
4
ARMA(p, q)模型的诊断检验
构造检验统计量
m
Q T ˆk2 k 1
则检验ˆt 是否为白噪声样本值的问题可转化为检验
统计量 Q 取值的问题。
5
ARMA(p, q)模型的诊断检验
利用 LB(Ljung-Box)检验统计量
AIC 536.4556 535.7896
SBC 543.2011 540.2866
• 结果
ˆ 2 logT p q 1
非中心化的ARMA( p,q )模型SBC为
SBC T logˆ 2 logT p q 2
19
ARMA(p, q)模型的优化
在实际问题中，我们分别计算模型的AIC值和SBC值，比较其大小， AIC值或者SBC值小的所对应的模型较优一些。在所有通过诊断检验 的模型中使得AIC值或者SBC值达到最小的所对应的模型为相对最优 的模型。我们总在尽可能全面的范围内考察有限多个模型的AIC值和 SBC值，选择AIC值和SBC值达到最小的那个模型作为所选的拟合模 型。因此，这样得到的最优模型只是一个相对最优的模型。
14
ARMA(p, q)模型的优化
关于AIC准则，最早是在线性模型中提出的。一般情况下，AIC准 则拟合精度和参数个数的加权函数
AIC=－2log(模型的极大似然函数值)+2(模型中参数的个数) 使得AIC的值达到最小的模型被认为是最优模型。
15
ARMA(p, q)模型的优化
关于ARMA( p,q )模型，其对数似然函数
t统计量 16.34
3.5
P值 <0.0001 0.0007
结论 显著 显著
28
模型优化
• 问题提出
• 当一个拟合模型通过了检验，说明在一定的置 信水平下，该模型能有效地拟合观察值序列的 波动，但这种有效模型并不是唯一的。
• 优化的目的
• 选择相对最优模型
29
例3.13:拟合某一化学序列
30
序列自相关图
• 假设条件
H0 : j 0 H1 : j 0
1 j m
• 检验统计量
T
nm
ˆ j j a jjQ(~)
~
t(n m)
25
例2.5续
• 检验1950年——1998年北京市城乡居民定期储蓄 比例序列极大似然估计模型的参数是否显著
• 参数检验结果
检验参数
20
模型的显著性检验
• 目的
• 检验模型的有效性（对信息的提取是否充分）
• 检验对象
• 残差序列
• 判定原则
• 一个好的拟合模型应该能够提取观察值序列中几乎所 有的样本相关信息，即残差序列应该为白噪声序列
• 反之，如果残差序列为非白噪声序列，那就意味着残 差序列中还残留着相关信息未被提取，这就说明拟合 模型不够有效
• 参数估计
yieldt
51.26169
t
1 0.42481B
• 模型检验
• 模型显著有效
• 两参数均显著
34
问题
• 同一个序列可以构造两个拟合模型，两个 模型都显著有效，那么到底该选择哪个模 型用于统计推断呢？
• 解决办法
• 确定适当的比较准则，构造适当的统计量，确 定相对最优
35
AIC准则
m
LB T T 2
ˆk2
k 1 T k
可以证明，
m
LB T T 2
ˆk2
~ 2 m, m 1。
k 1 T k
6
ARMA(p, q)模型的诊断检验
因此，对于上述检验统计量，当 LB 的值较大时， 拒绝原假设，说明模型拟合不显著。当 LB 的 值较小时，说明模型拟合显著有效的，检验的 临界值可以查相应的 2 分布获得。
7
ARMA(p, q)模型的诊断检验
参数的显著性检验就是检验模型的每一个未 知参数是否显著为零，其检验的目的就是为了使 得模型更为精简。如果模型中某个参数不显著， 则说明该参数所对应的那个变量的影响不明显， 应该将此变量从拟合模型中删除，最终得到的 模型将是由一系列非零变量组成的。
8
ARMA(p, q)模型的诊断检验
均值
1
t统计量 46.12
6.72
P值 <0.0001
<0.0001
结论 显著
显著
26
例3.8续:对OVERSHORTS序列的拟合模型进行检验
• 残差白噪声检验
延迟阶数 LB统计量
6
3.15
12
9.05
• 参数显著性检验
检验参数 均值
t统计量 －3.75
1
10.60
P值
0.6772 0.6171
13
ARMA(p, q)模型的优化
AIC准则（An information criterion）是由日本统计学家赤池弘次（Akaika）在1973 年提出的。该准则既考虑拟合模型对数据的接近程度，也考虑模型中所含待定参数 的个数。
通常拟合模型的好坏由似然函数值的大小来衡量的。似然函数值越大，说明模 型拟合的程度越好。模型中未知参数个数越多，说明模型中所包含的自变量越多， 进而可以说明模型拟合的准确度会越高。但是，未知参数个数越多，说明模型中所 包含的自变量越多，未知的风险也会越多。而且，由于参数个数越多，参数估计的 难度就更大，估计精度也会更差。
中心化的ARMA( p,q )模型AIC为
AIC T logˆ 2 2 p q 1
非中心化的ARMA( p,q )模型AIC为
AIC T logˆ 2 2 p q 2
17
ARMA(p, q)模型的优化
Akaika在1976年改进了AIC准则，这避免了在大样本情况下，AIC 准则在选择阶数时收敛性不好的缺点。在AIC准则的基础上，提出了 BIC准则。Schwartz在1978年根据Bayes理论也提出了同样的判别准 则，称为SBC准则，其具体定义如下
序列，说明这样的模型还不够有效，通常需要选择其他模型，重新拟 合。
3
ARMA(p, q)模型的诊断检验
ARMA( p, q )模型的残差为
ˆt ˆ B1 ˆ B Xt 其中 ˆ B 1ˆ1B ˆpBp ， ˆ B 1ˆ1B ˆqBq 。
• 最小信息量准则（An Information Criterion ）
• 指导思想
• 似然函数值越大越好
• 未知参数的个数越少越好
•
AIC统计量 AIC
n
ln(ˆ
2
)
2(未知参数个数
)
36
例3.13续
• 用AIC准则和SBC准则评判例3.13中两个拟 合模型的相对优劣
模型 MA(2) AR(1)
10
ARMA(p, q)模型的诊断检验
一般地，上式中用 vˆ jj 代替 v jj ， 2 最小使用残差平
方和估计
Qβˆ
ˆ 2
~ 2 T m
T m
11
ARMA(p, q)模型的诊断检验
检验统计量为
t T m ˆj j ~ t T m
vjjQ βˆ
结论
模型显著 有效
P值 <0.0004 <0.0001
结论 显著 显著
27
例3.9续:对1880-1985全球气表平均温度改变值差分 序列拟合模型进行检验
• 残差白噪声检验
延迟阶数 6 12
LB统计量
5.28 10.30
P值
0.2595 0.4247
结论
模型显著 有效
• 参数显著性检验 检验参数
1 1
取检验水平 ，由此可以得到检验的拒绝域为
t t1 2 T m
12
ARMA(p, q)模型的优化
当一个拟合模型经过了模型的适应性检验和参数检验以后，说明在一 定的检验水平下，所得到的模型可以比较有效地拟合观测值序列的变 化，但是这种有效的模型并不是唯一的，有时针对一个时间序列的观 测值可能会得到两个以上比较有效的拟合模型。这时，模型选择的方 法就被提出，下面我们将引入信息准则概念，解决模型优化问题
31
序列偏自相关图
32
拟合模型一
• 根据自相关系数2阶截尾，拟合MA(2)模型 • 参数估计
yieldt 51.17301 (1 0.32286 B 0.31009 B2 ) t
• 模型检验
• 模型显著有效 • 三参数均显著
33
拟合模型二
• 根据偏自相关系数1阶截尾，拟合MA(1)模型
23
例2.5续
• 检验1950年——1998年北京市城乡居民定 期储蓄比例序列拟合模型的显著性
• 残差白噪声序列检验结果
延迟阶数 LB统计量
6
5.83
12
10.28
18
11.38
P值 0.3229
0.5050 0.8361
检验结论
拟合模型 显著有效
24
参数显著性检验
• 目的
• 检验每一个未知参数是否显著非零。删除不显 著参数使模型结构最精简
SBC=－2log(模型的极大似然函数值)+log(T)(模型中参数的个数) SBC 准则对于 AIC 准则的改进就是将未知参数个数的权数由 2 改为 样本容量T 的对数，即 log(T)。可以证明，SBC 准则是最优模型的真 实阶数的相合估计。
18
ARMA(p, q)模型的优化
关于ARMA( p,q )模型，定义SBC如下 中心化的ARMA( p,q )模型SBC为
模型检验
• 模型的显著性检验
• 整个模型对信息的提取是否充分
• 参数的显著性检验
• 模型结构是否最简
1
ARMA(p, q)模型的诊断检验
ARMA( p,q )模型的建立是一个反复适应的过程，从模型 识别和参数估计开始，在进行了参数估计以后，通过假 设检验来检查模型的适应性。一般地，与回归分析类似， 关于模型的诊断检验有两类问题。一类是模型的显著性 检验，另外一类是参数的显著性检验。
Lθ T
2log 2 1 log
2
2
1 log 2
VT1
1
2
2
XVT1X
1 log 2 2
16
ARMA(p, q)模型的优化
对于中心化的ARMA( p,q )模型未知参数个数为 p q 1个，非中心 化的ARMA( p,q )模型未知参数个数为 p q 2个，所以
2
ARMA(p, q)模型的诊断检验
t 应该满足 Et 0, Var t 2 。对于任何已经经过模型识别和参数估
计得到的模型， ˆt 是未观测的白噪声 t 的估计，所以模型的显著性检
验就是基于残差序列 ˆt 的分析得到的。如果残差序列ˆt 是白噪声 序列，则这样的模型就是有效模型。反之，残差序列ˆt 不是白噪声
21
假设条件
• 原假设：残差序列为白噪声序列
H0：1 2 m 0,m 1
• 备择假设：残差序列为非白噪声序列
H1：至少存在某个 k 0,m 1，k m
22
检验统计量
• LB统计量
m
LB n(n 2)
(
ˆ k2
) ~ 2 (m)
k1 n k