ARMA模型的参数估计

2. AR(p)模型参数的最小二乘估计
如果
是自回归系数
的估计定义为
的估计，白噪声
通常
为残差。
我们把能使
(1.6)
达到极小值的 称为 的最小二乘估计。
记
则 乘估计为
即
，于是 的最小二
相应地，白噪声方差 的最小二乘估计
式中
为 的p个分量。
定理1.2 设AR(p)模型中的白噪声 是独
立同分布的，
时，
依分布收敛到k维正态分布
。
推论：在定理1.3的条件下，对k>p, 到标准正态分布N(0,1)。
依分布收敛
根据推论，对于AR(p)序列和k>p，当样本量n比较大 时， 以近似于0.95的概率落在区间
之内。于是对于某个固定的k，以
作为p的估计。
或者根据推论有如下的检验方法：对于某个正整数p, 显著地异于零，而
递推最后得到矩估计
上式是由求偏相关函数的公式： 导出。
定理1.1 如果AR(p)模型中的 是独立同分布的 ，则当 时
(1)
(2)
依分布收敛到p维正态分
布
。
注：用 表示 的第 元素时，可知 依分布收敛到 ，于是 的
95%的渐近置信区间是
在实际问题中， 未知，可用 的 元素 代替 ，得到 的近似置信区间
将样本自协方差函数值代入得
(2) 参数 的最小二乘估计 分别为
例1.2 求AR(2)模型
参数
的估计，这里n=300,
(1) AR(2)模型的矩估计为
计算出的前5个样本协方差函数值为 将其值代入上式得： (2) 最小二乘估计
注：一般在求高阶AR(p)模型参数的矩估计时，为了 避免求高阶逆矩阵，可采用求偏相关函数的递推算法 ，求出
对于AR(p)模型，自回归系数 由AR(p)序列的自协方
差函数
通过Yule-Walker方程
唯一决定，白噪声方差 由 决定。
AR(p)模型的自回归系数和白噪声方差的矩估计 就由样本Yule-Walker方程
(1.3)
和 决定。
(1.4)
令 则(1.3),(1.4)式可写为
实际应用中，对于较大的p,为了加快计算速度可采用 如下的Levison递推方法
和零均值
数据
的预处理：如果样本均值不为零，需将它们
中心化，即将它们都同时减去其样本均值
再对序列按(1.1)式的拟合方法进行拟合。
假定数据
适合于以下模型
(1.2)
其中，p为给定的非负整数，
为未知参数，记
为系数参数， 为独立同分布序列，且
，与
独立，参数
满足平稳性条件。
1. AR(p)模型参数的Yule-Walker估计
近似等于零,其满足
(或
)的
个数占 的比例近似地为68.3%(或95.5%),则近似
地认为 在p步截尾， 初步判定为AR(p)。
例1.3（例1.1续）使用样本偏相关函数对AR(p)的模 型阶数作初步的判定。 结果：取上限 ，样本自相关函数 呈拖尾状， 而从15个偏相关函数来看,除 显著异于零之外，其余 14个中绝对值不大于
是自回归系数
的最小二乘估计，则当 时，
依分布收敛到p维正态分布
注：对于较大的n，最小二乘估计和矩估计 (Yule-Walker)估计的差别不大。
3. AR(P)模型的极大似然估计
假定模型AR(p)中的 为正态分布，则观测向量 的高斯似然函数为
相应的对数似然函数为
其中， 为
的协方差阵， 表示
的行列式，使得对数似然函数
前15个样本偏相关函数
2. AIC准则方法(A-Information Criterion)
为了使拟合残差平方和 尽量小，而又不至于引 入过多的虚假参数的估计，Akaike于1973年引入如下 的准则函数，假定已有阶数p的上阶 ，
AIC(k)的最小值点 (若不唯一，应取小的)称为AR(p) 模型的AIC定阶，即

如果时间序列 是平稳AR序列，根据此
序列的一段有限样本值
对
的模型进行统计，称为自回归模型拟 合
自回归模型拟合主要包括：
(1) 判断自回归模型AR的阶数；
(2) 估计模型的参数；
(3) 对拟合模型进行检验。
一. AR(p)模型的参数估计
目的：为观测数据建立AR(p)模型
(1.1)
假定自回归阶数p已知，考虑回归系数 白噪声 的方差 的估计。
达到极大值的 和 称为 和 的极大似然估计。
从另一角度考虑：
注：当n充分大时，AR(p)模型参数的极大似 然估计、最小二乘估计和矩估计(YuleWalker估计)三者都非常接近，即三者渐近相 等，它们都可以作为AR(p)模型的参数估计， 这是AR(p)模型的独有的优点。
例1.1. 由下列AR(1)序列 产生长度为n=300的样本，计算出前5个样本自协方差函 数值为 求参数的矩估计和最小二乘估计。 (1) 参数 的矩估计 分别为
ARMA模型的参数估计
2020年4月21日星期二
模型参数估计一般分两步：
1、找出模型参数的初估计。常见三种方法（矩 估计直接法，矩估计的逆函数法，矩估计的逆 相关函数法）
2、在初估计的基础上，根据一定准则求得模型 参数的精估计。常见两种方法（线性和非线性 最小二乘方法，近似极大似然估计）
第一节 自回归模型的拟合
即为 。
的矩估计，将它们代入 的表达式可得
二. AR(p)模型的定阶
1. 偏相关函数的分析方法
一个平稳序列是AR(p)序列当且仅当它的偏相关函数 是p步截尾的。
如果 p步截尾：当 时，
；
而
，就以 作为p的估计。
定理1.3 设
由
定义，如果AR(p)模型中的白噪声是独立同分布的， ，
则对确定的k>p,当
具体步骤：
1. 取定p=k时，根据数据
使用前一小节所
提的任何一种参数的估计方法，给出噪声方差
的估计 ；
2. 再找出AIC取极小值时，所对应的阶数p.
注：AIC定阶并不相合，AIC定阶通常会对阶 数略有高估。故在应用中，当样本量不是很大 时，使用AIC定阶方法。
为了克服AIC定阶的不相合性，可使用BIC准则方法。 设 为AR序列，则BIC准则函数为
的有10个，于是
结论：初步判定为AR(1)模型。
前15个样本偏相关函数
例1.4（例1.2续）使用样本偏相关函数对AR(p)的模 型阶数作初步的判定。 结果：取上限 ，样本自相关函数 呈拖尾状， 而从15个偏相关函数来看，除 显著异于零之外， 其余14个中绝对值不大于
的有9个,于是
结论：初步判定为AR(2)模型。