3.1 平稳时间序列模型的基本概念

k k k 1
（四）白噪声序列和独立同分布序列
• 1.白噪声（White noise）序列 • 定义：若时间序列{Xt}满足下列性质：
(1) EX
t
0 0
2
( 2 ) EX t X
t s t s
s
则称此序列为白噪声序列。
上一页 下一页 返回本节首页
•
上一页 下一页 返回本节首页
• 3.时间序列的线性与延迟联合运算
• yt=a0xt+a1xt-1+ … +apXt-p t=0,1,2…为时间 序列线性与延迟联合运算。
• 当ai=1/p，i=0,1,2, …时，{Yt}即为对序列{Xt} 的移动平均序列。
• 4.时间序列的非线性运算 • 非线性运算的形式是多种多样的：如 • yt=xt2+axt，yt=xt-1/(1+xt-2)2等。
独立增量随机过程
独立增量过程是物理上重要的马氏过程。随机过程X(t)，t
>=0，用X(t1,t2)表示随机变量X(t2)-X(t1),并称为X(t)在(t1,t2)上的 增量，如果对一切t1<t2<……<tn，增量是相互独立的，则称X(t)， t>=0是一个独立增量过程。 马氏过程：从对过去记忆性角度来考虑的，简单的说，一阶马氏
过程表示：将来时刻tn的状态xn的统计特性仅取决于现在时刻tn-1
时刻的值xn-1。
上一页 下一页 返回本节首页
二阶矩过程
定义：若一个随机过程X(t) ， t T ，如果对于一 切 tT ,总有
E[ X
2
( t )]
则称此过程为二阶矩过程。宽平稳过程是二阶矩过程中的一 类。高斯过程也是二阶矩过程。高斯分布是指随机过程的各
( t , s ) E ( X t t )( X s s )

a a

a
a
( x t )( y s ) dF t , s ( x , y )
由此可见，时间序列的自协方差函数是 随机变量间协方差推广差. 时间序列自协方差函数具有对称性：
(t , s ) ( s , t )
•
我们所要讨论的时间序列分析，只是对 平稳序列及其有关的随机序列进行统计分析， 而不是对所有的随机序列进行统计分析。
（二）随机过程与随机变量之间的关系
区别：
1、随机变量是定义在样本空间上的一个单值实函数，随 机过程是一族时间t的函数。
2、对应于一定随机试验和样本空间的随机变量与时间t无 关，而随机过程与时间密切相关。 3、随机变量描述事物在某一特定时点上的静态，随机过 程描述事物发展变化的动态。
• 2.均值函数 • 一个时间序列{Xt，t=0, ±1, ±2 ……}的 均值函数指：
t EX
t
t


a
a
XdF t ( X t )
t 即为{X }的均值函数。它实质上是一个实数列，
被{Xt}的一维分布族所决定。均值表示随机过程在
各个时刻的摆动中心。
• 3. 时间序列的自协方差函数
该定义蕴涵的四种情况：
1、当e和t都是变量时，x(t)是一族时间的函数，它表 示一个随机过程； 2、当e给定，t为变量时， x(t)是一个时间t的函数， 称它为样本函数，有时也称为一次实现。 3、当t给定，e为变量时， x(t)是一个随机变量。
4、当e、t均给定时， x(t) 是一个标量或者矢量。
白噪声序列是一种特殊的宽平稳序列， 也是一种最简单的平稳序列，它在时间序列 分析中占有非常重要的地位。
• 2.独立同分布（iid）序列
• 定义：如果时间序列{Xt}中的随机变量Xt，t=0, ±1, ±2 ……是相互独立的随机变量，且Xt具 有相同的分布（当Xt有一阶矩时，往往还假 定EXt=0）,则称{Xt}为独立同分布序列。
3.1 时间序列的基本概念
一、随机过程 二、平稳时间序列 三、随机过程的特征描述 四、线性差分方程
一、随机过程
•
（一）随机过程的定义 （二）随机过程与随机变量之间的关系
上一页 下一页 返回本节首页
（一）随机过程的定义
1.引言：事物的变化过程可分为两类：对 于每一个固定的时刻t，变化的结果， 一类是确定的，这个结果可用t的某 个确定性函数来描述； 另一类结果是随机的，即以某种可 能性出现多个（有限多个或无限多个） 结果之一。
(2)
(x nk
t 1
1
nk
t
上一页 下一页 返回本节首页
• 通过证明有如下结论：
ˆ • 上述样本自协方差函数 ˆ ˆ 都是总体自协方 ˆ 差函数 k的渐近无偏估计，且ˆ 比 ˆ 的偏差 ˆ 要大。但是， k比 ˆˆ 的方差小，且在大样本情 况下（n很大），二者差别不大，因此我们 通常用 ˆ k 作为样本自协方差函数。
(1) t EX t c ( 2 ) ( t , s ) E ( X t c )( X s c ) ( t s , 0 )
则称该时间序列为宽平稳过程。 此定义表明，宽平稳过程各随机变量的均 值为常数，且任意两个变量的协方差仅与时间 间隔(t-s)有关。 （宽平稳过程只涉及一阶和二阶矩）
• 5.平稳线性序列 • 设{at}为正态白 噪声序列，则称序列：
xt
j


jat j
j


2 j

为线性平稳序列。
x 注：可以证明， t 为一宽平稳序列。
（七）偏自相关函数
• 偏自相关函数：指扣除Xt和Xt+k之间的随机变 量Xt+1,Xt+2, …Xt+k-1等影响之后的Xt和Xt+k之 间的相关性。 • 偏自相关函数一般用 kk 表示。 偏自相关其实就是如下的条件相关： cov(Xt,Xt+k|Xt+1,Xt+2 … Xt+k-1)
• 3.严平稳过程和宽平稳过程的联系和区别 • 区别： • （1）严平稳的概率分布随时间的平移而不变， 宽平稳序列的均值和自协方差随时间的平移而 不变。 • （2）一个严平稳序列，不一定是宽平稳序列； 一个宽平稳序列也不一定是严平稳序列。
• 联系：
• （1）若一个序列为严平稳序列，且有有穷的 二阶矩，那么该序列也必为宽平稳序列。
• （2）若时间序列为正态序列（即它的任何有 限维分布都是正态分布），那么该序列为严 平稳序列和宽平稳序列是相互等价的。
• 注：由于在实际中严平稳序列的条件非常难 以满足，我们研究的通常是宽平稳序列. • 在以后讨论中，若不作特别说明，平稳 序列即指宽平稳序列。
（二）时间序列的分布、均值和协方差函数
二、平稳时间序列
• （一）两种不同的平稳性定义 • （二）时间序列的分布、均值和协方差函数 • （三）平稳序列的自协方差和自相关函数
• （四）白噪声序列和独立同分布序列
• （五）独立增量随机过程、二阶矩过程 • （六）线性平稳序列 • （七）偏自相关函数
上一页 下一页 返回本节首页
（一）两种不同的平稳性定义
当 T , , 则随机过程可表示成 当 t { 0 , 1, 2 , }时随机过程可写为
{ X t , t } { X t , t 0 , 1, 2 , }
此类随机过程又称随机序列（random sequence)或时间序列（time series)。对于 一个连续时间的随机过程，通过等间隔采 样，也是一个随机序列。
上一页 下一页 返回本节首页
（二）样本自协方差函数
• 对于时间序列的一次样本现，我们也 需要通过样本自协方差函数估计总体自协方 差函数。这里有两种形式：
1
(1)
ˆ k
ˆ ˆ k
(x n
t 1
nk
t
百度文库
x )( x t k x ) x )( x t k x )
上一页 下一页 返回本节首页
2.定义：
设E是随机试验，S是它的样本空间，如果对 于每一个e s ，我们总可以依某种规则确定 一时间t的函数
X ( e , t ), t T
与之对应（T是时间t的变化范围），于是，对于 所有的的e s 来说，就得到这族时间t的函 数为随机过程，而族中每一个函数为这个随机过 程的样本函数（或一次实现）。
• 可见独立同分布序列{Xt}是一个严平稳序列。
•
一般来说，白噪声序列与独立同分布序 列是不同的两种序列，但是当白噪声序列为正 态序列时，它也是独立同分布序列，此时我们 称其为正态白噪声序列。
4
2
0
-2
正 态 白 噪 声 序 列
-4 80 82 84 86 88 90 92 94 96
（五）独立增量随机过程、二阶矩过程
上一页 下一页 返回本节首页
三、随机过程的特征描述
• （一）样本均值
• （二）样本自协方差函数 • （三）样本自相关函数（SACF） • （四）样本偏自相关函数
上一页 下一页 返回本节首页
（一）样本均值
• 对时间序列的一次样本实现，需要用样 本均值代替总体均值
x 1 n

n
xt
t 1
可以证明， 是 的无偏、一致估计。 x
上一页 下一页 返回本节首页
• 此定义表明，严平稳的概率分布与时间 的平移无关。 • 一般来说，若所研究的随机过程，前后 的环境和主要条件都不随时间变化，就可以 认为它是平稳随机过程。
平稳随机过程的一维概率密度函数与 时间无关。二维概率密度函数只与时间 间隔S有关，而与时间的起点和终点无关。
• 2.宽平稳过程：若时间序列有有穷的二 阶矩，且Xt满足如下两个条件：
• 4.时间序列的自相关函数
(t , s ) (t , s ) ( t , t ) ( s , s )
自相关函数描述了时间序列的{Xt}自身的 相关结构。 时间序列的自相关函数具有对称性，且有
(t , t ) 1
（三）平稳序列的自协方差和自相关函数
• 1.平稳序列的自协方差函数和自相关函数 • 若{Xt}为平稳序列，假定EXt=0，由于 • ( t , s ) ( t s , 0 ) 令s=t-k，于是我们就可以用以 下记号表示平稳序列的自协方差函数，即：
• 1.严平稳过程：若对于时间 t的任意n个值 t1<t2<…<tn，此序列中的随机变量 Xt1+s,Xt2+s, …,Xtn+s联合分布与整数s无关，即有：
• Ft1,t2,…tn(Xt1,Xt2…,Xtn)=Ft1+s,t2+s…+tn+s(Xt1+s,Xt2+s, …,Xtn+s)
• 则称{Xt}为严平稳过程。有些参考书也称为狭义 平稳或强平稳过程。
• 1.时间序列的概率分布
•
随机过程是一族随机变量，类似于随机 变量，可以定义随机过程的概率分布函数和概 率密度函数。它们都是两个变量t, x的函数。
上一页 下一页 返回本节首页
•
如果我们能确定出时间序列的概率分布， 我们就可以对时间序列构造模型，并描述时间 序列的全部随机特征，
• 但由于确定时间序列的分布函数一般不可能， 人们更加注意使用时间序列的各种特征量的描 述，如均值函数、协方差函数、自相关函数、 偏自相关函数等，这些特征量往往能代表随机 变量的主要特征。
有限维分布都是高斯分布，高斯分布的各阶矩都存在，故也
属于二阶矩过程。
（六）线性平稳序列
• 1.时间序列的线性 运算 • 设{Xt}与{Yt}为两个时间序列，a，b为两个实数， 那么，zt=aXt+bYt t=0, ±1, ±2 …… • 为序列{Xt}与{Yt}的一种线性运算。 • 2.时间序列的延迟运算 • 设{Xt}为一时间序列，d为一正整数，那么， • Yt=Xt-d t=0, ±1, ±2 ……为Xt的d步延迟运算。
k E ( X t EX t )( X t k EX
EX t X t k
tk
)
上一页 下一页 返回本节首页
• 相应的，严平稳序列的自相关函数记为：
k

k 0
• 2.平稳序列的自协方差序列和自相关函 数列的性质
(1) k k (2) k 0
上一页 下一页 返回本节首页
联系： 1、随机过程具有随机变量的特性，同时还具有普通函数的
特性。
2、随机变量是随机过程的特例。一元随机变量可视为参数 集为单元素集的随机过程。 3、当随机过程固定某一个时刻时，就得到一个随机变量。 4、随机过程是N维随机向量、随机变量列的一般化，它是 随机变量X(t)的集合。