马尔科夫链的介绍.doc
一阶马尔可夫链的转移概率和初始状态
一阶马尔可夫链的转移概率和初始状态1. 介绍马尔可夫链是指具有马尔可夫性质的随机过程。
具体而言，如果一个随机过程具有无记忆性，即在时刻t的状态只依赖于时刻t-1的状态，那么这个随机过程就是一个马尔可夫链。
在本文中，将着重讨论一阶马尔可夫链的转移概率和初始状态的概念及其相关内容。
2. 转移概率一阶马尔可夫链的转移概率是指在已知当前状态的情况下，下一个状态为各可能状态的概率分布。
假设一阶马尔可夫链有N个状态，那么转移概率矩阵P的定义如下：P = [p(i, j)](i, j=1, 2, ..., N)其中，p(i, j)表示在当前状态为i的条件下，转移到状态j的概率。
由于马尔可夫链满足马尔可夫性质，因此转移概率满足条件：(1) p(i, j) ≥ 0, ∀i, j=1, 2, ..., N(2) Σ p(i, j) = 1, ∀i=1, 2, ..., N转移概率矩阵P的性质保证了转移概率的有效性和准确性。
3. 初始状态一阶马尔可夫链的初始状态是指在时刻0的状态分布。
假设一阶马尔可夫链的初始状态分布为π，那么π的定义如下：π = [π(i)](i=1, 2, ..., N)其中，π(i)表示时刻0处于状态i的概率。
同样地，初始状态分布π也需要满足概率分布的性质：(1) π(i) ≥ 0, ∀i=1, 2, ..., N(2) Σ π(i) = 1, i=1, 2, ..., N初始状态的定义是马尔可夫链的重要组成部分，它对于随机过程的演化和预测具有重要意义。
4. 性质一阶马尔可夫链的转移概率和初始状态具有以下几个重要性质：(1) 稳态分布：对于一阶马尔可夫链，如果存在一个稳态分布π*，使得π* = π*P，那么称π*为一阶马尔可夫链的稳态分布。
稳态分布表示了马尔可夫链长时间演化后的状态分布，对于许多实际问题具有重要意义。
(2) 转移概率的计算：转移概率矩阵P可以通过统计样本数据来计算得到，也可以通过最大似然估计等方法来估计转移概率。
马尔可夫链的均匀化理论及应用
马尔可夫链的均匀化理论及应用马尔可夫链是一种随机过程模型，它具有“无记忆”的特点，即下一状态只与当前状态有关，与过去的状态无关。
由于其简洁的数学形式和广泛的应用领域，马尔可夫链吸引了众多研究者的关注。
本文将介绍马尔可夫链的均匀化理论以及其在各个领域的应用。
一、马尔可夫链的均匀化理论马尔可夫链的均匀化理论是对马尔可夫链进行状态平衡分析的方法。
均匀化理论旨在寻找马尔可夫链的平稳分布，即在长时间的演化后，链式系统中状态的分布趋于稳定。
在实际应用中，均匀化理论提供了对系统的稳定性、收敛速度等重要指标的分析手段。
1. 马尔可夫链的平稳分布马尔可夫链的平稳分布指的是在马尔可夫链的状态转移过程中，状态的分布呈现稳定的特征。
这种稳定性由平稳分布来描述，即当状态经过足够长的时间演化后，状态分布不再发生改变。
2. 马尔可夫链的细致平衡条件马尔可夫链的细致平衡条件是均匀化理论的基础，它表明链式系统中每对状态的转移概率与从目标状态返回到原状态的转移概率之比必须等于两个状态的平稳分布之比。
3. 马尔可夫链的时间平衡方程马尔可夫链的时间平衡方程描述了状态转移概率与平稳分布之间的关系。
通过求解时间平衡方程，可以得到马尔可夫链的平稳分布，并进一步分析系统的稳定性和性能指标。
二、马尔可夫链在实际应用中的应用马尔可夫链作为一种强大的数学工具，被广泛应用于多个领域。
以下是一些典型的应用案例：1. 自然语言处理马尔可夫链在自然语言处理中被用于语言模型的建立和文本生成。
通过分析语料库中的马尔可夫链特性，可以实现自动的文本生成和语言生成。
2. 金融风险管理马尔可夫链可以用于金融领域的风险管理和投资组合优化。
基于历史数据的马尔可夫链模型可以帮助分析市场趋势和资产价格的演化规律，提供决策支持。
3. 生物信息学马尔可夫链在生物信息学中应用广泛，例如用于DNA序列分析和蛋白质结构预测。
通过马尔可夫链模型，可以揭示基因序列和蛋白质结构之间的关联性和演化规律。
马尔可夫链
马尔可夫链马尔可夫链（Markov chains ）是一类重要的随机过程，它的状态空间是有限的或可数无限的。
经过一段时间系统从一个状态转到另一个状态这种进程只依赖于当前出发时的状态而与以前的历史无关。
马尔可夫链有着广泛的应用，也是研究排队系统的重要工具。
1) 离散时间参数的马尔可夫链 ①基本概念定义 5.7 设{()0,1,2,}X n n ∙∙∙=，是一个随机过程，状态空间{0,1,2,}E =，如果对于任意的一组整数时间120k n n n ∙∙∙≤<<<，以及任意状态12,,,k i i i E ∈，都有条件概率11{()|()}k k k k P X n i X n i --=== （5-17）即过程{()0,1,2,}X n n ∙∙∙=，未来所处的状态只与当前的状态有关，而与以前曾处于什么状态无关，则称{()0,1,2,}X n n ∙∙∙=，是一个离散时间参数的马尔可夫链。
当E 为可列无限集时称其为可列无限状态的马尔可夫链，否则称其为有限状态的马尔可夫链。
定义5.8 设{()0,1,2,}X n n ∙∙∙=，是状态空间{0,1,2,}E =上的马尔可夫链，条件概率(,){()|()}ij p m k P X m k j X m i i j E =+==∈，、 （5-18）称为马尔可夫链{()0,1,2,}X n n ∙∙∙=，在m 时刻的k 步转移概率。
k 步转移概率的直观意义是：质点在时刻m 处于状态i 的条件下，再经过k 步（k 个单位时间）转移到状态j 的条件概率。
特别地，当1k =时，(,1){(1)|()}ij p m P X m j X m i =+== （5-19）称为一步转移概率，简称转移概率。
如果k 步转移概率(,)ij p m k i j E ∈，、，只与k 有关，而与时间起点m 无关，则{()}X n 称为离散时间的齐次马尔可夫链。
定义5.9 设{()0,1,2,}X n n ∙∙∙=，是状态空间{0,1,2,}E ∙∙∙=上的马尔可夫链，矩阵000101011101(,)(,)(,)(,)(,)(,)(,)(,)(,)(,)n n j j jn p m k p m k p m k p m k p m k p m k P m k p m k p m k p m k ⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦（5-20） 称为{()}X n 在m 时刻的k 步转移概率矩阵。
马尔可夫链
例7 设马氏链{Xn}的状态空间为 I={1, 2, 3, 4, 5}， 转移概率矩阵为
1 2
1
2
0 0
0
1 2
1 2
0
0
0
P 0 0 1 0 0
3 / 16 . 1/ 4
于是: (1) P{X0 0, X2 1}
P{ X0 0}P{ X2 1 | X0 0} 1 5 5 ;
3 16 48
2020年5月21日星期四
(2)P{X2 1}
P{X0 0}P{X2 1 | X0 0} P{X0 1}P{X2 1 | X0 1}
显然有
p(n) 11
p(n) 21
P(n)
p(n j1
)
L
p(n) 12
p(n) 22
p(n) 1j
L
p(n) 2j
L
p(n) j2
p(n) jj
L
LL
L
(1)
0
p(n) ij
1
(2)
p(n) ij
1,
i
1,
2,L
j
2020年5月21日星期四
切普曼-柯尔莫哥洛夫方程(C-K方程): 对任意的m,n≥0,有
的矩阵
p11 p21
P
L
pj1 L
p12 L p22 L LL pj2 L LL
p1 j L
p2 j L
L
L
p jj L
L L
称为一步转移概率矩阵. 显然有
(1) 0 pij 1
(2)
pij 1, i 1, 2,L
j
2020年5月21日星期四
3、马尔可夫链举例
马尔可夫链
(3) P( n) P P( n1) (4) P( n) P n
初始概率和绝对概率
初始概率： 绝对概率：
p j (n) P{X n j}, ( j I )
p j P{X 0 j}, ( j I )
初始分布：
{ p j } { p j , j I}
绝对分布：
(第七章)马尔可夫链
马尔可夫链的概念及转移概率 马尔可夫链的状态分类 状态空间的分解 遍历性与平稳分布
马尔可夫过程的四种类型
马尔可夫链
时间、状态都离散 时间离散、状态连续
马尔可夫序列
纯不连续马尔可夫过程
时间连续、状态离散
时间、状态都连续
连续马尔可夫过程（或扩散过程）
（3）函数表达式
[例3] 设 { Xn , nT } 是一个马尔可夫链，其状态
空间 I = {a, b, c}，转移矩阵为
1 / 2 1 / 4 1 / 4 P 2 / 3 0 1 / 3 3 / 5 2 / 5 0
求： (1) P{ X 1 b, X 2 c, X 3 a, X 4 c X 0 c};
一步转移概率矩阵
p11 P p21 p12 p22 p1n p2 n
性质： (1) pij 0 , i, j I
(2)
p
jI
ij
1, i I
（随机矩阵）
n 步转移概率
[定义] 称条件概率
( n) pij P{X mn j X m i}, (i, j I , m 0, n 1)
( n) n 0, 0 l < n 和 i , j I ，n 步转移概率 pij 具有下 列性质：
马尔可夫链▏小白都能看懂的马尔可夫链详解
马尔可夫链▏小白都能看懂的马尔可夫链详解1.什么是马尔可夫链在机器学习算法中，马尔可夫链(Markov chain)是个很重要的概念。
马尔可夫链（Markov chain），又称离散时间马尔可夫链（discrete-time Markov chain），因俄国数学家安德烈·马尔可夫（俄语：Андрей Андреевич Марков）得名，为状态空间中经过从一个状态到另一个状态的转换的随机过程。
该过程要求具备“无记忆”的性质：下一状态的概率分布只能由当前状态决定，在时间序列中它前面的事件均与之无关。
这种特定类型的“无记忆性”称作马尔可夫性质。
马尔科夫链作为实际过程的统计模型具有许多应用。
在马尔可夫链的每一步，系统根据概率分布，可以从一个状态变到另一个状态，也可以保持当前状态。
状态的改变叫做转移，与不同的状态改变相关的概率叫做转移概率。
随机漫步就是马尔可夫链的例子。
随机漫步中每一步的状态是在图形中的点，每一步可以移动到任何一个相邻的点，在这里移动到每一个点的概率都是相同的（无论之前漫步路径是如何的）。
2.一个经典的马尔科夫链实例用一句话来概括马尔科夫链的话，那就是某一时刻状态转移的概率只依赖于它的前一个状态。
举个简单的例子，假如每天的天气是一个状态的话，那个今天是不是晴天只依赖于昨天的天气，而和前天的天气没有任何关系。
这么说可能有些不严谨，但是这样做可以大大简化模型的复杂度，因此马尔科夫链在很多时间序列模型中得到广泛的应用，比如循环神经网络RNN，隐式马尔科夫模型HMM等。
假设状态序列为由马尔科夫链定义可知，时刻Xt+1 的状态只与Xt 有关，用数学公式来描述就是：既然某一时刻状态转移的概率只依赖前一个状态，那么只要求出系统中任意两个状态之间的转移概率，这个马尔科夫链的模型就定了。
看一个具体的例子。
这个马尔科夫链是表示股市模型的，共有三种状态：牛市（Bull market）, 熊市（Bear market）和横盘（Stagnant market）。
使用马尔科夫链进行DNA序列分析的技巧(九)
DNA序列是构成生物遗传信息的重要组成部分，其分析对于揭示生物遗传信息的规律和特征具有重要意义。
马尔科夫链是一种数学工具，被广泛应用于DNA序列分析中。
本文将介绍使用马尔科夫链进行DNA序列分析的技巧。
1. 马尔科夫链简介马尔科夫链是一种随机过程，具有“马尔科夫性质”，即下一个状态的概率只依赖于当前状态，与过去的状态无关。
在DNA序列分析中，我们可以将碱基的排列看作一个马尔科夫链，每个碱基作为一个状态，转换概率则代表了不同碱基之间的转换关系。
利用马尔科夫链的性质，我们可以对DNA序列的特征进行建模和分析。
2. 马尔科夫链在基因预测中的应用基因是DNA序列中的功能单位，基因预测是DNA序列分析的重要任务之一。
利用马尔科夫链，可以建立基因识别模型，通过计算DNA序列中不同区域的转换概率，来判断该区域是否为基因。
通过训练大量已知基因的DNA序列，可以建立一个准确的基因识别模型，从而对未知DNA序列进行基因预测。
3. 马尔科夫链在序列比对中的应用序列比对是DNA序列分析中的常用技术，用于寻找不同DNA序列之间的相似性和差异性。
马尔科夫链可以用来构建序列比对算法，通过计算DNA序列中不同区域的转换概率，来寻找相似的序列片段。
利用马尔科夫链进行序列比对，可以提高比对的准确性和效率。
4. 马尔科夫链在DNA序列模式识别中的应用DNA序列中存在许多重要的模式，如启动子、终止子等。
利用马尔科夫链，可以建立模式识别模型，来识别DNA序列中的不同模式。
通过训练大量已知模式的DNA序列，可以建立一个准确的模式识别模型，从而对未知DNA序列进行模式识别。
5. 马尔科夫链在进化分析中的应用DNA序列的变异和进化是生物遗传信息的重要特征，马尔科夫链可以用来建立DNA序列的进化模型，从而揭示DNA序列的进化规律和特征。
利用马尔科夫链进行进化分析，可以帮助我们更好地理解生物遗传信息的演化过程。
结语马尔科夫链作为一种重要的数学工具，在DNA序列分析中具有重要的应用价值。
第2章-马尔可夫链
0.4834
0.5009
例
甲、乙两人进行比赛，设每局比赛中甲胜的概率是p，
乙胜的概率是q，和局的概率是r ，（p q r 1）。
设每局比赛后，胜者记“+1”分，负者记“-1”分，
和局不记分。当两人中有一人获得2分结束比赛。X以n
表示比赛至第n局时甲获得的分数。
（1）写出状态空间；（2）求P(2)；
pij a0j,i ,
ji ji
显然{Yn,n≥1}也是一马尔可夫链。
例2 M/G/1排队系统
若以X(t)记在t时刻系统中的顾客数，{X(t),t≥0}则不具马 尔可夫性。
Xn-----第n个顾客走后剩下的顾客数， Yn -----第n+1个顾客接受服务期间来到的顾客数，则
X
n1
Xn 1 Yn ,
CHAPTER 2 马尔可夫链
第一节 基本概念
一、马尔可夫链的定义及例子
1、定义
随机过程Xn, n 0,1, 2, 称为马尔可夫链，若它只
取有限或可列个值（称为过程的状态，记为0，1，2，…），
并且，对任意
及状态
，有
n0
i, j, i0 , i1, , in1
P( X n1 j X 0 i0 , X1 i1, , X n1 in1, X n i)
（3）问在甲获得1分的情况下，再赛二局可以结束比 赛的概率是多少？
解
（1）
记甲获得“负2分”为状态1，获得 “负1分”为状态2，获得“0分”为状态3， 获得“正1分”为状态4，获得“正2分”为 状态5，则状态空间为
I {1，2，3，4，5}
一步转移概率矩阵
1 0 0 0 0
q
r
p
马尔可夫链蒙特卡洛方法简介(七)
马尔可夫链蒙特卡洛方法简介蒙特卡洛方法是一种通过随机抽样来解决问题的数值计算方法。
而在蒙特卡洛方法中，马尔可夫链蒙特卡洛方法（Markov Chain Monte Carlo, MCMC）是一种重要的技术，它可以用于求解很多实际问题，比如概率分布的估计、贝叶斯统计推断等。
本文将对马尔可夫链蒙特卡洛方法进行简要介绍。
1. 马尔可夫链马尔可夫链是指一个具有马尔可夫性质的随机过程。
所谓马尔可夫性质是指一个系统在给定当前状态下，未来的状态只与当前状态有关，而与过去状态无关。
换句话说，马尔可夫链的未来状态只取决于当前状态，而与过去状态无关。
这种性质使得马尔可夫链在模拟复杂系统时非常有用。
2. 马尔可夫链蒙特卡洛方法在蒙特卡洛方法中，马尔可夫链蒙特卡洛方法是通过构造一个马尔可夫链，使得该链的平稳分布恰好是我们要求的概率分布。
通过对该马尔可夫链进行随机抽样，最终可以得到与平稳分布一致的样本，从而对概率分布进行估计。
3. Metropolis-Hastings算法Metropolis-Hastings算法是一种常用的马尔可夫链蒙特卡洛方法。
其基本思想是通过一系列状态转移来构造一个满足平稳分布的马尔可夫链。
具体而言，算法首先随机初始化一个状态，然后通过一定的转移规则来进行状态转移。
在每次状态转移后，我们都根据一定的准则来接受或者拒绝转移，以保证最终的样本满足平稳分布。
4. Gibbs采样Gibbs采样是一种特殊的Metropolis-Hastings算法。
它适用于高维参数的分布估计问题。
在Gibbs采样中，我们将多维参数分解为多个条件分布，然后通过依次对每个条件分布进行抽样来得到最终的样本。
Gibbs采样在贝叶斯统计推断等领域有着广泛的应用。
5. 贝叶斯统计推断马尔可夫链蒙特卡洛方法在贝叶斯统计推断中有着重要的应用。
在贝叶斯统计中，我们往往需要对参数的后验分布进行估计。
而马尔可夫链蒙特卡洛方法可以通过对后验分布进行抽样来进行估计，从而得到参数的后验分布的近似值。
马尔可夫链稳态分布估计
马尔可夫链稳态分布估计马尔可夫链是一种随机过程，具有马尔可夫性质，即未来状态只依赖于当前状态而与过去状态无关。
稳态分布是指在长时间运行后，随机过程的状态概率分布趋于某种稳定的分布。
马尔可夫链稳态分布估计是通过模拟方法，根据一定的迭代过程，对马尔可夫链的稳态分布进行近似估计。
1. 马尔可夫链介绍马尔可夫链由一组状态和概率转移矩阵组成。
状态表示系统所处的各种可能状态，概率转移矩阵表示系统从一个状态转移到另一个状态的概率。
2. 稳态分布的意义稳态分布是指当一个随机过程达到长时间运行后，状态概率分布趋于稳定的分布。
稳态分布的意义在于描述随机过程中各个状态出现的概率。
3. 马尔可夫链稳态分布估计方法马尔可夫链稳态分布估计主要使用蒙特卡洛方法和迭代方法。
3.1 蒙特卡洛方法蒙特卡洛方法是通过大量的随机采样来近似估计稳态分布。
具体步骤如下：（1）初始化随机过程的状态。
（2）根据概率转移矩阵，从当前状态转移到下一个状态。
（3）重复步骤（2），直到稳态分布收敛。
（4）根据样本计算稳态分布的概率。
3.2 迭代方法迭代方法是通过迭代计算来逼近稳态分布。
具体步骤如下：（1）初始化稳态分布的初始概率。
（2）根据概率转移矩阵，计算下一步的稳态分布概率。
（3）重复步骤（2），直到稳态分布收敛。
4. 马尔可夫链稳态分布估计应用马尔可夫链稳态分布估计在很多领域都有应用，例如随机游走、概率图模型、机器学习等。
通过稳态分布的估计，可以对系统的状态进行建模和预测，进而优化系统的性能和效率。
5. 总结马尔可夫链稳态分布估计是一种通过模拟或迭代方法来近似估计马尔可夫链的稳态分布的方法。
通过稳态分布的估计，可以对系统的状态进行建模和预测，具有广泛的应用价值。
在实际应用中，选择适当的估计方法和合理的参数设置是保证稳态分布估计准确性的关键。
马尔可夫链收敛性的充要条件
马尔可夫链收敛性的充要条件马尔可夫链是一种具有马尔可夫性质的随机过程，其未来状态仅与当前状态有关，与过去状态无关。
马尔可夫链的收敛性是指链中的状态在经过一定的时间后趋于稳定，并且与初始状态无关。
本文将介绍马尔可夫链收敛性的充要条件。
一、马尔可夫链概述马尔可夫链是一种离散时间马尔可夫过程，其状态空间为有限个或可数个状态的集合。
马尔可夫链可以用状态转移概率矩阵来描述，在每个时间步，状态会按照一定的概率进行转移。
二、马尔可夫链的收敛性马尔可夫链的收敛性指的是当时间趋于无穷大时，状态转移概率趋于稳定，即任意两个状态之间的转移概率存在极限。
通常，我们用平稳分布来描述马尔可夫链的收敛性。
三、马尔可夫链收敛性的充要条件1. 非周期性马尔可夫链的非周期性是指从任意状态出发，经过一定的时间步后，返回该状态的概率不为零。
具体而言，如果存在一个状态能够返回自身，那么该马尔可夫链是周期性的，不具备收敛性。
2. 集中性马尔可夫链的集中性是指从任意状态出发，经过一定的时间步后，能够到达一个稳定状态，并且该稳定状态对于所有的状态都是唯一的。
换句话说，对于任意两个状态i和j，当时间趋于无穷大时，状态i转移到状态j的概率收敛到一个固定值。
3. 遍历性马尔可夫链的遍历性是指从任意一个状态出发，经过一定的时间步后，能够到达整个状态空间中的所有状态。
如果马尔可夫链是遍历的，那么它具有收敛性。
综上所述，马尔可夫链收敛的充要条件是：非周期性、集中性和遍历性。
当马尔可夫链满足这三个条件时，无论初始状态如何选择，状态转移概率都会趋于稳定，从而实现收敛。
马尔可夫链的收敛性在概率论、统计学和机器学习等领域具有广泛的应用。
通过分析马尔可夫链的收敛性，我们可以研究和预测一些具有随机性质的系统的行为趋势，如金融市场、天气模型等。
总结：马尔可夫链的收敛性是指链中的状态在经过一定的时间后趋于稳定，并且与初始状态无关。
马尔可夫链收敛的充要条件包括非周期性、集中性和遍历性。
马尔可夫链是状态离散时间
马尔可夫链是状态离散时间1.引言1.1 概述马尔可夫链，又被称为马尔可夫过程，是一种离散时间的随机过程。
它的独特之处在于其未来状态的概率只与当前状态有关，与其过去状态无关。
这种特性使马尔可夫链成为研究系统状态演变和预测的重要数学工具。
马尔可夫链的应用广泛，涉及到许多领域。
例如，在自然语言处理中，马尔可夫链被用来建模文本语言的演化规律和预测下一个单词的出现概率。
在金融领域，马尔可夫链被用来分析股票价格的变化和预测市场趋势。
在生物学中，马尔可夫链被应用于研究DNA序列的特征和分析蛋白质结构。
通过理解和应用马尔可夫链，我们可以更好地理解和预测系统的演变过程。
它为我们提供了一种数学模型，用于描述和解决许多现实世界中的问题。
马尔可夫链不仅具有理论意义，更有着广泛的实际应用，为众多领域的研究人员提供了有力的工具和方法。
本文将全面探讨马尔可夫链的定义、特点以及其在各个领域中的应用。
通过对其重要性的总结，我们可以更好地认识到马尔可夫链在研究和理解系统状态演变方面的价值。
并且，我们还将展望马尔可夫链未来的发展趋势，以期在更多领域中发挥更大的作用。
1.2 文章结构文章结构是指文章的框架和组织方式，它对于阐述主题和向读者传达清晰的信息非常重要。
本文主要介绍马尔可夫链及其应用领域，为了使读者更好地理解和掌握马尔可夫链的知识，本文将按照以下结构来展开讨论：第一部分是引言，主要包括概述、文章结构和目的三个方面。
在概述部分，将简要介绍马尔可夫链的基本概念和特点，引起读者的兴趣；在文章结构部分，给出全文的大致框架和组织方式，让读者对文章内容有整体的了解；在目的部分，明确本文的目标，即介绍马尔可夫链的定义、特点和应用领域，以便读者清楚知道本文的主要内容和意图。
第二部分是正文，主要包括马尔可夫链的定义和特点以及其应用领域两部分。
在马尔可夫链的定义和特点部分，将详细介绍马尔可夫链的基本定义、状态转移概率和马尔可夫性质，并解释它们的意义和特点；在马尔可夫链的应用领域部分，将列举并详细阐述马尔可夫链在自然语言处理、金融市场预测、排队系统等领域的具体应用案例，以及它们在实际应用中的作用和效果。
《马尔可夫链讲》课件
在平稳分布下，系统的各个状态之间转移的次数趋于平衡，每个状态的平均逗留时 的 马尔可夫链，都存在至少一个平
稳分布。
存在性定理的证明基于遍历理论 ，即如果马尔可夫链是遍历的，
那么它必然存在平稳分布。
根据接受概率判断是否接受样本的技 术，可以提高样本的质量和效率。
接受-拒绝抽样技术
接受概率
根据目标分布和当前状态计算出的概率，用于判断是否接受当前状态 转移为下一个状态。
拒绝概率
根据当前状态和接受概率计算出的概率，用于判断是否拒绝当前状态 转移为下一个状态。
接受-拒绝抽样过程
根据当前状态和接受概率计算出接受该状态的概率，如果该概率大于 随机数，则接受该状态作为下一个状态，否则拒绝并重新抽样。
详细描述
马尔可夫链定义为一个随机过程，其 中每个状态只与前一个状态有关，当 前状态只依赖于前一时刻的状态，不 受到过去状态的影响。
马尔可夫链的应用场景
总结词
马尔可夫链在多个领域有广泛应用。
详细描述
在自然语言处理中，马尔可夫链可以用于生成文本、语言模型等；在金融领域 ，马尔可夫链可以用于股票价格预测、风险评估等；在物理学中，马尔可夫链 可以用于描述粒子运动、化学反应等。
模型训练与预测
模型选择
根据数据特点和业务需求选择合适的马尔可 夫链模型。
模型训练
使用历史数据训练马尔可夫链模型。
参数设置
根据经验和业务理解设置模型参数。
预测与推断
基于训练好的模型对未来或未知数据进行预 测和推断。
结果评估与优化
评估指标
选择合适的评估指标（如准确率、召回率、F1值等）对预测结果进行评估。
数据分析中的马尔可夫链介绍
数据分析中的马尔可夫链介绍数据分析是当今社会中一项非常重要的技术，它可以帮助我们从大量的数据中提取有价值的信息和洞察。
而马尔可夫链则是数据分析中的一种重要工具，它能够帮助我们理解和预测数据的变化趋势。
本文将介绍马尔可夫链的基本概念、原理和应用。
一、马尔可夫链的基本概念马尔可夫链是一种数学模型，它描述了一系列事件之间的转移关系。
在马尔可夫链中，每个事件的发生只与其前一个事件有关，与其他事件的发生无关。
这种特性被称为“无记忆性”，即未来的状态只与当前的状态有关。
马尔可夫链可以用状态和转移概率矩阵来表示。
状态是指系统可能处于的各种情况，转移概率矩阵则描述了从一个状态到另一个状态的转移概率。
通过不断迭代转移概率矩阵，我们可以得到系统在不同时间点的状态分布。
二、马尔可夫链的原理马尔可夫链的原理可以通过一个简单的例子来说明。
假设有一只只能在两个房间之间移动的小猫，每个时间点它只能在一个房间中。
假设初始时刻小猫在房间A 中，那么下一个时间点它有50%的概率留在房间A，50%的概率进入房间B。
同样地，下下个时间点它也有50%的概率留在当前房间，50%的概率回到另一个房间。
通过观察这个例子，我们可以发现小猫的位置在不同时间点上呈现出一种随机性，但是它的位置分布却是有规律的。
通过计算转移概率矩阵，我们可以得到小猫在不同时间点上的位置分布情况。
三、马尔可夫链的应用马尔可夫链在数据分析中有着广泛的应用。
其中一个重要的应用领域是自然语言处理。
在自然语言处理中，我们常常需要预测一个词语在句子中的位置。
通过构建一个马尔可夫链模型，我们可以根据前一个词语的位置来预测下一个词语的位置，从而提高句子的流畅度和连贯性。
另一个应用领域是金融市场分析。
金融市场的价格变动常常呈现出一种随机性，但却受到一系列因素的影响。
通过构建一个马尔可夫链模型，我们可以根据过去的价格变动来预测未来的价格走势，从而指导投资决策。
此外，马尔可夫链还可以应用于网络分析、天气预测、生物信息学等领域。
马尔可夫链蒙特卡洛方法简介(五)
马尔可夫链蒙特卡洛方法简介马尔可夫链蒙特卡洛方法（Markov Chain Monte Carlo, MCMC）是一种用于统计推断和模拟的方法。
它结合了马尔可夫链和蒙特卡洛模拟的特点，能够对复杂的概率分布进行有效的模拟和采样。
马尔可夫链是一种具有马尔可夫性质的随机过程，即当前状态的转移概率只依赖于前一个状态，与过去的状态无关。
蒙特卡洛模拟则是一种基于随机抽样的数值计算方法，通过大量的随机抽样来估计概率分布、期望值等统计量。
马尔可夫链蒙特卡洛方法利用马尔可夫链的平稳分布性质和蒙特卡洛模拟的随机抽样特点，实现对复杂概率分布的模拟和采样。
马尔可夫链蒙特卡洛方法的核心思想是通过构造一个马尔可夫链，使其平稳分布为目标分布，然后利用该马尔可夫链进行随机抽样。
具体而言，首先需要选择一个合适的马尔可夫链转移核（transition kernel），使得该转移核的平稳分布即为目标分布。
然后，通过对马尔可夫链进行多次转移，得到一条样本轨迹，最终根据这些样本轨迹来估计目标分布的统计量。
在实际应用中，马尔可夫链蒙特卡洛方法具有广泛的应用。
例如，在贝叶斯统计推断中，我们常常需要对后验分布进行采样，以获得参数的后验分布信息。
马尔可夫链蒙特卡洛方法可以用来对后验分布进行采样，从而实现对参数的后验推断。
此外，在机器学习领域，马尔可夫链蒙特卡洛方法也被广泛应用于概率图模型的推断和参数学习中。
马尔可夫链蒙特卡洛方法的一个经典算法是Metropolis-Hastings算法。
该算法通过构造一个接受-拒绝的过程，使得马尔可夫链的平稳分布为目标分布。
具体而言，Metropolis-Hastings算法包括以下几个步骤：首先，对于给定的当前状态，根据转移核生成一个候选状态；然后，根据接受概率决定是否接受该候选状态；最后，根据一定的接受规则来更新当前状态。
通过多次迭代这个过程，最终可以得到马尔可夫链的样本轨迹，从而实现对目标分布的采样。
除了Metropolis-Hastings算法外，还有一些其他的马尔可夫链蒙特卡洛方法，如Gibbs抽样、Hamiltonian Monte Carlo等。
什么是马尔可夫链（MarkovChains）？
什么是马尔可夫链（MarkovChains）？马尔可夫链是一个相当常见、相当简单的对随机过程进行统计建模的方式。
它们被应用在很多领域，从文本生成到金融建模。
一个比较流行的例子是SubredditSimulator（/r/SubredditSimulator/），它使用马尔科夫链自动创建整个subreddit 的内容。
总之，马尔可夫链在概念上是非常直观，并且易于理解的，不使用任何高级的统计或者数学概念就可以实现。
马尔科夫链是入门概率建模和数据科学技术的很好的开端。
简介首先，我们用一个很常见的例子来描述它们：试想有两种可能的天气状态：晴天或者阴天。
你总是可以直接地观察当前的天气状态，而且保证是之前提及的两者之一。
现在，你决定预测明天的天气。
假设在这个过程中有一个潜在的转移，因为当前的天气会对第二天的天气状态有所影响。
因此，作为一个敬业的人，你收集了几年的天气数据，然后计算得到阴天之后出现晴天的概率是0.25。
你还注意到，广泛地讲，阴天之后发生阴天的概率是0.75，因为只有两种可能的天气状态。
你现在可以利用这个分布，根据当地目前的天气状态去预测未来几天的天气。
这个例子描述了马尔科夫链的很多关键概念。
马尔科夫链本质上是由一系列满足马尔科夫性质的转移组成，这些转换服从某种概率分布。
我们来观察一下在这个例子中，如何仅仅通过观察从当天到第二天的转换就得到概率分布。
这其实说的就是马尔科夫性，即马尔科夫过程独有的让状态转移没有记忆的性质。
这通常使它们无法成功地生成会出现某些期望潜在趋势的序列。
例如，马尔科夫链可能根据词频来模仿一个作者的写作风格，但是它无法生成包含深层含义的文本或者蕴含某种主题意义的文本，因为这些文本都是基于更长的文本序列开发的。
因此，它们缺乏生成语境相关内容的能力，因为它们无法考虑到之前的整条状态链。
天气预测例子的可视化模型形式上，马尔科夫链是一个概率自动机。
状态转移的概率分布通常表示为马尔科夫链的转移矩阵。
马尔可夫链
部的医生却必然要转出去，分配到产科病房的机会是
妇科病房机会的4倍。则 p13 0 p11 0.4 p12 0.6 p22 0.4 p23 0.6 p21 0 p33 0 p31 0.8 p32 0.2
0.4 0.6 0
P
0
0.4 0.6
0.8 0.2 0
2019年7月10日
概率统计-马尔可夫链
第10页
例：院方规定：一个在产科病房(1)工作的医生不能
分配到门诊部(3)工作，但有40%的机会仍可以分配到 产科病房，60%的机会转移到妇科病房(2)；在妇科病 房工作的医生，有40%的机会可以保留在妇科病房， 60%的机会转移到门诊部，但不能转到产科；在门诊
p11 p12 p13 p11 p12 p13
P (2)
p21
p22
p23
p21
p22
p23
P2
p31 p32 p33 p31 p32 p33
对
0.4 0.6 0
P
0
0.4 0.6
0.8 0.2 0
0.4 0.6 0 0.4 0.6 0 0.16 0.48 0.36
2019年7月10日
概率统计-马尔可夫链
第16页
(2) 未知X0的确切值, 但知的X0分布(初始分布), 则 可求: pi(n) P( Xn i) —— 状态概率 记 p(n) ( p1(n) , p2(n) ,, p(Nn) ) —— 状态概率行向量
则 p(n) p(0)P(n)
Yt：t1，2，） （随机过程）
描述一个离散随机变量用分布列
马尔可夫链耗散时间及稳态分布
马尔可夫链耗散时间及稳态分布马尔可夫链是一类具有Markov性质的随机过程，在许多领域都具有广泛的应用。
其中，马尔可夫链的耗散时间和稳态分布是两个重要的概念。
本文将从理论和应用角度介绍马尔可夫链的耗散时间和稳态分布。
一、马尔可夫链的基本概念1.1 马尔可夫性质马尔可夫链的核心概念之一是马尔可夫性质。
马尔可夫性质表示在给定当前状态的情况下，未来的状态与过去的状态无关，只与当前状态相关。
1.2 转移概率矩阵马尔可夫链的状态转移是通过转移概率矩阵来描述的。
转移概率矩阵是一个N×N的矩阵，其中N表示状态的个数。
矩阵的第i行第j列元素表示从状态i转移到状态j的概率。
二、马尔可夫链的耗散时间耗散时间是指从某一状态出发，到达其他各个状态所需的平均时间。
对于马尔可夫链来说，耗散时间是一个描述状态转移速度的指标。
2.1 回归时间和非回归时间回归时间指的是从一个状态回到该状态所需的时间。
非回归时间则是除了回归时间之外的其他状态转移所需的时间。
2.2 平均耗散时间平均耗散时间是指从某一状态出发，到达任意一个状态所需的平均时间。
对于一个具体的状态，它的平均耗散时间可以通过求解一组线性方程得到。
三、马尔可夫链的稳态分布稳态分布是指当马尔可夫链达到平稳状态时，各个状态的分布情况。
稳态分布是马尔可夫链的一个重要性质，它对系统的长期行为有着重要的影响。
3.1 极限稳态分布极限稳态分布是指当时间趋于无穷大时，马尔可夫链达到的稳定状态。
对于一个具体的马尔可夫链，它的极限稳态分布可以通过求解一组概率方程得到。
3.2 细致平衡条件细致平衡条件是判断马尔可夫链是否存在稳态分布的重要条件之一。
细致平衡条件要求所有状态之间的转移概率满足一定的平衡条件。
四、马尔可夫链耗散时间和稳态分布的应用4.1 随机游走模型马尔可夫链耗散时间和稳态分布的概念在随机游走模型中得到广泛应用。
随机游走模型描述了一个在状态空间中以随机方式移动的系统。
4.2 排队论马尔可夫链耗散时间和稳态分布的理论在排队论中有着重要的应用。
马尔卡夫链的介绍
非线性时间序列与马尔可夫链第一章.非线性时间序列浅释 (2)1.从线性到非线性自回归模型的差异2.线性时间序列定义的多样性第二章. 非线性时间序列模型 (6)1. 概述2. 非线性自回归模型3. 带条件异方差的自回归模型第三章. 马尔可夫链---描述AR模型的特性 (12)1.马尔可夫链2. AR模型所确定的马尔可夫链3.若干例子第四章. 统计建模方法 (29)1. 概论2. 线性性检验3. AR模型参数估计4.AR模型阶数估计第五章. 实例和展望 (46)1. 实例2.展望参考文献 (50)第一章.非线性时间序列浅释1. 从线性到非线性自回归模型的差异时间序列{x t}是一串随机变量序列, 它有广泛的实际背景, 特别是在经济与金融领域中尤其显著. 关于它们的线性与非线性概念, 可用以下的例子作些简单的解释.考察一阶线性自回归模型---LAR(1):x t=αx t-1+e t, t=1,2,…(1.1) 其中{e t}为i.i.d.序列，且Ee t=0, Ee t=σ2<∞, e t与{x t-1,x t-2,…}独立. 使用(1.1)式, 递推可得x t=αx t-1+e t= e t + αx t-1= e t + α{ e t-1 + αx t-2}= e t + αe t-1 + α2 x t-2 =…=e t+αe t-1+α2e t-2+…+αn-1e t-n+1+αn x t-n. (1.2) 当|α|<1时, 不难论证αn x t-n→ 0, (1.3) {e t+αe t-1+α2e t-2+…+αn-1e t-n+1}→∑j=0∞αj e t-j. (1.4) 于是模型LAR(1)有平稳解, 且可表达为x t=∑j=0∞αj e t-j. (1.5) 可见, 求LAR(1)模型解的方法是很简便的. 而且, 还容易推广到p 阶LAR(p)模型. 为此考察如下的p阶线性自回归模型LAR(p):x t =α1x t-1+α2x t-2+...+αp x t-p +e t , t=1,2,… (1.6) 其中{e t }为i.i.d.序列，且Ee t =0, Ee t =σ2<∞, e t 与{x t-1, x t-2,…}独立. 虽然, 反复使用(1.6)式, 仍然可得到(1.2)式的类似结果, 但是, 用扩张后的多元AR(1)模型求解时, 则显示出与LAR(1)模型求解的步骤完全相似. 为此记X t =⎪⎪⎪⎪⎪⎭⎫ ⎝⎛+--11p t t t x x x ,U=⎪⎪⎪⎪⎪⎭⎫ ⎝⎛001 , A=⎪⎪⎪⎪⎪⎭⎫ ⎝⎛000.........00121 p ααα, (1.7)于是(1.6)式可写成如下的等价形式:X t =A X t-1+ e t U. (1.8) 仿照(1.2)式, 反复使用此式, 递推可得X t =AX t-1+e t U= e t U+ e t-1AU+A 2x t-2=⋯=e t U+e t-1AU+e t-2A 2U+…+e t-n+1A n-1U+A n x t-n . (1.9) 如果矩阵A 的谱半径(A 的特征值的最大模)λ(A), 满足λ(A)<1, 上式启发我们, (1.8)式有如下的解:X t =∑k=0∞A k Ue t-k . (1.10) 其中向量X t 的第一分量x t 形成的序列{x t }, 就是模型(1.6)式的解. 由此不难看出, 它有以下表达方式x t =∑k=0∞ϕk e t-k . (1.11)其中系数ϕk 由(1.6)式的α1,α2, ... ,αp 确定, 细节从略,此外, (1.11)式给了人们一点启发, 即考虑形如x t=∑k=0∞ψk e t-k, ∑k=0∞ψk2<∞, (1.12)的时间序列, 其中系数ψk能保证(1.12)式中的x t有定义. 在文献中, 这样的{x t}被称为线性时间序列.虽然这里给出了线性时间序列的定义, 但是, 我们暂时不去定义非线性时间序列, 先讨论一阶非线性自回归模型---NLAR(1), 并与线性LAR(1)模型进行比较. 首先写出NLAR(1)模型如下x t=ϕ(x t-1)+e t,t=1,2,…(1.13)其中{e t}为i.i.d.序列，且Ee t=0, Ee t=σ2<∞, e t与{x t-1, x t-2,…}独立, 这些假定与LAR(1)模型相同, 但是, ϕ(x t-1)是x t-1非线性函数, 比如ϕ(x t-1)=x t-1/{a+bx t-12}. 此时虽然仍可反复使用(1.13)式, 进行递推, 但是所得结果是x t=ϕ (x t-1) +e t= e t+ ϕ (x t-1)= e t+ ϕ ( e t-1+ ϕ (x t-2))= e t+ ϕ ( e t-1+ ϕ ( e t-2+ ϕ (x t-3)))=…=e t+ ϕ ( e t-1+ ϕ ( e t-2+ …+ϕ (x t-n))…). (1.14) 根据此式, 我们既不能轻易判断ϕ(x t-1)函数满足怎样的条件时, 上式会有极限, 也不能猜测其极限有怎样的形式.对于p阶非线性自回归模型x t =ϕ(x t-1,x t-2,…,x t-p )+e t , t=1,2,… (1.15) 仿照(1.6)至(1.9)式的扩张的方法, 引入记号 Φ( x t-1,x t-2,…,x t-p )≡⎪⎪⎪⎪⎪⎭⎫ ⎝⎛+-----1121),...,,(p t t p t t t x x x x x ϕ, (1.16)得到与(1.15)式等价的模型X t =Φ(X t-1) +e t U, t=1,2,… (1.17)但是, 却得不出(1.9)至(1.11)式的结果.至此可看出, 从线性到非线性自回归模型有实质性差异, 要说清楚它们, 并不太简单. 从数学理论而言, 讨论线性自回归模型可借用泛函分析方法, 讨论非线性自回归模型则要借用马尔可夫链的理论和方法. 这也正是本讲座要介绍的主要内容.2. 线性时间序列定义的多样性现在简单叙述一下非线性时间序列定义的复杂性, 它与线性时间序列的定义有关. 前一小节中(1.12)式的线性时间序列, 只是一种定义方式. 如果改变对系数ψk 的限制条件, 就会给出不同的定义. 在近代研究中, (1.12)式的序列{e t }又被放宽为平稳鞅差序列, 这又引出另一种线性时间序列. 这在预报理论中有重要背景.无论对哪种线性时间序列, 都要研究它们的概率特性. 这已有丰富的成果载入文献. 可是, 非线性时间序列与此情况不同, 几乎没有文章研究它们的一般特性. 我们将要介绍的马尔可夫链, 也只是用来讨论满足非线性自回归模型的时间序列的特性问题.第二章. 非线性时间序列模型1. 概论从(1.12)式可见，线性时间序列{x t}, 被{e t}的分布和全部系数ψi 所决定. 在此有无穷多个自由参数，这对统计不方便，因此人们关心依赖有限参数的线性时间序列，即满足有限参数模型. 常用的如ARMA模型. 同样, 讨论非线性时间序列, 参数模型也更普遍. 不过, 由于非线性函数的多样性, 使得非线性时序模型更复杂. 在介绍此类模型之前, 我们先对非线性时序模型的分类作一概述.通用假定: {εt}为i.i.d.序列，且Eεt=0, 而且εt与{x t-1, x t-2,…}独立. (这是受研究方法所限)可加噪声模型:x t=ϕ(x t-1,x t-2,…,x t-p)+εt,(2.1)其中ϕ(…)是p元函数. 当它仅依赖于有限个未知参数时, 记此参数向量为α, 其相应的(2.1)模型常写成x t=ϕ(x t-1,x t-2,…,x t-p;α)+εt,(2.2)否则, 称(2.1)式称为非参数模型.带条件异方差的模型:x t=ϕ(x t-1,x t-2,…,x t-p)+S(x t-1,x t-2,…,x t-q)εt,(2.3) 其中ϕ(…)是p元函数, S(…)是q元函数. 它们也有参数与非参数的区分. 显然(2.3)式不是可加噪声模型.一般非线性时序模型:x t=ψ(x t-1,x t-2,…,x t-p; εt,εt-1,…,εt-q),t=1,2,… (2.4) 其中ψ(…)是p+q元函数. 显然, (2.4)式是最广义的非线性ARMA模型, 但是, 无论理论研究, 还是统计建模, 都难于进行, 所以在文献中很少见此模型. 只有双线性模型作为它的一种特殊情况, 有些应用和研究结果出现. 现写出一般双线性模型x t=∑j=1pαj x t-j+∑j=0qβjεt-j+∑i=1P∑j=1Qθijεt-i x t-j. (2.5)其中β0=1. 一种简单情况如x t=αx t-1+ θεt-1x t-1+εt. (2.6) 2. 非线性自回归模型前面的(2.1)和(2.2)式是非线性自回归模型, 而且属于可加噪声模型类. 现介绍几种(2.2)式的常见形式.函数后的线性自回归模型:f(x t)=α1f(x t-1)+α2f(x t-2)+...+αp f(x t-p)+εt,(2.7)其中f(.)是一元函数, 它有已知和未知的不同情况, 不过总考虑单调增函数的情况, α=(α1,α2,…,αp)τ是未知参数. 在实际应用中, {x t}是可获得量测的序列.当f(.)是已知函数时, {f(x t)}也是可获得量测的序列, 于是只需考虑y t=f(x t)满足的线性AR模型y t=α1y t-1+α2y t-2+...+αp y t-p+εt,(2.8)这是线性自回归模型. 在宏观计量经济分析中, 常常对原始数据先取对数后, 再作线性自回归模型统计分析, 就属于此种情况. 这种先取对数的方法, 不仅简单, 而且有经济背景的合理解释,它反应了经济增长幅度的量化规律. 虽然在统计学中还有更多的变换可使用, 比如Box-Cox变换, 但是, 由于缺少经济背景的合理解释,很少被使用. 由此看来, 当f(.)有实际背景依据时, 可以考虑使用(2.7)式的模型.当f(.)是未知函数时, {f(x t)}不是可量测的序列, 于是只能考虑(2.7)模型. 注意f(.)是单调函数, 记它的逆变换函数为f-1(.), 由(2.7)式可得x t=f-1(α1f(x t-1)+α2f(x t-2)+...+αp f(x t-p)+εt),(2.9) 此式是(2.4)式的特殊情况, 此类模型很少被使用. 取而代之是考虑如下的模型x t=α1f(x t-1)+α2f(x t-2)+...+αp f(x t-p)+εt, (2.10) 其中f(.)是一元函数, 也有已知和未知之分, 可不限于单调增函数. 此式属于(2.2)式的特殊情况, 有一定的使用价值. 例如x t =α1I(x t-1<0)x t-1+α2I(x t-1≥0)x t-1+εt , (2.11) 其中I(.)是示性函数. 此模型是分段线性的, 是著名的TAR 模型的特殊情况(详见后文). 其分段形式如下:x t =⎩⎨⎧≥+<+----.0,,0,112111t t t t t t x x x x εαεα t=1,2,… (2.12)请注意, (2.10)和(2.11)式有一个共同的特征, 就是未知参数都以线性形式出现在模型中. 这一特点在统计建模时带来极大的方便. 此类模型便于实际应用. 但是, 对于{x t }而言不具有线性特性, 所以, 讨论它们的平稳解, 以及建模理论等问题, 都需要借助于马尔可夫链的工具.参数型的非线性自回归模型: 即(2.2)式,x t =ϕ(x t-1,x t-2,…,x t-p ;α)+εt , (2.13)其中ϕ(…)是p 元已知函数, 但是其中含有未知参数α=(α1,α2,…,αp )τ. 一般说来, α在一定范围内取值.例如,x t =212111--+t t x x αα+εt , (2.14)其中α=(α1,α2)τ是未知参数, 它们的取值范围是: -∞<α1<∞, 0≤α2<∞.这里需要指出, 使用(2.13)式的模型, 不仅要借助马尔可夫链的工具, 而且在统计建模时遇到两种麻烦, 其一是参数估计的计算麻烦, 二是确定ϕ(…)函数的麻烦. 一般来说, 只有根据应用背景能确定ϕ(…)函数形式时, 才会考虑使用此类模型.除了以上两类模型外, 还有(2.1)式的非参数自回归模型, 以及从统计学中引入的半参数自回归模型. 对它们的统计建模更困难. 本讲座主旨在于介绍如何用马尔可夫链的工具, 描述非线性自回归模型的基本特性, 对这类模型不再仔细讨论.3. 带条件异方差的自回归模型前面的(2.3)式就是带条件异方差的自回归模型. 在这一小节里, 将介绍几种(2.3)式的常见形式.函数型条件异方差的自回归模型:x t=ϕ(x t-1,x t-2,…,x t-p)+S(x t-1,x t-2,…,x t-q)εt,(2.15)其中ϕ(…)是p元函数, S(…)是q元函数. 它们也有参数型和非参数型之分别, 这里不再赘述. 有两点必须指出: 为保证(2.15)式中S(…)被唯一确定, 还要限定Eεt2=1; 另外, 为(2.15)式建模时, 需要对ϕ(…)和S(…)都作估计.带ARCH模型的自回归模型:x t=ϕ(x t-1,x t-2,…,x t-p)+e t, (2.16)其中e t=S(e t-1,e t-2,…,e t-q)εt,S(e t-1,e t-2,…,e t-q)={α0+α1e t-12+…+αp e t-p2}1/2. (2.17)带ARCH 模型的自回归模型, 与函数型条件异方差的自回归模型, 都可借助马尔可夫链的工具加以研究. 研究带GARCH 模型的自回归模型, 仍有困难. 现在回顾(2.12)式的一般形式:x t =⎩⎨⎧≥++++<++++------,,...,,...22121201111110c x x x c x x x d t t q t q t d t t p t p t εαααεααα (2.18)其中{ε1t }和{ε2t }为相互独立的i.i.d.序列, 且ε1t ~N(0,σ12), ε2t ~N(0,σ22), 此外, 在(2.18)式中, d ≥1可能是未知的, c 被称为门限值, 一般也是未知的, 这些未知信息都会带来统计的麻烦. 现在我们讨论它的类型问题. 为此先改写它的形式如下:x t ={α10+α11x t-1+…+α1p x t-p +ε1t }I(x t-d <c)+{α20+α21x t-1+…+α2q x t-q +ε2t }I(x t-d ≥c)={α10+α11x t-1+…+α1p x t-p }I(x t-d <c)+{α20+α21x t-1+…+α2q x t-q }{I(x t-d ≥c)+{ε1t I(x t-d <c)+ε2t I(x t-d ≥c)}. (2.19) 由此可见, 当{ε1t }={ε2t }={εt }时, 上式变成x t ={α10+α11x t-1+…+α1p x t-p }I(x t-d <c)+{α20+α21x t-1+…+α2q x t-q }{I(x t-d ≥c) +εt , (2.20) 此式表明, 它属于(2.10)式的自回归模型. 由(2.20)式, 不难写出(2.10)式中的f k (.)函数(k=1,2,…,p+q+2), 注意它们都不是连续函数. 在实际应用中发现, (2.19)式中的两个残差项很少相同. 在此情况下, (2.19)式属于上述提到的哪一类呢? 易见, 它有条件异方差特性, 但是, 它又不像(2.15)或(2.16)式的任何一类. 它属于下面的多噪声驱动的自回归模型.两噪声驱动的自回归模型:x t=ϕ(x t-1,x t-2,…,x t-p)+S1(x t-1,x t-2,…,x t-q)ε1t,+ S2(x t-1,x t-2,…,x t-q)ε2t,(2.21) 其中{ε1t}和{ε2t}为相互独立的i.i.d.序列, Eε1t=Eε1t=0, Eε1t2=1 Eε2t2=1. 为了统计建模方便, 常假定它们有正态分布. 读者不难看出(2.19)式中的ϕ(x t-1,x t-2,…,x t-p), S1(x t-1,x t-2,…,x t-q)和S2(x t-1,x t-2,…,x t-q)的具体表达式.顺便指出, 称{ε1t}和{ε2t}为驱动噪声, 因为它们都是白噪声序列, 而且是不可观测的. 这样的模型可称为自激系统. 此类模型亦可借助于马尔可夫链的工具加以研究. 读者不难想到多噪声驱动的自回归模型, 这里从略.第三章. 马尔可夫链---描述AR模型的特性1.马尔可夫链时间序列{x t; t=1,2,…}, 是一个随机变量序列, 也简称随机序列. 与随机过程{x(t); t=∈(0,∞)}相比, 它只在离散时间取随机变量值的过程, 故此得名. 随机过程的类型很多, 研究的方法很多, 取得的成果也很多. 其中最重要的是马尔可夫过程, 当它是随机序列时, 称为马尔可夫链. 初次接触此类过程时, 先了解马尔可夫链为宜, 即{x t; t=1,2,…}为一马尔可夫链. 为易于理解概念的实质, 不妨考虑x t只取两个可能值的最简单情况. 以下就从一个示意性的例子说起.一个例子: 甲乙二人进行赌博, 每局分主(庄家)客方, 第一局的主客方由二人协商确定, 以后各局, 由前一局的取胜者担任(每局必分胜负)主方. 记x t=1表示在第t局时由甲任主方; x t=2表示在第t局时由乙任主方. 那么{x1, x2, …}是一个时间序列. 虽然它们只取1和2两个可能值, 但是不能预先知道它们的确切取值, 所以这它是随机序列.我们先用直观分析方法考察此例的特征. 如果此赌博含有技巧因素, 那么他们坐庄的多少与他们的水平有关. 以t表示当前局, 那末, x t的取值已定. 比如x t=1时, 意味着甲坐庄, 此时不能预知x t+1=1还是2. 如果x t+1=1意味着甲继续坐庄, 如果x t+1=2意味着甲丢掉庄家. 虽然不能预知x t+1的取值, 但是我们关心甲有多大把握继续坐庄. 重复上面的叙述, 当x t=2时, 我们关心甲有多大把握上庄. 在以上分析中, 我们忽略了x1, x2, …, x t-1的已知取值信息, 在已知x1,x 2, …, x t-1 , x t 时, 回答前面的两个问题, 只与x t 的取值有关. 此特征是被马尔可夫首先注意到的(1906年).现在将以上问题给出概率描述如下:P(x t+1=1⎜x t =1)=? P(x t+1=1⎜x t =2)=?被马尔可夫注意到的特征的概率论描述如下:P(x t+1=k ⎜x t =j,x t-1=j t-1,…,x 1=j 1)=P(x t+1=k ⎜x t =j), (3.1)如果上式的P(x t+1=k ⎜x t =j)与t 无关(详见后文), 可记P(x t+1=k ⎜x t =j)=p jk , j, k=1,2. (3.2)称p jk 为从状态j 向状态k 的转移概率. 注意, 此时只有两个可能状态(对应于x t =1或2), 于是易见p j1+p j2=1, 即p j2=1- p j1, j=1,2. (3.3)再将这些记号概括到如下的矩阵中, 即P=⎪⎪⎭⎫ ⎝⎛--=⎪⎪⎭⎫ ⎝⎛q q p p p p p p 1122211211, (3.4)称P 为马尔可夫链{x t }的一步转移概率矩阵, 也简称为转移矩阵. 又因(3.3)式成立, 故可简化记为p 11= p, p 22=q. p 11恰好表示甲继续坐庄的概率(相当于把握的大小), p 22恰好表示甲继续不坐庄的概率. 经马尔可夫和后来人的不断研究表明, 在以上例子中, 转移矩阵P 能刻画出马尔可夫链{x t }的全部概率特征. 对更广泛的马尔可夫过程也有类似结论. 在随机过程中有关马尔可夫过程的内容非常丰富. 在本讲义中, 只介绍某些马尔可夫链的知识, 又尽可能少地涉及深层理论内容. 为此, 我们先将马尔可夫过程理论分为四大类, 概括在如下的一拦表中, 据此可明确我们将关心哪一类. 当然, 也只关心此类中的局部内容(见后文便知). 为列此表, 首先注意, 在马尔可夫过程{x t}中, 时间t 有连续和离散的区分; x t的取值(又称为状态)也有连续和离散的区分. 上述例子就是离散型, 而且是两状态的, 这是有限状态马尔可夫链的最简单的情况. 依此划分可列出下表:马尔可夫过程分类表有趣的是, 这四类的研究历程有如下的先后次序: 离散状态马尔可夫链, 20年代---马尔可夫过程, 50年代---马尔可夫跳过程, 60年代---连续状态马尔可夫链, 70年代---我们关心连续状态马尔可夫链, 这是较近代的内容(1975年以后). 此内容恰好是近代非线性时间序列分析盼望已久的理论基础. 以下的各节将介绍连续状态马尔可夫链的定义和特性.马尔可夫链的定义: 若随机序列{x t}具有以下性质, 则称它为马尔可夫链,P(x t+1<x⎜x t, x t-1, …, x1)=P(x t+1<x⎜x t). (3.5)上式表明: 在给定x t, x t-1, …, x1时, x t+1的条件分布, 与给定x t时x t+1的条件分布相等, 记它为F t(x|x t). 在给定x t时, F t(x|x t)是一个分布函数, 它会随着x t的取值不同而不同. 易见, 此定义对离散和连续状态的马尔可夫链都适用.在非线性时间序列模型讨论中, 还须要用到多元马尔可夫链, 即{X t}中的X t=( X t1, X t2,…, X tm)τ是随机向量. 以上定义不难推广到向量的情况.向量马尔可夫链的定义: 若随机序列{X t}具有以下性质, X t=( X t1, X t2,…, X tm)τ是随机向量, 而且P(X t+1∈A ⎜X t, X t-1, …,X1)=P(X t+1∈A ⎜X t). (3.6) 在(3.6)式中的A, 是m维欧氏空间的可测集合. 特别取A={Y: Y =(Y1, Y2,…, Y m)τ , Y i<x i, i=1,2,…,m}, 便得到X t+1的多元分布函数.其实, 向量马尔可夫链的定义蕴涵了马尔可夫链的定义. 在后文中不再区分向量与非向量, 一律用马尔可夫链称之, 或者简称马氏链. 它们的维数会不言自明. 有了上述定义, 我们的目的是介绍马尔可夫链的平稳性条件. 为此, 还有几个概念不可缺少. 严格地说, 这几个概念和上面的定义, 都要用到测度论的术语. 这里回避了它们, 因为我们只是为了使用这些概念, 而不是研究它们. 在后文中将看到, 这并不影响使用这些概念来解决非线性自回归模型的平稳性等问题.齐时马尔可夫链: 如果马尔可夫链{x t}(一元的或多元的)满足P(x, A)=P(x t+1∈A⎜x t=x), t=1,2,…(3.7)与时刻t无关, 称{x t}为齐时马尔可夫链. 再记P k(x, A)=P(x t+k∈A⎜x t=x), k=1,2,…(3.8) 表示在当前时刻t处在x t=x, 经过k步后的x t+k落入A 的概率, 简称为k步转移概率. 显然, 依(3.7)式知P1(x, A)=P(x t+1∈A⎜x t=x)= P(x, A).又易见P2(x, A)=P(x2∈A⎜x0=x)=⎰P(y, A)P(x, dy). (3.9)此式表明, 两步转移概率P2(x, A), 可写成从x0=x先用一步转移到y, 再从x1=y转移到A的概率的平均. 其平均是指按一步转移概率分布完成, 以一元为例, P1(x, (-∞,y))= P(x, (-∞,y)), P(x, dy)=dP(x, (-∞,y)). 重复上面的推理可得P k(x, A)=P(x k∈A⎜x0=x)=⎰P k-1(y, A)P(x, dy),k=2,3,…(3.10) 马尔可夫链的不可约性: 如果马尔可夫链{x t}满足∑k=1∞ P k(x, A)>0, (3.11)其中x是m(≥1)维欧氏空间R m的任意一点, A是m(≥1)维欧氏空间的任意一个有正测度的可测集合, 这里的测度不妨用Lebesgue测度, 在本讲义中已是够用了.现在对不可约概念作些直观解释. 先从(3.11)式的定义可看出, 从R m中的任何一点出发, 对任何指定的正测度集合A, 用有限步转移到A的概率是正的. 换句话说, 不存在那样的点x和正测度集合A, 从x出发永远不能到达A. 更直观解释可用类似于前边的例子. 考察甲对乙, 丙对丁同来赌博, 并争用同一赌具的例子. 因为只有一个台面可用, 于是, 要用抽签决定哪一对进行赌博. 我们记x t=1表示在第t局时由甲坐庄; x t=2表示由乙坐庄; x t=3表示由丙坐庄; x t=4表示由丁坐庄. 于是{x1, x2, …}是一个时间序列. 不难验证这是一个马尔可夫链. 但是, 当x1=1或2时, 此后的x t, 只能x t=1或2, 不可能取3或4; 反之, 如果x1=3或4时, 此后也只能x t=3或4, 不可能取1或2. 这就是说, 在(3.11)式中取x=1, A={3,4}时, (3.11)式等于0值. 所以此马尔可夫链不是不可约的. 此例显然是编撰的, 通过它可说明, 对于可约的马尔可夫链, 可以分解成子序列分别去研究. 也就是说, 我们应当对甲--乙和丙--丁的博弈分别进行考察, 没有必要放在一个马尔可夫链中来讨论.马尔可夫链的周期性: 如果存在互不相交的正测度可测集合A1,A2,…,A d, 使得马尔可夫链{x t}满足P(x, A k)=1, 当x∈A k-1, k=2,3,…,d,P(x, A1)=1, 当x∈A d.则称{x t}为具有周期长度为d的周期马尔可夫链.此定义表明, 周期马尔可夫链, 必然从A1转移到A2, 再从A2转移到A3,…, 最后, 又从A d转移到A1, 形成周期性的转移规律. 须注意, 从A k-1转移到A k时, 具体转移到A k中哪一点, 仍然是随机的, 否则不是随机序列了. 虽然如此, 对周期马尔可夫链, 只需要研究其等间隔的子链{x td}即可, 因为其它子链{x td+k}(k=1,2,…,d-1)与{x td}的概率结构相同. 所以, 我们也只需考察非周期马尔可夫链, 即d=1的情况. 对此概念不在作直观解释了.马尔可夫链的小集合: 对于马尔可夫链{x t}, 如果存在非空的可测集合C∈R m, 一个正整数q, 一个正常数λ, 和某个概率测度ν, 使得P q(x, A) ≥λν(A), 对于任何x∈C, A∈R m, (3.12)则称C是马尔可夫链{x t}的小集合.以上小集合是一个重要的概念, 它是从一般离散状态马尔可夫链中的相应概念演化而来的. 对它要作直观解释比较困难, 将涉及太多的其它相关知识, 这里只得放弃了. 好在, 在下一节的应用时只用此定义而已, 在很宽松的条件下, 又是通过很容易的论证, 即可得知怎样的马尔可夫链会有怎样的小集合.以上叙述了马尔可夫链的转移概率. 现在考虑它的分布. 首先考察x0的分布, 它是初始的随机变量, 可以有其自己的分布, 也称为此马尔可夫链的初始分布, 不妨记为F0. 欲考察x1的分布F1, 根据齐时马尔可夫链的性质, 利用条件分布公式可得(当m=1时) F1(x)=P(x1<x)=⎰P(y, (-∞,x))dF0(y).当x1的维数m>1时, 将上面的分布F0和分布F1, 改用概率测度记号P0和P1更方便, 即有P1(A)=P(x1∈A)=⎰P(y, A)P0(dy). (3.13)仿此式可得P t(A)=P(x t∈A)=⎰P(y, A)P t-1(dy), t=1,2,… (3.14) 依此式和x0的概率测度P0, 就能确定马尔可夫链的全部概率分布. 在初始概率测度中, 如果存在这样的P, 能保证(3.13)式成为P1(A)=P(x1∈A)=⎰P(y,A)P(dy)=P(A)=P(x0∈A), (3.15) 此式意味着, 初始概率测度P经过一步转移后得到x1的概率测度P1, 与P相同, 或者说, 此概率测度P经过一步转移后不变, 称这样的P为不变概率测度. 将(3.15)式代入(3.14)式, 并反复迭代可得P t(A)=P(x t∈A)=⎰P(y, A)P t-1(dy)=⎰P(y, A)P(dy). t=1,2,…(3.16) 可见, 若以不变概率测度作为初始概率测度时, 则x t 都有相同的分布.马尔可夫链的平稳性: 考察齐时马尔可夫链{x t; t=0,1,2,…}, 若它有不变概率分布, 则称它为马尔可夫链的平稳分布, 当以此作为初始概率测度时, 则称这样的马尔可夫链为平稳的, 或者说它具有平稳性.须注意, 不是任何马尔可夫链都有平稳分布. 人们自然关心怎样的马尔可夫链有平稳分布, 如何获得其平稳分布的问题. 稍后将讨论此类问题.马尔可夫链的遍历性: 如果马尔可夫链{x t}有不变概率测度P, 对任意x∈R m, 取(3.13)式中的P0(x0=x)=1, 即取初始概率测度为在点x处的点分布, 记P n x为由(3.14)式确定的x n的概率测度, 如果有lim n→∞||P n x-P||=0, (3.17)称此马尔可夫链{x t}为遍历的; 如果存在ν>1使得lim n→∞νn||P n x-P||=0, (3.18)称此马尔可夫链{x t}为几何速度遍历, 又简称几何遍历性. 在(3.18)式中的||P n x-P||表示(P n x-P)的模数, 即两个概率测度P n x和P之差的距离的度量. 我们这里采用(P n x-P)的全变差作为度量模数. 粗略地说, 就是||P n x-P||=⎰|P n x(dy)-P(dy)|.注意, 上式右边的积分, 如果放弃取绝对值的记号, 上式=1-1=0; 加上绝对值记号, 称为全变差. 显然, 上式>0, 除非P n x=P.根据上述定义, 如果一个马尔可夫链有遍历性, 那么, 从任何一点x出发, 经过n步转移后得到x n的概率测度P n x, 都会收敛到它的不变概率测度P, 甚至于会有几何速度收敛. 具有遍历本必有不变概率测度, 可见这是重要的性质. 至于如何判断马尔可夫链是否有遍历性, 请看以下的定理.飘移定理: 如果马尔可夫链{x t}是齐时的, 不可约的, 非周期的, 还存在小集合C, 此外还有一非负(m 元)可测函数g, 和常数c 1>0, c 2>0, 使得(i) E{g(x n )| x n-1 =x}≤g(x)-c 1, 当x ∉C,(ii) E{g(x n )| x n-1 =x}≤c 2, 当x ∈C,那么, 此马尔可夫链为遍历的. 如果还存在0<ρ<1, 使得以上(i)被如下的(i)’代替, (ii)仍保持, 即(i)’ E{g(x n )| x n-1 =x}≤ρg(x)-c 1, 当x ∉C,那么, 此马尔可夫链为几何遍历的.此定理是下一节定理的基基础. 在实际应用时, 既可直接使用此定理, 也可以使用下一节的定理. 而且, 下一节的定理是针对NLAR(p)模型的, 更实用.2. AR 模型所确定的马尔可夫链对于p 阶非线性自回归模型x t =ϕ(x t-1,x t-2,…,x t-p )+εt , t=1,2,… (3.19)仿照(1.6)至(1.9)式的扩张的方法, 引入记号 Φ(x t-1,x t-2,…,x t-p )≡⎪⎪⎪⎪⎪⎭⎫ ⎝⎛+-----1121),...,,(p t t p t t t x x x x x ϕ, U=⎪⎪⎪⎪⎪⎭⎫ ⎝⎛001 , (3.20)得到与(3.19)式等价的模型X t =Φ(X t-1) +εt U, t=1,2,… (3.21)当p=1时, (3.19)式为x t =ϕ(x t-1)+εt , t=1,2,…于是P(x t <x|x t-1,x t-2,…,x 1)=P(ϕ(x t-1)+εt <x|x t-1,x t-2,…,x 1)=P(ϕ(x t-1)+εt<x|x t-1)=P(x t<x| x t-1),由此可知, 满足NLAR(1)模型的序列{x t}是马尔可夫链. 但是, 满足NLAR(p)模型(3.19)式的序列{x t}不是马尔可夫链. 幸运的是, 仿照推论NLAR(1)序列{x t}是马氏链的步骤, 容易得知, 满足p元NLAR(1)模型(3.21)式的多元序列{x t}是多元马氏链, 因为P( X t∈A| X t-1,X t-2,…,X1)= P( X t∈A| X t-1).在后文中, 常用多元马氏链, 为了节省符号, 一般不用大小写字母来区分一元与多元x t, 在讨论中, 它的维数是不言自明的.引理3.1. 在模型(3.19)式中, 如果εt和ϕ(…)满足(i) i.i.d.序列{εt}中的εt有处处为正的密度函数,(ii) 对任何K<∞, 可测函数ϕ满足sup||x||<K|ϕ(x)| <∞那么, 满足(3.21)式的{X t}是一马尔科夫链, 而且它是: 齐时性的; 不可约性的; 非周期性的;而且任何有界可测集是小集.此结果的证明并不难, 不过, 还是有太多的数学推演内容, 这里从略. 有兴趣者可参见安和陈的书(第4章，1998). 由此引理可见, 尽管在前一小节中叙述了较多的概念, 有的还难于理解, 但是, 当讨论在时序模型中的应用时, 竟如此简单, 并不涉及对诸多概念的太深理解. 由此引理和飘移定理又可得如下定理.定理3.2. 在模型(3.19)式中, 如果εt和ϕ(…)满足(i) εt有处处为正的密度函数, Eεt=0, Eεt2<∞,(ii) 存在0≤ρ<1, c≥0, 和加权模数||.||w , 使得||ϕ(x)||w≤ρ||x||w +c, (3.22) 或者|ϕ(x)|=|ϕ(x1, x2,…, x p)|≤ρmax{|x1|, |x2|,…, |x p|}+c, (3.23)那么, 满足(3.21)式的{X t; t≥1}是几何遍历的马尔科夫链. 其中加权模数是指:||x||w2=∑k=1m w jk x j x k=xτWx, W=(w jk)>0.这里使用加权模数, 是为了放宽(3.22)式的约束性.由此可知, 在时序模型中应用马氏链, 主要归于验证前一引理和此定理的条件.此定理的证明有太多数学推演, 这里从略. 此定理是比较重要的一个. 还有其它的定理讨论自回归模型有遍历性条件, 在此不逐一介绍, 有兴趣者可参见安和陈的书(第4章，1998). 以下再叙述一个有关带条件异方差自回归模型的遍历性定理.定理3.3. 考察带条件异方差的模型:x t=ϕ(x t-1,x t-2,…,x t-p)+S(x t-1,x t-2,…,x t-q)εt,(3.24) 如果εt,ϕ(…)和S(…)满足(i) εt 有处处为正的密度函数, E εt =0, E εt 2=1,(ii) 存在一种加权模数||.||w 和0<ρ<1, c ≥0, 使得(3.22)式成立,(iii) S(…)是正的连续函数, 而且lim ||x||→∞ S(x)/||x||=0, (3.25) 那么, 满足(3.24)式的{X t }是几何遍历的马尔科夫链.3.若干例子以下总假定{εt }满足定理3.2中的条件(i).例3.1. 有界自回归模型. 若非线性AR(p)模型 x t =ϕ(x t-1,x t-2,…,x t-p )+εt , 中的ϕ(…)是有界函数, 即存在K<∞, 使得|ϕ(x)| <K.取ρ=0, c=K, W=I(单位方阵), 则(3.22)式成立, 模型有几何遍历性. 如(2.14)式, ϕ(x t-1)=212111--+t t x x αα是有界函数.例3.2. 衰减型自回归模型. 若非线性AR(p)模型 x t =ϕ(x t-1,x t-2,…,x t-p )+εt , 中的ϕ(…)有以下的衰减性质, 即lim ||x||→∞||ϕ(x)||/||x||=0, (3.26) 任取0<ρ<1, c>0, W=I, 易见(3.22)式成立, 模型有几何遍历性.例3.3. 线性自回归模型. 若线性AR(p)模型 x t =α1x t-1+α2x t-2+…+αp x t-p +εt ,其中系数满足平稳性条件, 即1-α1u-α2u 2-…-αp u p ≠0, |u|≤1. (3.27)回顾(1.6)(1.7)和(1.8)式, 上式可写成等价模型X t =A X t-1+ e t U.依(1.7)式关于A 的定义, 以及(3.27)式, 必存在加权模数 ||.||w 使得(3.22)式成立, 其中0<λ(A)<ρ<1, 这里λ(A)是A 的谱半径. 所以此模型有几何遍历性.例3.4. 半参数自回归模型.x t =α1x t-1+α2x t-2+…+αp x t-p +f(x t-1,x t-2,…,x t-q )+εt , 其中系数满足平稳性条件(3.27)式, 连续函数f(…)满足(3.26)式, 所以此模型有几何遍历性. 论证从略.例3.5. 门限自回归模型.(Threshold AR---TAR) 考察(2.12)和(2.18)式的一般形式, 即x t =⎪⎪⎩⎪⎪⎨⎧∞<<++++≤<++++≤<∞-++++----------,,...,,...,,...1110212121201111110d t s t p t sp t s s d t t p t p t d t t p t p t x c if x x c x c if x x c x if x x εαααεαααεααα (3.28)其中在各段的{εt }亦可互不相同, 且互相独立, 这里讨论相同情况. 如果(3.28)式的系数满足ρ=max 1≤k ≤s ∑j=1p |αkj |<1, (3.29)不难验证(3.23)式成立, 于是此模型有几何遍历性. 例3.6. β-ARCH 模型:x t =h t 1/2εt , t=1,2,… (3.30)。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
马尔可夫链（Markov Chain），描述了一种状态序列，其每个状态值取决于前面有限个状态[1]。
马尔可夫链是具有马尔可夫性质的随机变量X_1,X_2,X_3...的一个数列。
这些变量的范围，即它们所有可能取值的集合，被称为“状态空间”，而X_n的值则是在时间n的状态。
如果X_{n+1}对于过去状态的条件概率分布仅是X_n的一个函数，则P(X_{n+1}=x|X_1=x_1,X_2=x_2,...,X_n=x_n) = P(X_{n+1}=x|X_n=x_n).
这里x为过程中的某个状态。
上面这个恒等式可以被看作是马尔可夫性质。
理论发展
马尔可夫在1906年首先做出了这类过程。
而将此一般化到可数无限状态空间是由柯尔莫果洛夫在1936年给出的。
马尔可夫链与布朗运动以及遍历假说这两个二十世纪初期物理学重要课题是相联系的，但马尔可夫寻求的似乎不仅于数学动机，名义上是对于纵属事件大数法则的扩张。
物理马尔可夫链通常用来建模排队理论和统计学中的建模，还可作为信号模型用于熵编码技术，如算术编码（著名的LZMA数据压缩算法就使用了马尔可夫链与类似于算术编码的区间编码）。
马尔可夫链也有众多的生物学应用，特别是人口过程，可以帮助模拟生物人口过程的建模。
隐蔽马尔可夫模型还被用于生物信息学，用以编码区域或基因预测。
马尔可夫链最近的应用是在地理统计学(geostatistics)中。
其中，马尔可夫链用在基于观察数据的二到三维离散变量的随机模拟。
这一应用类似于“克里金”地理统计学(Kriging geostatistics)，被称为是“马尔可夫链地理统计学”。
这一马尔可夫链地理统计学方法仍在发展过程中。
马尔可夫过程
马尔可夫过程的定义：
⑴设{(X(t),t∈T)}是一个随机过程，如果{X(t),t∈T)}在t0时刻所处的状态为已知时，与它在时刻t>t0之前所处的状态无关，则称{X(t),t∈T)}具有马尔可夫性。
⑵设{X(t),t∈T)}的状态空间为S,如果对于任意的n≧2,任意的t1<t2<....<tn∈T,在条件X(ti)=xi,xi∈S,i=1,2,...,n-1下,X(tn)的条件分布函数恰好等于在条件X(tn-1)=xn-1下的条件分布函数，即
P(X(tn)<=xn|X(t1)=x1,X(t2)=x2,...,X(tn-1)=xn-1)
=P(X(tn)<=xn|X(tn-1)=xn-1)
则称{(X(t),t∈T)}为马尔可夫过程。
马尔可夫过程，能为给定样品文本，生成粗略，但看似真实的文本：他们被用于众多供消遣的“模仿生成器”软件。
马尔可夫链还被用于谱曲。
它们是后面进行推导必不可少的条件：⑴尺度间具有马尔可夫性质.随机场从上到下形成了马尔可夫链，即Xi 的分布只依赖于Xi,与其他更粗糙的尺度无关，这是因为Xi 已经包含了所有位于其上层的尺度所含有的信息.⑵随机场像素的条件独立性.若Xi 中像素的父节点已知，则Xi 中的像素彼此独立.这一性质使我们不必再考虑平面网格中相邻像素间的关系，而转为研究尺度间相邻像素（即父子节点）间的关系.⑶设在给定Xn 的情况下,Y 中的像素彼此独立.⑷可分离性.若给定任一节点xs,则以其各子节点为根的子树所对应的变量相互独立.
从只有一个节点的根到和图像大小一致的叶子节点，建立了完整的四叉树模型，各层间的马尔可夫链的因果关系使我们可以由非迭代的推导过程快速计算出X 的最大后验概率或后验边缘概率.
应用
马尔可夫链通常用来建模排队理论和统计学中的建模，还可作为信号模型用于熵编码技术，如算法编码。
马尔可夫链也有众多的生物学应用，特别是人口过程，可以帮助模拟生物人口过程的建模。
隐蔽马尔可夫模型还被用于生物信息学，用以编码区域或基因预测。
马尔可夫链最近的应用是在地理统计学(geostatistics)中。
其中，马尔可夫链用在基于观察数据的二到三维离散变量的随机模拟。
这一应用类似于“克里金”地理统计学(Kriging geostatistics)，被称为是“马尔可夫链地理统计学”。
这一马尔可夫链地理统计学方法仍在发展过程中。