马氏过程及Q矩阵概述

马氏过程及Q矩阵

姓名：许丹妮

学号：3100803113

班级：金融101

一、 马氏过程

1 产生背景

在确定性现象的研究中，用函数描述研究对象的变化规律，这个函数往往是某组微分方程（或偏微分方程）的解。因此，如果已知函数的初始值（或加上边值条件）和方程，这个函数便完全确定。此事实反映许多自然现象所共有的一种性质：已知研究对象现在的 情况，对象将来的变化情况与它过去的行为无关。称此现象为无后效性。

在随机现象的研究中，用随机过程描述研究对象的变化规律。大量的资料表明，许多随机现象也具有无后效性，只是这时的无后效性带有统计色彩。它可表示为：给定随机过程{}T t X t ∈, ，若对于参数集中任意有n t Λ2,1,0=，和任意的I i i i n ∈,,,10Λ，

}|{},,|{11110011n n n n n n n n i X i X P i X i X i X i X P =======++++Λ

成立，那么称过程具有无后效性 。即是说，已知过程t 时的情况，预言t 后事件的概率与过程在t 前的行为无关。由于马尔科夫最先研究这类过程，故称这类过程为马尔科夫过程，称无后效性为马尔科夫性。

2 概念及定义

马尔科夫过程按其状态和时间参数是连续的或离散的，可分为三类：

（1）时间、状态都是离散的马尔科夫过程，称为马尔科夫链。

（2）时间连续、状态离散的马尔科夫过程，称为连续时间的马尔科夫链。

（3）时间、状态都连续的马尔科夫过程。

1）假设马尔科夫过程{}T t X t ∈,的参数集T 是离散的时间集合，即Λ2,1,0=t ，其相应t X 可能取值的全体组成的状态空间是离散的状态集},,{10Λi i I = 定义 1 设有随机过程{}T t X t ∈,，若对于任意的整数T t ∈和任意的I i i i n ∈+110,,,Λ，条件概率满足：

}|{},,|{11110011n n n n n n n n i X i X P i X i X i X i X P =======++++Λ 则称{}T t X t ∈,为马尔科夫链。

2）连续时间的马尔科夫链

定义 2 设随机过程{}0,≥t X t ，状态空间},{o t i I t ≥=。若对任意1210+<<<≤n t t t Λ及I i i i n ∈+110,,,Λ，有

}|{},,|{11110011n n n n n n n n i X i X P i X i X i X i X P =======++++Λ

则称{}0,≥t X t 为连续时间马尔科夫链。

3 应用

（1）经典应用在概率方面，马尔科夫链主要应用排队论、存储模型和更新模型方面。再者是应用于网络流量分析和计算机系统建模方面，例如在无线局域网载波侦听与碰撞避免协议分析中就采用了二维马尔科夫模型。

（2）马尔科夫链研究与应用领域还可以是时间序列分析，它不但可以处理AR 模型，而且可以处理一些非线性模型。此时，将传统的一维状态空间描述转化为向量空间描述。

（3）在马尔科夫链应用方面另一个快速发展的理论是马尔科夫链的计算机仿真算法理论，如Gibbs 抽样、Metropolis-Hastings 算法以及更一般性的Markov Monte Carlo 方法等。

（4）Markov 链在研究质点的随机运动、自动控制、通信技术、生物工程、经济管理等领域都有着广泛的应用。

一、 Q 矩阵

1 背景

对于离散时间齐次马尔科夫链，如果已知其一步转移概率矩阵)(ij p P =则k 步转移矩阵由一步转移概率矩阵的k 次方即可求得。但是，对于连续时间齐次马尔科夫链，其转移概率就可由Q 矩阵决定并求得。以Q 为密度矩阵的广义转移矩阵称为Q 过程。在一定条件下，Q 广义转移矩阵)(t p ，0≥t 满足向后微分方程组合向前微分方程组。这两个方程组的更普遍形式由克尔莫格罗夫于1931年引入，他并提出求解上述方程组的问题：给定一个矩阵),(ij q Q =满足∞

义转移矩阵)(t p ？

对于ij q 都有限的情形，W.费勒于1940年构造了一个最小解)(t p ，证明了)(t p 总是存在的；中国学者侯振挺与1974年对于ij q 都有限的情形找到了)(t p 的惟一性准则，至于求出全部Q 广义转移矩阵的问题，仅仅对一些特殊的情形获得解决。 2 概念及应用

设)(t p ij 是齐次马尔科夫过程的转移概率，那么存在极限

（1）;)(1lim 0∞<==∆∆-→∆ii i ii t q v t

t p （2） j i q t t p ij ij t ≠∞<=∆∆→∆,)

(lim 0

我们称ij q 为齐次马尔科夫过程从状态i 到状态j 的转移速率。

若连续时间齐次马尔科夫链是具有有限状态空间},1,0{n I Λ=，则其转移速率可构成以下形式的矩阵：

=Q ⎪⎪⎪⎪⎪⎭⎫ ⎝⎛---nn n n n n q q q q q q q q q ΛM M M M ΛΛ10

1111000100

对于连续时间齐次马尔科夫链，其转移概率不再是简单可求得的,它可能是时间的函数，这时可以通过其转移速率Q 矩阵求得。

三、文献

1 《随机过程理论与应用》樊平毅著.

2 《随机过程及其应用》刘次华著.

3 《随机过程理论与应用》熊大国著.