马尔可夫链
第六章 马尔可夫链
U P { ( X n k l),X n k mjX ni)
l
U P {(X n k l,X n k mj)X ni)
l
P (X n k l,X n . k m j)X n i)
l
第一节 基本概念
２. Chapman-kolmogorov方程
L
P ( n ) P ( n 1 ) L P ( n k 1 ) P ( n k )
分量形式
(n, k 0)
p i ( j k 1 ) ( n ) Lp i j 1 ( n ) p j 1 j 2 ( n 1 ) L p j k j( n k ) j 1j 2 j k . (n,k0,i,jS)
.
第一节 基本概念
4.齐次马尔可夫链
为方便，一般假定时间起点为零．即
p(k) ij
P(Xk
j
X0
i)
i, j S,k 0
相应的k步与一步转移概率矩阵分别记为 P (k)与 P
定理 (1) P(k) Pk , k 0;
(2) q(k) q(0)Pk , k 0;
(3) {Xn, n 0}的有限维分布由其初始分布和一 步转移概率所完全确定
.
Markov过程
➢ 时间离散状态离散的马尔科夫链
➢ 时间离散状态连续的马尔科夫序列 ➢ 时间连续状态连续的马尔科夫过程 ➢ 时间连续状态离散的马尔科夫过程
马尔可夫链通俗理解
马尔可夫链是一种数学模型，用于描述一系列随机事件之间的转移关系。简单来说，它是一个状态序列，其中每个状态都有一个概率转移到下一个状态，而这个概率只与当前状态有关，与之前的状态无关。这种随机过程被称为“马尔可夫过程”。
例如，假设有一个人每天可以处于三种状态之一：健康、感冒或发烧。每天他可能保持原状态不变，也可能由健康变成感冒或发烧，或由感冒或发烧恢复到健康状态。这些转移的概率只与当前状态有关，而与之前的状态无关，因此可以用马尔可夫链来描述这个过程。
马尔可夫链在许多领域中都有应用，如自然语言处理、金融、生物学等。它可以用于模拟随机事件的发展趋势，预测未来的状态，以及优化决策等。
马尔可夫链
2020年5月21日星期四
定理 若ij ，则 (1) i与j同为常返或非常返,如为常返,则它们同 为正常返或零常返; (2) i与j有相同的周期.
1
1
1
22
1 2
1
3
4
1
2020年5月21日星期四
P{ X 0
i0 , X1
i1,L
, X n1
i } P n1
in1 ,in
P P P L P . i0 i0 ,i1 i1 ,i2
in1 ,in
2020年5月21日星期四
5、切普曼-柯尔莫哥洛夫方程
在齐次条件下，可得到n步转移概率
p(n) ij
P{ X mn
j|
Xm
i}
由所有的n步转移概率就可得到n步转移概率矩阵
概率矩阵确定.
证 P{ X0 i0 , X1 i1 ,L , X n in }
P{ X0 i0 , X1 i1 ,L , X n1 in1 }
P{Xn in X0 i0 , X1 i1,L , Xn1 in1} P{ X0 i0 , X1 i1 ,L , X n1 in1 } P{Xn in Xn1 in1}
1 4
,
f (3) 00
第四章马尔可夫链
kI
P { X m l k , X m i}
P{ X m i}
P { X m n j | X m l k , X m i} P { X m l k | X m i} kI
P { X m n j | X m l k } P { X m l k | X m i} kI
设{Xn,n∈T}为马尔可夫链，则对任意整数 n≥0，0≤L<n和i,j∈I，n步转移概率具有下列 性质：
1.
p(n) ij
p p (l) (nl) ik k j
k I
2.
p i(n j) p i1 kp k1 k2p kn 1j
k1 I kn 1 I
ChapmanKolmogorov方程
第四章 马尔可夫链
1. 马尔可夫链定义 2. 一步转移概率及多步转移概率 3. 初始概率及绝对概率 4. Chapman-Kolmogorov（C-K）方程 5. 遍历的马尔可夫链及平稳分布 6. 马尔可夫链状态分类
.
时间、状态都是离散的马尔可夫过程，称 为马尔可夫链。 例如：天气预报
质点的随机游动
.
设P表示一步转移概率所组成的矩阵，则
p11 p12 p1n Pp21 p22 p2n
称为系统状态的一步转移概率矩阵，它具有 如下性质：
1. pij 0, i, jI
2. pij 1, i, jI jI
马尔可夫链
马尔可夫链
马尔可夫链（Markov Chain, MC）是概率论和数理统计中具有马尔可夫性质（Markov property）且存在于离散的指数集（index set）和状态空间（state space）内的随机过程（stochastic process）。适用于连续指数集的马尔可夫链被称为马尔可夫过程（Markov process），但有时也被视为马尔可夫链的子集，即连续时间马尔可夫链（Continuous-Time MC, CTMC），与离散时间马尔可夫链（Discrete-Time MC, DTMC）相对应，因此马尔可夫链是一个较为宽泛的概念。马尔可夫链的命名来自俄国数学家安德雷·马尔可夫以纪念其首次定义马尔可夫链和对其收敛性质所做的研究。
马尔可夫链公式
马尔可夫链公式
1. 什么是马尔可夫链
马尔可夫链是指一个随机过程，在这个过程中某些状态可以通过
概率转移去到其他状态，而且转移只与当前状态有关，与之前的状态
无关。具有这个特点的随机过程称为马尔可夫过程，而它产生的序列
称为马尔可夫链。
2. 马尔可夫链的特点
马尔可夫链具有以下几个特点：
- 状态空间：指该随机过程中所有可能的状态的集合。
- 转移概率：在任意时刻，从一个状态转移到另一个状态的概率。
- 状态的分布：表示在任意时刻每个状态出现的概率。
- 稳定性：表示在长时间运转后达到的稳定状态的分布。
3. 马尔可夫链的公式
马尔可夫链的公式描述了该过程中某个状态在下一时刻的概率分
布与当前状态的概率分布之间的关系。数学表示如下：
P(X_n+1=i | X_n=j) = Pij
其中，Pij表示从状态j转移到状态i的概率。上述公式可以表示为一个矩阵形式：
P = [Pij]
其中P是一个n×n的矩阵，表示马尔可夫链的状态转移概率矩阵。矩阵中的每个元素都是非负的，且每一行元素之和为1。
4. 马尔可夫链的应用
马尔可夫链可以应用于许多现实生活中的问题。例如：
- 预测天气：根据前面几天的天气情况，通过马尔可夫链可以预
测后面几天的天气情况。
- 音乐生成：通过马尔可夫链可以生成新的音乐片段，以及根据
既有音乐生成新的音乐曲目。
- 股票分析：通过分析历史数据，使用马尔可夫链可以预测未来
股票价格的走势。
- 自然语言处理：使用马尔可夫链可以构建文本生成模型，例如
自动泡面爆款语录。
总之，马尔可夫链是一种极为重要的随机过程，在很多领域都有
马尔可夫链
马尔可夫过程
一类随机过程。它的原始模型马尔可夫链，由俄国数学家A.A.马尔可夫于1907年提出。该过程具有如下特性：在已知目前状态（现在）的条件下，它未来的演变（将来）不依赖于它以往的演变 ( 过去 ) 。例如森林中动物头数的变化构成——马尔可夫过程。在现实世界中，有很多过程都是马尔可夫过程，如液体中微粒所作的布朗运动、传染病受感染的人数、车站的候车人数等，都可视为马尔可夫过程。关于该过程的研究，1931年 A.H.柯尔莫哥洛夫在《概率论的解析方法》一文中首先将微分方程等分析的方法用于这类过程，奠定了马尔可夫过程的理论基础。
目录
马尔可夫过程
离散时间马尔可夫链
连续时间马尔可夫链
生灭过程
一般马尔可夫过程
强马尔可夫过程
扩散过程
编辑本段马尔可夫过程
Markov process
1951年前后，伊藤清建立的随机微分方程的理论，为马尔可夫过程的研究开辟了新的道路。1954年前后，W.费勒将半群方法引入马尔可夫过程的研究。流形上的马尔可夫过程、马尔可夫向量场等都是正待深入研究的领域。
类重要的随机过程，它的原始模型马尔可夫链，由俄国数学家Α.Α.马尔可夫于1907年提出。人们在实际中常遇到具有下述特性的随机过程：在已知它目前的状态（现在）的条件下，它未来的演变（将来）不依赖于它以往的演变（过去）。这种已知“现在”的条件下，“将来”与“过去”独立的特性称为马尔可夫性，具有这种性质的随机过程叫做马尔可夫过程。荷花池中一只青蛙的跳跃是马尔可夫过程的一个形象化的例子。青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶上，因为青蛙是没有记忆的，当现在所处的位置已知时，它下一步跳往何处和它以往走过的路径无关。如果将荷叶编号并用X0,X1,X2，…分别表示青蛙最初处的荷叶号码及第一次、第二次、……跳跃后所处的荷叶号码，那么{Xn，n≥0} 就是马尔可夫过程。液体中微粒所作的布朗运动，传染病受感染的人数，原子核中一自由电子在电子层中的跳跃，人口增长过程等等都可视为马尔可夫过程。还有些过程（例如某些遗传过程）在一定条件下可以用马尔可夫过程来近似。
马尔可夫链基础及应用
马尔可夫链基础及应用
马尔可夫链是一种数学模型，用于描述具有马尔可夫性质的随机过程。马尔可夫性质指的是在给定当前状态的情况下，未来状态的概率分布只依赖于当前状态，而与过去状态无关。马尔可夫链可以用于建模和分析许多实际问题，如天气预测、金融市场分析、自然语言处理等。
一、马尔可夫链的基本概念
马尔可夫链由状态空间、初始状态分布和状态转移概率矩阵组成。
1. 状态空间：马尔可夫链的状态空间是指系统可能处于的所有状态的集合。状态可以是离散的，也可以是连续的。
2. 初始状态分布：初始状态分布是指系统在初始时刻各个状态的概率分布。通常用向量表示，向量的每个元素表示对应状态的概率。
3. 状态转移概率矩阵：状态转移概率矩阵描述了系统从一个状态转移到另一个状态的概率。矩阵的每个元素表示从一个状态转移到另一个状态的概率。
二、马尔可夫链的性质
马尔可夫链具有以下性质：
1. 马尔可夫性：在给定当前状态的情况下，未来状态的概率分布只依赖于当前状态，而与过去状态无关。
2. 遍历性：从任意一个状态出发，经过有限步骤后可以到达任意
一个状态。
3. 不可约性：任意两个状态之间存在一条路径，使得在有限步骤
内可以从一个状态转移到另一个状态。
4. 非周期性：不存在一个状态，使得从该状态出发，经过若干步
骤后又回到该状态的路径。
三、马尔可夫链的应用
马尔可夫链在许多领域有广泛的应用，下面以天气预测和自然语言处
理为例进行说明。
1. 天气预测：天气是一个具有马尔可夫性质的随机过程。我们可
以通过观察历史天气数据，建立一个天气状态的马尔可夫链模型。根
第2章-马尔可夫链
其 一步转移概率完全决定。
4、马尔可夫链的例子
例1 独立随机变量和的序列 设 {Yn,n≥1}为独立同分布随机变量序列，且Yn取值为非
负整数，其概率分布为P{Yn=i}=ai，i=0,1,2, …令 X0=0,Xn=Y1+…+ Yn ，则易证{Xn,n≥0}是一马尔可夫链,且
其它
例3 G / M /1排队系统 来到时间间隔分布为G，服务时间分布为指数分布，参
数为 ，且与顾客到达过程独立。
Xn-----第n个顾客来到时见到系统中的顾客数（包括该顾 客），则{Xn，n≥1}是马尔可夫链。记
Yn -----第n个顾客来到时刻到第n+1个顾客来到时刻之间系统
服务完的顾客数，则
X n1 X n 1 Yn
定理：若i j，则 d(i)=d(j)。
证明：若i与j相通，则存在m,n，使得
pimj
0,
p
n ji
0
pmn ii
pimk pkni
pimj
p
n ji
称为马尔可夫链{Xn,n≥0}的初始分布向量。 结论：一个马尔可夫链的特性完全由它的一步转移概率矩 阵及初始分布向量决定。 事实上
P X 0 i0 , X1 i1, , X n in
P X 0 i0 P X1 i1 X 0 i0 P X 2 i2 X 0 i0, X1 i1
马尔可夫链▏小白都能看懂的马尔可夫链详解
马尔可夫链▏小白都能看懂的马尔可夫链详解
1.什么是马尔可夫链
在机器学习算法中，马尔可夫链(Markov chain)是个很重要的概念。马尔可夫链（Markov chain），又称离散时间马尔可夫链（discrete-time Markov chain），因俄国数学家安德烈·马尔可夫（俄语：Андрей Андреевич Марков）得名，为状态空间中经过从一个状态到另一个状态的转换的随机过程。该过程要求具备“无记忆”的性质：下一状态的概率分布只能由当前状态决定，在时间序列中它前面的事件均与之无关。这种特定类型的“无记忆性”称作马尔可夫性质。马尔科夫链作为实际过程的统计模型具有许多应用。
在马尔可夫链的每一步，系统根据概率分布，可以从一个状态变到另一个状态，也可以保持当前状态。状态的改变叫做转移，与不同的状态改变相关的概率叫做转移概率。随机漫步就是马尔可夫链的例子。随机漫步中每一步的状态是在图形中的点，每一步可以移动到任何一个相邻的点，在这里移动到每一个点的概率都是相同的（无论之前漫步路径是如何的）。
2.一个经典的马尔科夫链实例
用一句话来概括马尔科夫链的话，那就是某一时刻状态转移的概率只依赖于它的前一个状态。
举个简单的例子，假如每天的天气是一个状态的话，那个今天是不是晴天只依赖于昨天的天气，而和前天的天气没有任何关系。
这么说可能有些不严谨，但是这样做可以大大简化模型的复杂度，因此马尔科夫链在很多时间序列模型中得到广泛的应用，比如循环神
经网络RNN，隐式马尔科夫模型HMM等。
假设状态序列为
马尔科夫链
马尔可夫链（Markov Chain），描述了一种状态序列，其 每个状态值取决于前面有限个状态 。马尔可夫链是具有马 尔可夫性质的随机变量的一个数列。这些变量的范围，即它 们所有可能取值的集合，被称为“状态空间”，而的值则是 在时间n的状态。如果对于过去状态的条件概率分布仅是的 一个函数，则这里x为过程中的某个状态。 在马尔可夫链的每一步，系统根据概率分布，可以从一个状 态变到另一个状态,也可以保持当前状态。状态的改变叫做 过渡，与不同的状态改变相关的概率叫做过渡概率。随机漫 步就是马尔可夫链的例子。随机漫步中每一步的状态是在图 形中的点，每一步可以移动到任何一个相邻的点，在这里移 动到每一个点的概率都是相同的(无论之前漫步路径是如何 的)。
总结：一般的，可以用λ=(A,B,π)三元组来简洁的 表示一个隐马尔可夫模型。隐马尔可夫模型实际上 是标准马尔可夫模型的扩展，添加了可观测状态集 合和这些状态与隐含状态之间的概率关系。
已知模型参数，计算某一特定输出序列的概率.通 常使用forward算法解决.评估问题 已知模型参数，寻找最可能的能产生某一特定输 出序列的隐含状态的序列.通常使用Viterbi算法解 决.解码问题 已知输出序列，寻找最可能的状态转移以及输出 概率.通常使用Baum-Welch算法以及Reversed Viterbi算法解决.学习问题 另外,最近的一些方法使用Junction tree算法来 解决这三个问题。
马尔可夫链-
状态,则{Xn,n=0,1,2,…}是一随机过程, 状态空间就是I, 而且当Xn=i,i∈I为已知时,Xn+1所处的状态的概率分布只 与Xn=i有关,而与Q在时刻n以前,如何到达i是完全无关的, 所以{Xn,n=0,1,2,…}是一马氏链,而且还是齐次的.这一 齐次马氏链的一步转移概率和一步转移概率矩阵分别为:
定义2.3 若对任意的i,j∈I, 马尔可夫链{Xn,n∈T} 的转移概率pij(n)与时间n无关,则称马尔可夫链是齐 次的,(亦称是时齐的,即具有平稳转移概率)并记 pij(n)为pij. 下面只讨论齐次马尔可夫链,并将齐次两字省略. 设P为一步转移概率pij所组成的矩阵,状态空间 I={1,2, p11 p12 … p1n … …},则 P=
设Xn为第n(n=1,2,…,97)次观测的计算机状态,可以认 为它是一个齐次马氏链,状态空间I={0,1}.96次状态转移 的情况是: 0→0,8次;0→1,18次;1→0,18次;1→1,52次. 因此,一步转移概率可用频率近似地表示为: p00=P{Xn+1=0|Xn=0}≈8/(8+18)=4/13, p01=P{Xn+1=1|Xn=0}≈18/(8+18)=9/13, p10=P{Xn+1=0|Xn=1}≈18/(18+52)=9/35, 0 1 p11=P{Xn+1=1|Xn=1}≈52/(18+52)=26/35. 0 4/13 9/13
马尔可夫链算法总结
马尔可夫链算法总结
马尔可夫链算法（Markov Chain）是一种基于概率的算法，用
于描述具有随机性的过程，如自然语言处理、图像处理和机器学
习等领域。本文将对马尔可夫链算法进行一些总结和介绍。
一、什么是马尔可夫链
马尔可夫链是一种数学模型，可以在离散时间内表示随机事件
的演化过程。其特点是未来状态只与当前状态相关，而与过去状
态无关。因此，马尔可夫链可以用一个状态转移矩阵来描述状态
之间的转移。具体来说，设状态集合为S={S1，S2，...，Sn}，转
移概率矩阵为P={p(i,j)，i,j=1,2,...,n}，其中p(i,j)表示从状态Si到
状态Sj的概率。
二、马尔可夫链的应用
马尔可夫链广泛应用于自然语言处理和机器学习等领域。例如，文本生成可以使用马尔可夫链来预测下一个单词可能出现的概率，从而生成一篇新的文章；图像处理可以使用马尔可夫链来处理分
割和分析，提高图像处理的精度；机器学习可以使用马尔可夫链来进行决策，从而提高计算机自动化决策的能力。
三、马尔可夫链算法的工作原理
马尔可夫链算法的工作原理是通过给定的状态集合和转移概率矩阵，计算从起始状态到结束状态的概率。具体来说，假设给定状态序列S={S1，S2，...，Sn}，则S的概率为
P(S)=p(1,2)p(2,3)...p(n-1,n)，即从S1到Sn的转移概率。从而，马尔可夫链算法可以用于计算任意状态的概率，并进一步预测未来状态。
四、马尔可夫链算法的优势
马尔可夫链算法具有很多优势。首先，它可以处理大规模、复杂的随机事件，如文字、数字或图像。其次，它可以根据已知的状态序列预测未来状态。最后，它可以处理概率模型，并进行精确的计算。因此，马尔可夫链算法在自然语言处理、机器学习和图像处理等领域具有广泛应用前景。
马尔可夫链
马尔可夫链
马尔可夫链，因安德烈·马尔可夫（A.A.Markov，1856－1922）得名，是数学中具有马尔可夫性质的离散时间随机过程。该过程中，在给定当前知识或信息的情况下，过去（即当期以前的历史状态）对于预测将来（即当期以后的未来状态）是无关的。
1原理简介
马尔可夫链（Markov Chain），描述了一种状态序列，其每个状态值取决于前面有限个状态[1]。马尔可夫链是具有马尔可夫性质的随机变量X_1,X_2,X_3...的一个数列。这些变量的范围，即它们所有可能取值的集合，被称为“状态空间”，而X_n的值则是在时间n的状态。如果X_{n+1}对于过去状态的条件概率分布仅是X_n的一个函数，则
P(X_{n+1}=x|X_1=x_1,X_2=x_2,...,X_n=x_n) = P(X_{n+1}=x|X_n=x_n).
这里x为过程中的某个状态。上面这个恒等式可以被看作是马尔可夫性质。
2理论发展
马尔可夫在1906年首先做出了这类过程。而将此一般化到可数无限状态空间是由柯尔莫果洛夫在1936年给出的。
物理马尔可夫链通常用来建模排队理论和统计学中的建模，还可作为信号模型用于熵编码技术，如算术编码（著名的LZMA数据压缩算法就使用了马尔可夫链与类似于算术编码的区间编码）。马尔可夫链也有众多的生物学应用，特别是人口过程，可以帮助模拟生物人口过程的建模。隐蔽马尔可夫模型还被用于生物信息学，用以编码区域或基因预测。
3过程
马尔可夫过程的定义：
⑴设{(X(t),t∈T)}是一个随机过程，如果{X(t),t∈T}在t0时刻所处的状态为已知时，与它在时刻t>t0之前所处的状态无关，则称{X(t),t∈T)}具有马尔可夫性。
马尔可夫链
P X1 i1, , X n in
p p p i ii1
in1in
iI
马尔可夫链的有限维分布完全由它的初始概率和 一步转移概率所决定。
马尔可夫链的几个简单例子
[例] 二进制对称信道模型——是常用 于表征通信系统的错误产生机制的离
0
散无记忆信道模型。假设某级信道输
入0, 1数字信号后，其输出正确的概 1
则称 { Xn , n T } 为马尔可夫链，简称马氏链。
马氏性 （无后效性）
P{X n1 in1 X 0 i0 , X1 i1,, X n in} P{X n1 in1 X n in}
P{X 0 i0 , X1 i1,, X n in} P{X n in X 0 i0 , X1 i1,, X n1 in1}
马尔可夫链
信息与通信工程学院 叶方
内容提要
马尔可夫链的概念及转移概率 马尔可夫链的状态分类 状态空间的分解 pij(n) 的渐近性质与平稳分布
马尔可夫过程的四种类型
马尔可夫链
时间、状态都离散
马尔可夫序列
时间离散、状态连续
可列马尔可夫过程
时间连续、状态离散
连续马尔可夫过程（或扩散过程）
pij(n) 不仅与状态 i , j 有关，而且与时刻 n 有关。 当 pij(n) 与时刻 n 无关时，表示马尔可夫链具有平稳转移概
马尔可夫链的基础知识
马尔可夫链的基础知识
马尔可夫链是一种数学模型，用于描述具有马尔可夫性质的随机
过程。马尔可夫性质指的是在给定当前状态的情况下，未来状态的概
率只与当前状态有关，与过去状态无关。马尔可夫链由一组状态和状
态之间的转移概率组成。
1. 状态和转移概率
马尔可夫链由一组离散的状态组成，每个状态代表系统可能处于的某
种情况。状态可以是有限的，也可以是无限的。状态之间的转移概率
表示从一个状态转移到另一个状态的概率。转移概率可以用矩阵表示，称为转移矩阵。
2. 转移矩阵
转移矩阵是一个方阵，其行和列分别对应于马尔可夫链中的状态。矩
阵中的每个元素表示从当前状态转移到下一个状态的概率。转移矩阵
的每一行之和必须为1，因为在任意状态下，只能转移到其他状态或者保持当前状态。
3. 马尔可夫性质
马尔可夫链的核心特点是马尔可夫性质。马尔可夫性质指的是在给定
当前状态的情况下，未来状态的概率只与当前状态有关，与过去状态
无关。这意味着马尔可夫链是一个无记忆的过程，未来状态的概率只
与当前状态有关，与过去状态无关。
4. 平稳分布
在马尔可夫链中，如果存在一个状态分布，使得在经过无限次转移后，状态分布保持不变，那么这个状态分布被称为平稳分布。平稳分布是
马尔可夫链的稳定状态，表示系统在长时间内的状态分布。
5. 马尔可夫链的应用
马尔可夫链在许多领域有广泛的应用。在自然语言处理中，马尔可夫
链被用于语言模型和文本生成。在金融领域，马尔可夫链被用于股票
价格预测和风险分析。在生物学中，马尔可夫链被用于描述基因组的
序列和蛋白质的结构。
总结：
马尔可夫链是一种数学模型，用于描述具有马尔可夫性质的随机过程。马尔可夫链由一组状态和状态之间的转移概率组成。转移概率可以用
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
马尔可夫链
马尔可夫链（Markov chains ）是一类重要的随机过程，它的状态空间是有限的或可数无限的。经过一段时间系统从一个状态转到另一个状态这种进程只依赖于当前出发时的状态而与以前的历史无关。马尔可夫链有着广泛的应用，也是研究排队系统的重要工具。
1) 离散时间参数的马尔可夫链 ①基本概念
定义 5.7 设{()0,1,2,}X n n ∙∙∙=，是一个随机过程，状态空间{0,1,2,}E =，如果对于任意的一组整数
时间120k n n n ∙∙∙≤<<<，以及任意状态12,,
,k i i i E ∈，都有条件概率
11{()|()}k k k k P X n i X n i --=== （5-17）
即过程{()0,1,2,}X n n ∙∙∙=，未来所处的状态只与当前的状态有关，而与以前曾处于什么状态无关，则称
{()0,1,2,}X n n ∙∙∙=，是一个离散时间参数的马尔可夫链。当E 为可列无限集时称其为可列无限状态的马尔可
夫链，否则称其为有限状态的马尔可夫链。
定义5.8 设{()0,1,2,}X n n ∙∙∙=，是状态空间{0,1,2,
}E =上的马尔可夫链，条件概率
(,){()|()}ij p m k P X m k j X m i i j E =+==∈，、 （5-18）
称为马尔可夫链{()0,1,2,}X n n ∙∙∙=，在m 时刻的k 步转移概率。
k 步转移概率的直观意义是：质点在时刻m 处于状态i 的条件下，再经过k 步（k 个单位时间）转移到状
态j 的条件概率。特别地，当1k =时，
(,1){(1)|()}ij p m P X m j X m i =+== （5-19）
称为一步转移概率，简称转移概率。
如果k 步转移概率(,)ij p m k i j E ∈，、，只与k 有关，而与时间起点m 无关，则{()}X n 称为离散时间的齐次马尔可夫链。
定义5.9 设{()0,1,2,}X n n ∙∙∙=，是状态空间{0,1,2,}E ∙∙∙=上的马尔可夫链，矩阵
0001010
11101(,)(,)(,)(,)(,)(,)(,)(,)(,)
(,)
n n j j jn p m k p m k p m k p m k p m k p m k P m k p m k p m k p m k ⎡⎤
⎢⎥⎢⎥
⎢
⎥=⎢
⎥⎢⎥⎢⎥⎣
⎦
（5-20） 称为{()}X n 在m 时刻的k 步转移概率矩阵。 当1k =时，(,1)P m 称为一步转移概率矩阵。
对于齐次马尔可夫链，容易推得k 步转移概率矩阵与一步转移概率矩阵具有关系
()(),,1k
P m k P m =⎡⎤⎣⎦，1,2,k ∙∙∙= （5-21）
而且与起始时刻m 无关。今后我们用 ()ij p k 表示齐次马尔可夫链的 k 步转移概率，()P k 为k 步转移概率矩阵。
②平稳分布与存在条件
定义5.10 给定齐次马尔可夫链{()0,1,2,}X n n ∙∙∙=，，称概率分布
(0){(0)},j P P X j j E ==∈ （5-22）
为{()0,1,2,}X n n ∙∙∙=，的初始分布，其中0(0)1j P ≤≤，且
(0)1j j E
P ∈=∑，而称概率分布
(){()},j P n P X n j j E ==∈ （5-23）
为{()0,1,2,}X n n ∙∙∙=，的瞬时分布，它表示过程在任意时刻n 的概率分布。
如果极限
()lim ,j j n p p n j E →∞
=∈ （5-24）
存在，且01j P ≤≤，
1j
j E
P ∈=∑，则称{,}j
p j E ∈为过程{()0,1,2,
}X n n ∙∙∙
=，的平稳分布。
显然，对于齐次马尔可夫链，它的瞬时概率由初始分布和转移概率矩阵完全确定，即
()(0)()j i ij i E
p n p p n ∈=⋅∑ （5-25）
在平稳分布存在的条件下，由于式（5-25）可变为
()(1)(1)j i ij i E
p n p n p ∈=-⋅∑ （5-26）
令n →∞，得平稳分布{}j p j E ∈，
满足方程 01(,,,,)[1(1)]0j p p p P ∙∙∙∙∙∙-= （5-27）
即
0001012020010111212100011212(1)0,
(1)0,(1)0.
i i i i
i ii i p p p p p p p p p p p p p p p p p p p p p p p p ∙∙∙∙∙∙
------=⎧⎪-------=⎪⎨⎪⎪------=⎩ （5-28）
再结合正规化条件
1j
j E
P ∈=∑可求得平稳分布{}j
p j E ∈，。
方程式（5-27）或式（5-28）称为过程{()0,1,2,}X n n ∙∙∙=，的平衡方程。由平衡方程知，若平稳分布存在，它与初始状态无关，完全由一步转移概率矩阵确定。
2) 连续时间参数的马尔可夫链 ① 基本概念
定义5.11 设连续时间参数随机过程{()0}X t t ≥，，状态空间{0,1,2,}E ∙∙∙=，如果对于任意的非负整数
n ，以及任意1210n n t t t t +<<<<<及121,n n i i i i E ∙∙∙+∈，，，，有
11{()|()}n n n n P X t i X t i ++=== （5-29）