马尔可夫链的概念及转移概率

（1） 时间、状态都是离散的马尔科夫过程，称为马尔可夫链； （2） 时间连续、状态离散的马尔科夫过程称为连续时间的马尔可夫链的； （3） 时间、状态都连续的马尔科夫过程。
二、马尔科夫链的定义
定 义 4.1 设 有 随 机 过 程
，若对于任意的整数
，条件概率都满足
和任意的
(4.1.1)
则称
为马尔科夫链，简称马氏链。
设试验 E 的样本空间为 S，A 为 E 的事件，若 事件组，既满足条件：
1)ห้องสมุดไป่ตู้
两两互不相容，即
2).
，且有
为 S 的一个完备 ，则
此式称为全概率公式。 3.矩阵乘法 矩阵乘法的定义
， 如果
那么矩阵 C 叫做矩阵 A 和 B 的乘积，记作 4.马尔可夫过程的分类 马尔可夫过程按其状态和时间参数是连续的或离散的，可分为三类：
式(4.1.1)即为马氏链，他表明在状态
已知的
条件下，
的条件概率与
无关，而
仅与 所处的状态 有关。 式(4.1.1)是马尔科夫链的马氏性（或无后效性）的数学表达式。由定义知
=
= =
可见，马尔科夫链的统计特性完全由条件概率
所决定。如何确定这个条件概率，是马尔科夫链理论和应用中的重要问题之一。
现举一例说明上述概念： 例 4.1.1 箱中装有 c 个白球和 d 个黑球，每次从箱子中任取一球，抽出的
率为
，这种运动称为无限制随机游动。以 表示时刻 n 质点所处的位置，
则
是一个齐次马尔科夫链，试写出它的一步和 k 步转移概率。
解 显然
的状态空间
，其一步转移概率矩阵为
设在第 k 不转移中向右移了 x 步，向左移了 y 步，且经过 k 步转移状态从 i 进入 j，则
从而
由于 x，y 都只能取整数，所以
定理 4.3 设
为马尔科夫链，则对任意
和 ，有
证由全概率公式及马氏性质有
=
= 证毕
一、 马尔可夫链的的一些简单例子
马尔科夫链在研究质点的随机运动、自动控制、通信技术、生物工程、经济 管理等领域中有着广泛的应用。
例 4.1 无限制随机游动 设质点在数轴上移动，每次移动一格，向右移动的概率为 p，向左移动的概
（3.2）
其中 ，其边界条件为
（3.3）
先讨论 r=1，即
的情况，此时（3.2）为
球要到从箱子中再抽出一球后才放回箱中，每抽出一球作为一次取样试验。
现引进随机变量序列为
,每次取样试验的所有可能结果只
有两个，即白球或黑球。若以数 代表白球，以数 代表黑球则有
由上所述的抽球规则可知，任意第 n 次抽到黑球或白球的概率只与第 n-1 次抽得
球的结果有关，而与
抽的球的结果无关，
由此可知上述随机变量序列
,为马氏链。
定义 4.2 称条件概率
三、转移概率
为马尔科夫链 概率。
在时刻 N 的一步转移概率，其中 ，简称为转移
条件概率 ：随机游动的质点在时刻 n 处于状态 的条件下，下一步转移
到状态 的你改率。
一般地，转移概率 不仅与状态 i，j 有关，而且与时刻 n 有关。当 不依赖与时刻 n 时，表示马尔科夫链具有平稳转移概率。
这个实质上是带有两个吸收壁的随机游动，其状态空间
，
.故现在的问题是求质点从 a 点出发到达 0 状态先于到达 c 状态的概率.
解 设 表示甲从状态 i 出发转移到状态 0 的概率，我们要计算的就是 。
由于 0 和 c 是吸收状态，故
由全概率公式
（3.1） 上式的含义是，甲从有 i 元开始赌到输光的概率等于“他接下去赢了一局（概 率为 p），处于状态 i+1 后再输光”；和“他接下去输了一局（概率为 q），处于状 态 i-1 后再输光”这两个事件的和事件的概率。 由于 p+q=1,（3.1）式实质上是一个差分方程
率矩阵中任一行元素之和为 1.通常称满足上述（1）、（2）性质的矩阵为随机矩 阵。
定义 4.4 称条件概率
为马尔科夫链
的 n 步转移概率，并称
为马尔科夫链的 n 步转移矩阵，其中 矩阵。
当 n=1 是，
，此时一步转移矩阵
，即 也是随机 . 此外我们规定
定 理 4.1 设
为马尔科夫链，则对任意整数
和
必须是偶数。又在 k 步中哪 x 步向
右，哪 y 步向左是任意的，选取的方法有 种。于是
例 4.2 赌徒输光问题 两赌徒甲、乙一系列赌博。赌徒甲有 a 元。赌徒乙有 b 元，每赌一局输者给 赢者 1 元，没有和局，直到两人中有一个输光为止。设在每一局中，甲赢的概率
为 p，输的概率为
，求甲输光的概率。
定义 4.3 若对任意的 ，马尔科夫链
的转移概率 与 n 无
关则称马尔科夫链是齐次的，并记 为 。 下面我们只讨论齐次马尔科夫链通常将“齐次”两个字省略。
设 P 表示一步转移概率 所组成的矩阵，且状态空间
，则
称为系统状态的一步转移概率矩阵。它具有性质：
(1)
；
(2)
.
(2)式中对 j 求和是对状态空间 的所有可能状态进行的，此性质说明一步转移概
定义 4.5 设
为马尔科夫链，称
和
为
的初始概率和绝对概率，并分别成
和
为
的初始分布和绝对分布，简记为 和
。称概率向量
为 n 时刻的绝对概率向量，而称
为初始概率 定理 4.2 设
具有下列性质：
为马尔科夫链，则对任意 和
（1） （2）
； ；
（3）
；
（4）
.
证 (1)
= (2)
=
，绝对概率
= (3)与(4)中式是(1)与(2)中式的矩阵乘积形式，显然成立。证毕。
第四章
4.1 马尔可夫链的的概念及转移概率
一、知识回顾 二、马尔可夫链的的定义 三、转移概率 四、马尔可夫链的一些简单例子 五、总结
一、知识回顾
1. 条件概率
定义：设 A，B 为两个事件，且
，称
为事件 A 发生条件下 B 事件发生的条件概率。 将条件概率公式移项即得到所谓的乘法公式：
2.全概率公式
，n 步转移概率 具有下列性质： (1)
(2) (3) (4) 证 (1)利用全概率公式及马尔科夫性，有
=
=
=
(2)在(1)中令 l=1,k= 得
这是一个递推公式，故可递推得到
(3)在(1)中令 l=1,利用矩阵乘法可证。
(4)由(3)，利用归纳法可证。 定理 4.1 中(1)式称为切普曼——柯尔莫哥洛夫方程，简称 C-K 方程。它在 马尔科夫链的转移概率的计算中起着重要的作用。(2)式说明 n 步转移概率完全 由一步转移概率决定。(4)式说明齐次马尔科夫链的 n 步转移概率矩阵是一步转 移概率矩阵的 n 次乘方。