马尔可夫链的概念及转移概率

1)
两两互不相容，即
2).
，且有
此式称为全概率公式。 3.矩阵乘法 矩阵乘法的定义
， 如果
为 S 的一个完备 ，则
那么矩阵 C 叫做矩阵 A 和 B 的乘积，记作 4.马尔可夫过程的分类
马尔可夫过程按其状态和时间参数是连续的或离散的，可分为三类： （1） 时间、状态都是离散的马尔科夫过程，称为马尔可夫链； （2） 时间连续、状态离散的马尔科夫过程称为连续时间的马尔可夫链的； （3） 时间、状态都连续的马尔科夫过程。
其两步转移概率矩阵为:
由于星期四下雨意味着过程所处的状态为 0 或 1，因此星期一，星期二连续 下雨，星期四又下雨的概率为
例 设质点在线段[1,4]上作随机游动，假设它只
能在时刻
发生移动，且只能停留在 1,2,3,4
点上。当质点转移到 2,3 点时，它以 的概率向左或 向右移动一格，或停留在原处。当质点移动到点 1
解 设昨日，今日连续两天有雨称为状态 ；昨日无雨，今日有雨称为状 态 ；昨日有雨，今日无雨称为状态 ；昨日，今日无雨称为状态 ；。 由于天气预报模型可看作一个四状态的马尔可夫链，其转移概率为
， ， ， ，
其中 R 代表有雨，N 代表无雨。类似的可以得到所有状态的一步转移概率。 于是它的一步转移概率矩阵为
定理 设
为马尔科夫链，则对任意
和
，有
证由全概率公式及马氏性质有
=
= 证毕
一、 马尔可夫链的的一些简单例子
马尔科夫链在研究质点的随机运动、自动控制、通信技术、生物工程、经济 管理等领域中有着广泛的应用。
例 无限制随机游动 设质点在数轴上移动，每次移动一格，向右移动的概率为 p，向左移动的概
率为
，这种运动称为无限制随机游动。以 表示时刻 n 质点所处的位
由上所述的抽球规则可知，任意第 n 次抽到黑球或白球的概率只与第 n-1 次抽得
球的结果有关，而与
抽的球的结果无关，
由此可知上述随机变量序列
,为马氏链。
定义 称条件概率
三、转移概率
为马尔科夫链 为转移概率。
在时刻 N 的一步转移概率，其中
，简称
条件概率
：随机游动的质点在时刻 n 处于状态 的条件下，下一步转移
例 生灭链。观察某种生物群体，以 表示在时刻 n 群体的数目，设为 i 个
数量单位，如在时刻 n+1 增生到 i+1 个数量单位的概率为 ，减灭到 i-1 个数量
单位的概率为 ，保持不变的概率为
，则
为齐次
马尔科夫链，
，其转移概率为
(
)，称此马尔科夫链为生灭链。
总结
定义 设
为马尔科夫链，称
和
为
的初始概率和绝对概率，并分别成
和
为 称概率向量
的初始分布和绝对分布，简记为 和
。
为 n 时刻的绝对概率向量，而称
为初始概率 定理 设
为马尔科夫链，则对任意
和
，绝对概率
具有下列性质：
（1）
；
（2） （3）
； ；
（4）
.
证 (1) =
(2) = =
(3)与(4)中式是(1)与(2)中式的矩阵乘积形式，显然成立。证毕。
1 1
4
1/3 1/3
2
1/3 1/3
1
3
1/3
时，它以概率 1 停留在原处。当质点移动到点 4 时，它以概率 1 移动到点 3。若
以 表示质点在时刻 n 所处的位置，则 转移概率矩阵为
是一个齐次马尔科夫链，其
各状态之间的转移关系及相应的转移概率如图所示。 例中的点 1 称为吸收壁，即质点一旦到达这种状态后就被吸收住了，不再移 动；点 4 称为反射壁，即质点一旦到达这种状态后，必然被反射出去。
由于 再讨论 r
表明甲、乙中必有一人要输光，赌博迟早要结束。
1，即
的情况。由（）式得
（）
令 k=0，由于
，有
即 代入（）式，得
，k=1,2,…,c-1. 令 k=a，的甲输光的概率
由对称性，乙输光的概率为( =p/q)
由于 输光的。
因此在 r 1 时，即
时两个人中也总有一个人要
例 天气预报有问题 设昨日、今日都下雨，明日有雨的概率为；昨日无雨，今日有雨，明日有雨 的概率为；昨日有雨、今日无雨，明日有雨的概率为；昨日、今日均无雨，明日 有雨的概率为.若星期一、星期二均下雨，求星期四下雨的概率。
解 设 表示甲从状态 i 出发转移到状态 0 的概率，我们要计算的就是 。 由于 0 和 c 是吸收状态，故
由全概率公式
（） 上式的含义是，甲从有 i 元开始赌到输光的概率等于“他接下去赢了一局（概 率为 p），处于状态 i+1 后再输光”；和“他接下去输了一局（概率为 q），处于状 态 i-1 后再输光”这两个事件的和事件的概率。 由于 p+q=1,（）式实质上是一个差分方程
二、马尔科夫链的定义
定义 设有随机过程
，若对于任意的整数
，条件概率都满足
和任意的
则称
为马尔科夫链，简称马氏链。
式即为马氏链，他表明在状态
已知的条件
下，
的条件概率与
无关，
而仅与 所处的状态 有关。 式是马尔科夫链的马氏性（或无后效性）的数学表达式。由定义知
=
= =
可见，马尔科夫链的统计特性完全由条件概率
例 赌徒输光问题 两赌徒甲、乙一系列赌博。赌徒甲有 a 元。赌徒乙有 b 元，每赌一局输者给 赢者 1 元，没有和局，直到两人中有一个输光为止。设在每一局中，甲赢的概率
为 p，输的概率为
，求甲输光的概率。
这个实质上是带有两个吸收壁的随机游动，其状态空间
，
.故现在的问题是求质点从 a 点出发到达 0 状态先于到达 c 状态的概 率.
，则
称为系统状态的一步转移概率矩阵。它具有性质：
(1)
；
(2)
.
(2)式中对 j 求和是对状态空间 的所有可能状态进行的，此性质说明一步转移概
率矩阵中任一行元素之和为 1.通常称满足上述（1）、（2）性质的矩阵为随机矩 阵。
定义 称条件概率
为马尔科夫链
的 n 步转移概率，并称
为马尔科夫链的 n 步转移矩阵，其中 随机矩阵。
置，则
是一个齐次马尔科夫链，试写出它的一步和 k 步转移概率。
解 显然 矩阵为
的状态空间，其ຫໍສະໝຸດ 步转移概率设在第 k 不转移中向右移了 x 步，向左移了 y 步，且经过 k 步转移状态从 i 进入 j，则
从而
由于 x，y 都只能取整数，所以
必须是偶数。又在 k 步中哪 x
步向右，哪 y 步向左是任意的，选取的方法有 种。于是
到状态 的你改率。
一般地，转移概率
不仅与状态 i，j 有关，而且与时刻 n 有关。当
不依赖与时刻 n 时，表示马尔科夫链具有平稳转移概率。
定义 若对任意的
，马尔科夫链
的转移概率
与n
无关则称马尔科夫链是齐次的，并记
为。
下面我们只讨论齐次马尔科夫链通常将“齐次”两个字省略。
设 P 表示一步转移概率 所组成的矩阵，且状态空间
所决定。如何确定这个条件概率，是马尔科夫链理论和应用中的重要问题之一。
现举一例说明上述概念： 例 箱中装有 c 个白球和 d 个黑球，每次从箱子中任取一球，抽出的球要到
从箱子中再抽出一球后才放回箱中，每抽出一球作为一次取样试验。
现引进随机变量序列为
,每次取样试验的所有可能结果
只有两个，即白球或黑球。若以数 代表白球，以数 代表黑球则有
第四章
马尔可夫链的的概念及转移概率
一、知识回顾 二、马尔可夫链的的定义 三、转移概率 四、马尔可夫链的一些简单例子 五、总结
一、知识回顾
1. 条件概率
定义：设 A，B 为两个事件，且
，称
为事件 A 发生条件下 B 事件发生的条件概率。 将条件概率公式移项即得到所谓的乘法公式：
2.全概率公式
设试验 E 的样本空间为 S，A 为 E 的事件，若 事件组，既满足条件：
（）
其中 ，其边界条件为
（）
先讨论 r=1，即
的情况，此时（）为
令
得
…
…
将
代入最后一式，得参数
所以 令 i=a，求得甲输光的概率为 上述结果表明，在 p=q 情况下（即甲、乙每局比赛中输赢是等可能的情况下）， 甲输光的概率与乙的赌本 b 成正比，即赌本小者输光的可能性大。 由于甲、乙的地位是对称的，故乙输光的概率为
当 n=1 是，
，此时一步转移矩阵
，即 也是 . 此外我们规定
定理 设
为马尔科夫链，则对任意整数
和
，n 步转移概率 具有下列性质：
(1)
(2) (3)
(4) 证 (1)利用全概率公式及马尔科夫性，有
=
=
=
(2)在(1)中令 l=1,k= 得
这是一个递推公式，故可递推得到
(3)在(1)中令 l=1,利用矩阵乘法可证。 (4)由(3)，利用归纳法可证。 定理中(1)式称为切普曼——柯尔莫哥洛夫方程，简称 C-K 方程。它在马尔 科夫链的转移概率的计算中起着重要的作用。(2)式说明 n 步转移概率完全由一 步转移概率决定。(4)式说明齐次马尔科夫链的 n 步转移概率矩阵是一步转移概 率矩阵的 n 次乘方。