马尔科夫链例题整理

状态空间I={1，2，3，4，5}， 参数集T={1，2，3，………}，
其一步转 移矩阵为
有两个吸收壁的随机游动
路漫漫其修远兮, 吾将上下而求索
首页
例2．带有反射壁的随机游动
设随机游动的状态空间I = {0，1，2，…}，移动的 规则是：
（1）若移动前在0处，则下一步以概率p向右移 动一个单位，以概率q停留在原处（p+q=1）；
于是状态1是常返的。
又因为 所以状态1是正常返的。
此链所有状态都是正常返的。
路漫漫其修远兮, 吾将上下而求索
1/4
1/4
1
1
2
1/4 1/4
4
1
3
1
三、状态的周期与遍历
1．周期状态 对于任意的 ，令
1/2 1/2
4
1
1/2 2
1
其中GCD表示最大公约数
图4---2
则称 为周期态，
则称 为非周期态。
试证此链具有遍历性，并求平稳分布和各状态的平均返回时间 解 由于
首页
路漫漫其修远兮, 吾将上下而求索
所以 因此，该马氏链具有遍历性。
解得
X1
2
3
所以马氏链的平稳分布为
各状态的平均返回时间
路漫漫其修远兮, 吾将上下而求索
例2 设有6个球（其中2个红球，4个白球）分放于甲 、乙两个盒子中，每盒放3个，今每次从两个盒 中各任取一球并进行交换，以 表示开始时 甲盒中红球的个数， （ ）表示经n次交 换后甲盒中的红球数。
qp 0123 反 射 壁
首页
例3．一个圆周上共有N格（按顺时针排列），一 个质点在该圆周上作随机游动，移动的规则是： 质点总是以概率p顺时针游动一格， 以概率
逆时针游动一格。试求转移概率 矩阵。
路漫漫其修远兮, 吾将上下而求索
首页
4．一个质点在全直线的整数点上作随机游动，移
动的规则是：以概率p从i移到i-1，以概率q从i移到
首页
（2）二步转移概率矩阵
路漫漫其修远兮, 吾将上下而求索
首页
（3）
从而结束比赛的概率； 从而结束比赛的概率。 所以题中所求概率为
首页
路漫漫其修远兮, 吾将上下而求索
例2 赌徒输光问题
首页
赌徒甲有资本a元，赌徒乙有资本b元，两人进行
赌博，每赌一局输者给赢者1元，没有和局，直
赌至两人中有一人输光为止。设在每一局中，甲
解 考虑质点从j出发移动一步后的情况
同理
根据全概率公式有
这一方程实质上是一差分方程，它的边界条件是
路漫漫其修远兮, 吾将上下而求索
首页
欲求
先求
于是
设 则可得到两个相邻差分间的递推关系
于是
需讨论 r
路漫漫其修远兮, 吾将上下而求索
首页
当
而
两式相比
路漫漫其修远兮, 吾将上下而求索
首页
故
当
而 因此 故
马尔科夫链例题整理
路漫漫其修远兮, 吾将上下而求索
2020年4月9日星期四
例4 布朗运动
无 记 忆 性
路漫漫其修远兮, 吾将上下而求索
未来处于某状态的概率特性只与现在状态 有关，而与以前的状态无关，这种特性叫 无记忆性（无后效性）。
首页
一步转移概率矩阵的计算
引 例 例1 直线上带吸收壁的随机游动（醉汉游动）
一步转移矩阵是
首页
路漫漫其修远兮, 吾将上下而求索
练习题．
扔一颗色子，若前n次扔出的点数的最大值为j，就
说
试问
是否为马氏链？求一步转移概率矩
阵。
I={1，2，3，4，5，6}
首页
路漫漫其修远兮, 吾将上下而求索
路漫漫其修远兮, 吾将上下而求索
例1
甲、乙两人进行比赛，设每局比赛中甲胜的概率 是p，乙胜的概率是q，和局的概率是 ，（ ）。设每局比赛后，胜者记“+1”分，负者记“— 1”分，和局不记分。当两人中有一人获得2分结 束比赛。以 表示比赛至第n局时甲获得的分 数。
在第n周期已有一个 顾客在服务，到第n+1
周期已服务完毕
求其转移矩阵
解
先求出转移概率
路漫漫其修远兮, 吾将上下而求索
首页
所以转移矩阵为
路漫漫其修远兮, 吾将上下而求索
首页
证
路漫漫其修远兮, 吾将上下而求索
定理4.3 马尔科夫链的有限维分布：
路漫漫其修远兮, 吾将上下而求索
• 练习：马氏链的状态空间I={1，2，3}，初始概 率为
（2）i是零常返态
（3）i是正常返态
首页
路漫漫其修远兮, 吾将上下而求索
且 且
例3 转移矩阵
首页
试对其状态分类。
1/4
解
按一步转移概率， 画出各状态间的传 递图
1/4
1
1
2
1/4 1/4
4
1
3
1
路漫漫其修远兮, 吾将上下而求索
从图可知，此链的每一状态都可到达另一状态，即4个 状态都是相通的。考虑状态1是否常返，
路漫漫其修远兮, 吾将上下而求索
例4 市场占有率预测
设某地有1600户居民，某产品只有甲、乙、丙3厂 家在该地销售。经调查，8月份买甲、乙、丙三厂 的户数分别为480，320，800。9月份里，原买甲的 有48户转买乙产品，有96户转买丙产品；原买乙的 有32户转买甲产品，有64户转买丙产品；原买丙的 有64户转买甲产品，有32户转买乙产品。用状态1 、2、3分别表示甲、乙、丙三厂，试求
路漫漫其修远兮, 吾将上下而求索
首页
由以上计算结果可知
用同样的方法可以求得乙先输光的概率
路漫漫其修远兮, 吾将上下而求索
首页
例3 排队问题
顾客到服务台排队等候服务，在每一个服务周期中只 要服务台前有顾客在等待，就要对排在前面的一位提 供服务，若服务台前无顾客时就不能实施服务。
则有
路漫漫其修远兮, 吾将上下而求索
( 1 ) 求马氏链{ ， }的转移概率矩阵；
( 2 ) 证明{ ， }是遍历的；
（3）求
（4）求
首页
路漫漫其修远兮, 吾将上下而求索
解 其一步转移矩阵为
甲
红球0 白球3
红球1 白球2
红球2 白球1
路漫漫其修远兮, 吾将上下而求索
乙
红球2 白球1
红球1 白球2
红球0 白球3
1/3
2/3 5/9
1/3
注 “常返”一词，有时又称“返回”、“常驻”或“持久” “瞬时”也称“滑过” 或“非常返”
定理4
定理5
定理6
定理7
路漫漫其修远兮, 吾将上下而求索
如果i为常返态，且
，则j也是常返态。
所有常返态构成一个闭集
5．正常返态与零常返态 平均返回时间 从状态i出发，首次返回状态i的平均时间
称为状态i平均返回时间. 根据的值是有限或无限，可把常返态分为两类：
i+1，以概率r停留在i，且
，试
求转移概率矩阵。
首页
路漫漫其修远兮, 吾将上下而求索
5．设袋中有a个球，球为黑色的或白色的，今随 机地从袋中取一个球，然后放回一个不同颜色的 球。若在袋里有k个白球，则称系统处于状态k， 试用马尔可夫链描述这个模型（称为爱伦菲斯特 模型），并求转移概率矩阵。
解 这是一个齐次马氏链，其状态空间为 I={0，1，2，…，a}
（1）写出状态空间；
（3）问在甲获得1分的情况下，再赛二局可 以结束比赛的概率是多少？
路漫漫其修远兮, 吾将上下而求索
首页
解
（1）
记甲获得“负2分”为状态1，获得“负1 分”为状态2，获得“0分”为状态3，获得“正 1分”为状态4，获得“正2分”为状态5，则状 态空间为
一步转移概率矩阵
路漫漫其修远兮, 吾将上下而求索
因此，状态空间I的各状态都是互通的。
又由于I 的任意状态i (i = 0，1，2)不能到达I 以外的任 何状态， 所以I是一个闭集
而且I 中没有其它闭集 所以此马氏链是不可约的 。
路漫漫其修远兮, 吾将上下而求索
首页
例2 其一步转移矩阵为
试讨论哪些状态是吸收态、闭集及不可约链。
解 先按一步转移概率，画出各状态间的传递 图
设i是常返态， 则称i为正常返态； 则称i为零常返态。
路漫漫其修远兮, 吾将上下而求索
首页
例 其一步转移矩阵如下，是对I进行分解。
I可分解为：C1={2，3, 4} C2={5，6,7} 两个闭集及 N={1} ，即I=N+ C1+ C2
路漫漫其修远兮, 吾将上下而求索
用极限判断状态类型的准则
（1）i是瞬时态
设一质点在线段[1，5 ]上随机游动，每秒钟发生 一次随机游动，移动的规则是：
（1）若移动前在2，3，4处，则均以概率 向左 或向右 移动一单位； （2）若移动前在1，5处，则以概率1停留在原处。
12
3
4
5
质点在1，5两点被“吸收”
若 表示质点在时刻n所处的位置，求 一步转移概率。
路漫漫其修远兮, 吾将上下而求索
图4---4
路漫漫其从修远而兮, 状态0是遍历的。 故所有状态i都是遍历的。
吾将上下而求索
例5．设马氏链的状态空间I={1，2，3，4}，其一步转移矩阵为
4
试对其状态分类。
1/3 1/3
11
1 1/2
1/2
2
3
1/3
解 按一步转移概率，画出各状态间的传递图
它是有限状态的马氏链，故必有一个常返态，又 链中四个状态都是互通的。因此，所有状态都是 常返态，这是一个有限状态不可约的马氏链。
可继续讨论是否为正常返态
路漫漫其修远兮, 吾将上下而求索
可讨论状态1
4
1/3 1/3
11
1 1/2 1/2
2
3
1/3
路漫漫其修远兮, 吾将上下而求索
状态1是常返态
4
百度文库1/3 1/3
11
1 1/2
1/2
2
3
1/3
状态1是正常返态 所以，全部状态都是正常返态
路漫漫其修远兮, 吾将上下而求索
首页
例1 其一步转移矩阵为
定理11
1 1/2 3
15
2．遍历状态 若状态i是正常返且非周期，则称i为遍历状态。
路漫漫其修远兮, 吾将上下而求索
例4 设马氏链的状态空间I = {0,1,2,…}，转移概率为
试讨论各状态的遍历性。
解 根据转移概率作出状态传递图
1/2 1/2 1/2
1/2
1/2
0 1/2 1 1/2 2 1/2 3 …
所以9月份市场占有率分布为 （3）12月份市场占有率分布为
路漫漫其修远兮, 吾将上下而求索
例1 其一步转移矩阵为
试研究各状态间的关系，并画出状态传递图。
解 先按一步转移概率，画出各状态间的传递 图
路漫漫其修远兮, 吾将上下而求索
首页
1/2 1/2
2/3 1/3
0
1
2
1/2 1/4 1/4
由图可知 状态0可到图达3--状-1态1，经过状态1又可到达状态2 ；反之，从状态2出发经状态1也可到达状态0。
（1）转移概率矩阵； （2）9月份市场占有率的分布； （3）12月份市场占有率的分布；
路漫漫其修远兮, 吾将上下而求索
解 （1）E{1，2，3},状态1、2、3分别表示甲、乙、丙的用户
一步转移概率矩阵为 （2）以1600除8月份甲，乙，丙的户数，得初始概率 分布（即初始市场占有率）
路漫漫其修远兮, 吾将上下而求索
获胜的概率为p，乙获胜的概率为
，
求甲输光的概率。
分 析
路漫漫其修远兮, 吾将上下而求索
这个问题实质上是带有两个吸收壁的随机游动。从 甲的角度看，他初始时刻处于a，每次移动一格，向 右移（即赢1元）的概率为p，向左移（即输1元）的 概率为q。如果一旦到达0（即甲输光）或a + b（即 乙输光）这个游动就停止。这时的状态空间为{0，1 ，2，…，c}，c = a + b，。现在的问题是求质点从a 出发到达0状态先于到达c状态的概率。
路漫漫其修远兮, 吾将上下而求索
也可以利用定理1证明遍历性
路漫漫其修远兮, 吾将上下而求索
首页
解之得 故得
路漫漫其修远兮, 吾将上下而求索
首页
（4）
路漫漫其修远兮, 吾将上下而求索
首页
1/2 1/2
4
1
1/2 2
1 1/2 3
由图可知
1 图4---2
状态3为吸收态
15
且
闭集，
闭集，
闭集， 其中
是不可约的。
又因状态空间I有闭子集， 故此链为非不可约链。
路漫漫其修远兮, 吾将上下而求索
首页
3．常返态与瞬时态 则称状态i为常返态 则称状态i为瞬时态
（2）若移动前在其它点处，则均以概率p向右移 动一个单位，以概率q向左移动一个单位。
设 表示在时刻n质点的位置，
则{
， }是一个齐次马氏链，写出其一步转移概
率。
首页
路漫漫其修远兮, 吾将上下而求索
qp
012 左反射壁
q p
m-1 m 右反射壁
路漫漫其修远兮, 吾将上下而求索
首页
路漫漫其修远兮, 吾将上下而求索
路漫漫其修远兮, 吾将上下而求索
图4---4
首页
从图可知，对任一状态
都有
，
故由定理可知，I 中的所以状态都是相通的，
因此只需考虑状态0是否正常返即可。
…
故 从而0是常返态。 1/2
1/2
1/2
1/2
1/2
又因为
0 1/2 1 1/2 2 1/2 3 …
所以状态0为正常返。 又由于 故状态0为非周期的
2/3
0
1
2
2/9
2/9
由状态传递图 1/3
0
2/3 5/9
1/3
2/3
1
2
2/9
2/9
（2）由于它是一个有限马氏链，故必有一个常返态，
又链中三个状态0、1、2都相通，所以每个状态都是常返态。 所以是一个不可约的有限马氏链，从而每个状态都是正常返的 。
所以此链为非周期的。
首页
故此链是不可约非周期的正常返链，即此链是遍历的。