马尔科夫链例题整理精编版共61页
马尔可夫链专题讲义——2025届高三数学一轮复习
马尔科夫链专题讲义马尔科夫链是以俄罗斯数学家安德烈·马尔科夫的名字命名,是一个数学随机模型,描述了一连串可能发生的事件,从一个状态到另外一个状态,也可以是保持当前状态的随机过程.下一个状态的概率分布只能由当前状态决定,在时间序列中它前面的事件均与之无关.高中数学中经常与条件概率,全概率公式,贝叶斯公式相结合,构造递推关系求的概率.一、马尔科夫链的性质马尔科夫链具有状态空间,无记忆性,转移概率(转移矩阵)等三个要素,马尔科夫链是从一个状态到另一个状态转化的随机过程,每个状态称为状态空间.无记忆性是而的事件均与之无关.这种特定类型的“无记忆性”称作马尔科天性.在马尔科夫链的每一步,根据概率分布,可以从个状态变频另外一个状态,也可以保持当前状态.状态的改变叫做转移,与不同状态改变相关的概率叫做转移项率.对于随机变量序列X m已知第n小时的状态X n.如果X n−1的随机变化规律与前面的各项X1,X2,⋯,X n−1的取值都没有关系,那么称随机变量序列X n具有马尔科夫性,称具有马尔科夫性的随机变量序列{X n}为马尔科夫链。
二、马尔科夫链基本原理虽然贝叶斯公式不做要求,但是全概率公式已经是新高考考查内容,利用全概率公式,我们既可以构造某些递推关系求解概率,还可以推导经典的一维随机游走模型,即设数轴上一个点,它的位置只能位于整点处,在时刻t=0时,位于点X=i(i∈N∗)一个时刻,它将以概率α或者β(α∈(0,1),α+β=1)向左或者向右平移一个单位.若记状态X t=i表示在时刻t该点位于位置X=i(i∈N∗),那么由全概率公式可得P(X t+1=i)=P(X t=i−1)⋅P(X t+1=i∣X t=i−1)+P(X t=i+1)⋅P(X t+1=i∣X t=i+1).另一方面,由于P(X t+1=i∣X t=i−1)=β,P(X t+1=i∣X t=i+1)=α,代入上式可得P i=α⋅P i+1+β⋅P i−1.进一步,我们假设在x=0与x=m(m>0,m∈N∗)处各有一个吸收壁,当点到达吸收壁时被吸收,不再游走.于是P0=0,P m=1.随机游走模型是一个典型的马尔科夫过程.进一步,若点在某个位置后有三种情况:向左平移一个单位,其概率为a,原地不动,其概率为b,向右平移一个单位,其概率为c,那么根据全概率公式可得P i=aP i−1+bP i+cP i+1.三、应用举例1.药物试验问题例1（2019全国1卷21）为治疗某种欢病,研制了甲、乙两种新药,希望知道哪种新药更有效,为此进行动物试验.试验方案如下:每一轮选取两只白鼠对药效进行对比试验.对于两只白鼠,随机选一只施以甲药,另一只施以乙药.轮的治疗结果得出后,再安排下一轮试验.当其中一种药治愈的白鼠比另一种药治愈的白鼠多4只时,脱停止试验,并认为治愈只数多的药更有效.为了方便描述问题,约定:对于每轮试验,若施以甲药的白贝治愈且施以乙药的白鼠未治愈则甲药得1分,乙药得−1分;若施以乙药的白鼠治愈且施以甲药的白鼠未治愈则乙药得1分,甲药得-1分;若都治愈或都未治愈则两种药均得0分.甲、乙两种药的治愈半分别记为α和β,一轮试验中甲药的得分记为X.(1)求X的分布列:(2)若甲药、乙药在试验开始时都赋予4分,p i(i=0,1.⋯.8)表示“甲药的累计得分为i时,最终认为甲药比乙药更有效”的概率,则p0=0,p i=1,p i=ap i−1+bp i+cp i+1(i=1,2,⋯,7),其中a=P(X=−1),b=P(X=0),c=P(X=1).假设α=0.5,β=0.8.(i)证明:{p i−1−p i}(i=0,1,2,⋯,7)为等比数列;(iii)求p c,并根据p c的值解释这种试验方案的合理性.解:(1)由超意知,X的所有可能取值为-1.0,1.P(X=−1)=(1−α)β,P(X=0)=αβ+(1−α)(1−β),P(X=1)=a(1−β),∴X的分布列为X−10 1P(1−α)βαβ+(1−α)(1−β)α(1−β)(2)(i)由(1)知,a=(1−0.5)×0.8=0.4,b=0.5×0.8+(1−0.5)(1−0.8)=0.5,c=0.5×(1−0.8=0.1.∴p i=0.4p i−1+0.5p i+0.1p i+1,∴0.1(p i+1−p i)=0.4(p i−p i−1),∴p i+1−p i=4(p i−p i−1),又p1−p0=p1≠0,∴{p i+1−p i}(i=0,1,2,⋯,7)是首项为p1,公比为4的等比数列. (ii)由(i)可得p i+1−p i=p1⋅4i,∴p8=p8−p7+p7−p6+⋯+p1−p0+p0=(p8−p7)+(p7−p6)+⋯+(p1−p0)=p1(47+46+⋯+4)=4(1−47) 1−4p1=48−4 3p1∵p8=1,∴48−43p1=1,∴p1=348−4.∴p4=(p4−p3)+(p3−p2)+(p2−p1)+(p1−p0)=p1(43+42+4+1)=1−44 1−4p1=44−13p1=44−13×348−4 =144+1=1257p4表示最终认为甲药更有效的概率.由计算结果可以看出,在甲药治愈率为0.5,乙药治愈率为0.8时,认为甲药更有效的概率为p4=1257≈0.0039,此时得出错误结论的概率非常小,说明这种试验注：虽然当时学生未学过全概率公式,但命题人直接把p i=ap i−1+bp i+cp i+1给出,并没有让考生推导这个递推关系,实际上,这就是一个一维随机游走模型。
随机过程第四章马尔可夫链
0,
p(n) ij
1, i,
jI
jI
即P(n)也为随机矩阵.
当n
1时,
p (1) ij
pij
,
P (1)
P
当n
0时,规定pi(j0)
0 , i 1 , i
j j
13
4.1 马尔可夫链与转移概率
• 定理4.1 设{Xn, nT}为马尔可夫链, 则对任意 整数n0, 0l<n和i,jI, n步转移概率 p具i(jn) 有性
Ckx 0
pxqy ，
,
k ( j i)为偶数 k ( j i)为奇数
11
4.1 马尔可夫链与转移概率
例4.4 具有吸收壁和反射壁的随机游动状态空间 {1,2,3,4}, 1为吸收壁, 4为反射壁.
解：状态转移图
状态转移矩阵
1 3
1 0 0 0
1
1
3
1 1
3
1
1
1 1 1
1 3
1 3
2
P 3
5
4.1 马尔可夫链与转移概率
= =P{Xn=in|Xn-1=in-1}P{Xn-1=in-1 |Xn-2=in-2}
P{X1=i1|X0=i0}P{X0=i0} 马尔可夫链的统计特性完全由条件概率 P{Xn+1=in+1|Xn=in}确定。
6
4.1 马尔可夫链与转移概率
定义 称条件概率pij(n)= P{Xn+1=j|Xn=i} 为马尔 可夫链{Xn, nT}在时刻n的一步转移概率,简 称转移概率,其中i,jI.
P{X 0 i}P{X1 i1 | X 0 i} iI
P{X 2 i2 | X1 i1} P{X n in | X n1 in1}
第4章马尔可夫链1-2
定义 1 设有随机过程{ X n , n T } ，若对于任意的整数 n T 和任意的 i0 , i1 , , in1 I ，条件概率满足
转移概率矩阵为
q 0 p 0 P 0 q 0 p
设在第k步转移中向右移了x步，向左移了y步，且 经过k步转移状态从i进入j，则
x y k x y j i
从而
k ( j i) k ( n 和 i , j I ，n 步转移概率 ij 具有下列
性质
( n) ( l ) ( n l ) (1) pij pik pkj ; k I
(2) p
( n) ij
k1I
kn1I
pik1 pk1k2 pkn1 j ;
(3) P ( n ) PP ( n1) ; (4) P ( n ) P n .
第4章 马尔可夫链
定义 2.9 设 X t , t T 为随机过程，若对任意正 整数 n 及 t1 t2 , tn , P X (t1 ) x1 , , X t n1 xn1 0 ，且其 条件分布
P X (tn ) xn | X t1 x1 ,, X t n1 xn1 P X ( t n ) xn | X t n 1 x n 1
定义 2 称条件概率
pij (n) P{ X n1 j | X n i }
为马尔可夫链 { X n , n T } 在时刻 n 的一步转移概率，其 中 i , j I ，简称为转移概率。
马尔科夫链考试例题整理
若 X (n) 表示质点在时刻n所处的位置，分析它的
概率特性。
1
例 2 直 线 上 的 随 机 游 动 时 的 位 置 X(t),是 无后效性的随机过程.
例3 电话交换台在t时刻前来到的呼叫数X(t), 是无后效性的随机过程.
例4 布朗运动 无记忆性
未来处于某状态的概率特性只与现在状态 有关，而与以前的状态无关，这种特性叫 无记忆性（无后效性）。
6
q p 0 0 0 ...
P1 q0
0 q
p 0
0 p
0 0
... ...
... ... ... ... ... ...
qp
0123 反 射 壁
7
例3．一个圆周上共有N格（按顺时针排列），一 个质点在该圆周上作随机游动，移动的规则是： 质点总是以概率p顺时针游动一格， 以概率
q 1 p 逆时针游动一格。试求转移概率 矩阵。 I {1, 2, ..., N }
0
0
p2
prp
1
15
（3）
从而结束比赛的概率； 从而结束比赛的概率。 所以题中所求概率为
( p rp) 0 p(1 r)
16
例2 赌徒输光问题
赌徒甲有资本a元，赌徒乙有资本b元，两人进行 赌博，每赌一局输者给赢者1元，没有和局，直 赌至两人中有一人输光为止。设在每一局中，甲
获胜的概率为p，乙获胜的概率为 q 1 p ，
2
一步转移概率矩阵的计算
引例 例1 直线上带吸收壁的随机游动（醉汉游动）
设一质点在线段[1，5 ]上随机游动，每秒钟发生
一次随机游动，移动的规则是：
1
（1）若移动前在2，3，4处，则均以概率 向左
或向右 移动一单位；
马尔科夫链考试例题整理
解 设0 j c 考虑质点从j出发移动一步后的情况
设 u j 为质点从 j 出发到达 0 状态先于到达 c 状态的概率。
在以概率 p 移到 j 1 的假设下，
到达 0 状态先于到达 c 状态的概率为 u j 1
同理 以 概 率 q 移 到 j 1 的 前 提 下 ，
到达 0 状态先ቤተ መጻሕፍቲ ባይዱ到达 c 状态的概率为u j 1
... 0 ... 0 ... 0 ... ... 1 0 a 1 0
10
练习题． 扔一颗色子，若前 n 次扔出的点数的最大值为 j ， 就说 Xn j, 试问 Xn j, 是否为马氏链？求一步转移概率矩 阵。
I={1，2，3，4，5，6}
11
1 1 1 6 6 6 0 2 1 6 6 3 0 0 P 6 0 0 0 0 ... 0 0 ... 0
q c 1 ( p )
例3 排队问题 顾客到服务台排队等候服务，在每一个服务周期中只 要服务台前有顾客在等待，就要对排在前面的一位提 供服务，若服务台前无顾客时就不能实施服务。
设在第 n 个服务周期中到达的顾客数为一随机变量 Yn
且 诸 Yn 独 立 同 分 布 ：
若 X (n) 表示质点在时刻n所处的位置，分析它的 概率特性。
1
例 2 直 线 上 的 随 机 游 动 时 的 位 置 X (t), 是 无后效性的随机过程.
例3 电话交换台在t时刻前来到的呼叫数X(t), 是无后效性的随机过程.
例4 布朗运动 无记忆性
未来处于某状态的概率特性只与现在状态 有关，而与以前的状态无关，这种特性叫 无记忆性（无后效性）。
(u u
11章马尔可夫链习题课
切普曼-柯莫哥洛夫方程(简称C -K方程)
设{ X (n), n T1}是一齐次马氏链, 则对任意的
u,v T1,有
Pij(u v) Pik (u) pkj (v), i, j 1,2,
k 1
由C-K方程知:
马氏链的n步转移概率是一步转移概率的 n次 方,链的有限维分布可由初始分布和一步移概率完 全确定.
pN ,1 p,
p1,N q,
例5 试证Wiener过程B(t)是马尔可夫过程. 证明
p{B(t s) y | B(s) x, B(u)(0 u s)} p{B(t s) B(s) y x | B(s) x,
B(u)(0 u s)} p{B(t s) B(s) y x}
条件下,过程在时刻t t0所处状态的条件分布与 与过程在时刻t0之前所处的状态无关的特性称为 马尔可夫性或无后效性.
马尔可夫链
时间和状态都是离散的马尔可夫过程称为 马尔可夫链. 简记为: { Xn X (n), n 0,1,2,}
齐次马尔可夫链
当转移概率Pij(m,n n)只与i, j及时间间距n 有关时, 称此链是齐次的或时齐的.
转移概率、转移概率矩阵
称条件概率 Pij(m,n n) P{ Xmn a j | Xm ai }
为马氏链在时刻m处于状态ai条件下,在时刻
m n转移到状态a j的转移概率.
转移概率的特点 Pij(m,m n) 1,i 1,2,.
j 1
由转移概率组成的矩阵 P(m,m n)(Pij(m,n n))
步转移概率矩阵为
3 4
1 4
0
初始分布pi (0)
P{ X 0
i}
1, 3
P
1
1
马尔可夫链的定义及例子
3、转移概率
定义 i, j S, 称 P Xn1 j Xn i
的一步转移概率。
pij n 为n时刻
若i, j S, pij n pij ，即pij与n无关，称转移概率
具有平稳性.此时称{Xn,n≥0}为齐次（或时齐的）马尔 可夫链。记P=(pij)，称P为{Xn,n≥0}的一步转移概率矩阵.
0
j!
j 0,1, i
pi0公式略有不同，它是服务台由有i个顾客转为空闲的
概率，即第n个顾客来到时刻到第n+1个顾客来到时刻之
间系统服务完的顾客数≥i+1。
pi0 P X n1 0 X n i P(Yn i 1) P(Yn k) k i1
et (t)k dG t ,
0 P{Yn
j Tn1 x}dG x
( x) j exdG x, j 0,1, 2,
0 j!
因此， {Xn，n≥1}是马尔可夫链。其转移概率为
P0 j P( X n1 j X n 0) P(Yn j X n 0)
P(Yn
P( X n1 in1 X n in )
所以{Xn,n≥0}是马尔可夫链，且
pij P( X n1 j X n i) P( f i,Yn1 j) P( f i,Y1 j)
二、切普曼-柯尔莫哥洛夫方程
1，随机矩阵 定义：称矩阵A=(aij)S×S为随机矩阵，若aij ≥0，且
一步转移概率矩阵
0.5009
0.0458 0.2559 0.1388 0.2134
0.0466 0.0988 0.36584 0.14264
第六章马尔可夫链07a2_91820369
证明从略
讲解从略关键点
讲解从略
判定定理
闭集的特性
空间分解与基本闭集的处理观察与思考
分步处理,逐一筛选
有限状态
的总结证明从略
空间结构是什么特别观察与理解
特点的处理与技巧
互通性
探索与观察
有限与无限互换的处理技巧
注意处理方式
传播性
正常返的规律性与统计模式
6.6 极限特性与平稳分布
平稳分布
定义与计算
理论证明与
处理
重复处理重复处理
总结
能想到的
例子是什么?
反证处理
构造性证明
推广
特殊情况
注意:
平均返回时间的计算1
12
3
观图
极限分布平稳分布区别与联
系。
概率统计学—马尔可夫链
由题知
p0 (0)
1 3
p1 (0)
2 3
1
P{X2 1, X3 1, X6 1}
pi
(0)
p(2) i1
p11
p(3) 11
i0
1
p11
p(3) 11
(
pi
(0)
p(2) i1
)
0.4128
i0
25
马尔可夫链在任何时刻 tn 的一维概率分布
pj (tn) P{X (tn) j}, j 0,1,2,
第十三章 马尔可夫链
马尔可夫过程是一类特殊的随机过程, 马尔可夫链 是离散状态的马尔可夫过程,
最初是由俄国数学家马尔可夫1896年 提出和研究的应用十分广泛,其应用领域涉 及计算机,通信,自动.控制,随机服务,可靠性, 生物学,经济,管理,教育,气象物理,化学等等.
1
例：一维随机游动 一个质点在直线上的五个位置:0, 1, 2, 3, 4做随机 游动.当它处在位置1或2或3时,以的1/3概率向左移 动一步而以2/3的概率向右移动一步;当它到达位置 0时,以概率1返回位置1;当它到达位置4时以概率1停 留在该位置上(称位置0为反射壁,称位置4为吸收壁).
p(2) 1k
pk1
18 100
1 10
82 100
9 10
0.756
P( Xn1 1, Xn2 1 | Xn 1) P( Xn1 1 | Xn 1)P( Xn2 1 | Xn 1, Xn1 1)
P( Xn1 1 | Xn 1)P( Xn2 1 | Xn1 1) p11 p11 0.81
0时,以概率1返回位置1;当它到达位置4时以概率1停
留在该位置上(称位置0为反射壁,称位置4为吸收壁).
第十三章 马尔可夫链概率论与数理统计
而与时刻 n 以前所处的状态无关.
所以它是一个马氏链, 且是齐次的.
一步转移概率
pij
P{ Xn1
j|
Xn
i} Βιβλιοθήκη p, j i q, j i,
i, j 0,1
一步转移概率矩阵
01
P 0 1
p q
q p
例2 一维随机游动 一随机游动的质点在如图所示直线的点集 I {1,2,3,4,5}上作随机游动,并且仅仅在1秒、2秒 等时刻发生游动.
结论 马氏链的n步转移概率是一步转移概率的 n 次
方.
例1 设任意相继的两天中, 雨天转晴天的概率为 1 3, 晴天转雨天的概率为1 2, 任一天晴或雨是互 为逆事件. 以 0 表示晴天状态,以1 表示雨天状态, Xn 表示第n天状态 (0或1). 试写出马氏链{ Xn , n 1}的一步转移概率矩阵. 又已知5月1日为晴 天 ,问5月3日为晴天, 5月5日为雨天的概率各等 于多少? 解 由于任一天晴或雨是互为逆事件且雨天转
Pij (n) P{ Xmn a j | Xm ai }.
称为马氏链的n步转移概率
P(n) (Pij(n))为n步转移概率矩阵.
特别的, 当 n=1 时, 一步转移概率 pij Pij (1) P( Xm1 a j | Xm ai }. 一步转移概率矩阵
的 状 态
记为P
三、应用举例
2023最新整理收集 do something
第十三章 马尔可夫链
第一节 马尔可夫过程及其概率分布 第二节 多步转移概率的确定
第三节 遍历性
第一节 马尔可夫过程及其概率分布
一、马尔可夫过程的概念 二、马尔可夫过程的概率分布 三、应用举例 四、小结
第四章 马尔可夫链
第四章 马尔可夫链随机过程在不同时刻下的状态之间一般具有某种关系，马尔可夫（Markov ）过程就是描述一类状态之间具有某种特殊统计联系的随机过程.Markov 过程在近代物理学、生物学、管理科学、信息处理与数字计算方法等领域都有重要的应用.按其状态和时间参数是连续的或离散的，它可分为三类：（1）时间、状态都是离散的Markov 过程，称为Markov 链；（2）时间连续、状态离散的Markov 过程，称为连续时间的Markov 链；（3）时间、状态都连续的Markov 过程.本章主要讨论Markov 链，有关连续时间的Markov 链的相关理论将在下章讨论.4.1 马尔可夫链的概念和例子独立随机试验模型最直接的推广就是Markov 链模型，早在1906年俄国数学家Markov 对它进行研究而得名，以后Kolmogorov 、Feller 、Doob 等数学家发展了这一理论.4.1 .1 Markov 链的定义假设Markov 过程{,}n X n T ∈的参数集T 是离散时间集合，即{0,1,2,}T =，相应n X 可能取值的全体组成的状态空间是离散状态集012{,,,}I i i i =.定义 4.1 设有一随机过程{,}n X n T ∈，若对于任意整数n T ∈和任意011,,,n i i i I +∈，条件概率满足11001111{|,,,}{|}n n n n n n n n P X i X i X i X i P X i X i ++++=======则称{,}n X n T ∈为离散时间的Markov 链，简称Markov 链（Markov chains ）或马氏链.从定义可以看出：Markov 链具有Markov 性（即无后效性），如果把时刻n 看作现在，那么，1n +是将来的时刻，而0,1,2,,1n -是过去的时刻.Markov 性表示在确切知道系统现在状态的条件下，系统将来的状况与过去的状况无关，而且Markov 链的统计特征完全由条件概率11{|}n n n n P X i X i ++==所决定. 因此，如何确定这个条件概率，是研究Markov 链理论和应用中十分重要的问题之一. 4.1.2 转移概率定义 4.2 称条件概率1(){|}ij n n p n P X j X i +=== （4.1）为Markov 链{,}n X n T ∈在时刻n 的一步转移概率，其中,i j I ∈，简称转移概率（transition probability ）.一般地，转移概率()ij p n 不仅仅与状态,i j 有关，而且与时刻n 有关，如果()ij p n 不依赖时刻n 时，则称Markov 链具有平稳转移概率.定义 4.3 若对任意,i j I ∈，Markov 链{,}n X n T ∈的转移概率()ij p n 与n 无关，则称Markov 链是齐次的（或称时齐的）（time homogeneous -），并记()ij p n 为ij p . 下面只讨论齐次Markov 链，并且通常将“齐次”两字省去.定义 4.4 设P 表示一步转移概率ij p 所组成的矩阵，且状态空间{1,2,}I =，则1112121222...........................n n p p p P p p p ⎛⎫ ⎪= ⎪ ⎪⎝⎭称为系统状态的一步转移概率矩阵（transition probability matrix ），它具有性质： （1）0,,ij p i j I ≥∈； （2）1,ijj Ipi I ∈=∈∑.（2）式说明一步转移概率矩阵中任一行元素之和为1，通常称满足性质（1）（2）的矩阵为随机矩阵.定义 4.5 称条件概率(){|},n ij m n m p P X j X i +=== ,,0,1i j I m n ∈≥≥ （4.2）为Markov 链{,}n X n T ∈的n 步转移概率，并称()()()n n ij P p =为Markov 链{,}n X n T ∈的n 步转移矩阵.其中()()0,1n n ij ij j Ip p ∈≥=∑，即()n P 也是一个随机矩阵.特别地，当1n =时，(1)ij ij p p =，此时，一步转移矩阵(1)P P =.我们还规定(0)0,1,iji jpi j ≠⎧=⎨=⎩Markov 链n 步转移概率满足重要的Chapman Kolmogorov -方程（简称C K -方程）。
10：马尔可夫链-数学建模
a1 (n 1) a1 (n) p11 a2 (n) p12 a2 (n 1) a1 (n) p12 a2 (n) p22 因为知道p11 0.5, p21 0.4 , 所以显然有 p12 1 p11 0.5 p22 1 p12 0.6 当商店开始销路好，即 a1 (0) 1, a2 (0) 0时，用式（1）立即可算出 a1 (n), a2 (n), n 1,2,.....第.5.页.，共.5.5页.。.
（2） Pig 1 （i=1,…具,是n）线性代数中有关矩阵的理论。
j 1
这样的矩阵被称为 随机矩阵。
第20页，共55页。
常染色体遗传模型
在常染色体遗传中，后代从每个亲体的基因对中各继承一 个基因，形成自己的基因父时体，—基—因母对体也的称基为因基型因型。如果
我们所考虑的遗传特A征A是由AA两个AA基 因AaA和Aaa控制aa的，（A、
满足
wp w
(10)a(n 1) a(n) p两边同时取极限及
k
wi 1
i 1
(11)
第10页，共55页。
引入状态概率向量和转移概率矩阵
a(n) {a1(n), a2 (n), a2 (n)..............ak (n)}
P { pij }kk
（7）
则基本方程（3）可表为
a(n 1) a(n)P （8） 由此还可以得到
模型推广：生物基因遗传等方面的应用。
第16页，共55页。
§4.3 马氏链模型
随着人类的进化，为了揭示生命的奥秘，人们越来越注重遗传 学的研究，特别是遗传特征的逐代传播，已引起人们广泛的注 意。无论是人，还是动、植物都会将本身的特征遗传给下一代， 这主要是因为后代继承了双亲的基因，形成自己的基因对，由 基因又确定了后代所表现的特征。本节将利用数学的 马氏链 方法来建立相应的遗传模型等，并讨论几个简单而又有趣的实例。 马氏链（马尔柯夫链）研究的是一类重要的随机过程，研究对象的 状 态s(t)是不确定的，它可能 取K种 状态si(i=1,…,k)之一，有时甚 至可取无穷多种状态。在建模时，时间变量也被离散化，我们希 望通过建立两个相邻时刻研究对象取各种状态的概率之间的联系 来研究其变化规律，故马氏链研究的也是一类状态转移问题。
7马尔可夫链
n 1
f ii( n )
f ii 1
n 1
f ii( n ) f ii 1
fij(n)
n 1
nfii( n) i
n 1
nfii( n) i
（3）可达关系与互通关系
[定义] （1）若存在 n > 0, 使得 pij(n) > 0 ，则称自状态 i 可达状态 j ，
{ p j (n)} { p j (n) , j I }
绝对概率向量：
PT (n) p1 (n), p2 (n), , (n 0)
初始概率向量：
PT (0) p1 , p2 ,
绝对概率 pj(n) 的性质
[定理] 设 { Xn , n T } 为马尔可夫链，则对于任意整数 n 1 和 j I ，绝对概率 pj (n) 具有下列性质：
(n n 0, 0 l < n 和 i , j I ，n 步转移概率 pij ) 具有下 列性质：
( ( ( (1) pijn ) pikl ) pkjnl ) kI
(n ) ij
C-K方程
( (2) pijn) pik1 pk1k2 pkn1 j k 1I kn1I
马尔可夫链的统计特性由以下条件概率所决定：
P{X n1 in1 X n in }
转移概率
[定义] 称条件概率
pij (n) P{X n1 j X n i}
为马尔可夫链 { Xn , n T } 在时刻 n 的一步转移概率， 其中 i , j I ，简称为转移概率。
一步转移概率矩阵：
p P q q p
第2章_马尔可夫链
为n时刻的一步转移概率。若 i, j S , pij n pij 即pij与n无关，则称{Xn,n≥0}为齐次马尔可夫链。记 P=(pij)，称P为{Xn,n≥0}的一步转移概率矩阵.
p00 p10 P pi 0
p01 p11 pi1
p02 p12 pi 2
0
( t ) j dG t , j!
j 0,1,i
pi0公式略有不同，它是服务台由有i个顾客转为空闲的 概率，
pi 0 P X n 1 0 X n i
0 k i 1
e t
(t )k dG t , k!
i0
例4 直线上的随机游动
1, pij 0 i, j 0 2, pij 1 i 0,1, 2,
j 1
我们来看马尔可夫链的分布
P ( X 0 i0 , X 1 i1 , , X n in ) P ( X 0 i0 ) P ( X 1 i1 X 0 i0 ) P ( X 2 i2 X 0 i0 , X 1 i1 ) P ( X n in X 0 i0 , X 1 i1 , , X n 1 in 1 ) P ( X 0 i0 ) P ( X 1 i1 X 0 i0 ) P ( X 2 i2 X 1 i1 ) P ( X n in X n 1 in 1 )
0 x x j
j!
dG x ,
j0
Pij P( X n 1 j X n i ) P ( X n 1 Yn j X n i ) P(Yn j i 1 X n i ) P (Yn j i 1) e
第5章 马尔可夫链
¼¼ 0 ¼ ¼ 0 00 1 000
00½ 00½
00 0 010
下面给出一个如何将一个过程转变为马尔可夫链的例子.
马尔可夫链
例5.9(将一个过程转变为马尔可夫链) 假设今天是否下雨依赖于前两天的天气条件.如果过去
的两天都下雨,那么明天下雨的概率为0.7;如果今天下雨 但昨天没下雨,那么明天下雨的概率为0.5;如果昨天下雨 但今天没下雨,那么明天下雨的概率为0.4;如果昨、今两 天都没下雨,那么明天下雨的概率为0.2.
pxy=F[y-(1+i)x].
例5.12 考察掷硬币的例子.硬币的正反面分别记为U和D,
于是状态空间为{U,D}={1,2},式中1,2分别代表U,D.
假定硬币初始时为正面,我们一共投掷了50次.在
每一次投掷时,硬币以概率20%翻转.于是转移概率为:
p11=0.8, p12=0.2, p21=0.2, p22=0.8.
第5章 马尔可夫链
5.1 引言 本章,首先考察取有限个值或者可数个可能值的随机过
程{Xn,n=0,1,2,…}.一般将这种随机过程的可能值的集合 也记为{0,1,2,…}(即状态空间也是非负整数集).
如果Xn=i,那么称随机过程在时刻n在状态i. 设只要过程在状态i, 就有一个固定的概率pij,使它在 下一个时刻在状态j. 我们有 定义5.1.1若对于一切状态i0,i1,…,in-1,i,j与一切n≥0, 有 P{Xn+1=j|Xn=i,Xn-1=in-1,…,X1=i1,X0=i0}
是0到n,反映赌博者A在赌博期间拥有的钱数,当他输光或
拥有钱数为n时,赌博停止; 否则他将持续赌博,每次以概
率p赢得1,以概率q=1-p输掉1.该系统的转移概率矩阵为
不可约马尔可夫链例子
不可约马尔可夫链例子什么是不可约马尔可夫链？不可约马尔可夫链是一种马尔可夫过程，其特点在于该链中所有状态都是连通的，即任何状态都可以通过有限步数到达任意其他状态。
这与可约马尔可夫链不同，可约马尔可夫链中某些状态无法到达其他状态。
不可约马尔可夫链的基本性质不可约马尔可夫链的基本性质有以下几点：1. 平稳分布存在且唯一：在不可约马尔可夫链中，总存在一个平稳分布，即一个稳定状态，该状态不随时间变化而改变。
并且，这个平稳分布是唯一的。
2. 转移概率存在极限：在不可约马尔可夫链中，无论起始状态是什么，经过足够长的时间后，状态转移的概率会收敛到一个固定的值，称之为稳定分布。
3. 可逆性：如果一条不可约马尔可夫链任意两个状态之间的转移概率与它们的逆序转移概率相等，那么它是可逆的。
不可约马尔可夫链的应用不可约马尔可夫链在许多领域都有着重要的应用。
比如：1. 序列分析：在序列分析中，利用不可约马尔可夫链对序列进行建模，进而进行序列预测、分类等任务。
2. 社交网络分析：将社交网络中的用户作为状态进行建模，然后研究和预测用户之间的关系变化。
3. 模式识别：基于不可约马尔可夫链的模型可以用来进行模式识别，如识别声音、图像等。
4. 推荐系统：基于用户行为的不可约马尔可夫链可以被用来构建推荐系统，从而预测用户对特定商品的偏好或喜好。
总结不可约马尔可夫链是一类具有重要意义的随机过程，在许多领域都有重要的应用。
在使用该方法进行建模和预测时，需要保证其状态是连通的，即任何状态都能相互到达。
同时需要注意的是，不可约马尔可夫链存在的平稳分布唯一，该分布可以用来计算出系统的稳定状态。