第十三章 马尔可夫链概率论与数理统计
107509-概率统计随机过程课件-第十三章马尔可夫链第一节第二节(上)
第十三章 马尔可夫链马尔可夫过程是一类特殊的随机过程, 马尔可夫链是离散状态的马尔可夫过程,最初是由俄国数学家马尔可夫1896年提出和研究的.应用十分广泛,其应用领域涉及计算机,通信,自动控制,随机服务,可靠性,生物学,经济,管理,教育,气象,物理,化学等等.第一节 马尔可夫链的定义一．定义定义 1 设随机过程}),({T t t X ∈的状态空间S 是有限集或可列集,对任意正整数n ,对于T 内任意1+n 个参数121+<<⋅⋅⋅<<n n t t t t 和S 内任意1+n 个状态121,,,,+⋅⋅⋅n n j j j j ,如果条件概率})(,,)(,)(|)({221111n n n n j t X j t X j t X j t X P =⋅⋅⋅===++})(|)({11n n n n j t X j t X P ===++,(13.1) 恒成立,则称此过程为马尔可夫链. 式(13.1)称为马尔可夫性,或称无后效性.马氏性的直观含义可以解释如下: 将n t 看作为现在时刻,那末,121,,,-⋅⋅⋅n t t t 就是过去时刻,而1+n t 则是将来时刻.于是,(13.1)式是说,当已知系统现时情况的条件下,系统将来的发展变化与系统的过去无关.我们称之为无后效性.许多实际问题都具有这种无后效性.例如 生物基因遗传从这一代到下一代的转移中仅依赖于这一代而与以往各代无关.再如,每当评估一个复杂的计算机系统的性能时,就要充分利用系统在各个时刻的状态演变所具有的通常概率特性:即系统下一个将到达的状态,仅依赖于目前所处的状态,而与以往处过的状态无关.此外,诸如某公司的经营状况等等也常常具有或近似具有无后效性.二． 马尔可夫链的分类状态空间S 是离散的(有限集或可列集),参数集T 可为离散或连续的两类.三．离散参数马尔可夫链（1）转移概率定义2 在离散参数马尔可夫链},,,,,),({210⋅⋅⋅⋅⋅⋅=n t t t t t t X 中,条件概率)(})(|)({1m ij m m t p i t X j t X P ===+称为)(t X 在时刻(参数)m t 由状态i 一步转移到状态j 的一步转移概率, 简称转移概率.条件概率)(})(|)({)(m n ij m n m t p i t X j t X P ===+称为)(t X 在时刻(参数)m t 由状态i 经n 步转移到状态j 的n 步转移概率.(2)转移概率的性质:对于状态空间S 内的任意两个状态i 和j ,恒有(1) 0)()(≥m n ij t p ;(2)1)()(=∑∈m Sj n ij t p ,⋅⋅⋅=,2,1n ()()(m Sj n ij t p ∑∈ })(|)({i t X j t X P m n m Sj ===+∈∑ })({})(,)({i t X P i t X j tX P m S j m n m ====∑∈+ })({}})(}){)({({i t X P i t X j t X P m S j m n m ====∑∈+1})({})({====i t X P i t X P m m )四.离散参数齐次马尔可夫链定义3 在离散参数马尔可夫链},,,,,),({210⋅⋅⋅⋅⋅⋅=n t t t t t t X 中,如果一步转移概率)(m ij t p 不依赖于参数m t ,即对任意两个不等的参数m t 和k t ,k m ≠,有)(})(|)({1m ij m m t p i t X j t X P ===+ij k ij k k p t p i t X j t X P =====+)(})(|)({1则称此马尔可夫链具有齐次性或时齐性,称)(t X 为离散参数齐次马尔可夫链.例1 Bernoulli 序列是离散参数齐次马尔可夫链.验证 在Bernoulli 序列},3,2,1,{⋅⋅⋅=n X n 中, 对任意正整数 n , 121+<<⋅⋅⋅<<n n t t t t ,121,,,,+⋅⋅⋅n n t t t t X X X X 相互独立, 故对 ,1,0=k j )1,,2,1(+⋅⋅⋅=n k ,有},,,|{211211n t t t n t j X j X j X j X P n n =⋅⋅⋅===++}{11+==+n t j X P n}|{11n t n t j X j X P n n ===++即满足马尔可夫性,且}|{11n t n t j X j X P n n ==++⎩⎨⎧=-====++++0,11,}{1111n n n t j p j p j X P n 当当 , 不依赖于参数n t ,满足齐次性.故Bernoulli 序列是离散参数齐次马尔可夫链.例2 爱伦菲斯特(Ehrenfest)模型 一容器中有a 2个粒子在作随机运动.设想有一实际不存在的界面把容器分为左右容积相等的两部分.当右边粒子多于左边时,粒子向左边运动的概率要大一些,大出部分与两边粒子的差数成正比;反之,当右边粒子少于左边时,粒子向右边运动的概率要大一些.以nX 表示n 次变化后,右边粒子数与均分数a 之差,则状态空间},1,,2,1,0,1,,1,{a a a a S -⋅⋅⋅-⋅⋅⋅+--=,转移概率 ⎪⎪⎪⎩⎪⎪⎪⎨⎧==±≠∈-=+=+---+-1,),1(21),1(211,1,1,1,a a a a j j j j p p a j S j a j p a j p则 },3,2,1,{⋅⋅⋅=n X n 是齐次马尔可夫链.第二节 参数离散的齐次马尔可夫链对于离散参数齐次马尔可夫链,本节讨论以下四个问题.一. 转移概率矩阵设 },,,,,),({210⋅⋅⋅⋅⋅⋅=n t t t t t t X 是齐次马尔可夫链, 由于状态空间S 是离散的(有限集或可列集)，不妨设其状态空间 },,,2,1,0{⋅⋅⋅⋅⋅⋅=n S .则对S 内的任意两个状态i 和j ,由转移概率 ij p 排序一个矩阵⎪⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅=ij i i j j p p p p p p p p p P 101111000100 称为(一步)转移概率矩阵 .})(|)({1i t X j t X P p m m ij ===+转移概率矩阵的性质：(1) 0≥ij p ,即元素均非负;(2) 1=∑∈S j ij p ,即每行和为1.具有以上两个特点的方阵称为随机矩阵.转移概率矩阵就是一个随机矩阵.例1 Bernoulli 序列的状态空间}1,0{=S ,转移概率矩阵⎝⎛=⎪⎪⎭⎫ ⎝⎛=q q p p p p P 11100100 ⎪⎪⎭⎫p p , })(|)({1i t X j t X P p m m ij ===+⎩⎨⎧=====+1,0,})({1j p j q j t X P m .例1 一维随机游动一个质点在直线上的五个位置:0,1,2,3,4之上随机游动.当它处在位置1或2或3时,以31的概率向左移动一步而以32的概率向右移动一步;当它到达位置0时,以概率1返回位置1;当它到达位置4时以概率1停留在该位置上(称位置0为反射壁,称位置4为吸收壁).以j t X n =)(表示时刻n t 质点处于位置j ,4,3,2,1,0=j ,则},,,),({210⋅⋅⋅=t t t t t X 是齐次马尔可夫链.其状态空间}4,3,2,1,0{=S ,状态0是反射状态,状态4是吸收状态.其转移概率矩阵⎪⎪⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛==1000032031000320310003203100010)(ij p P})(|)({1i t X j t X P p m m ij ===+分别以4,3,2,1,0,0==j i ； 4,3,2,1,0,1==j i ；4,3,2,1,0,2==j i ；4,3,2,1,0,3==j i ；4,3,2,1,0,4==j i按题设条件求出转移概率 })(|)({1i t X j t X P p m m ij ===+ 画出状态转移示意图如图例3（成功流）设在一串贝努里试验中,每次试验成功的概率为p ,令⎩⎨⎧≤≤=n k k n k n X n 1,,,0次成功次试验接连第第次试验失败第则},3,2,1,{⋅⋅⋅=n X n 是齐次马尔可夫链.其状态空间},,,2,1,0{⋅⋅⋅⋅⋅⋅=k S ,其转移概率pq X P i X X P n n n -======++1}0{}|0{11,p n P i X i X P n n =+==+=+}1{}|1{1次试验时成功第,,0,,020100===p p p q p ，⎪⎪⎩⎪⎪⎨⎧=≤<+=+≥====+0,0,01,2,0}|{1j q i j i j p i j i X j X P p n n ij , （ ,3,2,1=i ）于是转移概率矩阵⎪⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅=ij i i j j p p p p p p p p p P 101111000100⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎭⎫⎝⎛=p q p q p q p q 0000000000二． 切普曼-柯尔莫哥洛夫方程定理一 设 },,,,,),({210⋅⋅⋅⋅⋅⋅=n t t t t t t X是马尔可夫链,则有)()()()()()(n m l kj km n ik m l n ij t p t p t p ++∑=, (13.6)称为切普曼-柯尔莫哥洛夫方程.证 由条件概率定义计算公式,利用全概率公式和马氏条件,得})(|)({)()(i t X j t X P t p m l n m m l n ij ===+++})({})(,)({i t X P j t X i t X P m l n m m ====++ })({}})(,)(}){)({({i t X P j t X i t X k t X P m Sk l n m m n m =====∑∈+++})({})(,)(,)({i t X P j t X k t X i tX P m Sk l n m n m m=====∑∈+++ })({})(,)({})(,)({})(,)(,)({i t X P k t X i t X P k t X i t X P j t X k t X i t X P m n m m kn m m l n m n m m ===⋅======+++++∑})(|)({})(,)(|)({i t X k t X P k t X i t X j t X P m n m n m m kl n m ==⋅====++++∑})(|)({})(|)({i t X k t X P k t X j t X P m n m n m kl n m ==⋅===++++∑)()()()(n m l kj km n ik t p t p +∑= 证毕.如果马尔可夫链具有齐次性,那么切普曼-柯尔莫哥洛夫方程化为)()()(l kjkn ik l n ij p p p ∑=+ ,(13.7)当1,1==l n 时,得到kj kik ij p p p ∑=)2(,进一步改写为矩阵形式 2)2(P P=其中)()2()2(ijp P =是两步转移概率矩阵,P 是一步转移概率矩阵.用数学归纳法可得 nn P P =)(,⋅⋅⋅=,4,3,2n (13.8) 式(13.8)表明:n 步转移概率矩阵)()()(n ij n p P =等于一步转移概率矩阵P 的n 次幂.因此也常把n P 作为n 步转移概率矩阵的符号.例2 在本节例2中,求)2(00p 和)2(31p.解 由kj kik ij p p p ∑=)2(,得3131140)2(00=⨯==∑=k k k p p p,913131413)2(31=⨯==∑=k k k p p p.或用2)2()2()(P p Pij==.例3 传输数字0和1的通讯系统,每个数字的传输需经过若干步骤,设每步传输正确的概率为109,传输错误的概率为101,(1)问:数字1经三步传输出1的概率是多少? (2)若某步传输出数字1,那么又接连两步都传输出1的概率是多少?解 以n X 表示第n 步传输出的数字,则},2,1,0,{⋅⋅⋅=n X n 是一齐次马尔可夫链,0X 是初始状态,状态空间}1,0{=S ,一步转移概率矩阵⎝⎛=101109P ⎪⎪⎪⎪⎭⎫109101 (1) 2)2(P P =⎝⎛=101109⎪⎪⎪⎪⎭⎫109101 ⎝⎛101109 ⎪⎪⎪⎪⎭⎫109101= ⎝⎛1001810082⎪⎪⎪⎪⎭⎫10082100183)3(P P =⎝⎛=101109⎪⎪⎪⎪⎭⎫109101 ⎝⎛101109⎪⎪⎪⎪⎭⎫109101 ⎝⎛101109⎪⎪⎪⎪⎭⎫109101= ⎝⎛1001810082⎪⎪⎪⎪⎭⎫1008210018 ⎝⎛101109⎪⎪⎪⎪⎭⎫109101=⎝⎛10002441000756 ⎪⎪⎪⎪⎭⎫10007561000244,756.01000756)3(11==p ; (2) }1|1,1{21===++n n n X X X P}1|1{1===+n n X X P }1,1|1{12===⋅++n n n X X X P}1|1{1===+n n X X P }1|1{12==⋅++n n X X P81.0)109(21111==⋅=p p .。
浙江大学《概率论与数理统计》(第4版)【名校笔记+课后习题+考研真题】第13章 马尔可夫链【圣才出品
1 / 17
圣才电子书 十万种考研考证电子书、题库视频学习平台
X m1的状态
a1
Xm 的
a1 p11
a2
p21
状 态
ai
pi1
a2 aj
p12 p1j
p22 p2 j
=P 1 记成P
pi2 pij
二、多步转移概率的确定
1．C-K 方程
Pij (u v) Pik (u)Pkj (v), i, j 1, 2, k 1
π＝πP 或
满足条件
N
j i pij , j 1, 2, N i 1
N
j 0, j 1 j 1
的唯一解。
13.2 课后习题详解
1．从数 1，2，…，N 中任取一数，记为 X1；再从 1，2，…，X1 中任取一数，记为 X2； 如此继续，从 1，2，…，Xn－1 中任取一数，记为 Xn，说明{Xn，n≥1}构成一齐次马氏链，
则此链具有遍历性，若 j 1，则 (1, 2 ,) 为链的极限分布。
j
2．有限链遍历性的充分条件
设齐次马氏链{Xn，n≥l}的状态空间为 I {a1, a2 ,, aN} ，P 是它的一步转移概率矩阵， 如果∃m∈N＋，使对∀ ai , aj I ，都有
Pij (m) 0,i, j 1, 2,, N 则此链具有遍历性，且有极限分布 (1, 2 ,, N ) ，它是方程组
无关，那么，n 步转移概率也一定与 m 无关，马氏链就必定是齐次的。
4 / 17
圣才电子书 十万种考研考证电子书、题库视频学习平台
2．说明第十二章§1 例 5 中的随机过程都是齐次马氏链，并写出它们的状态空间和一步
转移概率矩阵。
马尔可夫链及其概率分布
则称过程{X(t),tT}具有马尔可夫性，或称 {X(t),tT}为马尔可夫过程。
称为马氏链在时刻m系统处于状态ai的条件下，在时刻 m+n转移到状态aj的转移概率。
设{Xn,n0},其状态空间为,若对于任意的正 整数n和任意的 ai0 , ai1 ,, ain , ain1 , 定义2
有 P X n 1 a i n 1 X 0 a i0 , X 1 a i 2 , , X n a i n P X n 1 a i n 1 | X n a i n
p10――系统内恰有一顾客正在接受服务的条件 下，经 后系统内无人的概率，它等于在 间 隔内顾客因服务完毕而离去，且无人进入系统 的概率，p10=p(1-q). p11――系统内恰有一顾客的条件下，在 间隔 内，他因服务完毕而离去，而另一顾客进入系 统，或者正在接受服务的顾客将继续要求服务， 且无人进入系统的概率，这p11＝pq＋(1-p) (1-q). p12――正在接受服务的顾客继续要求服务，且 另一个顾客进入系统的概率，p12=q(1-p).
由于Xn, n=0，1，2,…独立同分布，因而
PX n1 j | X n i PX n1 j q j P { X m 1 j | X m i }
所以{Xn}为齐次马氏链。其一步转移概率P:
pij q j , i , j I .
//例3 排队模型 设服务系统由一个服务员和只可 以容纳两个人的等候室组成，见图7－3。服务规 则是：先到先服务，后来者需在等候室依次排队。 假定一个需要服务的顾客到达系统时发现系统内 已有3个顾客（一个正在接受服务，两个在等候 室排队）则该 顾客即离去。设时间间隔Δt内 将有一个顾客进入系统的概率为q，有一原来被 服务的顾客离开系统（即服务完毕）的概率为p。 又设当Δt充分小时，在这时间间隔内多于一个 顾客进入或离开系统实际上是不可能的。再设有 无顾客来到与服务是否完毕是相互独立的。现用 马氏链来描述这个服务系统。
马尔可夫链的基本概念
马尔可夫链的基本概念马尔可夫链是一种数学模型，用于描述具有马尔可夫性质的随机过程。
马尔可夫性质指的是在给定当前状态的情况下，未来状态的概率只与当前状态有关，与过去状态无关。
马尔可夫链由一组状态和状态之间的转移概率组成，可以用于模拟和预测各种随机过程，如天气变化、股票价格波动等。
一、马尔可夫链的定义马尔可夫链由状态空间和转移概率矩阵组成。
状态空间是指所有可能的状态的集合，用S表示。
转移概率矩阵是一个n×n的矩阵，其中n 是状态空间的大小。
转移概率矩阵的元素表示从一个状态转移到另一个状态的概率。
二、马尔可夫链的性质1. 马尔可夫性质：在给定当前状态的情况下，未来状态的概率只与当前状态有关，与过去状态无关。
2. 遍历性：从任意一个状态出发，经过有限步骤后可以到达任意一个状态。
3. 周期性：一个状态可以分为周期为k的状态和非周期状态。
周期为k的状态在经过k步后才能返回原状态，非周期状态的周期为1。
4. 不可约性：如果一个马尔可夫链中的任意两个状态都是可达的，那么该马尔可夫链是不可约的。
5. 非周期马尔可夫链的收敛性：如果一个马尔可夫链是非周期的且不可约的，那么它具有收敛性，即在经过足够多的步骤后，状态分布会趋于稳定。
三、马尔可夫链的应用马尔可夫链在许多领域都有广泛的应用，包括自然语言处理、机器学习、金融市场分析等。
1. 自然语言处理：马尔可夫链可以用于语言模型的建立，通过分析文本中的词语之间的转移概率，可以预测下一个词语的出现概率，从而实现自动文本生成、机器翻译等任务。
2. 机器学习：马尔可夫链可以用于序列数据的建模和预测，如音频信号处理、图像处理等。
通过分析序列数据中的状态转移概率，可以预测下一个状态的出现概率，从而实现序列数据的预测和分类。
3. 金融市场分析：马尔可夫链可以用于分析金融市场的波动性和趋势。
通过分析股票价格的状态转移概率，可以预测未来股票价格的走势，从而指导投资决策。
四、马尔可夫链的改进和扩展马尔可夫链的基本概念可以通过改进和扩展来适应更复杂的问题。
随机过程课件-马尔可夫链
对于不可约的马尔可夫链，其极限分 布是遍历的，即极限分布与初始状态 无关。
05
马尔可夫链的模拟与实现
随机数生成
伪随机数生成器
使用数学公式和种子值生成一系列近似 随机的数列。
VS
真随机数生成器
利用物理现象（如电路噪音）产生真正的 随机数。
马尔可夫链蒙特卡洛方法
采样分布
通过多次重复模拟马尔可夫链的路径来估计 某个事件的概率或某个参数的值。
收敛性
随着模拟次数的增加，估计值逐渐接近真实 值。
马尔可夫链在决策分析中的应用
要点一
决策树
要点二
强化学习
将马尔可夫链应用于决策分析中，帮助决策者评估不同策 略的风险和收益。
在强化学习中，马尔可夫链用于描述环境状态转移和奖励 函数。
06
马尔可夫链的扩展与改进
时齐马尔可夫链
定义
时齐马尔可夫链是指时间 参数为离散的马尔可夫链 ，其状态转移概率不随时 间而变化。
遍历性是马尔可夫链达到平稳分布的必要条件之一，也是判 断马尔可夫链是否具有唯一平稳分布的重要依据。
03
马尔可夫链的转移概率
转移概率的定义与性质
定义
马尔可夫链中，给定当前状态$i$，未来状态$j$在某个时间步长内发生的概率称为转移 概率，记作$P(i,j)$。
性质
转移概率具有非负性、归一性和时齐性。非负性指$P(i,j) geq 0$；归一性指对于每个 状态$i$，所有可能转移到该状态的转移概率之和为1，即$sum_{ j} P(i,j) = 1$；时齐性
周期性会影响马尔可夫链的平稳分来自的性质和计算。状态空间的分解
状态空间的分解是将状态空间划分为若干个子集，每个子集内的状态具有相似的 性质和转移概率。
概率论与数理统计13马尔可夫
j i pij
i 1
N
s.t. j 0, j 1
i 1
N
例2 讨论例1的遍历性和极限分布。
4 5
1/ 3 1/ 3 1/ 3 0 0 0 1/ 3 1/ 3 1/ 3 0 0 1/ 3 1/ 3 1/ 3 0 0 0 1 0 0
多步转移概率
C-K方程 设 X (n), n 0,1,2,... 是一齐次马氏链，则对任 意的 u, v T1 ，有
转移概率——马氏链在时刻m处于状态ai条件下， 在时刻m+n转移到状态aj的概率，称为转移概率
转移概率矩阵——由转移概率组成的矩阵
P(m, m n) ( P ij (m, m n))
P(m, m n) ( P ij (m, m n))
齐次马氏链——转移概率只与i，j及时间间距n 有关时，此链是齐次的。仅讨论齐次马氏链 n步转移概率
结论：对齐次马氏链而言，n步转移概率矩 阵是一步转移概率矩阵的n次方
0 0
1
2
P
1 2
3 / 4 1 / 4 0 1 / 4 1 / 2 1 / 4 0 3 / 4 1 /;a,b<1，Pij(n)极限 b lim P00 (n) lim P 0 10 ( n)
一、马尔可夫过程的概念
马尔可夫性（无后效性）
过程或系统中时刻t0所处的状态为已知的条件 下，过程做时刻t>t0所处状态的条件分布于过 程中时刻t0之前所处的状态无关的特性称为马 尔可夫性或无后效性。
即过程“将来” 的情况与“过去”的情况是无 关的
13 马尔可夫链
4
13.1 马尔可夫过程及其概率分布
泊松过程和维纳过程的马尔可夫性
是独立增量过程，且 X (0) 0 { X (t ), t 0}
证明见课本
X (tn )与 X (t1 ), X (t2 ),, X (tn 2 )
是相互独立的随机变量。 即马尔可夫性
泊松过程是时间连续、状态离散的马氏过程 维纳过程是时间连续、状态也连续的马氏过程
P{ X (tn ) xn | X (t1 ) x1 , X (t2 ) x2 , , X (tn 1 ) xn 1} P{ X (tn ) xn | X (tn 1 ) xn 1}
即
Ftn |t1...tn1 ( xn , t n | x1 , x2 ,..., xn1 , t1 , t 2 ,..., t n1 )
9
13.1 马尔可夫过程及其概率分布
(0-1)传输系统
只传输数字0,1的串联系统
每一级的传真率为p,误码率为q=1－p.
(传真率指输出与输入相同的概率，是条件概率。)
{ X n , n 0,1, 2,}是一个随机过程，
参数集(时间集)为
分析：
T {0,1, 2,}，状态空间为 I {0,1}
8
13.1 马尔可夫过程及其概率分布
一步转移概率矩阵
矩阵元 pij P (1) P{ X m1 a j | X m ai } ij 概率矩阵
X m 1 的状态
a1 a2 aj
Xm
的 状 态
a1 p11 p12 p1 j a2 p21 p22 p2 j 记成 P (1) P ai pi1 pi 2 pij
马尔可夫链的基本概念
马尔可夫链的基本概念马尔可夫链是一种数学模型，用于描述具有马尔可夫性质的随机过程。
马尔可夫性质指的是在给定当前状态的情况下，未来状态的概率只与当前状态有关，与过去状态无关。
马尔可夫链由一组状态和状态之间的转移概率组成，可以用于模拟和预测各种随机过程，如天气变化、股票价格波动等。
一、马尔可夫链的定义马尔可夫链由状态空间和转移概率矩阵组成。
状态空间是指所有可能的状态的集合，用S表示。
转移概率矩阵是一个n×n的矩阵，其中n 是状态空间的大小。
转移概率矩阵的元素表示从一个状态转移到另一个状态的概率。
二、马尔可夫链的性质1. 马尔可夫性质：在给定当前状态的情况下，未来状态的概率只与当前状态有关，与过去状态无关。
2. 遍历性：从任意一个状态出发，经过有限步骤后可以到达任意一个状态。
3. 周期性：一个状态可以返回到自身的步数称为周期。
如果一个状态的周期为1，则称其为非周期状态；如果周期大于1，则称其为周期状态。
4. 不可约性：如果一个马尔可夫链中的任意两个状态都是可达的，则称该马尔可夫链是不可约的。
5. 遍历性与周期性的关系：对于不可约的马尔可夫链，要么所有状态都是非周期状态，要么所有状态都是周期状态。
三、马尔可夫链的应用马尔可夫链在许多领域都有广泛的应用，包括自然语言处理、机器学习、金融市场分析等。
以下是一些具体的应用案例：1. 自然语言处理：马尔可夫链可以用于生成文本，如自动写作、机器翻译等。
通过学习文本的转移概率，可以生成具有相似语言风格的新文本。
2. 机器学习：马尔可夫链可以用于序列建模，如语音识别、手写识别等。
通过学习序列的转移概率，可以对序列进行分类和预测。
3. 金融市场分析：马尔可夫链可以用于预测股票价格的波动。
通过学习历史股票价格的转移概率，可以预测未来股票价格的走势。
4. 生物信息学：马尔可夫链可以用于基因序列分析。
通过学习基因序列的转移概率，可以识别基因的功能和结构。
四、马尔可夫链的应用案例以下是一个简单的马尔可夫链应用案例，用于模拟天气变化：假设有三种天气状态：晴天、多云和雨天。
第十三章 马尔可夫链概率论与数理统计
而与时刻 n 以前所处的状态无关.
所以它是一个马氏链, 且是齐次的.
一步转移概率
pij
P{ Xn1
j|
Xn
i} Βιβλιοθήκη p, j i q, j i,
i, j 0,1
一步转移概率矩阵
01
P 0 1
p q
q p
例2 一维随机游动 一随机游动的质点在如图所示直线的点集 I {1,2,3,4,5}上作随机游动,并且仅仅在1秒、2秒 等时刻发生游动.
结论 马氏链的n步转移概率是一步转移概率的 n 次
方.
例1 设任意相继的两天中, 雨天转晴天的概率为 1 3, 晴天转雨天的概率为1 2, 任一天晴或雨是互 为逆事件. 以 0 表示晴天状态,以1 表示雨天状态, Xn 表示第n天状态 (0或1). 试写出马氏链{ Xn , n 1}的一步转移概率矩阵. 又已知5月1日为晴 天 ,问5月3日为晴天, 5月5日为雨天的概率各等 于多少? 解 由于任一天晴或雨是互为逆事件且雨天转
Pij (n) P{ Xmn a j | Xm ai }.
称为马氏链的n步转移概率
P(n) (Pij(n))为n步转移概率矩阵.
特别的, 当 n=1 时, 一步转移概率 pij Pij (1) P( Xm1 a j | Xm ai }. 一步转移概率矩阵
的 状 态
记为P
三、应用举例
2023最新整理收集 do something
第十三章 马尔可夫链
第一节 马尔可夫过程及其概率分布 第二节 多步转移概率的确定
第三节 遍历性
第一节 马尔可夫过程及其概率分布
一、马尔可夫过程的概念 二、马尔可夫过程的概率分布 三、应用举例 四、小结
《马尔可夫链讲》课件
在平稳分布下，系统的各个状态之间转移的次数趋于平衡，每个状态的平均逗留时 的 马尔可夫链，都存在至少一个平
稳分布。
存在性定理的证明基于遍历理论 ，即如果马尔可夫链是遍历的，
那么它必然存在平稳分布。
根据接受概率判断是否接受样本的技 术，可以提高样本的质量和效率。
接受-拒绝抽样技术
接受概率
根据目标分布和当前状态计算出的概率，用于判断是否接受当前状态 转移为下一个状态。
拒绝概率
根据当前状态和接受概率计算出的概率，用于判断是否拒绝当前状态 转移为下一个状态。
接受-拒绝抽样过程
根据当前状态和接受概率计算出接受该状态的概率，如果该概率大于 随机数，则接受该状态作为下一个状态，否则拒绝并重新抽样。
详细描述
马尔可夫链定义为一个随机过程，其 中每个状态只与前一个状态有关，当 前状态只依赖于前一时刻的状态，不 受到过去状态的影响。
马尔可夫链的应用场景
总结词
马尔可夫链在多个领域有广泛应用。
详细描述
在自然语言处理中，马尔可夫链可以用于生成文本、语言模型等；在金融领域 ，马尔可夫链可以用于股票价格预测、风险评估等；在物理学中，马尔可夫链 可以用于描述粒子运动、化学反应等。
模型训练与预测
模型选择
根据数据特点和业务需求选择合适的马尔可 夫链模型。
模型训练
使用历史数据训练马尔可夫链模型。
参数设置
根据经验和业务理解设置模型参数。
预测与推断
基于训练好的模型对未来或未知数据进行预 测和推断。
结果评估与优化
评估指标
选择合适的评估指标（如准确率、召回率、F1值等）对预测结果进行评估。
随机过程中的马尔可夫性质与极限定理
随机过程中的马尔可夫性质与极限定理随机过程是概率论和数理统计中的一个重要概念，它描述了一系列随机事件的演化规律。
在随机过程中，马尔可夫性质是一种重要的性质，它指的是在给定当前状态的情况下，未来状态的概率分布只依赖于当前状态，而与过去状态无关。
这种性质在很多实际问题中都有广泛的应用。
马尔可夫性质最早由俄国数学家马尔可夫在20世纪初提出，他研究了一种离散状态的随机过程，即马尔可夫链。
马尔可夫链具有马尔可夫性质，即在给定当前状态的情况下，未来状态的概率分布只与当前状态有关。
这种性质使得马尔可夫链具有很好的数学性质，可以通过一些简单的计算方法来求解。
在实际应用中，马尔可夫链常常用于建模描述一些具有随机性的现象，比如天气变化、股票价格波动等。
通过建立状态空间和状态转移概率矩阵，可以将这些现象抽象成一种马尔可夫链。
然后利用马尔可夫性质，可以预测未来的状态，从而对这些现象进行分析和控制。
除了马尔可夫性质，随机过程还有一个重要的性质是极限定理。
极限定理描述了随机过程中的一些重要统计量的极限行为。
其中最著名的是中心极限定理，它指出当随机变量的个数趋向于无穷大时，这些随机变量的和的分布趋向于正态分布。
这个定理在概率论和统计学中有着广泛的应用，可以用来解决很多实际问题。
极限定理的证明通常需要使用数学分析和概率论的方法，比较复杂。
但是在实际应用中，我们通常只需要知道极限定理的结论即可。
通过极限定理，我们可以对一些随机过程中的统计量进行估计和推断，从而得到一些有用的结果。
总结起来，随机过程中的马尔可夫性质和极限定理是概率论和数理统计中的两个重要概念。
马尔可夫性质描述了随机过程中未来状态的概率分布只与当前状态有关，而与过去状态无关。
极限定理描述了随机过程中一些重要统计量的极限行为。
这两个性质在实际应用中有着广泛的应用，可以用来解决很多实际问题。
虽然它们的证明比较复杂，但我们通常只需要知道它们的结论即可。
通过应用这些性质，我们可以对随机过程进行建模、分析和控制，从而得到一些有用的结果。
《马尔科夫链》课件
六、总结
优点与缺点
马尔科夫链具有简化模型、 易于计算的优点，但忽略了 过去信息和状态空间有限的 缺点。
应用前景
随着人工智能和数据科学的 发展，马尔科夫链在各个领 域的应用将得到更广泛的推 广。
发展趋势
未来马尔科夫链可能进一步 发展和改进，并与其他模型 和技术相结合，实现更强大 的应用。
《马尔科夫链》PPT课件
马尔科夫链是一种概率模型，常用于描述离散时间过程的转移规律。本课件 将详细介绍马尔科夫链的概述、基本概念、应用和常见问题，并通过实际案 例分析展示其重要性和应用前景。
一、概述
定义
马尔科夫链是一种离散时间、离散状态的随机过程，其未来状态仅依赖于当前状态。
特点
马尔科夫链具有无后效性、状态转移 Markov 性、齐次性和有限状态空间等特点。
1 自然语言处理
马尔科夫链可用于模拟语言模型、文本生成和自动翻译等。
2 计算机网络
马尔科夫链可以用来建立网络流量模型、分析网络性能和优化网络传输。
3 金融市场
马尔科夫链在金融市场中的应用包括股票价格预测、投资组合优化和风险管理。四、马尔科ຫໍສະໝຸດ 链的常见问题1收敛性
马尔科夫链是否会收敛到一个稳定状
长期行为
2
态？如何判断？
马尔科夫链在长期运行时会以何种形
式表现？
3
平稳分布
马尔科夫链是否存在一个平稳的状态 分布？如何计算？
五、马尔科夫链的实际案例分析
语音识别
马尔科夫链可用于语音识别系 统中，对语音信号进行建模和 识别。
股票涨跌预测
利用马尔科夫链分析历史股票 价格，预测未来股票价格的涨 跌趋势。
运筹学 ch13马尔可夫链
二步平稳转移概率矩阵的第
一行的三个数p00(2),p01(2), p02(2)分别为一步转移矩阵 p11
p02
1
p21
p12
2
p22
的第一行乘以第一，二，三列所得，同样第二行的三个数
CH13 马尔可夫链
2014年8月23日星期六
Page 17
P10(2),p11(2),p12(2) 分别为二步转移矩阵的第二行乘以第一，二， 三列所得，p20(2),p21(2),p22(2)分别为第三行乘以第一，二，三列 所得， 一般地：prs(2) = prTps , 如果定义两步平稳转移概率矩阵 P(2)=(prs(2)) , 则我们有： P(2)=P(1) * P(1) = P2 n步平稳转移概率
CH13 马尔可夫链
2014年8月23日星期六
Page 8
这些问题的研究是很有现实意义的，例如： 根据市场统计了解到，目前某公司生产的商品占 有一定的销路比例，我现在要预测，n步以后， 该公司将占有的销路比例是多少？另外，参加竞 争的商品占有销路的比例会稳定吗？ 我们关心的是分析这样一类系统，即系统的 下一个状态与当前状态有关，而与系统以前状态 完全无关，这样的随机过程称为马尔可夫过程。 或马尔可夫链，它可用来回答上述问题和其它许 多与动态系统有关的问题。 人们已用马尔可夫链来分析库存问题、商 品销路问题、设备更新问题、人口增长问题、会 计问题、工厂布局问题及有关动态系统的其它问 题。
稳转移概率矩阵。P=(prs)。
定义4：一阶、有限状态马尔可夫链，如果随机过程{Xi}具 有以下特点
1.具有一阶马尔可夫性质
2.有限个状态
CH13 马尔可夫链
2014年8月23日星期六
Page 13
最新考研数学三不考的部分(最全)
高等数学不用看的部分：第5页映射；第17页到第20页双曲正弦双曲余弦双曲正切及相应的反函数可以不记；第107页由参数方程所确定的函数的导数；第119页微分在近似方程中的应用记住几个公式4，5,6还有120页的近似公式即可，不用看例题；第140页泰勒公式的证明可以不看，例题中的几个公式一定要记住，比如正弦公式等；第169页第七节；第178页第八节；第213页第四节；第218页第五节；第280页平行截面面积为已知的立体体积；第282页平面曲线的弧长；第287页第三节；第316页第五节；在第七章微分方程中建议大家只要会解方程即可，凡是书上涉及到物理之类的例题不看跳过例如第301页的例2例3例4；第八章；第90页第六节；第101页第七节；第157页第三节；165页第四节；第十一章；第261页定理6；第278页第四节；第285页第五节；第302页第七节；第316第八节线性代数不用看的部分：第102页第五节概率论与数理统计要考的部分：第一二三四五章；第六章第135页抽样分布；第7章第一节点估计和第二节最大似然估计注意：数学课本和习题中标注星号的为不考内容，在上面的内容中我并没有标出。
上述内容是根据文都发放的教材编的。
《高等数学》目录与2010数三大纲对照的重点计划用时（天）标记及内容要求：★─大纲中要求“掌握”和“会”的内容以及对学习高数特别重要的内容，应当重点加强，对其概念、性质、结论及使用方法熟知，对重要定理、公式会推导。
要大量做题。
☆─大纲中要求“理解”和“了解”的内容以及对学习高数比较重要的内容，要看懂定理、公式的推导，知道其概念、性质和方法，能使用其结论做题●─大纲中没有明确要求，但对做题和以后的学习有帮助。
要能看懂，了解其思路和结论。
▲─超出大纲要求。
第一章函数与极限第一节映射与函数（☆集合、影射，★其余）第二节数列的极限（☆）第三节函数的极限（☆）第四节无穷小与无穷大（★）第五节极限运算法则（★）第六节极限存在准则（★）第七节无穷小的比较（★）第八节函数的连续性与间断点（★）第九节连续函数的运算与初等函数的连续性（★）第十节闭区间上连续函数的性质（★）总习题第二章导数与微分第一节导数概念（★）第二节函数的求导法则（★）第三节高阶导数（★）第四节隐函数及由参数方程所确定的函数的导数相关变化率（★）第五节函数的微分（★）总习题二第三章微分中值定理与导数的应用第一节微分中值定理（★罗尔，★拉格朗日，☆柯西）第二节洛必达法则（★）第三节泰勒公式（☆）第四节函数的单调性与曲线的凹凸性（★）第五节函数的极值与最大值最小值（★）第六节函数图形的描绘（★）第七节曲率(●)第八节方程的近似解(●)总习题三（★注意渐近线）第四章不定积分第一节不定积分的概念与性质（★）第二节换元积分法（★）第三节分部积分法（★）第四节有理函数的积分（★）第五节积分表的使用（★）总习题四第五章定积分第一节定积分的概念与性质（☆）第二节微积分基本公式（★）第三节定积分的换元法和分部积分法（★）第四节反常积分（☆概念，★计算）第五节反常积分的审敛法г函数(●)总习题五第六章定积分的应用第一节定积分的元素法（★）第二节定积分在几何学上的应用（★平面面积，★旋转体，★简单经济应用）第三节定积分在物理学上的应用（★求函数平均值）总习题六、第七章微分方程第一节微分方程的基本概念（☆）第二节可分离变量的微分方程（☆）（★掌握求解方法）第三节齐次方程（☆）（★掌握求解方法）第四节一阶线性微分方程（☆）（★掌握求解方法）第五节可降阶的高阶微分方程（☆）第六节高阶线性微分方程（☆）第七节常系数齐次线性微分方程（★二阶的）第八节常系数非齐次线性微分方程（★二阶的）第九节欧拉方程(●)第十节常系数线性微分方程组解法举例(●)总习题七附录I 二阶和三阶行列式简介附录II 几种常用的曲线附录、积分表第八章空间解析几何与向量代数（▲）第一节向量及其线性运算第二节数量积向量积混合积第三节曲面及其方程第四节空间曲线及其方程第五节平面及其方程第六节空间直线及其方程总习题八第九章多元函数微分法及其应用第一节多元函数的基本概念（☆）第二节偏导数（☆概念。
浙江大学《概率论与数理统计》(第4版)【名校笔记+课后习题+考研真题】(第13章 马尔可夫链——第1
第13章 马尔可夫链13.1 复习笔记一、马尔可夫过程及其概率分布 马尔可夫过程的概率分布 （1）转移概率及其转移概率矩阵 ①转移概率(,){|}ij m n j m i P m m n P X a X a ++===为马氏链在m 时处于a i 的条件下，到m ＋n 时转移到状态a j 的转移概率。
1(,)1,1,2,ij j P m m n i +∞=+==∑②转移概率矩阵 (,)((,))ij P m m n P m m n +=+性质：各元素非负，每行之和为1（2）齐次马氏链的转移概率及转移概率矩阵 一步转移概率为(){}11ij ij m j m i p P P X a X a +====一步转移概率矩阵()11211112122122212=1m j j mj i i i ijX a a a a p p p X a p pp P P a p p p +⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦的状态的记成状态二、多步转移概率的确定1．C-K 方程1()()(),,1,2,ij ik kj k P u v P u P v i j +∞=+==∑2．n 歩转移概率齐次马尔可夫链的n 歩转移概率矩阵P （n ）＝P n三、遍历性 1．定义转移概率()ij P n 存在极限或()()121212jj n jP n P n πππππππππ⎡⎤⎢⎥⎢⎥⎢⎥=→∞⎢⎥⎢⎥⎢⎥⎣⎦则此链具有遍历性，若1jjπ=∑，则12(,,)πππ=为链的极限分布。
2．有限链遍历性的充分条件设齐次马氏链{X n ，n ≥l}的状态空间为12{,,,}N I a a a =，P 是它的一步转移概率矩阵，如果∃m ∈N ＋，使对∀,i j a a I ∈，都有()0,,1,2,,ij P m i j N >=则此链具有遍历性，且有极限分布12(,,,)N ππππ=，它是方程组π＝πP 或1,1,2,Nj i ij i p j Nππ===∑满足条件10,1Nj j j ππ=>=∑的唯一解。
概率论第十三章-马尔可夫链
s
s u s u v
t
i, j 1,2,
这就是著名的chapman kolmogorov方程，简称C K 方程
即"从时刻s所处的状态ai出发，经时段u v转移到状态a j "
这一事件可分解成： "从X s ai出发，先经时段u转移到中间状态ak k 1, 2, 再从ak 经时段v转移到状态a j"这样一些事件和
p j i P i, j 0,1 ij P X n 1 j | X n i q j i
p P q
q p
9
例2：排队模型
随机到达者
等候室
服务台
离去者
系统
服务系统由一个服务员和只可以容纳两个人的等候室组成。 服务规则为：先到先服务，后来者需在等候室依次排队；若一 个需要服务的顾客到达系统时发现系统内已有3个顾客，则该 顾客立即离去。 设： （1）时间间隔⊿t内有一个顾客进入系统的概率为q，有一 接受服务的顾客离开系统(即服务完毕)的概率为p； （2）当⊿t充分小时，在这时间间隔内多于一个顾客进入或 离开系统实际上是不可能的； （3）再设有无顾客来到与服务是否完毕是相互独立的。 10
Pin1in tn tn 1
pi 0 Pii1 t1 Pi1i2 t2 t1
马尔可夫链的有限维分布完全由初始分布和转移概率所确定
例如：P{X 0 a0，X 2 a2} P{X 2 a2 | X 0 a0}P{X 0 a 0} p0 (0) p02 (2)
, X (tn 1 ) xn 1}
马尔可夫性（无后效性 ）：已知过程“现在” 的条件下， “将来”不依赖于“过 去”。
马尔可夫链
部的医生却必然要转出去，分配到产科病房的机会是
妇科病房机会的4倍。则 p13 0 p11 0.4 p12 0.6 p22 0.4 p23 0.6 p21 0 p33 0 p31 0.8 p32 0.2
0.4 0.6 0
P
0
0.4 0.6
0.8 0.2 0
2019年7月10日
概率统计-马尔可夫链
第10页
例：院方规定：一个在产科病房(1)工作的医生不能
分配到门诊部(3)工作，但有40%的机会仍可以分配到 产科病房，60%的机会转移到妇科病房(2)；在妇科病 房工作的医生，有40%的机会可以保留在妇科病房， 60%的机会转移到门诊部，但不能转到产科；在门诊
p11 p12 p13 p11 p12 p13
P (2)
p21
p22
p23
p21
p22
p23
P2
p31 p32 p33 p31 p32 p33
对
0.4 0.6 0
P
0
0.4 0.6
0.8 0.2 0
0.4 0.6 0 0.4 0.6 0 0.16 0.48 0.36
2019年7月10日
概率统计-马尔可夫链
第16页
(2) 未知X0的确切值, 但知的X0分布(初始分布), 则 可求: pi(n) P( Xn i) —— 状态概率 记 p(n) ( p1(n) , p2(n) ,, p(Nn) ) —— 状态概率行向量
则 p(n) p(0)P(n)
Yt：t1，2，） （随机过程）
描述一个离散随机变量用分布列
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
5 4 1 2 3 如果Q现在位于1(或5)这点上, 则下一时刻就 以概率1移动到2(或4)这一点上.
1和5这两点称为反射壁.
上面这种游动称为带有两个反射壁的随机游动. 模拟方法:产生均匀分布的随机数序列132322 11122…,其中1表示左移;2表示不动;3表示右移.
1
2
3
4
5
理论分析: 以X n表示时刻n时Q的位置.
状态空间 I {0, 1} ,
且当X n i , i I为已知时, X n1所处的状态分布只与 X n i有关,
而与时刻 n 以前所处的状态无关. 所以它是一个马氏链, 且是齐次的. 一步转移概率
p, j i pij P{ X n1 j | X n i } i, j 0,1 q , j i , 0 1 0 p q 一步转移概率矩阵 P q p 1
3. 马尔可夫链的定义
时间和状态都是离散的马尔可夫过程称为
简记为 { X n X ( n), n 0,1,2,}. 可夫链,
马尔
二、马尔可夫过程的概率分布
研究时间和状态都是离散的随机序列
{ X n X ( n), n 0,1, 2,},
状态空间为 I (a1 , a2 ,}, ai R .
则{ X n , n 0,1,2,}是一随机过程 .
状态空间就是I.
且当X n i , i I为已知时,
X n1所处的状态分布只与 X n i有关,
而与时刻 n 以前所处的状态无关.
所以它是一个马氏链, 且是齐次的.
一步转移概率
pij P{ X n1 j | X n i }
P{ X m n a j | X m ai }, 其中 ai I .
2. 转移概率
称条件概率 Pij (m, m n) P{ X m n a j | X m ai }
为马氏链在时刻m处于状态ai条件下, 在时刻 m n
此矩阵的每一行元 说明: 转移概率具有特点 素之和等于1. Pij (m, m n) 1, i 1,2,.
此时, 记 Pij ( m , m n) Pij ( n),
Pij (n) P{ X m n a j | X m ai }.
称为马氏链的n步转移概率
P ( n) ( Pij ( n))为n步转移概率矩阵.
特别的, 当 n=1 时,
一步转移概率 pij Pij (1) P ( X m1 a j | X m ai }. 一步转移概率矩阵
三、应用举例
传输系 01 例1 只传输数字0和1的串联系统 ( 如图: X n 1 Xn X1 X2 X0 n 2 1
X 0是第一级的输入
X n是第n级的输出 (n 1)
设一个单位时间传输一级, 设每一级的传真率为 p, 误码率为 q=1-p.
, 分析: { X n , n 0,1,2,}是一随机过程
2. 马尔可夫过程的定义
具有马尔可夫性的随机过程称为马尔可夫过程.
用分布函数表述马尔可夫过程
设 I : 随机过程 { X (t ), t T } 的状态空间,
如果对时间t的任意n个数值,
tX t2 t n , X n ( T, 恰有 1 (tn )在条件 ti 3 ) ,tix 下的条件分布函数 i P{ X ( tn ) xn | X ( t1 ) x1 , X ( t2 ) x2 ,, X ( tn1 ) xn1 } X (tn )在条件X (tn1 ) xn1下的条件分布函数 P{ X ( tn ) xn | X ( tn1 ) xn1 }, xn R
例2 一维随机游动 一随机游动的质点 在如图所示直线的点集
I {1,2,3,4,5}上作随机游动, 并且仅仅在1秒、 2秒 等时刻发生游动 .
1 2 游动的(1< i <5),则下一时刻各以 1/3的概率向左或向右移动一格, 或以1/3的概率留 在原处;
a1
Xm 的 状 态
a1 p11 a2 p21 ai pi1
P (1) X m 1的状态 a2 a j
p12 p1 j p22 p2 j pi 2 pij P (1) 记为P
1. 用分布律描述马尔可夫性
对任意的正整数 n, r 和 0 t1 t2 tr m;
t i , m , n m Ti , 有 P{ X m n a j | X t1 ai1 , X t 2 ai2 , , X t ai , X m ai }
第一节 马尔可夫过程及其概率分布
一、马尔可夫过程的概念
二、马尔可夫过程的概率分布
三、应用举例 四、小结
一、马尔可夫过程的概念
1. 马尔可夫性(无后效性)
过程或(系统)在时刻t0所处的状态为已知的
条件下,过程在时刻t t0所处状态的条件分布与
与过程在时刻t0之前所处的状态无关的特性称为
马尔可夫性或无后效性. 即: 过程“将来”的情况与“过去”的情况是 无关的.
或写成
Ftn |t1tn 1 ( xn , t n | x1 , x2 ,, xn1 ; t1 , t 2 ,, t n1 ) Ftn |tn 1 ( xn , t n | xn1 , t n1 ),
这时称过程 { X ( t ), t T }具马尔可夫性或无后效 性.
并称此过程为马尔可夫过程.
j 1
转移到状态a j的转移概率.
由转移概率组成的矩阵
P(m, m n)( Pij (m, m n))
称为马氏链的转移概率矩阵. 它是随机矩阵.
3. 平稳性
当转移概率 Pij ( m , m n) 只与 i , j 及时间间距 n
有关时, 称转移概率具有平稳性.
同时也称此链是齐次的或时齐的.