随机过程 第三章 马尔科夫链
第三章 马尔可夫链
第三章 马尔可夫链 一、马尔可夫链的概念马尔可夫过程是一类有重要应用意义的随机过程，它具有如下特征：随机过程‘将来’所处的状态仅与‘现在’所处的状态有关，而与‘过去’曾处于什么状态无关。
马尔可夫过程按其状态和时间参数是离散还是连续的可以分成三类 （1） 时间和状态都是离散的马尔可夫过程，称为马尔可夫链。
（2） 时间连续、状态离散的马尔可夫过程，称为连续时间的马尔可夫链。
（3） 时间和状态都连续的马尔可夫过程。
本章介绍马尔可夫链定义1 设}0,{≥n X n 为随机序列，其状态空间为},,,{210 i i i I =，如果对任意正整数n 及任意n+2个状态I i i i i n ∈+1210,,,, ，有},,,{110011n n n n i X i X i X i X P ====++}{11n n n n i X i X P ===++则称此随机序列}0,{≥n X n 为马尔可夫链。
若将时刻n 称为‘现在’，将时刻n+1称为‘将来’，而把0，1，2，……，n-1称为‘过去’。
定义中的等式便可通俗解释为：在已知}0,{≥n X n ‘现在’所处的状态条件下，‘将来’所要达到的状态与‘过去’所经历的状态无关，这一特性常称为马尔可夫的无后效性。
例1．一个n 级数字传输系统，每一级的输入和输出信号只取0或1两个值，每一级的输出是下一级的输入；并假定当一级输入为0时，其输出为0和为1的概率分别为p 和1-p;当输入为1时，其输出为1和0的概率分别为p 和1-p （见图）令Xn 表示第n 级输出，则{ Xn,n ≥0}便为一个马尔可夫链。
例2．从1，2，……，N 数字中任取一个数，记为X0；再从1，2，……，X0数字中任取一个数，记为X1；再从1，2，……，X1中任取一个数，记为X2；依此类推，在1，2，……，Xn-1中任取一个数，记为Xn 。
可以证明{ Xn,n ≥0}为马尔可夫链。
事实上，{ Xn,n ≥0}的状态空间为I={1，2，……，N}，对任意正整数n ，取n+1个状态I i i i i n ,,,,210 ,由题意可知故{ Xn,n ≥0}为马尔可夫链。
随机过程课程第三章 马尔可夫过程
特别 P{X nm inm | X n in , , X 0 i0}
= P{X nm inm | X n in}
首页
性质5 设{ X n , n 0 }为马氏链，其状态空间为 I， 则 对任意给定的 n 个整数，0 k1 k2 kn ，有
P{X kn ikn | X kn1 ikn1 , , X k1 ik1 }
（2） pij (n) 1 , i I jI
3．一步转移矩阵 如果固定时刻n T
则由一步转移概率为元素构成的矩阵P1 ：
称为在时刻n的一步转移矩阵
首页
即 有
p00 (n)
p10
(n)
p01(n)
p11 (n)
P1
pn0 (n)
pn1 (n)
有限马氏链 状态空间I={0，1，2，…，k}
首页
性质3 设{ X n , n 0 }为马氏链，其状态空间为 I，
若 0 s r n ，则在X r ir 的条件下，有 P{X n in , X s is | X r ir }
= P{X n in | X r ir } P{X s is | X r ir }
表明 若已知现在，则过去与未来是独立的。
iI
P{X 0 i}P{X n j | X 0 i}
iI
p0 (i) pi(jn)
iI
注 若对定态分布，则 p( j) p(i) pij
iI
首页
4．切普曼---柯尔莫哥洛夫方程
定理2 设{ X n , n 0 }为一个马氏链，具有初始分布 p0 (i) ，i I
和 n 步转移概率pi(jn) ，i. j I ，n 0 ，
称为n步转移矩阵
规定
P0
第三章-马尔科夫过程
第三章 马尔科夫过程第一节 随机过程的概念1、 随机系数必然事件自然界中出现的事件分为 不可能事件随机事件事物的变化过程 必然过程随机过程（1） 必然过程：有确定的变化形式，可以用精确的数学关系式来描述。
如()()sin m u t U t ω= ()()sin m i t I t ωϕ=+（2） 随机过程：没有确定的变化形式，只能用随机函数来描述。
例如：在24h 内对某电网的负荷进行几天的观测，如下图所示：随机系数：观测对象随时间的变化时不确定的，用()x t 表示。
现实：每次观测得到一个具体的系数，称为随机系数的一个“现实”。
如：()()()12,...............n x t x t x t 参数。
t 是随机变量，称为过程的参数，其所有可能的集合为“参数空间”或“时间空间”。
状态：随机函数()x t 在1t 时刻的值()1x t ，称为()x t 在1t t =时的状态。
则所有可能的集合称为“状态空间”。
2、 随机系数的分类（1） 时间（分数）离散，状态空间离散 （2） 时间（分数）连续，状态空间连续 （3） 时间（分数）离散，状态空间连续 （4） 时间（分数）连续，状态空间离散 其中（1）与（4）研究的较多 3、 随机系数的概率分布当，n t t =时，()n t X 的分布与历史i t t =时()()11i t i n X ≤≤-的关系，即根据过程的历史来确定()n t X 的分布：用条件概率来描述：（()i x t 简化成i x ）()112211/,............n n n n P x x x x --X =X =X =X = （1）若在特定的情况下，n X 的分布与过去的历史无关，则()()112211/,............n n n n n n P x x x x P x --X =X =X =X ==X =称为过程独立（无记忆过程）。
若n X 的分布只与过去的一部分历史有关，如只与最近一次时间的状态有关，而与以前所有时刻的状态都是无关，即()()11221111/,............/n n n n n n n n P x x x x P x x ----X =X =X =X ==X =X =第二节 马尔科夫链1、 概述将参数和状态空间都是系数的马尔科夫过程称为马尔科夫链。
随机过程中的马尔可夫链理论
随机过程中的马尔可夫链理论随机过程是概率论中的一个重要分支，研究时间上的变化不确定性。
马尔可夫链是随机过程中的一种特殊形式，它具有马尔可夫性质，即未来状态只依赖于当前状态，与过去状态无关。
在本文中，我们将深入探讨随机过程中的马尔可夫链理论。
一、马尔可夫链的定义马尔可夫链是一种离散随机过程，它由一系列的状态和状态转移概率组成。
设S={S1, S2, ...}为状态空间，P={Pij}为状态转移概率矩阵，其中Pij表示从状态Si到状态Sj的概率。
马尔可夫链满足以下两个条件：1) 转移概率只与当前状态有关；2) 对于任意状态Si，状态转移概率之和等于1。
二、马尔可夫链的性质1. 马尔可夫性质由定义可知，马尔可夫链具有马尔可夫性质，即未来状态只与当前状态有关，与过去状态无关。
这一性质使得马尔可夫链在建模和分析中具有较大的灵活性。
2. 随机游走马尔可夫链可以看作是一种随机游走的过程。
在状态空间S中，根据状态转移概率进行转移，从而实现状态之间的随机变动。
通过研究随机游走的路径和特性，可以揭示马尔可夫链的一些重要特性。
3. 平稳分布对于某些马尔可夫链，存在一个平稳分布使得在长时间模拟中，状态分布趋于稳定。
这一性质在实际应用中广泛使用，例如在排队论、金融风险管理等领域。
三、马尔可夫链的应用1. 自然语言处理马尔可夫链在自然语言处理中得到广泛应用，特别是在文本生成和语音识别方面。
通过学习语料库中的转移概率，可以生成新的语句或者识别语音中的词组。
2. 生物信息学在DNA和蛋白质序列的分析中，马尔可夫链可以用于模拟和预测相关的状态变化。
通过构建转移矩阵，可以研究序列中的概率事件和模式。
3. 市场分析马尔可夫链在市场分析中具有较大的潜力。
通过研究股票价格或者交易策略的状态转移，可以辅助投资决策和风险管理。
四、马尔可夫链的改进为了更好地描述现实世界中复杂的系统和过程，研究者们对传统的马尔可夫链进行了改进。
例如，高阶马尔可夫链能够捕捉更长期的状态依赖性；隐马尔可夫模型则能够处理观测序列的概率计算问题。
随机过程课件-马尔可夫链
对于不可约的马尔可夫链，其极限分 布是遍历的，即极限分布与初始状态 无关。
05
马尔可夫链的模拟与实现
随机数生成
伪随机数生成器
使用数学公式和种子值生成一系列近似 随机的数列。
VS
真随机数生成器
利用物理现象（如电路噪音）产生真正的 随机数。
马尔可夫链蒙特卡洛方法
采样分布
通过多次重复模拟马尔可夫链的路径来估计 某个事件的概率或某个参数的值。
收敛性
随着模拟次数的增加，估计值逐渐接近真实 值。
马尔可夫链在决策分析中的应用
要点一
决策树
要点二
强化学习
将马尔可夫链应用于决策分析中，帮助决策者评估不同策 略的风险和收益。
在强化学习中，马尔可夫链用于描述环境状态转移和奖励 函数。
06
马尔可夫链的扩展与改进
时齐马尔可夫链
定义
时齐马尔可夫链是指时间 参数为离散的马尔可夫链 ，其状态转移概率不随时 间而变化。
遍历性是马尔可夫链达到平稳分布的必要条件之一，也是判 断马尔可夫链是否具有唯一平稳分布的重要依据。
03
马尔可夫链的转移概率
转移概率的定义与性质
定义
马尔可夫链中，给定当前状态$i$，未来状态$j$在某个时间步长内发生的概率称为转移 概率，记作$P(i,j)$。
性质
转移概率具有非负性、归一性和时齐性。非负性指$P(i,j) geq 0$；归一性指对于每个 状态$i$，所有可能转移到该状态的转移概率之和为1，即$sum_{ j} P(i,j) = 1$；时齐性
周期性会影响马尔可夫链的平稳分来自的性质和计算。状态空间的分解
状态空间的分解是将状态空间划分为若干个子集，每个子集内的状态具有相似的 性质和转移概率。
随机过程课件-马尔可夫链
本课件将介绍随机过程中一种重要的模型——马尔可夫链。探讨马尔可夫链 的定义、特性、应用及改进方法，展望其未来发展。
什么是随机过程？
随机过程是一种数学模型，用于描述随机变量在时间上的演化。根据性质和分类不同，随机过程可分为多种类 型。
马尔可夫链的概念
定义
马尔可夫链是一种随机过程，具有马尔可夫性质，即未来状态仅与当前状态相关。
马尔可夫链的局限性和优缺点
马尔可夫链具有简单、易于实现的优点，但在某些情况下存在局限性。
马尔可夫链的未来发展方向
未来，马尔可夫链有望结合更多机器学习、深度学习技术，在更多领域得到应用和改进。
马尔可夫链的改进
局限性
马尔可夫链模型在某些情况下存 在局限性，如长期依赖性和大状 态空间问题。
改进方法
针对马尔可夫链的局限性，研究 者提出了多种改进方法，如隐马 尔可夫模型和条件随机场。
马尔可夫决策过程
马尔可夫决策过程是对马尔可夫 链进行扩展，引入了决策和奖励 机制，用于解决决策问题。
总结与展望
马尔可夫链的平稳分布
平稳分布是马尔可夫链在长期 运行后，状态分布稳定的概率 分布。
马尔可夫链的应用
1
模拟系统
2
马尔可夫链在模拟系统中用于模拟随机
事件和状态转移，如队列模型和流程模
3
型。
自然语言处理
马尔可夫链在自然语言处理中用于语言 模型、文本生成和机器翻译等。
金融领域
马尔可夫链在金融领域中用于风险评估、 投资组合优化和市场分析等。
特性
马尔可夫链具有无记忆性、状态空间有限、状态转移概率固定等特性。
状态转移图
马尔可夫链可用状态转移图表示，展示各状态之间的转移概率。
随机过程与马尔可夫链
随机过程与马尔可夫链随机过程是数学中研究随机事件在时间序列上变化的一种数学模型。
在实际生活中，我们会遇到很多随机变化的现象，比如天气的变化、股票价格的变动等等。
理解和研究这些现象的规律，对于预测未来的发展和做出合理决策具有重要意义。
而马尔可夫链就是随机过程的一种特殊形式，它具有“无记忆”的特性，即未来的状态只与当前状态有关，与过去的状态无关。
这一特性使得马尔可夫链具有简单的数学性质和可计算的特点，使得它成为概率论和统计学中研究的重要工具。
马尔可夫链的基本定义是一个离散状态空间上的随机变量序列，满足马尔可夫性质。
具体来说，给定当前状态，未来状态的概率分布只与当前状态有关，与过去的状态无关。
这一概率分布称为转移概率矩阵，可以用矩阵形式表示。
随机过程中的状态可以是离散的，也可以是连续的。
在马尔可夫链中，我们主要关注的是离散状态的情况。
离散状态的马尔可夫链可以用有向图表示，图中的节点表示状态，边表示状态之间的转移概率。
在实际问题中，我们可以通过观察历史数据来估计状态间的转移概率，并利用得到的转移概率矩阵来进行未来的预测。
这一方法被广泛应用于金融市场的价格预测、自然语言处理中的语言模型、网络流量的分析等领域。
除了基本的马尔可夫链模型，还有一些扩展和变形的模型，如高阶马尔可夫链、隐马尔可夫链等。
这些模型在更复杂的问题中有着重要的应用，比如自然语言处理中的词性标注、语音识别中的模式识别等。
总结一下，随机过程与马尔可夫链是概率论和统计学中重要的概念和工具。
它们可以帮助我们理解和预测随机变化的现象，为决策提供依据。
通过观察历史数据并建立概率模型，我们可以利用马尔可夫链进行未来的预测和分析，为各个领域的应用提供支持。
在未来的研究中，我们还可以探索更多关于马尔可夫链的特性和应用，进一步拓展其在实际问题中的应用。
随机过程 马尔可夫链 常返 解题技巧
随机过程是概率论中的一个重要概念，它描述了一组随机变量在时间上的演化规律。
其中，马尔可夫链是一种重要的随机过程，具有许多重要的应用。
本文将对随机过程、马尔可夫链以及其中的常返性进行介绍，并探讨解题技巧。
一、随机过程随机过程是指一组随机变量的集合，它是对一组随机事件进行建模的数学工具。
随机过程在统计学、金融工程、生态学等领域具有广泛的应用。
在随机过程中，我们通常关注的是随机变量在时间上的演化规律，即随机变量随着时间的推移如何变化。
二、马尔可夫链马尔可夫链是一种随机过程，它具有马尔可夫性质，即在已知当前状态的情况下，未来的状态只与当前状态有关，而与过去的状态无关。
马尔可夫链通常用状态空间和转移概率矩阵来描述，其中状态空间表示随机变量可能的取值，转移概率矩阵表示在当前状态下转移到下一状态的概率分布。
在马尔可夫链中，我们通常关注的问题包括平稳分布、收敛性、常返性等。
平稳分布是指当马尔可夫链收敛时，存在一个分布使得随机变量收敛到该分布。
收敛性描述了马尔可夫链的状态在时间推移中是否会趋于稳定。
常返性是衡量马尔可夫链状态转移的一个重要性质，它描述了马尔可夫链是否在有限时间内会回到某个状态。
三、常返性在马尔可夫链中，常返性是一个重要的性质。
常返性描述了马尔可夫链在有限时间内回到某个状态的概率。
如果马尔可夫链从某个状态出发，最终会以概率1回到该状态，则称该状态是常返的。
否则，该状态是暂态的。
对于一个马尔可夫链，如果所有状态都是常返的，则称该链是常返的。
常返性是马尔可夫链收敛性的一个重要条件。
若一个马尔可夫链是常返的，且满足一定的条件，那么该链将会收敛到一个平稳分布。
解题技巧在研究随机过程和马尔可夫链时，我们常常需要解决一些与状态转移、概率分布、收敛性等相关的问题。
以下是一些解题技巧，可以帮助我们更好地理解和应用随机过程和马尔可夫链。
1. 注意状态空间的选择：在解题时，我们需要注意选择合适的状态空间，以便清晰地描述随机变量的取值范围。
概率论中的随机过程与马尔可夫链
概率论中的随机过程与马尔可夫链概率论是数学中重要的一个分支，它研究的是随机事件的发生概率以及它们的统计规律。
而随机过程是概率论中的一个重要概念，它是一组随机变量的集合，它们表示随机现象的演化过程。
而马尔可夫链则是随机过程中的一种特殊形式，它具有无记忆性和马氏性质，被广泛应用于各个领域。
第一部分：随机过程的定义随机过程是由一组随机变量组成的，它们表示一个随机现象的演化过程。
随机过程可以用一个函数来描述，这个函数的输入是时间，输出是随机变量的取值。
随机过程可以分为离散时间的随机过程和连续时间的随机过程两种形式。
离散时间的随机过程，也称为随机序列，表示在离散的时间点，随机变量的取值随机变化的过程。
常见的例子包括掷骰子的过程、赌博中的赢输情况、股票价格的涨跌等。
连续时间的随机过程，是指在时间轴上随机变化的过程，输出的是随机变量的取值。
常见的例子包括股票价格在时间轴上的变化、温度在时间轴上的变化、人类寿命的随机变化等。
第二部分：马尔可夫链的定义马尔可夫链是一种随机过程，它具有无记忆性和马氏性。
无记忆性是指在某一时刻的状态，只与上一时刻的状态相关，而与过去的状态无关。
马氏性则是指在随机过程中，下一个状态只与当前状态相关，而与历史状态无关。
马尔可夫链的特点在于它可以用一个转移矩阵来表示，这个转移矩阵是一个方阵，其中的元素表示从一个状态到另一个状态的概率。
换句话说，马尔可夫链的下一个状态只与当前状态有关，而转移矩阵则描述了状态之间的转移概率。
马尔可夫链的应用非常广泛，从物理学、经济学到生物学等各个领域都有应用。
例如，在自然语言处理中，可以使用马尔可夫模型来预测下一个单词出现的概率，从而实现文本生成和自动翻译等功能。
在股票价格预测中，可以使用马尔可夫模型来分析股价走势，从而帮助投资者制定投资策略。
第三部分：马尔可夫链的应用1.自然语言处理在自然语言处理中，马尔可夫模型被广泛应用于文本生成、自动翻译等功能。
马尔可夫模型通过分析语言中词语之间的关系，预测下一个单词可能出现的概率。
随机过程 马尔可夫链
随机过程马尔可夫链随机过程是研究随机事件在时间和空间上的变化规律的数学模型。
而马尔可夫链是随机过程的一种，它的特别之处在于，当前时刻的状态只与前一时刻的状态有关，而与其它时间的状态无关。
现在，让我们来详细了解一下随机过程与马尔可夫链。
一、随机过程随机过程实际上就是由一系列随机变量组成的，这些随机变量的取值是在某些规定的时间或空间上进行的。
它是一个随机事件的序列或集合，因此其本质是一种时间或空间上的随机演化。
二、马尔可夫链马尔可夫链是一种特殊的随机过程，其特征在于它只与其前一状态有关。
其实，马尔可夫链是一种转移概率的数学模型，它描绘了系统从一个状态到另一个状态的转移概率，而这些概率只与前一时刻的状态有关。
马尔可夫链的形式化描述就是一个状态空间和一个转移矩阵。
这里，状态空间可以是任意形式的集合，而转移矩阵则是一个矩阵，其每个元素表示从一个状态到另一个状态的概率。
三、马尔可夫链的性质马尔可夫链具有多种性质：1、马尔可夫性质：当前时刻的状态只与前一时刻的状态有关。
2、无记忆性质：其将来的状态与过去的状态无关。
3、多步转移概率：马尔可夫链具有的多步转移概率与初始状态无关。
4、周期性：若马尔可夫链从一个状态出发始终无法到达其它状态，可以说其为周期性的。
四、应用1、生物统计：马尔科夫链应用到多态遗传研究。
2、分子动力学：马尔可夫链应用到高分子链的构象和动力学研究。
3、自然语言处理：将一个英文句子转化为标签序列可以看做是一个马尔可夫链。
总之，随机过程和马尔可夫链是最基础的统计学习模型。
它们在多个领域都有广泛的应用，如金融、医学、工业等。
深刻了解它们的特性和应用将有助于我们更好地理解大量数据背后的规律。
随机过程-马尔科夫链的应用
目录
Contents
• 随机过程概述 • 马尔科夫链简介 • 马尔科夫链的应用 • 马尔科夫链蒙特卡洛方法 • 马尔科夫链的稳定性与收敛性 • 马尔科夫链的优化与改进
01 随机过程概述
定义与特性
定义
随机过程是随机变量在时间或空间上的连续或离散变化。
特性
具有不确定性、随机性和规律性。
该方法通过模拟随机过程来得到问题的近似解，具有简单、 灵活、适用范围广等优点。
马尔科夫链蒙特卡洛方法的基本原理
马尔科夫链蒙特卡洛方法是一种特殊的蒙特卡洛方法，通 过构造一个马尔科夫链，使其平稳分布为目标分布，从而 通过抽样得到目标分布的近似解。
该方法的关键在于构造合适的转移核，使得马尔科夫链的 平稳分布为目标分布，同时保证马尔科夫链的收敛性。
01
将马尔科夫链的转移概率矩阵分解为多个子矩阵，利用多核处
理器并行计算，提高计算效率。
并行化采样过程
02
将采样过程分解为多个任务，利用分布式计算框架（如
Hadoop、Spark）并行执行，加速采样速度。
并行化状态空间搜索
03
利用并行算法搜索马尔科夫链的状态空间，发现更优解。
马尔科夫链的扩展与改进
隐马尔科夫模型
应用场景
在排队论、生物种群演化等领域有广泛应用。
马尔科夫链的收敛性
定义
马尔科夫链的收敛性是指随着时间的推移， 马尔科夫链的状态概率分布是否趋近于某个 固定的概率分布。
判定准则
如果存在一个概率分布$pi$，使得对于任意时间$n$， 有$P(X_n=i) rightarrow pi(i)$，则称马尔科夫链是 收敛的。
马尔科夫链是一种随机过程，其中下一个状态只依赖 于当前状态，而与过去状态无关。
随机过程的马尔可夫链知识点汇总
随机过程的马尔可夫链知识点汇总什么是马尔可夫链？马尔可夫链是一种数学模型，描述了一系列随机事件，其中每个事件的概率只依赖于当前事件发生的状态。
换句话说，未来的状态只与当前状态有关，而与过去的状态无关。
马尔可夫链的性质1. 马尔可夫性质（Markov Property）：在一个马尔可夫链中，给定当前状态，未来的状态与过去的状态无关。
2. 状态空间（State Space）：马尔可夫链的所有可能状态的集合。
3. 转移概率（Transition Probability）：描述了从一个状态转移到另一个状态的概率。
4. 长程行为（Long-term Behavior）：马尔可夫链在长时间的演化中，会逐渐趋向于稳定的概率分布。
马尔可夫链的应用1. 模拟和预测：马尔可夫链可以用于模拟和预测各种随机事件的概率分布，如天气预测、股票市场等。
2. 自然语言处理：马尔可夫链可以用于自然语言处理中的文本生成和自动语音识别等任务。
3. 统计学：马尔可夫链在统计学中有广泛的应用，如随机抽样和蒙特卡洛模拟等。
马尔可夫链的改进1. 高阶马尔可夫链（Higher-order Markov Chains）：考虑当前和前几个状态的组合，以改进模型的准确性。
2. 隐马尔可夫模型（Hidden Markov Model, HMM）：在马尔可夫链的基础上引入隐藏状态，用于处理有观测数据和隐藏状态的问题。
3. 非时齐马尔可夫链（Non-homogeneous Markov Chains）：考虑转移概率随时间变化的情况，用于更复杂的应用。
总结马尔可夫链是一种重要的随机过程模型，具有简单的数学结构和丰富的应用。
通过理解马尔可夫链的基本概念和性质，可以更好地应用于各种问题的建模和解决。
随机过程中的随机游动与马尔科夫链
随机过程中的随机游动与马尔科夫链随机过程是一类描述随机现象演化的数学模型，常用于对自然现象、社会现象等随机变化的研究。
其中，随机游动和马尔科夫链是比较常见的两种模型。
一、随机游动随机游动模型最早是在布朗运动中产生的。
当时，生物学家RBrown对于花粉在水面上运动的轨迹进行了观察，发现花粉在水面上的运动轨迹非常类似于随机游动的路径。
根据这个现象，布朗运动被普遍用来描述诸如分子、原子等微观粒子的运动过程。
随机游动是一种没有目的的随机行走，其运动特点如下：1. 行走者在各个时间点上所处的位置是随机的；2. 每个时间点行走者的走步长度和方向也是随机的；3. 无论时间走了多长，行走者最终会返回起点，且越接近初始位置，行走路程越短。
随机游动可以用数学模型来进行描述，其中最基础的模型是一维随机游动。
假设在一维数轴上有一个游走者，每个时间点他只能向左或向右走一步，且走步距离是随机的。
我们用$x_n$表示在第$n$步时游走者所在的位置，则$x_n$的变化可以写成：$$x_n=x_{n-1}+\xi_n$$其中，$\xi_n$是一个随机变量，表示在第$n$步时游走者向左或向右走的距离。
假设$\xi_n$服从均值为0、方差为$\sigma^2$的正态分布，则$\xi_n$的概率密度函数为：$$f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{x^2}{2\sigma^2}}$$一维随机游动的路径分布非常复杂，但是当$n$趋于无穷大时，$x_n$的分布趋于高斯分布。
$$f(x)=\frac{1}{\sqrt{2\pi n}\sigma}e^{-\frac{(x-n\mu)^2}{2n\sigma^2}}$$其中$\mu$是$\xi_n$的期望值。
上述结果被称为随机游动的中心极限定理，它表明了在随机游动下，当时间趋于无穷大时，路程在起点两侧的概率趋于相等。
二、马尔科夫链马尔科夫链是一种随机过程，其运动特点是：1. 未来状态只与当前状态相关，与过去状态无关；2. 具有马尔科夫性质，即状态转移概率矩阵不随时间变化。
随机过程中的马尔可夫链模型
随机过程中的马尔可夫链模型马尔可夫链是一种描述随机过程的数学模型，它具有“无记忆性”的特点，即未来状态仅受当前状态的影响，与过去状态无关。
在这篇文章中，我们将探讨随机过程中的马尔可夫链模型及其应用。
一、什么是马尔可夫链模型马尔可夫链是一种随机过程，指的是一系列的随机事件，其中每个事件的发生仅依赖于前一个事件的状态。
这种“无记忆性”使得马尔可夫链具有简洁的数学描述和计算特性。
马尔可夫链由五个基本要素组成：状态空间、状态转移概率、初始概率分布、时间步长和转移矩阵。
1. 状态空间：马尔可夫链的状态空间表示系统可能处于的所有状态的集合。
例如，掷骰子的状态空间是{1, 2, 3, 4, 5, 6}。
2. 状态转移概率：状态转移概率表示从一个状态转移到另一个状态的概率。
通常用转移矩阵表示，其中每个元素表示从一个状态到另一个状态的转移概率。
3. 初始概率分布：初始概率分布表示系统在初始时刻处于各个状态的概率分布。
通常用向量形式表示，其中每个元素表示系统处于对应状态的概率。
4. 时间步长：时间步长表示系统从一个状态转移到下一个状态所经过的时间。
5. 转移矩阵：转移矩阵是一个方阵，其中的每个元素表示从一个状态到另一个状态的转移概率。
转移矩阵的每一行之和为1。
二、马尔可夫链模型的应用马尔可夫链模型在许多领域都有广泛的应用，包括自然语言处理、金融市场分析、生物信息学、网络传播模型等。
1. 自然语言处理：在自然语言处理中，马尔可夫链模型被用于文本生成、机器翻译和语音识别等任务。
通过建立一个马尔可夫链模型，可以根据已知的文本数据生成具有相似特征的新文本。
2. 金融市场分析：马尔可夫链模型被广泛应用于金融市场的分析和预测。
通过分析历史数据，建立一个马尔可夫链模型，可以预测未来的市场变化趋势，帮助投资者做出决策。
3. 生物信息学：在生物信息学中，马尔可夫链模型被用于基因序列分析、蛋白质结构预测等任务。
通过构建一个马尔可夫链模型，可以识别基因序列中的编码区域和非编码区域，进而对基因功能进行推断。
随机过程中的马尔可夫链
随机过程中的马尔可夫链随机过程是指一种具有随机性质的过程，而马尔可夫链是随机过程中的一种基本模型。
马尔可夫链是一种具有马尔可夫性质的随机过程。
所谓马尔可夫性质，是指在一个随机过程中，当前状态的概率分布仅依赖于当前状态，而不依赖于历史状态。
马尔可夫链广泛应用于各个领域，如物理学、生物学、计算机科学等。
一、马尔可夫链的定义与性质马尔可夫链是一种随机过程，其状态空间可以是一个有限集合或可数集合。
若设Xn表示马尔可夫链在时间n的状态，则马尔可夫链具有以下性质：1.满足马尔可夫性质：在给定现在状态下，未来状态的概率分布与过去状态无关。
2.具有无后效性：状态的转移只受当前状态影响，与之前的状态无关。
3.具有Markov性：任意时刻t，下一状态Xt+1只与当前状态Xt有关，与过去状态无关。
二、转移矩阵转移矩阵是马尔可夫链中的重要概念。
假设状态集合为{1，2，3，...，N}，若Xn=j，则转移矩阵Pij表示从状态j转移到状态i的概率。
即在马尔可夫链的当前状态为j时，下一时刻转移至状态i的概率为Pij。
满足下列条件：1.所有元素的值都是非负数；2.每行元素的和等于1。
3.初始转移概率矩阵为pc，则$t\in N^{*}$时，$i, j\in{1,2,3,...,N}$$ P_{ij} P_{j1}=P_{i1}$$ P_{ij} P_{j2}=P_{i2}$$ P_{ij} P_{jr}=P_{ir}$也就是说，转移矩阵是一个n阶方阵，矩阵中的元素为非负实数并且每行的和为1。
三、平稳分布在马尔可夫链中，若转移矩阵满足一定条件，那么存在一个平稳分布，在链条经过足够多的转移后，状态分布不再增长或减少，变得稳定，称之为稳态或平稳分布。
平稳分布是指当马尔可夫链在经过一定转移后，概率分布已经趋于稳定，不再发生变化的状态分布。
平稳分布的计算是求解方程$P_\infty=P_\infty P$。
其中$P_\infty$为平稳分布，$P$为转移矩阵。
《随机过程——计算与应用》课件马尔科夫连 3
0}
若di 1,则称状态i为周期状态,且周期为di. 若di 1,则称状态i为非周期状态.
定理6.3.1 设状态i的周期为d,则正整数N0,使N N0时,有
p(Nd ) ii
0
证明
将{n
n
1,
p(n) ii
0}记为
{nm
m 1,2,
,
p(nm ) ii
0}
令dm GCD{nt t 1, 2, , m}. m 1
归纳法可证明如下：
hi 1时， hi di 1
hi 1时，则对l=1,
hi
1, 必有fii(l )
0
p(l) ii
0
对n hi l (l 1, , hi 1)
n
则由
p(n) ii
f p (l ) (nl ) ii ii
(注意到当n不是hi的倍数时fii(n) 0)
l 1
f p (hi ) (l ) ii ii
综上
lim
n
p (n) ii
0
反之，若
lim
n
p (n) ii
0
p（m）＝０ ii
假设i是正常返，（即ii ），由引理6.3.2得
lim
n
p(ndi ii
)
di
ii
0
矛盾！ i是零常返．
(2) 设i是遍历态 di＝１，且i是正常返的（ii )
由引理6.3.2得
lim
n
p(n) ii
lim n
)
z
l
l
l
ij +Fij (z)Pjj (z)
Pij (z)
1 1
1 Fjj (z) Fij (z) Fjj (z)
随机过程 第三章 马尔科夫连
1 2
,
pi,i1
1 2
,
pi0
1 2
,i
I , 分析其遍历性.
27
状态空间的分解
定义： 状态空间I的子集C称为闭集，如果对任意 i C 及 k C 都有 pik 0
定义： 闭集C称为不可约的，如果C的状态互通。 定义： 马尔可夫链称为不可约的，如果其状态空间不可约。
28
例：设马氏链{X n}的状态空间I {1, 2,3, 4,5}，转移矩阵为
P{X1 i1, , X n in} pi pii1 pin1in iI
证明
14
例：某计算机机房的一台计算机经常出故障，研究者每隔15分钟观察一次计 算机的运行状态，收集了24个小时的数(共作97次观察)，用1表示正常状态， 用0表示不正常状态，所得的数据序列如下： 11100100111111100111101111110011111111100011 01101111011011010111101110111101111110011011 111100111
ij
jj
f p (nk ) ( k )
ij
jj
k 1
k 0
fij
f
(n) ij
n1
表示质点由i出发，经有限步终于到达j 的概率。
称状态i为常返的，如fii=1；称状态i为非常返的，如fii<1。
对于常返态i，由定义知{fii(n),n≥1}构成一概率分布
i nfii(n) n 1
表示由i出发再返回i的平均返回时间。
马尔可夫链的状态分类
❖ 周期、非周期 ❖ 常返、非常返 ❖ 正常返、零常返 ❖ 遍历状态
20
设马尔可夫链的状态空间I={1,2,3,4,5,6,7,8,9}，状态间的概率转移图如下 图
随机过程作业和答案第三章
第三章 马尔科夫过程1、将一颗筛子扔多次。
记X n 为第n 次扔正面出现的点数，问{X(n) , n=1,2,3,···}是马尔科夫链吗？如果是，试写出一步转移概率矩阵。
又记Y n 为前n 次扔出正面出现点数的总和，问{Y(n) , n=1,2,3,···}是马尔科夫链吗？如果是，试写出一步转移概率矩阵。
解：1)由已知可得，每次扔筛子正面出现的点数与以前的状态无关。
故X(n)是马尔科夫链。
E={1,2,3,4,5,6} ,其一步转移概率为:P ij = P ij =P{X(n+1)=j ∣X(n)=i }=1/6 (i=1,2,…,6,j=1,2,…,6) ∴转移矩阵为2)由已知可得，每前n 次扔正面出现点数的总和是相互独立的。
即每次n 次扔正面出现点数的总和与以前状态无关，故Y(n)为马尔科夫链。
其一步转移概率为其中2、一个质点在直线上做随机游动，一步向右的概率为p , (0<p<1)，一步向左的概率为 q , q =1-p 。
在x = 0 和x = a 出放置吸收壁。
记X(n)为第n 步质点的位置，它的可能值是0,1,2,···,a 。
试写出一步转移概率矩阵。
解：由已知可得, 其一步转移概率如下：故一步转移概率为3、做一系列独立的贝努里试验，其中每一次出现“成功”的概率为p ( 0<p<1 ) ,出现“失败”的概率为q , q = 1-p 。
如果第n 次试验出现“失败”认为 X(n) 取得数值为零；如果第n 次试验出现“成功”，且接连着前面k 次试验都出现“成功”，而第 n-k 次试验出现“失败”，认为X(n)取值k ，问{X(n) , n =1,2,···}是马尔科夫链吗？试写出其一步转移概率。
解：由已知得：故为马尔科夫链，其一步转移概率为616161616161616161616161616161616161P ={6,,2,1,6/1,,8,7,,0)1,(+++=<++==+i i i j i j i i i j ij n n P 或)1(6,,2,1;6,,2,1,+++=++=n n n j n n n n i {}α,,2,1,0 =E )(0,1;)0(0,1)1,1(0,,1,,2,1101,1,ααααα≠==≠==+-≠===-=-+j P P j P P i i j P q P P P x j j ij i i i i 而时，当 10000000000000001Pp q p q p q ={}{}m m m m m m i n X l n X i n X i n X i n X l n X P ==+=====+)(0)()(,,)(,)(0)(2211 {}{}mm m m m m in X k l n X i n X i n X i n X k l n X P ==+=====+)()()(,,)(,)()(22114、在一个罐子中放入50个红球和50个蓝球。
随机过程与马尔可夫链
随机过程与马尔可夫链随机过程是概率论中研究随机系统演化的一种数学模型。
在随机过程中，状态会随着时间的推移而发生变化，而这些状态的变化是由概率决定的。
马尔可夫链是随机过程的一种特殊形式，具有重要的理论和应用价值。
一、随机过程的基本定义与特点随机过程是指一个描述随机现象随着时间的变化而变化的数学模型。
它的基本定义如下：定义1：设(t,ω)∈R×Ω，Ω是样本空间，则对于每个固定的t，X(t,ω)是定义在Ω上的随机变量。
在随机过程中，每个随机变量都代表着某个特定时间点的系统状态。
随机过程的演化过程是通过在随机变量之间建立联系来描述的。
随机过程的特点之一是时间的不可预测性。
由于随机过程具有随机性质，未来的状态是不可完全预测的。
但是，通过概率论的方法，我们可以对未来的状态做出一定程度的概率估计。
二、马尔可夫链的定义与性质马尔可夫链是一种特殊的随机过程，具有“无记忆性”的特点。
在一个马尔可夫链中，当前状态的概率分布只依赖于其前一个状态的概率分布，与前面的状态无关。
定义2：设{X(t), t≥0}为一个随机过程，若对任意的n≥1，任意的0≤t1<t2<...<tn，以及对任意的实数B1, B2, ..., Bn，有：P{X(t1)∈B1, X(t2)∈B2, ..., X(tn)∈Bn} =P{X(t1)∈B1}P{X(t2)∈B2|X(t1)∈B1}...P{X(tn)∈Bn|X(tn-1)∈Bn-1}其中，B1, B2, ..., Bn是状态空间S的子集。
马尔可夫链的无记忆性使得其具有许多有趣的性质。
例如，给定当前状态，未来的演化是与过去的历史无关的，这使得马尔可夫链可以用来对一些时间无关的随机系统进行建模和分析。
三、马尔可夫链的应用马尔可夫链在很多领域都有广泛的应用。
以下是一些典型的应用例子：1. 马尔可夫链在自然语言处理中的应用马尔可夫链被广泛用于自然语言处理中的语言模型。
通过对大量文本数据的分析，可以建立马尔可夫链模型，以预测下一个词语出现的概率。
随机过程与马尔可夫链
随机过程与马尔可夫链随机过程是描述随时间变化的一组随机变量的数学模型，在实际问题中具有广泛应用。
其中一种重要的随机过程是马尔可夫链，它具有马尔可夫性质，即未来状态的概率只与当前状态相关，与过去状态无关。
1. 随机过程的介绍随机过程是一族随机变量的集合，即一组随机变量随时间的变化。
随机过程可以用概率分布函数或概率密度函数描述。
它可以是离散的，在一系列固定的时间点上取值，也可以是连续的，在一段时间内变化。
随机过程可以分为平稳和非平稳两类，平稳的随机过程表示各个时刻的统计特性不随时间的推移而变化。
2. 马尔可夫链的定义马尔可夫链是一种随机过程，具有马尔可夫性质。
设X={X1,X2,...,Xn}是随机过程，若对于任意时刻t，以及任意状态i和j，当知道状态Xt时，下一状态Xt+1的概率只与当前状态Xt相关，而与过去状态Xt-1,Xt-2,...,X1无关，则称X为马尔可夫链。
3. 马尔可夫链的性质马尔可夫链具有一些重要性质。
首先，马尔可夫链满足无后效性，即过去的状态不会影响未来的状态，只有当前状态对未来状态的概率产生影响。
其次，马尔可夫链具有马尔可夫性，即未来状态的条件概率只与当前状态有关。
此外，马尔可夫链还具有平稳性，即某一时刻t 的状态概率分布与任意时刻的状态概率分布相同。
4. 马尔可夫链的转移概率矩阵马尔可夫链可以用转移概率矩阵描述，该矩阵为一个n×n矩阵，其中n为状态的个数。
转移概率矩阵的第(i,j)个元素表示从状态i转移到状态j的概率。
转移概率矩阵的每一行都满足概率的性质，即每一行元素之和为1。
5. 马尔可夫链的稳定分布马尔可夫链可能存在稳定分布，即当经过足够长时间后，状态分布不再变化，达到一个稳定的状态。
若马尔可夫链的状态转移概率矩阵满足一定条件，则存在唯一的稳定分布。
稳定分布可以通过求解方程πP=π得到，其中π为稳定分布向量，P为状态转移概率矩阵。
6. 马尔可夫链的应用马尔可夫链在许多领域有广泛的应用。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
p p
iI
i ii1 pin1in
14
例：某计算机机房的一台计算机经常出故障，研究者每隔15分钟观察一次计 算机的运行状态，收集了24个小时的数(共作97次观察)，用1表示正常状态， 用0表示不正常状态，所得的数据序列如下： 11100100111111100111101111110011111111100011 01101111011011010111101110111101111110011011 111100111
1
2
3
4
5
6
例：排队模型 设服务系统由一个服务员和只可以容纳两个人的等候室组 成。服务规则为：先到先服务，后来者需在等候室依次排队， 假设一个需要服务的顾客到达系统时发现系统内已有3个顾客， 则该顾客立即离去。 设时间间隔⊿t内有一个顾客进入系统的概率为q，有一接 受服务的顾客离开系统(即服务完毕)的概率为p,又设当⊿t充分 小时，在这时间间隔内多于一个顾客进入或离开系统实际上是 不可能的，再设有无顾客来到与服务是否完毕是相互独立的。
2
马尔可夫链定义
时间和状态都离散的马尔可夫过程称为马尔可夫链
定义：设有随机过程{Xn,n∈T}，若对于任意的整数n∈T和任意的 i0,i1, …,in+1∈I，条件概率满足
P{ X n 1 in 1 | X 0 i0 , X 1 i1 ,, X n in } P{ X n 1 in 1 | X n in }
i
n 1
nfii( n )
表示由i出发再返回i的平均返回时间。
24
定义 如ui<∞，则称常返态i为正常返的；如ui= ∞，则称常返态i为零常返的。
非周期的正常返态称为遍历状态。 常返性的判别
定理：状态i常返的充要条件为
p
n 0
(n) ii
( . 如i非常返，则 piin ) n 0
bi , j i 1 pij ri , j i a , j i 1 i
8
例：仓储系统 维修点有一仓库，存储某配件以备维修时使用，该配件每周 的消耗量为独立同分布的随机变量，其概率分布为：
P( Dn i ) i , i, n 0,1,; i 1
4
设P表示一步转移概率所组成的矩阵，则
p11 p12 p1n P p21 p22 p2n
称为系统状态的一步转移概率矩阵，它具有如下性质：
1、pij 0, i, j I
2、
p
jI
ij
1, i, j I
满足上述两个性质的矩阵称为随机矩阵。
马尔可夫链的状态分类
周期、非周期 常返、非常返 正常返、零常返 遍历状态
20
设马尔可夫链的状态空间I={1,2,3,4,5,6,7,8,9}，状态间的概率转移图如下 图
8
9
2
7
1
3
6
5
4
21
假设{Xn,n≥0}是齐次马尔可夫链，其状态空间I={0,1,2,3, …}，转移概率 是pij，i,j∈I，初始分布为{pj,j ∈I}。 定义 如集合{n: n≥1,pii(n)>0}非空，则称该集合的最大公约数 d=d(i)=G.C.D{n:pii(n)>0}为状态i的周期。 如d>1就称i为周期的，如d=1就称i为非周期的。 如果i有周期D，则对一切非零的n≠0(mod(D))都有pii(n)=0。 但这也并不是说对任意n有pii(nd)>0。例如上图中状态1的d=2，但 pii(2)=0。 引理 如i的周期为d，则存在正整数M，对一切n≥M，有pii(nd)>0。
设Xn为第n(n=1,2,…,97)个时段的计算机状态，可以认为它是一个齐次马 氏链. 求 (1)一步转移概率矩阵; (2)已知计算机在某一时段(15分钟)的状态为0，问在此条件下，从此 时段起，该计算机能连续正常工作45分钟(3个时段)的条件概率.
15
例题：天气预报问题1 设今日有雨，明日有雨的概率为0.7；今日无雨，明日有雨的概率为 0.4。若星期一下雨，求星期四下雨的概率。
1 1 f ii
含义：当i常返时，返回i的次数为无限多次；当i非常返时，有周期d，则
( lim piind ) n
d
i i
d 其中i为i的平均返回时间。当i ， 0.
推论：设i常返，则
n （）i零常返 lim pii 0; 1 n n （2）i遍历 lim pii n
1
i
0.
26
定义：称自状态i可达状态j，并记为i j，如果存在n 0
( 使pijn ) 0；称状态i与j互通，并记为i j，如i j且j i．
定理：可达和互通关系都具有传递性，即 如果i j，j k，则i k． 如果i j，j k，则i k．
定理：如i j，则 (1)i与j同为常返或非常返，如为常返，则同为 正常返或零常返． (2)i与j有相同的周期．
22
状态的常返性 例：状态转移概率图
1 1/2
1
1
2
3
4
1/2
1
23
首中概率 它表示质点由i出发，经n步首次到达j 的概率
f ij( n ) P( X m v j,1 v n 1, X m n j | X m i)
定理 对任一状态i, j及1 n , 有 p
10
P{X m2 0 | X m 0} 和两步转移概率矩阵P(2)
定理 设{Xn,n∈T}为马尔可夫链，则对任意整数n≥0，0≤l<n和 (n ) i,j∈I，n步转移概率 pij 具有下列性质：
1 p 、
(n) ij
p
kI
(l ) ik
p
( n l ) kj
ChapmanKolmogorov方程
16
例题：天气预报问题2 设昨日、今日都下雨，明日有雨的概率为0.7；昨日无雨、今日有雨， 明日有雨的概率为0.5；昨日有雨、今日无雨，明日有雨的概率为0.4； 昨日、今日均无雨，明日有雨的概率为0.2。若星期一、星期二均下 雨，求星期四下雨的概率。
17
例：A种啤酒的广告改变方式后经市场调查发现：买A种 啤酒及另三种啤酒B,C,D（设市场上只有这四种啤酒）的 顾客每两个月的平均转移概率如下： A A(95%) B (2%) C (2%) D (1%) B A(30%) B (60%) C (6%) D(4%) C A(20%) B (10%) C (70%) D(0%) D A(20%) B (20%) C (10%) D (50%) 设目前购买A,B,C,D的顾客分布为(25%,30%,35%,10%), 求半年后A种啤酒的市场占有率．
P X (tn ) xn | X t1 x1 X tn 1 xn 1 P X (tn ) xn | X t n 1 xn 1
则称过程 X (t ), t T 具有马尔可夫性或无后效性， 并称此过程为马尔可夫过程。
将来的状态只与当前状态有关，与过去状态无关 ，即无后效性
例题：无限制随机游动 设质点在数轴上移动，每次移动一格，向右移动的概率为p，向左移动 的概率为q=1-p，这种运动称为无限制随机游动。以Xn表示时刻n质点 所处的位置，则{Xn,n∈T}是一个齐次马尔可夫链，求一步和k步转移概 率。
例题：有吸收壁随机游动 甲、乙进行赌博，甲有a元，乙有b元，每赌一局输家给赢家1元，没有 和局，直到一人输光为止。设每一局甲赢的概率为p，输的概率为q=1-p， 求甲输光的概率。
为马尔可夫链{Xn,n∈T}的n步转移概率，并称
( P ( n ) ( pijn ) )
为马尔可夫链的n步转移矩阵。规定
p
(0) ij
0, i j 1, i j
例题 设马尔可夫链{Xn,n∈T}有状态空间I={0,1}，其一步转移概率矩阵为
p00 P p 10
求
p01 p11
i 0
Dn为第n周的配件消耗量
每周要对该配件进行补充，用Xn表示该仓库在第n周开始未 补充配件时的配件个数，补充的原则是如果库存不少于s件， 则不补充；如果少于s件，则补充到S件。则随机过程{Xn， n=0,1,…}是一个马尔科夫链。
定义
(n) 称条件概率 pij P{ X m n j | X m i}, i, j I , m 0, n 1
例：设马氏链 X n 的状态空间为I {0,1, 2 }，转移概率为 1 1 1 p00 , pi ,i 1 , pi 0 , i I , 分析其遍历性. 2 2 2
服务台
随机到达者
等候室
离去者
系统
7
例：生灭链 观察某生物群落，以Xn表示在时刻n群体的数目，设为i个数 量单位，如在时刻n+1增加到i+1个数量单位的概率为bi，减 灭到i-1个数量单位的概率为ai，保持不变的概率为 ri=1- ai - bi ，则 {Xn，n>=0}为齐次马尔科夫链，其转移概率为
定义： 称 p j P{ X 0 j}, ( j I ) 为马尔可夫链的初始分布； 称 { p j , j I } 为马尔可夫链的初始分布； 称 P T (0) ( p1 , p2 ,)为马尔可夫链的初始概率向量。
12
定理 设{Xn,n∈T}为马尔可夫链，则对任意j∈I和n≥1，绝对概率pj(n)具有下 列性质： 1. 2. 3. 4.
则称{Xn,n∈T}为马尔可夫链，简称马氏链
3
定义 称条件概率 pij (n) P{ X n 1 j | X n i} 为马尔可夫链{Xn,n∈T}在时刻n的一步转移概率，其中i,j∈I，简称转移概率。