马尔可夫过程与泊松过程
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2 p (2) p (1) p (1) p (1) 对于齐次链：
p(n) pn (1) p(n) PT ( s, n)p( s) PT (n s)p( s) p(n k ) PT (k, k n)p(k ) PT (n)p(k) πnp(k)
三、平稳链
如果齐次链的状态概率都相同，即p(n)=p(1)，则称为平稳链 只要p(2)=p(1),则必定p(n)=p(1)
X n1
1
P( X n1 0 | X n 1)
6.1 马尔可夫链
一、定义及一般特性 马尔可夫链的一般特性
状态概率： pi (n) P X n a j
概率分布列： p(n) p1 (n)
p2 (n) pN (n)
T
状态转移概率： pij ( s, n) P{X n a j |X s ai }
四、状态分类
3、常返态和滑过态（非常返态）
定义： fij (n) P xn j; xm j, m 1,2,..., n 1| x0 i
自状态i出发，在时刻n首次到达状态j的概率
很显然，
fij (1) P x1 j | x0 i Pij fij () P xn j; 对一切n 1| x0 i
pij (s, n) pij (n s)
一步转移概率：
pij pij (1)
p11 (n s ) p1N (n s ) P (n s ) pN 1 (n s ) pNN (n s )
n-s步转移矩阵：
6.1 马尔可夫链
2
3
4
5
6
7
t
P( X n1 k 1| X n k ) p P( X n1 k 1| X n k ) q
6.1 马尔可夫链
一、定义及一般特性 典型马尔可夫链
二元通信信道
1－ 0 0
Xn
1 1－
P( X n1 1| X n 0)
p11 ( s, n) p1 N ( s, n) 转移矩阵： P ( s , n) pN 1 ( s, n) pNN ( s, n)
6.1 马尔可夫链
一、定义及一般特性 马尔可夫链的性质
(1)
N
p (n) 1
j 1 j
N
状态j，则称自状态i可达状态j，记为 i j
反之，i不能到达j，记为 i j 此时对任意的n(n1)，总有
pij (n) 0
无限制的随机游动，每个状态都是可到达的，带吸收壁的随机 游动，吸收壁状态不能到达任何其它状态。
6.1 马尔可夫链
四、状态分类
1、到达和相通
设两状态i与j，由状态i可达状态j，从状态j也可达状 态i，则称状态i与j相通，记为: i j
马尔可夫过程
马尔可夫性(无后效性)：
当随机过程在时刻 t i 所处的状态已知时，过程在时
刻 t (t ti ) 所处的状态仅与过程在 t i 时刻的状态有关， 而与过程在 t i 时刻以前所处的状态无关。
P 将来 现在，过去 =P 将来 现在
马尔可夫过程
马尔可夫过程分类：
1.马尔可夫链 时间离散，状态离散； 2.离散马尔可夫过程 时间连续，状态离散； 3.马尔可夫序列
二、齐次马尔可夫链
T 令 P 1 ，利用切普曼方程，有 PT n n
p(n) PT ( s, n)p( s)
p(n k ) PT (n)p(k ) np(k )
p(n 1) PT (n)p(1) np(1)
• 对于齐次马尔可夫链，状态概率由初始概率和一步转移概率 决定。即利用初始分布和一步转移概率矩阵就能完整地描述齐 次马尔可夫链的统计特性。
1/ 2 1/ 2 0 P (1) 1/ 2 1/ 4 1/ 4 0 1/ 3 2 / 3
1 2 1 2 0 1 2
1 4
1
1 4 2 1 3
2 3
三个状态均相通，所以是不可约的。
四、状态分类
2、状态空间的分解 例：设有四个状态的马尔可夫链(0,1,2,3)，一步转移概率矩阵 为
闭集的充分必要条件是：iC，j在C外，恒有 Pij(n)=0, n1 若单个状态i构成一个闭集，则称此闭集为吸收态。
除了整个状态空间外，没有别的闭集的马氏链称为不可约的； 此时，所有状态相通。
四、状态分类
2、状态空间的分解
例：设有三个状态(0,1,2)的马尔可夫链，它的一步转移概
率矩阵为
单位L，在 a1 位置，则以概率1游动到 a2 ，在 a5 位置，则以概率1 游动到 a4 ，画出状态转移图，并求概率分布列。 2 L L 0 -L -2L
t
三、平稳链
平稳链状态概率的计算
计算举例----反射壁
PT (1)p(1) p(1)
1 0 0 0 0 1 2 0 1 2 0 0 P 1 0 1 2 0 1 2 0 0 1 2 0 1 2 0 0 0 1 0 0
因为 p(n)=PT(s,n)p(s)，所以p(2)=PT(1,2)p(1)
或者 p(2)=PT(1)p(1) p(3)=PT(2,3)p(2) p(3)=PT(1)p(2)= PT(1)p(1)=p(2)=p(1)
三、平稳链
平稳链状态概率的计算
对于平稳链:
PT (1)p(1) p(1)
p(2) PT (1)p(1)
p1 p2 pN 1
求出 N 个未知数
pi
三、平稳链
平稳链状态概率的计算
例2：具有反射壁的随机游动。设有一质点在线段上游动， 终端设有反射壁。质点只能停留在 a1 2l , a2 l , a3 0,
a4 l , a5 2l 上，游动的概率法则如下：如果游动前 质点在 a 2 , a3 , a 4 位置，则以1/2概率向前或向后移动一
P{X mk aimk |X m aim , X m1 aim1 ,, X1 ai1 }
P{Xmk aimk |Xm aim }
6.1 马尔可夫链
一、定义及一般特性 典型马尔可夫链
一维随机游动
4 3 2 1 0
Xn
+ + + +
1 p
0
p
x
+
+
1
齐次马尔可夫链
平稳马尔可夫链及其求解 马尔可夫链状态分类 马尔可夫链的遍历性
6.1 马尔可夫链
一、定义及一般特性 定义
状态和时间参量都是离散的随机过程，若过程 X (t ) 在时
刻tm+k 变成任一状态的概率，只与过程在 tm 时刻的状态有关，
而与过程在tm时刻以前的状态无关，则该过程称马尔可夫链。
如果i状态为非常返的则自i状态出发经过有限步转移返回状态i的概率fii1而永不进入状态i的概率为1fii如果过程自i开始全过程恰有m次处于状态i的概率为因此如果i状态是常返的当且仅当从i状态出发该过程处于状态i的平均次数为无穷次
第六章 马尔可夫过程
马尔可夫过程
马尔可夫过程是一类重要的随机过程，广泛应用在近代物 理、生物（生灭过程）、公用事业、信号处理、自动控制等方 面。 在电子系统中，是研究热噪声和散弹噪声的数学基础，在 通信系统中，是研究多级传输、网络传输等诸多问题时，需要 用到的重要随机过程。
无限制的随机游动，所有状态都是相通的，带吸收壁的随机游
动，除吸收壁外，其余状态都是相通的。
性质：
到达具有传递性。即：若ir，rj，则ij。 相通具有传递性。即：若ir，rj，则ij。
四、状态分类
2、状态空间的分解 设CI，若从子集C内任一状态i不能到达C外的任一状态，
则称C为闭集。
q2 1 q1 2 2 q3 q1 q2 2 2 q2 q3 2
3 q1 , 4
1 q2 , 2
1 q3 4
6.1 马尔可夫链
四、状态分类
1、到达和相通
如果对于状态ai与aj(简写为i与j)，总存在某个n(n1)， 使得Pij(n)>0，即：由状态i出发，经n步转移以正的概率到达
时间离散，状态连续；
4.连续马尔可夫过程 时间连续，状态连续。
马尔可夫
马尔可夫过程
6.1 马尔可夫链
6.3 马尔可夫过程
6.4 独立增量过程
独立增量过程 正交增量过程 泊松过程 维纳－列维过程
独立随机过程
6.1 马尔可夫链
主要内容：
• 马尔可夫（Markov）链 马尔可夫链的定义及一般特性
T
T P (1)p(1) p(1) , p(1) p1 , p2 , , pN 中取N-1个方程 在方程
11 p1 21 p2 N 1 pN p1 12 p1 22 p2 N 2 pN p2 1N p1 2 N p2 NN pN pN
(2)
p (s, n) P{X
j 1 ij j 1
N i 1
N
n
a j |X s ai } 1
(3)
p j (n) pij ( s, n) pi ( s)
(4)
p(n) PT ( s, n)p( s)
一、定义及一般特性
马尔可夫链的性质
(5) 切普曼－柯尔莫哥洛夫方程
1 1 2
1 2
0 1/ 2 1/ 2 0 1/ 2 1/ 2 0 0 1/ 4 1/ 4 1/ 4 1/ 4 0 0 0 1
P33=1,P32=P31=P30=0
4 0
1 2
1 4
1 2 4 3
1
1
2
1
1 4
状态3为闭集，它是一个吸状态。
0，1两个状态与其它状态也不相通，0，1两个状态也是一个闭集。
pij ( s, n) pik ( s, r ) pkj (r , n)，n r s
k 1
N
aN xs=ai pik(s,r) ak pkj(r,n) xn=aj
a1
ts tr tn t 几何解释
6.1 马尔可夫链
二、齐次马尔可夫链
如果马尔可夫链的转移概率只取决于 n-s，而与n和s 本身的值无关，则称为齐次马尔可夫链，简称齐次链。
无限制的随机游动，所有状态都是相通的，带吸收壁的随机游
动，除吸收壁外，其余状态都是相通的。
性质：
到达具有传递性。即：若ir，rj，则ij。 相通具有传递性。即：若ir，rj，则ij。
6.1 马尔可夫链
四、状态分类
1、到达和相通
设两状态i与j，由状态i可达状态j，从状态j也可达状 态i，则称状态i与j相通，记为: i j
一步转移概率
自i出发，永远也不能到达状态j的概率。
四、状态分类
3、常返态和滑过态（非常返态） 定义： f ij
1 n
f ij (n)
1 n
P T
ij
n | x0 i P{Tij }
四、状态分类
3、常返态和滑过态（非常返态） 定义Tij为自i出发首次到达状态j的时刻
Tij min n : x0 i, xn j; n 1
对于某个状态j,xn可能永远也不为j,那么上式就不存在n, 这时规定
Tij
永不出现 终身等待
Tij 为一随机变量，取值范围为 N 1,2,...,
p2 p1 2 p3 p1 p2 2 p2 p4 p3 2 2 p3 p5 p4 2 p1 p2 p3 p4 p5 1
1 1 p2 p3 p4 , p1 p5 8 4
三、平稳链
平稳链状态概率的计算
上例中反射壁换成吸收壁
0 0 0 0 1 1 2 0 1 2 0 0 P 1 0 1 2 0 1 2 0 0 1 2 0 1 2 0 0 0 0 1 0
二、齐次马尔可夫链
例1 分析用于表征通信系统的错误产生机制的马尔可夫模型， 假定其级数为2，求二步转移概率矩阵 。
pHale Waihona Puke 0 0q q1
p
图6.2 二进制对称信道
1
6.1 马尔可夫链
三、平稳链
如果齐次链中所有时刻的状态概率分布列相同，即： p(n) p(1) 则此齐次链是平稳的。 由切普曼-柯尔莫哥洛夫定理 p( s, n) p( s, r ) p(r , n)
p(n) pn (1) p(n) PT ( s, n)p( s) PT (n s)p( s) p(n k ) PT (k, k n)p(k ) PT (n)p(k) πnp(k)
三、平稳链
如果齐次链的状态概率都相同，即p(n)=p(1)，则称为平稳链 只要p(2)=p(1),则必定p(n)=p(1)
X n1
1
P( X n1 0 | X n 1)
6.1 马尔可夫链
一、定义及一般特性 马尔可夫链的一般特性
状态概率： pi (n) P X n a j
概率分布列： p(n) p1 (n)
p2 (n) pN (n)
T
状态转移概率： pij ( s, n) P{X n a j |X s ai }
四、状态分类
3、常返态和滑过态（非常返态）
定义： fij (n) P xn j; xm j, m 1,2,..., n 1| x0 i
自状态i出发，在时刻n首次到达状态j的概率
很显然，
fij (1) P x1 j | x0 i Pij fij () P xn j; 对一切n 1| x0 i
pij (s, n) pij (n s)
一步转移概率：
pij pij (1)
p11 (n s ) p1N (n s ) P (n s ) pN 1 (n s ) pNN (n s )
n-s步转移矩阵：
6.1 马尔可夫链
2
3
4
5
6
7
t
P( X n1 k 1| X n k ) p P( X n1 k 1| X n k ) q
6.1 马尔可夫链
一、定义及一般特性 典型马尔可夫链
二元通信信道
1－ 0 0
Xn
1 1－
P( X n1 1| X n 0)
p11 ( s, n) p1 N ( s, n) 转移矩阵： P ( s , n) pN 1 ( s, n) pNN ( s, n)
6.1 马尔可夫链
一、定义及一般特性 马尔可夫链的性质
(1)
N
p (n) 1
j 1 j
N
状态j，则称自状态i可达状态j，记为 i j
反之，i不能到达j，记为 i j 此时对任意的n(n1)，总有
pij (n) 0
无限制的随机游动，每个状态都是可到达的，带吸收壁的随机 游动，吸收壁状态不能到达任何其它状态。
6.1 马尔可夫链
四、状态分类
1、到达和相通
设两状态i与j，由状态i可达状态j，从状态j也可达状 态i，则称状态i与j相通，记为: i j
马尔可夫过程
马尔可夫性(无后效性)：
当随机过程在时刻 t i 所处的状态已知时，过程在时
刻 t (t ti ) 所处的状态仅与过程在 t i 时刻的状态有关， 而与过程在 t i 时刻以前所处的状态无关。
P 将来 现在，过去 =P 将来 现在
马尔可夫过程
马尔可夫过程分类：
1.马尔可夫链 时间离散，状态离散； 2.离散马尔可夫过程 时间连续，状态离散； 3.马尔可夫序列
二、齐次马尔可夫链
T 令 P 1 ，利用切普曼方程，有 PT n n
p(n) PT ( s, n)p( s)
p(n k ) PT (n)p(k ) np(k )
p(n 1) PT (n)p(1) np(1)
• 对于齐次马尔可夫链，状态概率由初始概率和一步转移概率 决定。即利用初始分布和一步转移概率矩阵就能完整地描述齐 次马尔可夫链的统计特性。
1/ 2 1/ 2 0 P (1) 1/ 2 1/ 4 1/ 4 0 1/ 3 2 / 3
1 2 1 2 0 1 2
1 4
1
1 4 2 1 3
2 3
三个状态均相通，所以是不可约的。
四、状态分类
2、状态空间的分解 例：设有四个状态的马尔可夫链(0,1,2,3)，一步转移概率矩阵 为
闭集的充分必要条件是：iC，j在C外，恒有 Pij(n)=0, n1 若单个状态i构成一个闭集，则称此闭集为吸收态。
除了整个状态空间外，没有别的闭集的马氏链称为不可约的； 此时，所有状态相通。
四、状态分类
2、状态空间的分解
例：设有三个状态(0,1,2)的马尔可夫链，它的一步转移概
率矩阵为
单位L，在 a1 位置，则以概率1游动到 a2 ，在 a5 位置，则以概率1 游动到 a4 ，画出状态转移图，并求概率分布列。 2 L L 0 -L -2L
t
三、平稳链
平稳链状态概率的计算
计算举例----反射壁
PT (1)p(1) p(1)
1 0 0 0 0 1 2 0 1 2 0 0 P 1 0 1 2 0 1 2 0 0 1 2 0 1 2 0 0 0 1 0 0
因为 p(n)=PT(s,n)p(s)，所以p(2)=PT(1,2)p(1)
或者 p(2)=PT(1)p(1) p(3)=PT(2,3)p(2) p(3)=PT(1)p(2)= PT(1)p(1)=p(2)=p(1)
三、平稳链
平稳链状态概率的计算
对于平稳链:
PT (1)p(1) p(1)
p(2) PT (1)p(1)
p1 p2 pN 1
求出 N 个未知数
pi
三、平稳链
平稳链状态概率的计算
例2：具有反射壁的随机游动。设有一质点在线段上游动， 终端设有反射壁。质点只能停留在 a1 2l , a2 l , a3 0,
a4 l , a5 2l 上，游动的概率法则如下：如果游动前 质点在 a 2 , a3 , a 4 位置，则以1/2概率向前或向后移动一
P{X mk aimk |X m aim , X m1 aim1 ,, X1 ai1 }
P{Xmk aimk |Xm aim }
6.1 马尔可夫链
一、定义及一般特性 典型马尔可夫链
一维随机游动
4 3 2 1 0
Xn
+ + + +
1 p
0
p
x
+
+
1
齐次马尔可夫链
平稳马尔可夫链及其求解 马尔可夫链状态分类 马尔可夫链的遍历性
6.1 马尔可夫链
一、定义及一般特性 定义
状态和时间参量都是离散的随机过程，若过程 X (t ) 在时
刻tm+k 变成任一状态的概率，只与过程在 tm 时刻的状态有关，
而与过程在tm时刻以前的状态无关，则该过程称马尔可夫链。
如果i状态为非常返的则自i状态出发经过有限步转移返回状态i的概率fii1而永不进入状态i的概率为1fii如果过程自i开始全过程恰有m次处于状态i的概率为因此如果i状态是常返的当且仅当从i状态出发该过程处于状态i的平均次数为无穷次
第六章 马尔可夫过程
马尔可夫过程
马尔可夫过程是一类重要的随机过程，广泛应用在近代物 理、生物（生灭过程）、公用事业、信号处理、自动控制等方 面。 在电子系统中，是研究热噪声和散弹噪声的数学基础，在 通信系统中，是研究多级传输、网络传输等诸多问题时，需要 用到的重要随机过程。
无限制的随机游动，所有状态都是相通的，带吸收壁的随机游
动，除吸收壁外，其余状态都是相通的。
性质：
到达具有传递性。即：若ir，rj，则ij。 相通具有传递性。即：若ir，rj，则ij。
四、状态分类
2、状态空间的分解 设CI，若从子集C内任一状态i不能到达C外的任一状态，
则称C为闭集。
q2 1 q1 2 2 q3 q1 q2 2 2 q2 q3 2
3 q1 , 4
1 q2 , 2
1 q3 4
6.1 马尔可夫链
四、状态分类
1、到达和相通
如果对于状态ai与aj(简写为i与j)，总存在某个n(n1)， 使得Pij(n)>0，即：由状态i出发，经n步转移以正的概率到达
时间离散，状态连续；
4.连续马尔可夫过程 时间连续，状态连续。
马尔可夫
马尔可夫过程
6.1 马尔可夫链
6.3 马尔可夫过程
6.4 独立增量过程
独立增量过程 正交增量过程 泊松过程 维纳－列维过程
独立随机过程
6.1 马尔可夫链
主要内容：
• 马尔可夫（Markov）链 马尔可夫链的定义及一般特性
T
T P (1)p(1) p(1) , p(1) p1 , p2 , , pN 中取N-1个方程 在方程
11 p1 21 p2 N 1 pN p1 12 p1 22 p2 N 2 pN p2 1N p1 2 N p2 NN pN pN
(2)
p (s, n) P{X
j 1 ij j 1
N i 1
N
n
a j |X s ai } 1
(3)
p j (n) pij ( s, n) pi ( s)
(4)
p(n) PT ( s, n)p( s)
一、定义及一般特性
马尔可夫链的性质
(5) 切普曼－柯尔莫哥洛夫方程
1 1 2
1 2
0 1/ 2 1/ 2 0 1/ 2 1/ 2 0 0 1/ 4 1/ 4 1/ 4 1/ 4 0 0 0 1
P33=1,P32=P31=P30=0
4 0
1 2
1 4
1 2 4 3
1
1
2
1
1 4
状态3为闭集，它是一个吸状态。
0，1两个状态与其它状态也不相通，0，1两个状态也是一个闭集。
pij ( s, n) pik ( s, r ) pkj (r , n)，n r s
k 1
N
aN xs=ai pik(s,r) ak pkj(r,n) xn=aj
a1
ts tr tn t 几何解释
6.1 马尔可夫链
二、齐次马尔可夫链
如果马尔可夫链的转移概率只取决于 n-s，而与n和s 本身的值无关，则称为齐次马尔可夫链，简称齐次链。
无限制的随机游动，所有状态都是相通的，带吸收壁的随机游
动，除吸收壁外，其余状态都是相通的。
性质：
到达具有传递性。即：若ir，rj，则ij。 相通具有传递性。即：若ir，rj，则ij。
6.1 马尔可夫链
四、状态分类
1、到达和相通
设两状态i与j，由状态i可达状态j，从状态j也可达状 态i，则称状态i与j相通，记为: i j
一步转移概率
自i出发，永远也不能到达状态j的概率。
四、状态分类
3、常返态和滑过态（非常返态） 定义： f ij
1 n
f ij (n)
1 n
P T
ij
n | x0 i P{Tij }
四、状态分类
3、常返态和滑过态（非常返态） 定义Tij为自i出发首次到达状态j的时刻
Tij min n : x0 i, xn j; n 1
对于某个状态j,xn可能永远也不为j,那么上式就不存在n, 这时规定
Tij
永不出现 终身等待
Tij 为一随机变量，取值范围为 N 1,2,...,
p2 p1 2 p3 p1 p2 2 p2 p4 p3 2 2 p3 p5 p4 2 p1 p2 p3 p4 p5 1
1 1 p2 p3 p4 , p1 p5 8 4
三、平稳链
平稳链状态概率的计算
上例中反射壁换成吸收壁
0 0 0 0 1 1 2 0 1 2 0 0 P 1 0 1 2 0 1 2 0 0 1 2 0 1 2 0 0 0 0 1 0
二、齐次马尔可夫链
例1 分析用于表征通信系统的错误产生机制的马尔可夫模型， 假定其级数为2，求二步转移概率矩阵 。
pHale Waihona Puke 0 0q q1
p
图6.2 二进制对称信道
1
6.1 马尔可夫链
三、平稳链
如果齐次链中所有时刻的状态概率分布列相同，即： p(n) p(1) 则此齐次链是平稳的。 由切普曼-柯尔莫哥洛夫定理 p( s, n) p( s, r ) p(r , n)