马尔可夫信源

lim
N
Pij

Pj
，且满足
Pj
0; Pj
Pij ; Pj
i0
j
1
则称其具有遍历性，Pj 称为
平稳分布，其中Pj 为该马尔可夫链的初始分布。
电子信息工程学院
信息论
2. 6 马尔可夫信源
2.6.1(1) 马尔可夫信源定义
马尔可信源的输出的符号序列和信源所处的状态满 足下列两个条件：
电子信息工程学院
信息论
2. 6 马尔可夫信源
若当这些概率和时刻L无关，既满足
P(xl ak | sl Ei ) Pak | Ei
Pij P Ej | Ei
则成为时齐的或齐次的。此时，信源的状态序列服从时齐马 尔可夫链。
若时齐马尔可夫链对一切 Ei , E j存在不依赖于Ei 的极限
设在第L时刻信源处于状态 Ei 时，输出符号 ak 的概率给定为：
P xl ak | sl Ei
另外，假设在第 l 1 时刻信源处于Ei状态，下一时刻转移到Ej
状态的转移概率为： Pij (l ) P{sl E j | sl1 Ei )
称此信源的随机状态服从马尔可夫链
马尔可夫链的状态转移图：每个圆圈代表一种状态，状态 之间的有向线代表某一状态向另一状态转移。有向线一侧 的符号和数字分别代表发出的符号和条件概率。
电子信息工程学院
信息论
2. 6 马尔可夫信源
注：条件②表明，若信源处于某一状态 Ei ，当它输出一个 符号后，所处的状态就变了，一定从状态Ei 转移到另一状 态。显然，状态的转移依赖于输出的信源符号，因此任何 时刻信源处于什么状态完全由前一时刻的状态和输出的符 号决定。
条件概率可变换成下式。
P a | a a km1 k1 k2 akm P akm1 | Ei P ak | Ei
k 1, 2, , q;i 1, 2, , J
条件概率 P akm1 | Ei 则表示任何L时刻信源处在状态Ei 时输出符 号akm1 的概率。而akm1 可以取 a1, a2 , , aq 之一，所以可以简化 成 ak 表示。而且当在 L时刻，信源输出符号 akm1 后，由符
号序列 a a k2 k3 akm1 组成了新的信源状态E j a a k2 k3 ， akm1 E
信源所处的状态也由 Ei 转移到E j 。
电子信息工程学院
信息论 2. 6 马尔可夫信源
[例2-9] 给定二元二阶马氏源，符号集A:{0,1}，符号转移概率分 别为:
p(0 / 00) p(1/11) 0.8
M=1时，称为一阶马尔可夫信源。
电子信息工程学院
信息论
2. 6 马尔可夫信源
m 阶马尔可夫信源在任何时刻L，符号发生概率只于前M个
符号有关，所以可设状态Ei a a k1 k2 akm 。由于 k1, k2 , , km 均可 取1, 2, , q ,的信源状态集 E E1, E2, , EJ , J qm, 则已知的
信息论
2. 6 马尔可夫信源
注：条件②表明，若信源处于某一状态 Ei ，当它输出一个 符号后，所处的状态就变了，一定从状态Ei 转移到另一状 态。显然，状态的转移依赖于输出的信源符号，因此任何 时刻信源处于什么状态完全由前一时刻的状态和输出的符 号决定。
这种信源的状态序列在数学模型上可以作为时齐马尔可夫 链来处理。因而可用马尔可夫链的状态转移图来描述信源。
这种信源的状态序列在数学模型上可以作为时齐马尔可夫 链来处理。因而可用马尔可夫链的状态转移图来描述信源。
马尔可夫链的状态转移图：每个圆圈代表一种状态，状态 之间的有向线代表某一状态向另一状态转移。有向线一侧 的符号和数字分别代表发出的符号和条件概率。
电子信息工程学院
信息论
2. 6 马尔可夫信源
2.6.1(2) m阶马尔可夫信源定义
m阶马尔可夫信源符号集共有q个符号，则信源共有 qm 个 不同状态，对应于 qm 个长度为m的不同符号序列。
定义 m阶有记忆离散信源的数学模型可由一组信源符号集
和一组条件概率确定：X

P


a1, a2 , ,

P(akm1
|
符号转移概率与状态转移概率的对应如下：
p(0 / 01) p(s2 / s1) p(1/ 01) p(s3 / s1) 0.5
p(0 /10) p(s0 / s2 ) p(1/10) p(s3 / s2 ) 0.5
a a k1 k2
aq
akm
)

(k1, k2, , km , km1 1, 2, , q)
并满足
0 P(akm1 | a a k1 k2 akm ) 1 且
q
P(akm1 | a a k1 k2
km1 1
akm ) 1
(k1, k2, , km, km1 1, 2, , q)
p(1/ 00) p(0 /11) 0.2, p(0 / 01) p(1/ 01) p(0 /10) p(1/10) 0.5
确定该马氏源的状态，写出状态转移矩阵，画出信源的状态转移 图。
电子信息工程学院
信息论 2. 6 马尔可夫信源
解:信源状态序列：
A2 {s0 00, s1 01, s2 10, s3 11}
信息论
2. 6 马尔可夫信源
设信源所处的状态为：S E E1, E2, , EJ
信源每个状态下可能输出的符号： X A a1,a2, ,aq
每一时刻信源发出一个符号后，所处的状态发生转移
信源输出的随机符号序列为： x1，x2, , xl1, xl ,
信源所处的随机状态序列为： s1，s2， , sl1, sl ,
(1)P( xl ak | sl Ei , xl1 ak1, sl1 E j , )
P(xl ak | sl Ei )
(2)P(sl E j | xl ak sl 1 Ei )
0 来自百度文库1
Ei , E j E ak A
电子信息工程学院