马尔可夫信源

设在第L时刻信源处于状态 E i 时，输出符号 ak 的概率给定为：
P xl ak | sl Ei

另外，假设在第 l 1 时刻信源处于Ei状态，下一时刻转移到Ej 状态的转移概率为： P {sl E j | sl 1 Ei ) ij (l ) P 称此信源的随机状态服从马尔可夫链
1 2 m
P akm1 | ak1 ak2 akm P akm1 | Ei P ak | Ei





条件概率 P a | E 则表示任何L时刻信源处在状态 Ei 时输出符 号 ak 的概率。而ak 可以取 a1, a2 ,, aq 之一，所以可以简化 成 ak 表示。而且当在 L时刻，信源输出符号 ak 后，由符 号序列 ak ak ak 组成了新的信源状态E j ak ak ak E ， 信源所处的状态也由 Ei 转移到E j 。
p(0 / 01) p(1 / 01) p(0 / 10) p(1 / 10) 0.5
设信源所处的状态为：S E E1, E2 ,, EJ



信源每个状态下可能输出的符号： X A a1 , a2 ,, aq
每一时刻信源发出一个符号后，所处的状态发生转移 信源输出的随机符号序列为： x1，x2 ,, xl 1, xl ,
, sl 1 , sl , 信源所处的随机状态序列为： s1，s2，
电子信息工程学院



信息论
2. 6 马尔可夫信源
2.6.1(2) m阶马尔可夫信源定义


m阶马尔可夫信源符号集共有q个符号，则信源共有 q 不同状态，对应于 q 个长度为m的不同符号序列。
m
m
个

定义 m阶有记忆离散信源的数学模型可由一组信源符号集 X a , a , , a 和一组条件概率确定： (k , k , , k , k 1, 2, , q)
电子信息工程学院
信息论
2. 6 马尔可夫信源
若当这些概率和时刻L无关，既满足

P( xl ak | sl Ei ) P ak | Ei
Pij 源自文库 P E j | Ei

则成为时齐的或齐次的。此时，信源的状态序列服从时齐马 尔可夫链。
若时齐马尔可夫链对一切 Ei , E j存在不依赖于Ei 的极限
则称其具有遍历性，Pj 称为 平稳分布，其中Pj 为该马尔可夫链的初始分布。
N
i 0 j


lim Pij Pj ，且满足
Pj 0; Pj Pij ; Pj 1

电子信息工程学院
信息论
2. 6 马尔可夫信源
2.6.1(1) 马尔可夫信源定义
马尔可信源的输出的符号序列和信源所处的状态满 足下列两个条件：
电子信息工程学院


信息论
2. 6 马尔可夫信源
注：条件②表明，若信源处于某一状态 Ei ，当它输出一个 符号后，所处的状态就变了，一定从状态 Ei 转移到另一状 态。显然，状态的转移依赖于输出的信源符号，因此任何 时刻信源处于什么状态完全由前一时刻的状态和输出的符 号决定。 这种信源的状态序列在数学模型上可以作为时齐马尔可夫 链来处理。因而可用马尔可夫链的状态转移图来描述信源。 马尔可夫链的状态转移图：每个圆圈代表一种状态，状态 之间的有向线代表某一状态向另一状态转移。有向线一侧 的符号和数字分别代表发出的符号和条件概率。
(1) P( xl ak | sl Ei , xl 1 ak 1 , sl 1 E j , ) P( xl ak | sl Ei )
(2) P ( sl E j | xl ak sl 1 Ei ) 0 1 Ei , E j E ak A
km1 i
m1 m1 m1
2 3 m1
k 1, 2,, q; i 1, 2,, J
2
3
m1
电子信息工程学院
信息论
2. 6 马尔可夫信源
p(0 / 00) p(1 / 11) 0.8
p(1 / 00) p(0 / 11 ) 0.2,
[例2-9] 给定二元二阶马氏源，符号集A:{0,1}，符号转移概率分 别为:
1 2 q
P
P(akm1 | ak1 ak2 akm )
1
2
m
m 1
并满足
0 P(akm1 | ak1 ak2 akm ) 1 且
km1 1
P( a
q
km1
| ak1 ak2 akm ) 1
(k1 , k2 ,, km , km1 1, 2,, q)
信息论
2. 6 马尔可夫信源
非平稳离散信源：描述信源输出消息的随机序列X 是非平稳的随机序列——马尔可夫信源 输出的随机序列X中各随机变量之间有依赖关系。 但记忆长度有限且满足马尔可夫链的性质，因此可 以用马尔科夫链来处理。 本节将讨论这类信源及其信息熵。



电子信息工程学院
信息论
2. 6 马尔可夫信源
电子信息工程学院



信息论
2. 6 马尔可夫信源
注：条件②表明，若信源处于某一状态 Ei ，当它输出一个 符号后，所处的状态就变了，一定从状态 Ei 转移到另一状 态。显然，状态的转移依赖于输出的信源符号，因此任何 时刻信源处于什么状态完全由前一时刻的状态和输出的符 号决定。 这种信源的状态序列在数学模型上可以作为时齐马尔可夫 链来处理。因而可用马尔可夫链的状态转移图来描述信源。 马尔可夫链的状态转移图：每个圆圈代表一种状态，状态 之间的有向线代表某一状态向另一状态转移。有向线一侧 的符号和数字分别代表发出的符号和条件概率。

M=1时，称为一阶马尔可夫信源。
电子信息工程学院
信息论
2. 6 马尔可夫信源

m 阶马尔可夫信源在任何时刻L，符号发生概率只于前M个 符号有关，所以可设状态Ei ak ak ak 。由于 k1, k2 ,, km 均可 取1, 2,, q ,的信源状态集 E E1, E2 ,, EJ , J qm , 则已知的 条件概率可变换成下式。