2-6 第2章 2.2.4-5 马尔可夫信源

由此看出，信源输出符号间的依赖关系即相关性使得信源熵减小。 相关程度越大，信源熵越小，趋于极限熵H ; 相关程度减小，信源熵越大 ; 当符号间彼此不相关且 呈等概率分布时，熵H 0最大。
19
信源剩余度
为了衡量信源的相关性程度，引入剩余度概念 定义 信源剩余度
R 1 H H0
其中H 为信源实际熵，H 0 H max为信源最大熵 称
10 S3 1:0.5
5 0. 0: 2
11 S4 1:0.8
9
马尔可夫链状态转移图-例题
例 设一信源，它在开始时 以P(a) 0.6, P(b) 0.3, P(c) 0.1的概率发出X 1。 1 如果X 1为a, 则X 2为a, b, c的概率为 ; 3 1 如果X 1为b, 则X 2为a, b, c的概率为 ; 3 1 如果X 1为c, 则X 2为a, b的概率为 , 为c的概率为0。 2 其后发出X i的概率只与X i 1有关， 且P( X i X i 1 ) P( X 2 X 1 ) i 3 , 请画出其状态转移图。
p ji P( Sl ei Sl 1 e j ) 其中Si , S j S (e1 , e2 ,, eJ )
5
马尔可夫信源与马尔可夫链
X x1 x 2 ... xn 对于一般的 m 阶马尔可夫信源 P p xim1 / xi1 xi2 ... xim 可通过引入状态转移概率,转化为马尔可夫链, 即令 ei xi1 , xi2 ,..., xim i1, i2 ,..., im 1, 2,..., n e1 e2 ... enm 从而得到马尔可夫信源状态空间 p e j / ei 其中, 状态转移概率p e j / ei 由 其中,i, j 1, 2,..., n m 信源符号条件概率p xim1 / xi1 xi2 ... xim 确定,
4
马尔可夫信源状态的一步转移概率
马尔可夫信源输出的符号序列Xl完全由信源所处的 状态Sl决定。所以，可将信源的输出符号系列变换 成状态系列，将信源输出符号的不确定性问题变成 信源状态的转换问题，即，信源在l-1时刻的状态Sj， 当它发出一个符号后，所处的状态变成l时刻的状 态Si，这种状态间的变化可用一步转移概率描述
8
马尔可夫信源-例题（续）
信源的状态转移图如下所示
0:0.8 00
2 0. 1: 0: 0. 5
S1
信源的状态转移矩阵为 : 0 0.8 0.2 0 0 0 0.5 0.5 II＝ 0.5 0.5 0 0 0 0.2 0.8 0
0:0.5
S2 01
1: 0.
18
信源的相关性和剩余度
H (XN X1, X 2 ,..., X N 1 ) H (XN-1 X1 , X 2 ,..., X N 2 ) H (X2 X1 ) H (X1 )
当离散平稳信源输出符号为等概率分布时熵最大， 即平均自信息量H 0 log n，于是有 H 0 H1 H 2 H m1 H
6
马尔可夫链状态转移图-例题
通常我们用马尔可夫 链的状态转移图来描 述马尔可夫信源。
例 一个二进制一阶马尔可夫信源， 信源符号集为X {0,1}， 条件概率为 p (0 0) 0.25, p(0 1) 0.5, p (1 0) 0.75, p(1 1) 0.5, q 2, m 1, 所以e1 0, e 2 1.
1/ 3
3 1/ c:
b:
/3 a: 1
2 1/ a:
b:1/3
b
b:1/2
c:1/3
c
12
M阶马尔可夫信源的极限熵H∞
当时间足够长时，遍历的m阶马尔可夫信源可以视 为平稳信源，又因为信源发出的符号只与最近的m 个符号有关，所以由极限熵定理
可得： H lim H ( X N X 1 , X 2 ,, X N 1 )
11
马尔可夫链状态转移图-例题（续）
由此可见该信源是一阶马尔可夫信源，状态空间 就等于信源符号集E a, b, c , 其状态转移图如下
一步转移矩阵为P
1 3 1 P 3 1 2 1 3 1 3 1 2 1 3 1 3 0
a:1/3
a
km1 ,, k1

p( xkm1 , , xk1 ) log p( xkm1 xkm , , xk1 )
p(ei ) p (e j ei ) log p(e j ei )
i j
14
马尔可夫信源的极限熵H∞ =Hm+1
H H m 1 p (ei ) p (e j ei ) log p (e j ei )
i j
其中p (e j )是马尔可夫链的平稳分布。 p (e j )为极限概率，满足方程组 p (e j ) p (ei ) p (e j / ei )
i 1 nm
( j 1, 2,..., n m )
及条件 p (e j ) 0,
p (e
j 1
nm
j
ห้องสมุดไป่ตู้) 1
15
计算此马尔可夫信源熵-例题
信源的状态转移图如下所示
0:0.8 00
2 0. 1: 0: 0. 5
S1
信源的状态转移矩阵为 : 0 0.8 0.2 0 0 0 0.5 0.5 II＝ 0.5 0.5 0 0 0 0.2 0.8 0
0:0.5
S2 01
1: 0.
10 S3 1:0.5
5 0. 0: 2
N
H ( X m1 X 1 , X 2 ,, X m ) H m1 即m阶马尔可夫信源的极限 熵等于m阶条件熵。 13
Hm+1的计算
齐次、遍历的马尔可夫链，其状态e由（xk1 , xk2 , , xkm）唯一确定， i 因此p( xkm1 xkm , , xk1 ) p( xkm1 ei ) 信源发出xkm1 ,状态变为e j , 即（xk2 , xk3 , , xkm1），故该式变为： p( xkm1 xkm , , xk1 ) p(e j ei ) H ( xkm1 xkm , , xk1 ) H m1
10
马尔可夫链状态转移图-例题（续）
解：由题意知，信源在开始发出信号后，后面发出什 么符号只与前一个所发符号有关，即 P( X i X i 1 ) P( X 2 X 1 ) i 3 P( X 2 a P( X 2 a P( X 2 a P( X 2 c 且 1 X 1 a) P( X 2 b X 1 a) P( X 2 c X 1 a) 3 1 X 1 b) P ( X 2 b X 1 b) P ( X 2 c X 1 b) 3 1 X 1 c) P( X 2 b X 1 c) 2 X 1 c) 0
信源输出的随机符号序列为X1 X 2 X l , X l X ( x1 , x2 , xn ), l 1, 2, 信源所处的状态序列为S1S 2 Sl , Sl S (e1 , e2 , eJ ), l 1, 2,
3
马尔可夫信源定义
定义 若信源输出的 符号序列 和 状态序列 满足下述条件则称此信源为马尔可夫信源 1、某一时刻l 信源的输出仅与信源的当前状态有关，即 p ( X l xk Sl e j , X l 1 xk1 , Sl 1 ei ,) p ( X l xk Sl e j ) 其中，xk、xk1 A；ei、e j S 2、信源的状态只由当前的输出符号和前一时刻信源状态 唯一确定，即 1 p ( Sl ei X l xk , Sl 1 e j ) 0
11 S4 1:0.8
16
马尔可夫信源熵-例题(续)
解：设 W＝W1 W2 W3 W4 其中, W1 p(e1 ),W2 p(e2 ),W3 p(e3 ),W4 p(e4 ) 由方程WP W及条件 p(e1 ) p(e2 ) p(e3 ) p(e4 ) 1，可解得: p(e1 ) p(e4 ) 5 /14 ; p(e2 ) p(e3 ) 1/ 7 从而求得信源熵 H H m1 H 21 H 3 p(ei ) p(e j ei ) log p(e j ei )
2
2 马尔可夫信源
有记忆信源在任一时刻发出符号的概率通常仅与前面的若干个 符号有关，与更前面的符号无关，因此我们可以认为信源在某 一时刻发出的符号与信源的状态有关。 设信源状态空间为 S (e1 , e2 ,eJ ) ， 在每一状态下信源可能输出的符号 X ( x1, x2 , xn ) 每一时刻，当信源发出一个符号后，信源所处的状态将发生变 化，并转入一个新的状态。
i j
5 1 1 5 H (0.8, 0.2) H (0.5, 0.5) H (0.5, 0.5) H (0.8, 0.2) 14 7 7 14 5 2 0.7219 1 0.80 比特 / 符号 7 7
17
第2章 信源熵
2.2 多符号离散平稳信源
2.2.1 2.2.2 2.2.3 2.2.4 2.2.5 序列信息的熵 离散平稳信源的数学模型 离散平稳信源的信息熵和极限熵 马尔可夫信源 信源冗余度和信息变差
第2章 信源熵
2.2 多符号离散平稳信源
2.2.1 2.2.2 2.2.3 2.2.4 2.2.5 序列信息的熵 离散平稳信源的数学模型 离散平稳信源的信息熵和极限熵 马尔可夫信源 信源冗余度和信息变差
1
1 有限状态马尔可夫链
定义 设{ Xn, n N }为一随机序列，时间参数集N {0，2， }，其状态空间S {S 1，S 2， SJ}，若对所有n N ， 1， 有 P{ Xn Sin | Xn 1 Sin 1, Xn 2 Sin 2, , X 1 Si1} P{ Xn Sin | Xn 1 Sin 1} 则称{ Xn, n N }为马尔可夫链。 其意义是： 系统在现在时刻n 1处于状态Sin 1，那么将来时刻n的状态Sin 与过去时刻n 2, n 3,...,1的状态Sin 2,..., Si1无关， 仅与现在时刻n 1的状态Sin 1有关。 即，已知系统的现在，那么系统的将来与过去无关。 这种特性称为马尔可夫特性。
0:0.25 0
由条件概率求得 信源状态转移概率为 p(e1 e1) 0.25, p(e1 e 2) 0.5, p(e2 e1) 0.75, p(e 2 e 2) 0.5,
信源状态转移图
1:0.75 1 1:0.5
0:0.5 一阶马尔可夫信源状态转移图
7
马尔可夫信源-例题
例 设有一个二进制二阶马尔可夫信源， 信源符号集为{0,1}，条件概率为 p(0 00) p(111) 0.8， p(1 00) p(0 11) 0.2， p(0 01) p(0 10) p(1 01) p(110) 0.5 该信源符号数是n 2，共有n m 4个状态： e1 00, e2 01, e3 10, e4 11，由已知条件容易求 得各状态转移概率 p(e1 e1 )＝p(e4 e4 )＝0.8 p(e2 e1 ) p(e3 e4 ) 0.2 p(e3 e2 ) p(e1 e3 ) p(e4 e2 ) p(e2 e3 ) 0.5