第三章 信源熵(3)

1 0.71
这说明，写英语文章时，71%是由语言结构定好 的，是多余成分，只有29%是写文章的人可以自 由选择的。直观的说，100页英文书，理论上看 仅有29页是有效的，其余71页可以压缩掉，这压 缩掉的文字可以根据英文的统计特性来恢复。 信源的冗余度表示信源的可压缩程度。
从提高信息传输效率的观点出发，人们总是 希望尽量去掉剩余度。比如发电报，我们都知道 尽可能把电文写的简洁些以去除相关性。但冗余 度大的消息具有比较强的抗干扰性。从我们的第 五章开始，将讨论信源编码和信道编码，信源编 码是减少或消除信源的剩余度以提高信息的传输 效率，而信道编码则通过增加冗余度来提高消息 传输的抗干扰能力。
例3
一阶马尔可夫信源的状态图如下图所示。信源X的 符号集为{0, 1, 2}。 （1） 求平稳后信源的概率分布； （2） 求信源的熵H∞。 （3）求当P=0或P=1时信源的熵 ，并说明理由
P 0 P P P 2 P P
1
3.7 信源剩余度与自然语言的熵
1、关于离散信源熵的总结： 实际信源可能是非平稳的有记忆随机序列信源； 其极限熵是不一定存在的；解决的方法是假设其为离 散平稳随机序列信源，极限熵存在，但求解困难；进 一步假设其为m阶Markov信源，用其m阶条件熵近 似；再进一步假设为一阶Markov信源，用其一阶条 件熵来近似；最简化的信源是离散无记忆信源，其熵 为H(x);最后还可以假定为等概的离散无记忆信源， 其熵H(x)； 它们之间的关系可以表示为：
H0 X log2 27 4.76
Bit/符号
但实际上，用英文字母组成单词，再由单词 组成句子时，英文字母并不是等概率出现， 此时有：
1 H1 pi log 4.03 pi i 1
27
Bit/符号 Bit/符号 Bit/符号
H 2 3.32 H 3 3.1
因此，在信源所输出的序列中依赖关系越复杂， 信息熵就越小。实际上，英文信源的信息熵还 要小得多，一般认为 H 。因此，信息效 1.4 率和冗余度为：
(不依赖于i ) n 1 2 2 1 n 或 P ( n) P ( n ) 1 2 则称此链具有遍历性.
j
lim Pij ( n) j
j j j
qm i 1 im1 1

i
q
p( si ) p ( xim1 | si ) log p( xim1 | si )
p ( si ) H ( X | si ) p ( si ) p ( s j | si ) log p ( s j | si )
i j
例3 求例2中的二阶马尔可夫信源的极限熵。 解：这4种状态是不可约的非周期长返态，因 此是遍历的。 设状态的平稳分布为（w1,w2,w3,w4）,根据马 尔可夫链遍历的充分条件：WP=W，得
1 2 m
，从而得到
s1 si s q m p( s j | si )
状态空间由所有状态及状态间的状态转移概率组成。 通过引入状态转移概率，可以将对马尔可夫信源的研究转 化为对马尔可夫链的研究。
下面计算遍历的m阶马尔可夫信源的熵率。 当时间足够长后，遍历的马尔可夫信源可 以视作平稳信源来处理，又因为m阶马尔可 夫信源发出的符号只与最近的m个符号有关， H 所以极限熵 等于条件熵 。 H m1
第三章 信源及信源熵（3）
上节课回顾
马尔可夫链基础知识 什么是马尔可夫链？ 转移概率---转移概率矩阵 平稳性 遍历性
马尔可夫链的定义
时间和状态都是离散的马尔可夫过程称为马尔
可夫链, 简记为 { X n X ( n), n 0,1,2,}.
转移概率
称条件概率 Pij (m, m n) P{ X m n a j | X m ai }
i
符号的平稳概率分布为：
p 0 0.8 p s1 0.5 p s2 0.5 p s3 0.2 p s4 0.5 p 1 0.2 p s1 0.5 p s2 0.5 p s3 0.8 p s4 0.5
为了更经济有效的传送信息，需要尽 量压缩信源的剩余度，压缩剩余度的方法 是尽量减小符号间的相关性，并且尽可能 的使信源输出消息等概率分布。
当冗余度＝0时，信源的熵＝极大熵 H 0 ，表明 信源符号之间：(1)统计独立无记忆;(2)各符号 等概分布。因此，冗余度可衡量信源输出的符 号序列中各符号之间的依赖程度。 例：以符号是英文字母的信源为例，英文字母加 上空格共有27个，则最大熵为
3、信源剩余度
H 1 1 H0
信源的剩余度来自两个方面：一是信源符号间的 相关性，相关程度越大，符号间的依赖关系越长， H 信源的 越小；另一方面是信源输出消息的不 等概分布使信源的 H减小。当信源输出符号间 不存在相关性并且输出消息为等概分布时信源的 H0 最大，等于 。对于一般平稳信源来说，其极 H H 限熵 远小于 。 H 0
H =H m 1 H3
i
Wi H X | si 5 1 1 5 H 0.8,0.2 H 0.5,0.5 H 0.5,0.5 H 0.8,0.2 14 7 7 14 0.8 比特/符号
p ak p si p ak | si
H m 1 H 2 ( x2 x ) 1
log q
log q H0 ( x) H1 ( x) H11 ( x) H 21 ( x) H m1 ( x) H
2、熵的相对率（一个信源的熵率与具有相同符号 集的最大熵的比值）
H H0
H 0 log q
对于一般的 m 阶马尔可夫信源，它的概率空间可以表 示成：
X x1 xi xq p( x | x x x ) im1 i1 i2 im P X
令 si xi xi xi , i1, i2 ,, im 1, 2, , q 马尔可夫信源的状态空间：
图
马尔可夫信源
例1 设一个二元一阶的马尔可夫信源，信源符号集为 x={0,1},信源输出符号的条件概率为：
p(0|0)=0.25, p(0|1)=0.5, p(1|0)=0.75, p(1|1)=0.5
求状态转移概率
例2：二阶马尔可夫信源，原始符号集为{1,0}， 条件概率定为：P(0|00)=P(1|11)=0.8 P(1|00)=P(0|11)=0.2 P(0|01)=P(0|10)=P(1|01)=P(1|10)=0.5
0.8 W1 +0.5 W3 = W1 0.2 W +0.5 W = W 1 3 2 0.5 W2 +0.2 W4 = W3 0.5 W +0.8 W = W 2 4 4 W1 +W2 +W3 +W4 =1
求出
W1 =W4 =
5 1 ，W2 =W3 = 14 7
所以,
由此可见，信源共有2^2=4种状态 S：{S1=00,S2=01,S3=10,S4=11}
0:0.8 1:0.2 01 1:0.5
00
0:0.5 1:0.5 11 1:0.8
0:0.5 10 0:0.2
由上例可知，m阶马尔可夫信源符号集共有q个符号， 则信源共有 m 个不同状态。信源在某一时刻时，必然处于 q 某一种状态，等到下一个字符输出时，转移到另外一个状态。
若 j 1, 则称 ( 1 , 2 ,)为链的极限分布 .
本节课内容
马尔科夫信源 信源的相关性和剩余度
3.6
马尔可夫信源
马尔可夫信源是一类相对简单的有记 忆信源，信源在某一时刻发出某一符号 的概率除与该符号有关外，只与此前发 出的有限个符号有关。因此我们把前面 若干个符号看作一个状态，可以认为信 源在某一时刻发出某一符号的概率除了 与该符号有关外，只与该时刻信源所处 的状态有关，而与过去的状态无关。信 源发出一个符号后，信源所处的状态即 发生改变，这些状态的变化组成了马氏 链。
对于齐次遍历的马尔可夫链，其状态 si 由 xi xi xi 唯一确定，所以
1 2 m
p(s j | si ) p( xim1 | xi1 xi2 xim ) p( xim1 | si )
H m 1 H ( X m 1 | X 1 X 2 X m ) E p( xim1 | xi1 xi2 xim ) E p( xim1 | si )
为马氏链在时刻 处于状态ai条件下, 在时刻 m n m
转移到状态a j的转移概率.
平稳性
当转移概率 Pij ( m , m n) 只与 i , j 及时间间距 n
有关时, 称转移概率具有平稳性.
同时也称此链是齐次的或时齐的.
遍历性 定义 设齐次马氏链的状态空 间为 I , 若对于所有
的ai , a j I , 转移概率Pij ( n)存在极限