4第二章3-熵的计算

离散无记忆信源的扩展信源熵 离散平稳信源
平稳的含义 二维平稳信源
H ( X 1 X 2 ) = −∑∑ P(ai a j ) logP(ai a j )
i =1 j =1
q
q
关于离散二维平稳信源联合熵 关于离散二维平稳信源联合熵
H(X1X2) 表示原来信源 输出任意一对消息的 表示原来信源X输出任意一对消息的 输出长度为2的序列的平 共熵， 描述信源X输出长度为 共熵，即描述信源 输出长度为 的序列的平 均不确定性（或所含有的信息量）。 均不确定性（或所含有的信息量）。 可用H(X1X2)/2作为信源 的信息熵的近似值。 作为信源 的信息熵的近似 可用 作为信源X的信息熵的近似值 平均符号熵）记为H （平均符号熵）记为 2(X) H(X)称为简单符号熵。 称为简单符号熵。 称为简单符号熵
对于一般平稳有记忆信源，设其概率空间为： 对于一般平稳有记忆信源，设其概率空间为：
a2 a3 ... ... aq X a1 P( x) = P(a ) P(a ) P(a ) ... ... P(a ) 2 3 q 1
∑ P(a ) = 1
i =1 i
q
第二章 信源及其熵
本章介绍
信源的统计特性和数学模型 各类信源的信息测度----熵及其性质 各类信源的信息测度 熵及其性质 引入信息理论的一些基本概念和重要结论
回忆上次课内容
信息熵的基本性质
对称性、确定性、非负性、扩展性、可加性、 对称性、确定性、非负性、扩展性、可加性、 强可加性、 强可加性、极值性
信源X的信息熵的近似 信源 的信息熵的近似值 的信息熵的近似值 简单符号熵
证明
H2(X)= H(X1X2)/2 ≤ H(X)
无记忆信源的平均不确定性大于有记忆信源的平均不确定性
课堂习题
0.88比特/符号
黑白气象传真图的消息只有黑色和白色两种， 黑白气象传真图的消息只有黑色和白色两种，即信 源X={黑，白}，设P(黑)=0.3，P(白)=0.7。 黑 ， 黑 ， 白 。 假设图上黑白消息出现前后没有关联，求熵H(X)。 假设图上黑白消息出现前后没有关联，求熵H(X)。 假设消息前后有关联，其依赖关系为P(白 假设消息前后有关联，其依赖关系为 白| 白)=0.9， P(黑|白)=0.1， P(白|黑)=0.2， ， 黑 白 ， 白 黑 ， P(黑|黑)=0.8，求此平稳离散信源的熵 2(X)。 黑 黑 ，求此平稳离散信源的熵H 。
[例] 某一离散二维平稳信源
X 0 p ( x ) = 11 36 1 4 9 2 3 1 , ∑ pi = 1 i =1 4
其发出的符号只与前一个符号有关，即可用联合概率 P(aiaj)给出它们的关联程度，如下表所示 给出它们的关联程度， P(aiaj) aj 0 1 2 ai 0 1/4 1/18 0 1 1/18 1/3 1/18 2 0 1/18 7/36 满足： 满足：
H ( X 2 | X1 = ai ) = −∑ P(a j | ai ) logP(a j | ai )
（ 2 ） 前面一个符号 Xl 又可取 ai∈{a1 ， a2 ， … ， aq} 中任一 前面一个符号X 又可取a 对某一个a 存在一个平均不确定性H(X 个，对某一个ai存在一个平均不确定性H(X2/X1＝ai)，那么 对所有a 的可能值进行统计平均 进行统计平均就得当前面一个符号巳知时 对所有ai的可能值进行统计平均就得当前面一个符号巳知时 再输出下一个符号的总的平均不确定性H(X ，再输出下一个符号的总的平均不确定性H(X2/X1) ：
0.71比特/符号
二维平稳信源X：
条件熵H(X2|X1） 平均符号熵H2(X) 简单信源X符号熵H(X)
H(X2|X1) ≤H2(X) ≤H(X) H(X1X2)=H(X1)+H(X2|X1)=2H2(X)
有记忆平稳信源的联合熵、条件熵、 有记忆平稳信源的联合熵、条件熵、平均符号熵 与无记忆信源熵之间的定量关系。 与无记忆信源熵之间的定量关系。
i =1 j =1
3
H2(X)=1.205 bit/symbols
虽然信源X 虽然信源X发出的随机序列中每个符号只与 前一个有直接关联，但在平稳序列中， 前一个有直接关联，但在平稳序列中，由于每一 时刻的符号都通过前一个符号与更前一个符号联 系起来，因此序列的关联是可引伸到无穷的 序列的关联是可引伸到无穷的。 系起来，因此序列的关联是可引伸到无穷的。 二维平稳信源的信息熵的近似值
a1 a 2 a1 a3 aq aq ... ... X 1 X 2 a1 a1 P ( x x ) = P(a a ) P(a a ) P (a a ) ... ... P (a a ) 1 1 1 2 1 3 q q 1 2
∑∑
i =1
q
q
j =1
P (a i a j ) = 1
H ( X N | X 1 X 2 ... X N −1 ) = −∑ ...∑ P(ai1 ai2 ...aiN ) logP (aiN | ai1 ai2 ...aiN −1 )
(i1 , i2 ..., iq = 1,2,..., q )
满足： 满足：
q q ∑∑ P(ai1 ai2 ) = 1 i1 =1 i2 =1 q q q ∑∑∑ P(ai1 ai2 ai3 ) = 1 i1 =1 i2 =1 i3 =1 ...... q q ∑ ...∑ P(ai1 ai2 ...aiN ) = 1 i1 =1 iN =1
i =1 j =1
q
q
= H ( X1 ) + H ( X 2 | X1)
=1
• 即：H(X1X2)＝H(X1)+H(X2/X1) • 而 H(X2/X1) ≤ H(X2) 因此 H(X1X2)＝H(X1)+H(X2/X1) ≤ H(X1)+H(X2) = 2H(X) 所以，一般情况下， 所以，一般情况下，输出二个符号的联合熵总是小于二倍 信源的熵。 信源的熵。
课堂习题
0.88比特/符号
黑白气象传真图的消息只有黑色和白色两种， 黑白气象传真图的消息只有黑色和白色两种，即信 源X={黑，白}，设P(黑)=0.3，P(白)=0.7。 黑 ， 黑 ， 白 。 假设图上黑白消息出现前后没有关联，求熵H(X)。 假设图上黑白消息出现前后没有关联，求熵H(X)。 假设消息前后有关联，其依赖关系为P(白 假设消息前后有关联，其依赖关系为 白| 白)=0.9， P(黑|白)=0.1， P(白|黑)=0.2， ， 黑 白 ， 白 黑 ， P(黑|黑)=0.8，求此平稳离散信源的熵 2(X)。 黑 黑 ，求此平稳离散信源的熵H 。
2 P(aiaj) 1 aj 0 4 1
ai 1 1/8 3/4 1/8
2 0 2/9 7/9 ai
0 X p ( x ) = 11 36
1 4 9
2
0 1/4 1/18 0
1 1/18 1/3 1/18
2 0 1/18 7/36
H(X2|X1) ≤H2(X) ≤H(X)
(i1 , i2 ..., iq = 1,2,..., q)
P(ai1 ai2 ) P(ai1 ai2 ai3 ) ...... P(a a ...a ) i1 i2 iN (i1 , i2 ..., iq = 1,2,..., q )
P(ai1 ai2 ) P(ai1 ai2 ai3 ) ...... P(a a ...a ) i1 i2 iN
H ( X 2 | X1) = ∑ P(ai )H ( X 2 | X1 = ai )
i =1 q
q
j =1
条件熵
q q i =1 j =1
= −∑∑ P(ai )P(a j | ai ) logP(a j | ai ) = −∑∑ P(ai a j ) logP(a j | ai )
i =1 j =1
发出的符号序列为(X 发出的符号序列为(X1，X2，…，XN，… )，假设信源符号之 间的依赖长度为N 且各维概率分布为： 间的依赖长度为N，且各维概率分布为：
简记为 P( x1 x 2 ) = P( x1 = ai1 x 2 = ai2 ) P( x1 x 2 x3 ) = P( x1 = ai1 x 2 = ai2 x3 = ai3 ) ...... P( x x ...x ) = P( x = a x = a ...x = a ) 1 i1 2 i2 N iN 1 2 N
i =1 j =1 q q
= −∑∑ P (a i ) P (a j | ai ) logP (ai ) − ∑∑ P (ai a j ) logP (a j | ai )
i =1 j =1 i =1 j =1
q
q
= −∑ P(ai ) log P(ai )∑ P(a j | ai ) + H ( X 2 | X 1 )
i1 =1 iN =1 q q
定义N 定义N长的信源符号序列中平均每个信源符号所携带的信息量 (平均符号熵 )，为： 平均符号熵
1 H N ( X ) = H ( X 1 X 2 ... X N ) N
另一方面，若已知前面N 个符号， 另一方面，若已知前面N一1个符号，后面出现一个符号 的平均不确定性（平均信息量）， ），可从 得出： 的平均不确定性（平均信息量），可从条件熵得出：
q
q
（3）根据概率关系，可以得到联合熵与条件熵的关系： 根据概率关系，可以得到联合熵与条件熵的关系： 联合熵与条件熵的关系
H ( X1 X 2 ) = −∑∑ P(ai a j ) logP(ai a j )
i =1 j =1
q q
q
q
= −∑∑ P (ai a j ) log( P (ai )P (a j | ai ))
∑ ∑ p (x x ) = 1
i j i j
ຫໍສະໝຸດ Baidu
•求信源的熵H(X)、条件熵H(X2/X1)和联合熵H(X1X2) 。 求信源的熵H(X)、条件熵H(X 和联合熵H(X
解 ： 根据概率关系可计算得条件概率 P（ aj/ai ） , 计算结果 根据概率关系可计算得条件概率P 列表如下： 列表如下： P (ai a j ) P(a j / ai ) = P (ai ) aj 0 1 2 0 9/11 2/11 0
得：
H ( X ) = −∑ P(ai ) logP(ai ) = 1.542( Bit / Symbol)
i =1 3
H ( X 2 / X 1 ) = −∑∑ P(ai a j ) logP(a j / ai ) = 0.87(Bit / Symbol)
i =1 j =1 3
3
3
H ( X 1 X 2 ) = −∑∑ P(ai a j ) logP(ai a j ) = 2.41( Bit / Symbols)
(i1 , i2 ..., iq = 1,2,..., q )
已知联合概率分布可求得离散平稳信源的一系列联合熵： 已知联合概率分布可求得离散平稳信源的一系列联合熵： 联合熵
H ( X 1 X 2 ... X N ) = −∑ ...∑ P(ai1 ai2 ...aiN ) logP(ai1 ai2 ...aiN ) ( N = 2,3..., N )
1 H ( X1 X 2 ) = H 2 ( X ) 2 H ( X 2 / X1 )
到底选取哪一个值更能接近实际二维平稳信 源的熵，通过后面对一般离散平稳信源 一般离散平稳信源的分析来 源的熵，通过后面对一般离散平稳信源的分析来 解决这个问题。 解决这个问题。
三、离散平稳信源的极限熵
0.71比特/符号
•
从另一角度（来研究信源X的信息熵的近似值） 从另一角度（来研究信源X的信息熵的近似值）：
（ 1 ） 由于信源 X 发出的符号序列中前后两个符号之间有依 由于信源X 赖性，可以先求出在已知前面一个符号X 已知前面一个符号 赖性， 可以先求出在已知前面一个符号Xl＝ai时，信源输出 下一个符号的平均不确定性 的平均不确定性： 下一个符号的平均不确定性：