电子科大信息论与编码第3章_离散信源及信息熵

其条件概率分布P(X2/X1)
求该信源的联合熵和平均符号熵。
解： H(X1 ) p(xi1 ) log p(xi1 )
3
H(X 2 / X1 ) p(x i1 xi2 )log p(xi 2 / log log log 4 4 9 9 36 36 1.542(bit / symbol)
1 H 2 ( X1 X 2 ) H ( X 1 X 2 ) H ( X1 ) 2
例1，已知二维离散平稳信源的符号 X1 , X 2 {x1 , x 2 , x 3 } ，其概率分布P(X1)
x2 x3 X1 x 1 P ( X ) 1 / 4 4 / 9 11 / 36 1
P( X k ) P( X l )
P( X k X k 1 ) P( X l X l 1 )
则称该多符号离散信源为二维离散平稳信源。 同理，如果除概率分布相同外，直到N维的各 维联合概率分布也都相同，也都与时间起点 无关，即
P( X k ) P( X l )

P( X k X k 1 ) P( X l X l 1 ) P( X k X k 1 X k N 1 ) P( X l X l 1 X l N 1 )
将多符号离散信源发出的符号序列记为
X1X 2 X 3
并设序列中任一符号都取值于同一集合
Xk {x1 , x 2 ,, xn }, k 1,2,
一般情况下，信源在不同时刻发出符号 的概率分布是不同的，即 P( Xk ) P( Xl ), k 1,2,, l 1,2, 这种情况分析起来比较困难，不作讨论。
log e p(xi1 xi2 )ln
n n i1 1 i 2 1
p(xi2 / xi1 )
p(x i2 )
n
p(xi2 )
log e[ p(xi1 )p(xi2 ) p(x i1 x i2 )]
n
p(x i2 / x i1 )
1]
log e[1 1] 0
2 1 p( x k ) , k 1,2, , n e n
n

2 又 p( x k ) n 1 e k 1
n
H(X)max
1 1 p(x i ) log p(x i ) log log n n i 1 i 1 n
n
单符号离散信源中各消息等概率出 现时，具有最大熵。
1 X 0 例3，已知信源 P ( X ) p 1 p
解： H(X) p(i) log p(i)
1 i0
求信息熵并作出p-H(p)曲线。
[p log p (1 p)log(1 p)] H(p)
当p=0时，H(p)=0
p=0.25时，H(p)=0.811 p=0. 5时，H(p)=1 p=0.75时，H(p)=0.811
p=1时，H(p)=0
1
H(p)
0
0.5
1
p
习题： 2.4、2. 6
二、多符号离散信源及其信息熵
实际应用中，信源每次发出的消息是符 号序列的情况更为普遍。 如果信源每次发出的消息都是有限或可 数的符号序列，而这些符号都取值于同 一个有限或可数的集合，则称这种信源 为多符号离散信源。
n n
p(xi1 xi2 )log
n n i1 1 i 2 1
i1 1 i 2 1
p(xi2 / xi1 )
p(xi2 )
i1 1 i 2 1
利用不等式ln x x 1，上式
log e p(xi1 xi2 )[
n n i1 1 i 2 1 n n i1 1 i 2 1
6 i 1
H(X) p(i) log p(i)
1 1 log 6 log 6 2.585(bit / symbol) 6 6
例2，求某一天简单的天气气象这一信源 的信息熵。
晴 阴 雨 雪 x ( ) x ( ) x ( ) x ( ) 1 2 3 4 X 1 1 1 P ( X ) 1 4 8 8 2
i1 1 i 2 1
故H ( X1 X 2 ) H ( X1 ) H ( X 2 / X1 )
H( X2 / X1 ) H( X2 )
H ( X 1 ) H ( X 2 ) 2 H( X1 )
如果将该信源的符号序列中单个符号所提供 的平均信息量记为H2(X1X2)并称其为平均符 号熵，则
1、离散平稳信源及其数学模型 对于多符号离散信源发出的符号序列 如果任意两个不同时刻k和l，k=1,2, …， l=1,2, …，符号的概率分布相同，即
P ( X k ) P( X l )
X1X 2 X 3
则称该多符号离散信源为一维离散平稳 信源。
如果不仅其概率分布相同，其二维联合概率 分布也相同，与时间的起点无关，即
X 2 / X1 x 1 / x 1 x 2 / x1 x 3 / x1 x1 / x 2 x 2 / x 2 x 3 / x 2 x 1 / x 3 x 2 / x 3 x 3 / x 3 P ( X / X ) 7 / 9 2 / 9 0 1 / 8 3 / 4 1 / 8 0 2 / 11 9 / 11 2 1
则称该多符号离散信源为N维离散平稳 信源。 一般，可将N维离散平稳信源发出的符号 序列看成长度为N的一段段符号序列，即
X1 X 2 X N
其联合概率分布为 P ( X1 X 2 X N ) N维离散平稳信源的数学模型：
其中, a i x i1 x i 2 x i N , i 1 , i 2 , , i N {1,2, , n}
n n n i1 1 i 2 1 n i1 1 i 2 1
p(x i1 x i 2 ) log p(xi1 )p(xi 2 / x i1 )
p(xi1 x i 2 ) log p(xi 2 / xi1 )
log p(xi1 ) p(x i1 x i2 )
信息熵是从整体出发对一个离散信源 信息量的度量。
H(X)反映信源每发出一条消息所提 供的平均信息量，不反映信源发出 某条特定消息的信息量
一般情况下，H(X)不等于每接收一 条消息所获得的平均信息量
3、信息熵的性质和定理
p( xi ) [0,1], I( xi ) [0, )
n i 1
H( X1 ) H( X2 / X1 )
式中，H(X2/X1 )称为条件熵，是条件信 息量在联合概率上的数学期望。
H(X2 / X1 ) H(X 2 )
n n
与此相对应，将该信源的信息熵H(X1X2)称为 联合熵，信源符号的信息熵H(X1)、 H(X2)称 为无条件熵。
p(xi1 xi2 )log p(x i2 / xi1 ) p(xi1 xi2 )log p(xi2 )
p(a i ) p( x i 1 x i 2 x i N ) p( x i 1 )p( x i 2 / x i 1 )p( x i N / x i 1 x i 2 x i N1 )
an N a2 X1 X 2 X N a 1 P ( X X X ) p( a ) p( a ) p( a ) 2 1 2 N nN 1
1 当p( x i ) 时， n H( X)max log n i 1,2, , n
H( X) log n
例1，求掷骰子这一信源的信息熵。 解：该信源的数学模型为
1 2 6 X P( X ) 1 1 1 6 6 6
3离散平稳无记忆信源的信息熵如果离散平稳信源发出的符号序列中各符号相互独立则称该信源为离散平稳无记忆信离散平稳无记忆信源的符号序列中各符号相互独立故相当于一维离散平稳信源扩展n次因此也称其为n次扩展信源
第3章 离散信源及信息熵
信源消息是多种多样的：如计算机网络节点 输出的是二进制数据，模拟电视输出的是连 续视频图像和伴音；又如抽牌，可以抽出后 放回去再抽，也可以抽出后不放回去再抽。 信源的分类方法可以很多，一方面将信源分 为离散信源和连续信源(continuous source)， 另一方面
n i 1
xn x2 X x1 P ( X ) p( x ) p( x ) p ( x ) 1 2 n
自信息量反映的是一个随机事件出现某 种结果所包含的信息量，
自信息量具有随机变量的性质，不能作为 信源的总体信息测度。
2、单符号离散信源的信息熵
H( X ) E[I( x i )] p( x i )I( x i ) p( x i ) log p( x i )
n n
将离散信源所有自信息量的数学期望用H(X) 来表示并称其为信源的信息熵，也叫香农熵， 信息熵的定义为：
i 1 i 1
信息熵的单位是比特/符号(bit/symbol)。
i 1
n n { p(xi )log p(xi ) [ p(xi ) 1]} 即 p(xk ) i 1 i 1
k 1,2, , n
k 1, 2, ,n
[log e log p(xk )] 0
2 得到log[p(xk ) e] ，p(xk ) e k 1, 2, ,n
且 p( a i ) 1
nN i 1
2、离散平稳信源的信息熵 先讨论二维离散平稳信源的信息熵。 二维离散平稳信源的数学模型：
a2 an2 X1 X 2 a1 P ( X X ) p( a ) p( a ) p( a ) 2 1 2 n2 1
4 i 1
解： 该信源的数学模型为：
H(X) p(x i ) log p(x i )
1 1 1 1 1 1 log log ( log ) 2 2 2 4 4 8 8
1 1 1 1 1 1 log 2 log 4 log 8 2 3 2 4 4 2 4 4 1.75(bit / symbol)
该信源的信息熵：
H(X1 X 2 ) p(a i )log p(a i )
n2
n n
p(x i1 x i 2 ) log p(xi1 xi2 )
i1 1 i 2 1 n n i1 1 i 2 1
i 1
p(xi1 x i 2 ) log p(x i1 )
①H(X)的非负性；
H( X) p( x i )I( x i ) [0, )
②H(X)的上凸性； H(X)的上凸性不作证明。 ③最大信息熵定理 H(X) log n
求H( X )在 p( x i ) 1限制下的条件极值
n
n { H( X ) [ p( x i ) 1]} 0 令 p( x k ) i 1
将信源分为无记忆信源(memoryless source) 和有记忆信源(memory source)。 本章主要讨论的问题是：从一个离散信源 的整体出发，它的信息量应该如何度量？
一、单符号离散信源的信息熵
从最简单的单符号离散信源开始讨论： 1、单符号离散信源的数学模型
其中,0 p( x i ) 1, i 1,2, , n且 p( x i ) 1
n n n i1 1 n i2 1 i1 1 i 2 1
n i1 1
p(xi1 )log p(x i1 ) p(x i1 x i2 )log p(x i2 / xi1 )
n n
p(x i1 x i2 ) log p(x i2 / xi1 )
i1 1 i 2 1