信息论第五讲

（3）性质 • 条件熵H(XN|X1X2…XN-1)随着N的增加而递减 证明： H(XN|X1X2…XN-1)≤H(XN|X2…XN-1)（条件熵小于等于无条件熵） = H(XN-1|X1X2…XN-2)（序列的平稳性）
• 若N一定，则平均符号熵大于等于条件熵 HN(X)≥H(XN|X1X2…XN-1) 证明： NHN(X)=H(X1X2…XN) =H(X1)+H(X2|X1)+…+H(XN|X1X2…XN-1) . = H(XN)+H(XN|XN-1)+…+H(XN|X1X2…XN-1) （序列平稳性） ≥NH(XN|X1X2…XN-1) （条件熵小于等于无条件熵） 所以 HN(X)≥H(XN|X1X2…XN-1) • 平均符号熵也随N的增加而递减 证明： NHN(X)= H(X1X2…XN)= H(XN|X1X2…XN-1)+ H(X1X2…XN-1) = H(XN|X1X2…XN-1)+(N-1) HN-1(X)≤HN(X)+ (N-1) HN-1(X) 所以HN(X)≤HN-1(X)， 即序列的统计约束关系增加时，由于符号间的相关性，平均每 个符号所携带的信息量减少。
X x1 x1 , x1 x2 ,, x1 xn ;; xn x1 , xn x2 ,, xn xn
ai xi1 xi2
i1 , i2 1,2,, n
a2 ai an2 X a1 p ( a ) p ( a ) p ( a ) p ( a ) 2 i n2 P ( X ) 1
i1 1 i2 1
3
3
1 0.870(比特 / 符号) p( xi2 / xi1 )
H(X1X2)= H(X1)+ H(X2/X1)=1.542+0.870=2.412(比特/符号)
3. N维离散平稳有记忆信源
(1) 熵
H ( X ) H ( X1 X 2 X N ) X H ( X1 ) H ( X 2 ) H ( 3 ) H (X N ) X1 X1 X 2 X 1 X 2 X N 1
2. 二维信源
反映信源记忆特性的两方法：
1
用联合概率反映信源记忆特性
2
用条件概率反映信源记忆特性
每组中的后一个符号与前一个符号有统计关联关系，而这种概率性 的关联与时间的起点无关。假定符号序列的组与组之间是统计独立 的。
X X1 X 2

X 1 , X 2 x1 , x2 ,, xn
2.2 扩展信源 2.2.1 无记忆扩展信源的熵
2.2.2 离散平稳信源的熵
2.2.3 马尔可夫信源 2.2.4 信源的冗余度
无记忆的离散信源序列 离散平稳信源 离散有记忆序列信源 马尔可夫信源
无记忆扩展信源每次发出一组含两个以上符号的符号序列代表一个 消息，而且所发出的各个符号是相互独立的，各个符号的出现概率 是它自身先验概率。序列中符号组的长度即为扩展次数。 离散平稳信源随机矢量中的各随机变量的统计特性都不随时间 推移而变化。
二维平稳信源 P(Xi=x)=P(Xj= x)=p(x) P(Xi=x1,Xi+1=x2)=P(Xj=x1,Xj+1=x2)=p(x1x2) 其中x1,x2∈X=(x1,x2,…xn)
离散平稳信源 P(Xi)=P(Xj)
P(Xi Xi+1)=P(Xj Xj+1)
… P(Xi Xi+1 Xi+2…Xi+N)=P(Xj Xj+1 Xj+2… Xj+N)
证：令Y1 X1 X 2 X N 1
Y2 X1 X 2 X N 2

YN 2 X1 X 2
X H (Y1 X N ) H (Y1 ) H ( N
Y1
)
Y2 )
X H (Y1 ) H (Y2 X N 1 ) H (Y2 ) H ( N 1

X H (YN 2 ) H ( X1 ) H ( 2
2.1.5 各种熵之间的关系
名称 符号
关系式
H ( X ) H ( X ) I ( X ;Y ) Y H(X ) Y H ( X ) H ( XY ) H (Y ) X H (Y ) H (Y X ) I ( X ;Y ) )
图示
X Y
无 条 件 熵
H(X )
H (Y )
2.2.1 无记忆扩展信源的熵
1、离散无记忆二进制信源X的二次扩展信源
每两个二进制数字构成一组，则新的等效信源 X 的输出符号为 00，01，10，11。 若单符号离散信源的数学模型为
X x1 P( X ) p( x ) 1 x2 p( x2 )
二次扩展信源的数学模型为
i i1 i2 1 2
2、 离散无记忆信源X的N次扩展信源
（1）数学模型 设单符号离散信源的数学模型为
X x1 , x2, ..., xn P( X ) p( x ), p( x ),..., p( x ) 1 2 n
n

p ( xi ) 1 满足 i 1 则其N次扩展信源用XN来表示，其数学模型为
0
H ( X ) p( xi ) log2
i 1
3
1 1 1 4 4 11 11 log2 log2 log2 p ( xi ) 4 4 9 9 36 36
1.542(比特 / 符号)
H ( X 2 / X1 ) p( xi1 ) p( xi2 / xi1 ) log2
H ( X ) p( xi ) log2 p( xi )
i 1
3
1 1 1 log2 2 log2 4 log2 4 1.5(比特 / 符号) 2 4 4
H ( X ) p(ai ) log p(ai ) 3(bit
2
32
2H ( X )
i 1
) 符号序列
例
单符号信源如下,求二次扩展信源熵
x1 , x2 , x3 X P( X ) 1 , 1 , 1 2 4 4
扩展信源：
a1 a2 a3 a4 a5 a6 a 7 a8 a9 x1 x1 x1 x2 x1 x3 x2 x1 x2 x2 x2 x3 x3 x1 x3 x2 x3 x3 1 1 1 1 1 1 1 1 1 4 8 8 8 16 16 8 16 16
H ( X ) H ( X1 ) H ( X 2 X1 ) H( X3 X1 X 2
X1
)
X1 X 2 X N 1 )
) H ( X N
(2) 极限熵
平均符号熵：
1 HN （X ) H ( X 1 X 2 X N ) N
极限熵：
N
lim H N （X） H
H (Y
X Y
X
H (Y ) H ( XY ) H ( X ) Y
名称 符号
关系式
图示
X Y
H (Y ) H (Y X ) H ( XY ) H ( X ) X
条 件 熵
H (Y ) I ( X ; Y )
X ) H ( XY ) H (Y ) H ( Y H(X ) Y H ( X ) I ( X ;Y )
名称 符号
关系式
图示
I ( X ;Y ) H ( X ) H ( X ) Y 交 I ( X ;Y ) Y ) H ( Y ) H ( 互 X I (Y ; X ) H ( X ) H (Y ) H ( XY ) 熵 H ( XY ) H ( X ) H (Y ) Y X
H ( X ) p(ai ) log p(ai )
i 1
n2
p( xi1 xi2 ) log p( xi1 xi2 )
i1 1 i2 1
n n n xi2 p( xi1 xi2 ) log p( xi1 ) p( xi1 xi2 ) log p( ) x i1 i1 1 i2 1 i1 1 i2 1 n
X Y
名称
联 合 熵
符号
关系式
图示
X Y
H ( XY ) H ( X ) H (Y ) X H (Y ) H ( X ) Y H ( XY ) H ( X ) H (Y ) I ( X ; Y ) H ( X ) H (Y ) I ( X ; Y ) Y X
X 2 a1 2 P( X ) p(a1 ) a2 p(a 2 ) a3 p ( a3 ) a4 p(a 4 )
其中，X2表示二次扩展信源。这里，a1=00,a2=01,a3=10,a4=11。 且有 p(a ) p( x ) p( x ),i , i {1,2}
一般地
X H ( X ) H ( X1) H ( 2
X1 H ( X1 ) H ( X 2 )
)
例
原始信源：
x1 x2 x3 1 4 11 4 9 36
X1X2
x1
7 9 1 8
x2
2 9 3 4 2 11
条件概率：
x1 x2 x3
x3 0
1 8 9 11
2.2.2 离散平稳信源的熵
1. 定义
离散平稳信源 各维联合概率均与时间起点 无关的完全平稳信源。
对于随机变量序列 X=X1X2…XN,若任意两个不同时刻 i 和 j( 大于一维平稳信源 P(Xi=x1)=P(Xj= x1)=p(x1) P(Xi=x2)=P(Xj= x2)=p(x2) … P(Xi=xn)=P(Xj= xn)=p(xn)
（2）熵 N次扩展信源的熵按信息熵的定义为
H ( X N ) p(ai ) log2 p(ai )
XN
其单位为比特/符号序列。 H(XN)=H(X1X2…XN)=H(X1)+H(X2/X1)+H(X3/X1X2)+…+ H(XN/X1X2…XN-1) 由 于 无 记 忆 扩 展 信 源 的 各 Xi 之 间 是 彼 此 独 立 的 ， 且 各 个 H(Xi)=H(X),所以 H(XN)=H(X1 X2 …XN)= H(X1)+H(X2)+H(X3)+…+ H(XN)=NH(X)
n
n
p( xi1 ) log p( xi1 ) p( xi1 xi2 ) log p(
i1 1 i1 1 i2 1
n
n
n
xi2
xi1
)
X H ( X1 ) H ( 2
X1
)
当X1、X 2统计独立时 : X1
X2
X H( 2
X1
) H(X2)
H ( X ) H ( X1 ) H ( X 2 ) 2H ( X )
I ( X ; Y ) H ( X ) H ( X / Y ) H (Y ) H (Y / X ) H ( X ) H (Y ) H ( XY ) H ( XY ) H ( X ) H (Y / X ) H (Y ) H ( X / Y ) H (Y / X ) H (Y ) H(X /Y) H(X )
X N a1 , a2, , ai , , an N N P( X ) p(a1 ), p(a2 ),, p(ai ),, p(an N )
nN i 1

满足 p(ai ) 1
每个符号ai对应于某个有N个xi组成的序列。 在N次扩展信源XN中，符号序列构成的矢量其各分量之间是彼 1,2,, n 此统计独立的，即 p(ai ) p( xi1 ) p( xi2 ) p( xi N ), i1, i2 ,iN
•
如果H(X)<∞，则存在
N
H lim H N (X)，并且
N
H lim H N (X) lim H (X N /X1 X 2 ...X N -1 )
N
作业：2.17 2.18
2.17 某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4， P(1) = 3/4。 (1) 求符号的平均熵； (2) 有100个符号构成的序列，求某一特定序列（例如有m 个“0”和（100 - m）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。 2.18 设有一个信源，它产生0，1序列的信息。它在任意时间 而且不论以前发生过什么符号，均按P(0) = 0.4，P(1) = 0.6的 概率发出符号。 (1) 试问这个信源是否是平稳的？ (2) 试计算H(X2), H(X3/X1X2)及H∞； (3) 试计算H(X4)并写出X4信源中可能有的所有符号。