信息论与编码第二章答案

第二章信息的度量
2.1信源在何种分布时，熵值最大？又在何种分布时，熵值最小？
答：信源在等概率分布时熵值最大；信源有一个为 1,其余为0时熵值最小。

2.2平均互信息量l(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系? 答：
若信道给定，l(X;Y)是q(x)的上凸形函数； 若信源给定，l(X;Y)是q(y|x)的下凸形函数。

2.3熵是对信源什么物理量的度量?
答：平均信息量
2.4设信道输入符号集为｛x1,x2,……xk ｝，则平均每个信道输入符号所能携带的最大信息量是多少?
2.5根据平均互信息量的链规则，写出l(X;YZ)的表达式
答：I (X;YZ) I(X;Y) I(X;Z|Y)
2.6互信息量l(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？
答：互信息量l (x; y) log Q(xi 1 yj)，若互信息量取负值，即
Q(xi|yj)vq(xi)，说明事件yi 的出现告
q(xi)
知的是xi 出现的可能性更小了。

从通信角度看，视 xi 为发送符号，yi 为接收符号，Q(xi|yj)<q(xi)，
说明收到yi 后使发送是否为xi 的不确定性更大，这是由于信道干扰所引起的。

2.7 一个马尔可夫信源如图所示，求稳态下各状态的概率分布和信源熵。

答：H(X)
q(xi)log q(xi)
i
-log- k k
log k
答:
由图示可知：
3
1 P （X 1 |S o ） P （X
2 |S o ）
4
4
1 2
P （X 1 |S 1） - P （X 1 |S 1） -
3 3 1 3
P （X IS ） - P （X |S ） -
即:
1
P （S o |S 2）
P （S l |S 2） 0p （S 2 |S 2） 4
可得：
3 1
P （S o ） - P （S o ） - P （S 2）
4 4 1 1
P （S i ） -P （S o ） -P （S 1）
4 3 1 3
P （S 2）3 P （Sj 4P （S 2） P （S o ） P （Sj P （S 2）1
P （S o |S o ） 4p （s i |s o ） -P （S 2 | S o ） 0 4 p （S o ls ） OpGS ）
2
3 P （S 2 6）
P(S o)
4 11
得: P
（3）
P
（S2
）3 ii 4 11
H p(s°)[ p(s)IsJIog p(S o |S o) p(6 |s°)log p(s, |sJ]
P(S1)[ p(S11 s,) log P(S |S1) p(S2 |S1)Iog p(s? |sj]
p(S2)[ p(S o | S2) log p(S o | S ) p(S2 | S2) log p(S> | S2)] 0.25 (bit/ 符
号)
2 1
28 —个马尔可夫信源'已知：ExD 3，p（x2|xD尹（心2） 1皿2|瀚° 农线图，并求出信源熵。

答：
试画出它的香2
p(x1) - p(x1)
3
1 p(x2)
-p(x1) p(x2)
3 1
p(x1) 4，p(x2) 4
p(x1) p(x2) 1
H p(x1)[ p(x11 x1) log p(x11 x1) p(x21 x1) log p(x2 | x1)] P(x2)[p(x1|x2)log P(x1|x2)] 0.82(bit/ 符号)
X x “ x 2
2.9
(1)对于离散无记忆信源DMS [
] [ 1
2
]，试证明：
q(x) p 1 p
H(X) H 2(p) p log p (1 p)log(1 p)当 p=1/2 时，H(X)达到最大值。

(2) 对 (1 ) 中的 DMS ， 考虑它的二次扩展信源
X⑵｛(X 1,X 1),(X 1,X 2),(X 2,X 1),(X 2,X 2)｝，证明:H(X (2)
)
2H(X)
证明：(1)函数H(X) plogp (1 p)log(1 p 中的变量p 在0到1中取值,
从函数的结构上可以知道该函数在区间 H(X)‘ ( plog p (1 p) log(1 p))'
. 1 1 log p ln 2 ln 2(1
1 P
ln 2(1 p) ［0,1］上是关于p=1/2对称的函数。

P
在区间［0，0.5］上 1-p>p ，则(1-p )/p>1，所以 log^-p 0，在此区间上 H (x)‘>0, p
H(x)单调递增。

又该函数是在区间［0,1］上是关于p=1/2对称的函数，那么在区间 ［0.5,1］上单调递减。

ln 2(1 p)
log(1 p)
p)
1 In 2
.1 p log p
I 1 P log p 所以，H(X) H 2( p) plog p (1 p)log(1
p)当p=1/2时，H(X)达到最大值。

⑵二次扩展后的矩阵:
X ［q(X)］
X-j X-i
[2 p
x 1x 2 p(1 x 2x 1
p) p(1 p)
X 2X 2
(1
p)2] H ( X (2)
) 2
p log
2
p p (1
p ) log p (1 p ) log
p (1
p )
(1
p )2
log( 1
2 p log p 2 (1 p) log( 1
p )
p)2
p (1 2[ p log p (1 p ) log( 1 p )]
2.10 一副扑克牌(不用大小王)，试问
(1) 任意特定排列给出的信息量是多少？
(2) 从52张牌中抽取13张，所给出的点数都不相同时得到多少信息量？
(3) 从52张牌中任意抽取1张，然后放回，结果试为从 DMS 中取得样本，这 个
DMS 的熵为多少？
(4) 若(3)中不计颜色，熵又为多少？
1
解：(1) l(xi)=—炯 一 =225.6 (比特 /符号)
52!
413
52! (2) I(X i )=-炯(qj= -log( 4ir )=log(i)
O s?
4 *13!* 39!
1 1
(3) H(X)= N *H(X)=52*(-扩0g ( W)=log52=2*|og13=7・4( 比特/ 符号) 1
(4) H(x)= -log( - )=3.7(比特/ 符号)
13
2.11
(1) 一个无偏骰子，掷骰子的熵为多少？
(2) 如果骰子被改造使得某点出现的概率与其点数成正比，熵为多少？ (3) 一对无偏骰子，个掷一次，得到总点数为 7,问得到多少信息量?
解：(1) H(X)=-log(1/6)=2.58( 比特/ 符号)
H(X)=
12
2 3
3 4 4 5 5
*(iog
1)+2*(iog 2)+3伽 7)+7 *(iog 4)+ 5 *(iog 5))=2.o68(比特/
6 6
6 6
6
6
6 6
6
1 1
⑶ l(x i )= -log( —* —*3*2)= log6=2.585( 比特 / 符号)
6 6
2.12 一个盒子中放有100个球，其中60个是黑色，40个球是白色
(1) 随机摸取一个球，求获得的自信息量。

(2) 做放回摸取n 次，求这n 次所得到的平均互信息量。

1
解:(1) l(x i )= -log( — )= log100
100
⑵
-(1
符号)
⑵ I(x,y)=log100
2.13已知平均每100个人中有2个患有某种病，为了查明病情进行某项指标的 化验。

化验结果对病人总是阳性，而对于健康人来说，这项指标有一半可 能为阳性，一半可能为阴性。

问这项化验对查明病情提供了多少信息量 解：
病人：y1,健康人:y2
2.14 一个8元编码系统，码长为 4，每个码字的第一个字符相同（用于同步） ，若每秒产生 1000个
码字，求信息传输率 R t 。

答：信息传输率定义为 R t =H （ x ） /（t*n ）
其中，H （x ）=-二」logq （ X i ） 所以 R t =9*1000/4=2250 （ Bit/Sec ）
2.15 一副拼板，其中3块圆形，4块方形，5块三角形，随机排成一行，每一种排列都是等 可能的，
如果要求不能有 2块方形相邻，可以得到多少关于拼版排列的信息？
哲！ 7!诂！
弓
答：I （ X|Y ）= -log
!
=log-
3! *4! *5!
2.16设有一个传输系统，等概传输 0、1、2、3、4、5六个数字，奇数在传输时以 0.5的概
率错成其他奇数，偶数能正确接收，求此传输系统的平均互信息量。

Y W(Y)
(X 1|Y 1)
Pg) Pg) P(X 2丫2) Y1 Y2 1 49 50 50
1 ;
(Xj%) W") (X 1Y)
49
50
49
100
1 50
glY z ) H(Y|X)
p(X j Y j )log
(y j y i ) 0.056bit
i
j
1 1
答：由题意得：H (Y) = (-—log—) *6=log6=2.585 ( bit/符号)
6j 6
H (
Y|X ) =1
: P(xi) H(Y|x i)=0.75 (bit/符号)
I (X ; Y) =H (Y) -H (Y|X ) =2.585-0.75=1.835 ( bit/符号)
2.17等概信源消息集：uO, u1,…u7，编码为u0=000, u1=001,…u7=111，通过错误概率为p的二进制对称信道BSC传输，在接收u4=100的过程中，求：
(1)1与u4之间的互信息量；
(2)10与u4之间的互信息量；
3) 100与u4之间的互信息量。

PC1M)
答: (1)由I (1; u4)=log..;
又q(1)=：—P(1|u i)=5[4(1-p)+4p]=?
(1—p)
推出I (1; u4) =log =log2(1-p)
1/2
(2)同理，可得I (10 ; u4) =2log2(1-p)
(3)同理，可得I (100; u4) =3log2(1-p)
大值。

答: q k Ce Ak 1 A
1 ( )k时取得最大；
1 A 1 A 最大为：H m(U) k 1
q k log 1 Ak (LJ^
k0
k q k k0(1 A)k1 9 A k
2.19 X,Y,Z为概率空间，证明下述关系式成立，并给出等号成立的条件。

(1) H(YZ|X)v=H(Y|Z)+H(Z|X)
⑵ H(YZ|X)=H(Y|X)+H(Z|XY)
2.18 求出概率分布｛qk , k =0,1,2, …｝，使在限制条件k q k A下，熵达到最
⑶ H(X|Z)v=H(X|Y)+H(Y|Z) 证明：
P(X i Z k )log p(x | Z k )
i
P(X i y j )log p(X i |y j )
p(y j Zjog p(y j |Z k )
<=0
2.20对任意概率事件集X,Y,Z,证明下述三角不等式成立
H (X |Y) H (Y |Z) H (X |Z) H (XY) H(YZ) H(XZ)
答：H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y);
H(YZ)=H(Y)+H(Z|Y)=H(Z)+H(Y|Z); H(XZ)=H(Z)+H(Z|X)=H(Z)+H(X|Z);
将以上三式代入原式可证得：
H(X |Y) H (Y|Z) H(X |Z) H (XY) H (YZ) H (XZ)
2.21 令X Y Z 为马尔可夫链，证明:
(1)H(Y|Z)+H(Z|X)= i P(%Z j )log 1 ___ (y i I Z i )
P(ZX j )log i j
1_
(Z i |xj
P(y i Z j )log i j
(Z |
x)； (y | Z ) H(YZ|X) j
将其代入上式计算即可得原始成立； (2) : H(YZ|X)-(H(Y|Z)+H(Z|XY))= p(xy j Z k )log p(y j Z k |片)
k p(X i y j ZQlog p(y j4 |xj i j k p(X i y j ZQlog p(Z k |xy j )
i j k (3)：
H(X|Z)-H(X|Y)-H(Y|Z)
p(X j y j )log p(y j |xj i j
p(Xy j Zjog PW j "k
)
k
P(X i | y j ) P(X i |Z k )
(1) I(X;Z|Y)=O (2) I(XY;Z)=I(Y;Z) ⑶ I(Y;Z|X)=I(Y;Z)+I(X;Z) ⑷ I(Y;Z|X)v=I(Y;Z)
(说明：对本题的马尔可夫链了解不够，答案仅供参考 )
答：(1) I(X;Z|Y)=H(Z|Y)-H(Z|XY);
H(Z |Y)
p(Z k |y j )q(zjlog p(y 」|互)
j k
根据马尔可夫链
H (Z | XY)
p(Z k |X i y j )q(xy j )log 卩包|幼)
i j k
P(Z k |y j )q(Z i )log p(y j |Z k )
j k
因此：I (X;Z|Y )=0;
(2)由(1)同理可得：l(XY;Z)=l(Y;Z);
⑶根据(1)( 2)可得：l(Y;Z|X)=l(Y;Z)+l(X;Z);
答：二次扩张后，可以将信源记为如下形式:
H(x) q(x)logq(x)
X
二由以上的扩张后的信源我们可以得到: H 2(X ) q X
q(x)log q(x);
因此： H (x ) = H 2(P) =
P
2.23 应用熵与互信息的链规则证明:
n n
I(X;Y)=
I(X i ; y j |X 1 Y 1
) o
答:
H(Y;Z|X) I(XY;Z)
I(Y;Z) I(Y;Z)
X
2.22 证明概率分布
q x
I(X;Z)
X 1
x ...
x i
p p(1 p)... p(1 p)i 1
的熵为H (x )
=H 2(P) —
o
P
X 2 X 1(M X 2 q 2(x
)
p p
p p(1 p)
X p (1 p)i
p(y|x)
0.76 0.24
传输，求：
0.32 0.68
(1)该系统的平均互信息量
⑵接收到y=0后，所提供的关于x 的平均互信息量I{X ； 0}
答：
(1)由 l(X;Y) H(Y) H(Y X)
设信宿符号接收概率分别为 q 0和q 1
1 丄]0.76 0.24
[0.54 0.46] 2 2 0.32 0.68
H (Y) H (0.54,0.46)
0.9954 bit/符号
1
1
⑵ H(YX)
P i H(Yi) - H(0.76,0.24) H (0.32,0.68) 0.8497bit/符号
i 0 2
[q 。

q i ] [P o
0.76 0.24
0.32 0.68
从而I (X ;Y) H(Y) H(Y X) 0.9954-0.8497=0.146bit/ 符号
2.25传输系统的输入符号集X={x0,x1,x2,x3},输出符号集Y={yO , 入符
号与输出符号的联合概率 p(x y)用下述矩阵表示
y 。

Y 1 Y 2
7
0.1
0 0.2 0.1
x j
p(xy)
0 0.3 0.2 X 3
0.1
计算H(X),H(Y),H(Y|X),H(X Y) 及l(X;Y),并与维拉图对照。

答：
R 0.3 0.4 0.3及转移概率矩阵P x
H(X) H(0.1,0.3,0.5,0.1) 1.685 bit/符号
H (Y) H (0.3,0.4,0.3) 1.571 bit/符号
0.3H(2
」)0.5H(3,2
) 0.761bit/ 符号
3 3 5 5
H(XY) H(X) H(Y X) 1.685 0.761 2.446bit/2 符号
y1, y2｝，输
由联合概率分布可求得X 和Y 的
维概率分布P X 0.1 0.3 0.5 0.1
H(YX)
2 1
X
P(
X )H(Y X
) O.IHd,。

,。

)。

旳茁
0)
3 2
0.5H( , ,0) 5 5
0.1H(0,0,1)。