信息论习题解答
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第二章 信息量和熵
2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此
每个码字的信息量为 2⨯8log =2⨯3=6 bit 因此，信息速率为 6⨯1000=6000 bit/s
2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1}
)(a p =
366=6
1 得到的信息量 =)
(1
log
a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(
b p =
36
1 得到的信息量=)
(1
log
b p =36log =5.17 bit
2.4 经过充分洗牌后的一副扑克（52张），问：
(a) 任何一种特定的排列所给出的信息量是多少？
(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？
解：(a) )(a p =
!
521 信息量=)
(1
log
a p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选
种点数任意排列
13413!13
)(b p =13
52134!13A ⨯=1352
13
4C 信息量=13
13524log log -C =13.208 bit
2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z
表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、
)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，
21x x Y +=，321x x x Z ++=
)|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2⨯(
361log 36+362log 18+363log 12+364log 9+365log 536)+36
6
log 6 =3.2744 bit
)|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]
而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit
或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H
而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit
),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit
)|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit
2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概率错成另外
一个奇数，其余正确接收，求收到一个数字平均得到的信息量。
解：
8
,6,4,2,0=i √
);(Y X I =)(Y H -)|(X Y H
因为输入等概，由信道条件可知，
⎪⎪⎩
⎪⎪⎨
⎧
=++++====101)8181818121(101)(10
1)(为偶数为奇数i i y p i i y p 即输出等概，则)(Y H =log 10
)|(X Y H =)|(log )(i j j
j
i
i
x y p y
x p ∑∑
-
=)|(log )(i j j
i
j i x y p y
x p ∑∑-偶
-)|(log )(i j j i j i x y p y x p ∑∑奇
=0-)|(log )(i j j i j
i
x y p y
x p ∑∑奇
= -)|(log )|()(9
7,5,3,1i i i i
i i
x y p x y p x p ∑=，-)|(log )|()(9
7531i j j i i i j
i
x y p x y
p x p ∑
∑≠，，，，＝
=
101⨯21log 2⨯5+101⨯21⨯41
log 8⨯4⨯5 =4
3
41+=1 bit
);(Y X I =)(Y H -)|(X Y H =log 10 -1=log 5=2.3219 bit
2.11 令{821,,u u u ，⋯}为一等概消息集，各消息相应被编成下述二元码字 1u =0000，2u =0011，3u =0101，4u =0110，
5u =1001，6u =1010，7u =1100，8u =1111
通过转移概率为p 的BSC 传送。求：
(a)接收到的第一个数字0与1u 之间的互信息量。 (b)接收到的前二个数字00与1u 之间的互信息量。 (c)接收到的前三个数字000与1u 之间的互信息量。 (d)接收到的前四个数字0000与1u 之间的互信息量。 解：