信息论第二章答案(南邮研究生作业)

2-1 同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求：

(1)“3和5同时出现”这事件的自信息量。 (2)“两个1同时出现”这事件的自信息量。

(3)两个点数的各种组合（无序对）的熵或平均信息量。 (4)两个点数之和（即2，3，…，12构成的子集）的熵。 (5)两个点数中至少有一个是1的自信息。

解：

(1)

bit

x p x I x p i i i 170.418

1

log )(log )(18

1

61616161)(=-=-==

⨯+⨯=

(2)

bit x p x I x p i i i 170.536

1

log

)(log )(361

6161)(=-=-==

⨯=

(3)

两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66

共有21种组合：

其中11，22，33，44，55，66的概率是36

16161=⨯ 其他15个组合的概率是18

161612=⨯⨯

symbol bit x p x p X H i

i i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛

⨯+⨯-=-=∑

(4)

参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：

symbol

bit x p x p X H X P X i

i i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 36

12 )

(log )()(36112181111211091936586173656915121418133612)(=⎪

⎭⎫ ⎝⎛

+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨

⎧=⎥⎦⎤⎢⎣⎡∑(5)

bit

x p x I x p i i i 710.136

11

log )(log )(36

11

116161)(=-=-==

⨯⨯=

2-2 设有一离散无记忆信源，其概率空间为

[]⎥⎦

⎤⎢⎣⎡=====8/14/14/18/332104321

x x x x P X

（1） 求每个符号的自信息量；

（2） 若信源发出一消息符号序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)，求该消息序列的自信息量及平均每个符号携带的信息量。 解：12

2118

()log log 1.415()3

I x bit p x === 同理可以求得233()2,()2,()3I x bit I x bit I x bit ===

因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：123414()13()12()6()87.81I I x I x I x I x bit =+++= 平均每个符号携带的信息量为

87.81

1.9545

=bit/符号

2-3 有一个可旋转的圆盘，盘面上被均匀地分成38份，用1，2，…，38数字标示，其中有

2份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上指针指向某一数字和颜色。 (1) 若仅对颜色感兴趣，计算平均不确定度； (2) 若仅对颜色和数字都感兴趣，计算平均不确定度； (3) 如果颜色已知时，计算条件熵。

解：令X 表示指针指向某一数字，则X={1,2, (38)

Y 表示指针指向某一种颜色，则Y={l 绿色，红色，黑色} Y 是X 的函数，由题意可知()()i j i p x y p x =

（1）3

1

12381838

()()log

log 2log 1.24()3823818

j j j H Y p y p y ==

=+⨯=∑bit/符号 （2）2(,)()log 38 5.25H X Y H X ===bit/符号

（3）(|)(,)()()() 5.25 1.24 4.01H X Y H X Y H Y H X H Y =-=-=-=bit/符号

2-4 有两个二元随机变量X 和Y ，它们的联合概率如表所示。并定义另一随机变量Z ＝XY （一

般乘积）。试计算：

(1)H (X )、H (Y )、H (Z)、H (X Z)、H (Y Z)和H (XY Z)。 (2)H (X /Y )、H (Y /X )、H (X /Z)、H (Z/X )、H (Y /Z)、H (Z/Y )、H (X /Y Z)、H (Y /X Z)和H (Z/XY )。 (3)I(X ;Y )、I(X ;Z)、I(Y ;Z)、I(X ;Y /Z)、I(Y ;Z/X )和I(X ;Z/Y )。 解： (1)

symbol

bit y p y p Y H y x p y x p y p y x p y x p y p symbol

bit x p x p X H y x p y x p x p y x p y x p x p j

j j i

i i / 1)(log )()(2

1

8183)()()(21

8381)()()(/ 1)(log )()(2

1

8183)()()(21

8381)()()(22212121112212221111=-==

+=+==

+=+==-==

+=+==

+=+=∑∑

Z = XY 的概率分布如下：

symbol

bit z p Z H z z Z P Z k

k / 544.081log 8187log 87

)()(818710)(2

21=⎪⎭⎫ ⎝⎛+-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧===⎥

⎦⎤⎢⎣⎡∑