信息论第二章答案

2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；

(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。 解： (1)

bit x p x I x p i i i 170.418

1

log )(log )(181

61616161)(=-=-==

⨯+⨯=

(2)

bit x p x I x p i i i 170.536

1

log

)(log )(361

6161)(=-=-==

⨯=

(3)两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66

共有21种组合：

其中11，22，33，44，55，66的概率是36

16161=⨯ 其他15个组合的概率是18

161612=⨯⨯

symbol bit x p x p X H i

i i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛

⨯+⨯-=-=∑

(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：

symbol

bit x p x p X H X P X i

i i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 36

12 )

(log )()(36112181111211091936586173656915121418133612)(=⎪

⎭⎫ ⎝⎛

+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨

⎧=⎥⎦⎤⎢⎣⎡∑(5)

bit x p x I x p i i i 710.136

11

log

)(log )(3611116161)(=-=-==

⨯⨯=

2-4

2.6 掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？当小圆点之和是7时，该消息所包含的信息量又是多少？ 解：

1）因圆点之和为3的概率1()(1,2)(2,1)18

p x p p =+=

该消息自信息量()log ()log18 4.170I x p x bit =-== 2）因圆点之和为7的概率

1()(1,6)(6,1)(2,5)(5,2)(3,4)(4,3)6

p x p p p p p p =+++++=

该消息自信息量()log ()log6 2.585I x p x bit =-==

2.7 设有一离散无记忆信源，其概率空间为123401233/81/41/41/8X x x x x P ====⎛⎫⎛⎫=

⎪ ⎪⎝⎭⎝⎭

（1）求每个符号的自信息量

（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量 解：12

2118

()log log 1.415()3

I x bit p x === 同理可以求得233()2,()2,()3I x bit I x bit I x bit ===

因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：123414()13()12()6()87.81I I x I x I x I x bit =+++= 平均每个符号携带的信息量为

87.81

1.9545

=bit/符号 2-9 “－” 用三个脉冲 “●”用一个脉冲

(1) I(●)=Log 4()2= I(－)＝Log 43⎛ ⎝⎫⎪⎭

0.415=

(2) H= 14

Log 4()34

Log 43⎛

⎝⎫

⎪⎭

+

0.811=

2-10

(2) P(黑/黑)= P(白/黑)=

H(Y/黑)=

(3) P(黑/白)= P(白/白)=

H(Y/白)=

(4) P(黑)= P(白)=

H(Y)=

2.11 有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中

有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。

（1）如果仅对颜色感兴趣，则计算平均不确定度

（2）如果仅对颜色和数字感兴趣，则计算平均不确定度 （3）如果颜色已知时，则计算条件熵

解：令X 表示指针指向某一数字，则X={1,2, (38)

Y 表示指针指向某一种颜色，则Y={l 绿色，红色，黑色} Y 是X 的函数，由题意可知()()i j i p x y p x =

（1）3

1

12381838

()()log

log 2log 1.24()3823818

j j j H Y p y p y ==

=+⨯=∑bit/符号 （2）2(,)()log 38 5.25H X Y H X ===bit/符号

（3）(|)(,)()()() 5.25 1.24 4.01H X Y H X Y H Y H X H Y =-=-=-=bit/符号 2.12 两个实验X 和Y ，X={x 1 x 2 x 3},Y={y 1 y 2 y 3},l 联合概率(),i j ij r x y r =为

1112

132122233132337/241/2401/241/41/2401/247/24r r r r r r r

r r ⎛⎫⎛⎫

⎪ ⎪= ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭

（1） 如果有人告诉你X 和Y 的实验结果，你得到的平均信息量是多少？

（2） 如果有人告诉你Y 的实验结果，你得到的平均信息量是多少？

（3） 在已知Y 实验结果的情况下，告诉你X 的实验结果，你得到的平均信息量是多少？ 解：联合概率(,)i j p x y 为