第三版信息论答案

【】设有 12 枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪一枚是假币，试问至少必须称多少次？

解：从信息论的角度看，

“12 枚硬币中，某一枚为假币”该事件发生的概率为P 1

；12

“假币的重量比真的轻，或重”该事件发生的概率为P 1

；2

为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因此有

I log12log

2

log 24 比特

而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为P 1 ，因此天

3

平每一次消除的不确定性为

I

log 3 比特

因此，必须称的次数为

I

1

log

24

I

2

log

3

次

因此，至少需称 3 次。

【延伸】如何测量？分 3 堆，每堆 4 枚，经过 3 次测量能否测出哪一枚为假币。【】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”或“面朝上点数之

和为 8”或“两骰子面朝上点数是 3 和 4”时，试问这三种情况分别获得多少信息量？

解：

“两骰子总点数之和为 2”有一种可能，即两骰子的点数各为 1，由于二者是独立的，

因此该种情况发生的概率为P

1 1

6 6

1

，该事件的信息量为：36

I log 36比特

“两骰子总点数之和为 8”共有如下可能：2 和 6、3 和 5、4 和 4、5 和 3、6 和2，概

率为P 1 1 5

6 6

5

，因此该事件的信息量为：36

I log

36

5

比特

“两骰子面朝上点数是 3 和 4”的可能性有两种：3 和 4、4 和 3，概率为P

因此该事件的信息量为：1 1

2

1

，6 6 18

I log18比特

【】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？”则答案中含有

多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的顺序）？

解：

如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为

P 1

，因此此时从答案中获得的信息量为

7

I log 7比特

而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为1，此时获得

的信息量为0 比

特。

【】居住某地区的女孩中有 25%是大学生，在女大学生中有 75%是身高米以上的，而女孩中身高米以上的占总数一半。假如我们得知“身高米以上的某女孩是大学生”的消息，问获得多少信息量？

解：

设 A 表示女孩是大学生，

；

P( A)

B 表示女孩身高米以上，P( B | A)，P( B)

“身高米以上的某女孩是大学生”的发生概率为

P( A | B)P( AB)P( A) P(B |

A)

P( B)P( B)

已知该事件所能获得的信息量为

I log1比特

X 【】设离散无记忆信源a

1

0 a

2

1 a

3

2 a

43

，其发出的消息为

P( x) 3 /

81/

4

1 /

4

1/ 8

（202032），求

（1）此消息的自信息是多少？

（2）在此消息中平均每个符号携带的信息量是多

少？解：

信源是无记忆的，因此，发出的各消息之间是互相独立的，此时发出的消息的自信息即为各消息的自信息之和。根据已知条件，发出各消息所包含的信息量分别为：

I (a

I (a

1

I (a

2

I (a

30) log

8

3

1) log

4

2) log

4

3) log

8

比特

2 比特

2 比特

3 比特

在发出的消息中，共有 14 个“0”符号，13 个“1”符号，12 个“2”符号，6 个“3”

符号，则得到消息的自信息为：

I 1413

212 2 6

3

比特

45 个符号共携带比特的信息量，平均每个符号携带的信息量为

I

45

比特/符号

注意：消息中平均每个符号携带的信息量有别于离散平均无记忆信源平均每个符号携带的信息量，后者是信息熵，可计算得

H ( X )P( x) log

P( x)

比特/符号

【】如有 6 行 8 列的棋型方格，若有二个质点 A 和 B ，分别以等概率落入任一方格内，

且它们的坐标分别为（X A ,Y A ）和（X B ,Y B ），但 A 和 B 不能落入同一方格内。

（1） 若仅有质点 A ，求 A 落入任一个格的平均自信息量是多少？

（2） 若已知 A 已落入，求 B 落入的平均自信息量。

（3） 若 A 、B 是可分辨的，求 A 、B 同都落入的平均自信息量。 解：

（1）求质点 A 落入任一格的平均自信息量，即求信息熵，首先得出质点 A 落入任一

格的概率空间为：

X a 1 a 2 a 3 L a 48 1

P

48 1

1

L

1 48 48

48

平均自信息量为

H ( A ) log

48

比特/符号

（2）已知质点 A 已落入，求 B 落入的平均自信息量，即求 H ( B | A ) 。

1

A 已落入，

B 落入的格可能有 47 个，条件概率 P (b j | a i ) 均为

47

。平均自信息量为

H ( B | A )

48 47

i 1 j 1

P (a i )P (b j | a i ) log P (b j | a i )

log 47

比特/符号

（3）质点 A 和 B 同时落入的平均自信息量为

H ( AB ) H ( A ) H (B | A )