信息论与编码第2章习题解答.doc

2.1设有12枚同值硬币，其中一枚为假币。只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现用比较天平

左右两边轻重的方法来测量（因无砝码）。为了在天平上称出哪一枚是假币，试问至少必须称多少次？ 解：分三组，每组4个，任意取两组称。会有两种情况，平衡，或不平衡。 (1) 平衡：

明确假币在其余的4个里面。从这4个里面任意取3个，并从其余8个好的里面也取3个称。又有 两种情况：平衡或不平衡。

a ）平衡：称一下那个剩下的就行了。

b ）不平衡：我们至少知道那组假币是轻还是重。

从这三个有假币的组里任意选两个称一下，又有两种情况：平衡与不平衡，不过我们已经知道假币的轻重情况了，自然的，不平衡直接就知道谁是假币；平衡的话，剩下的呢个自然是假币，并且我们也知道他是轻还是重。 (2) 不平衡：

假定已经确定该组里有假币时候：

推论1：在知道该组是轻还是重的时候，只称一次，能找出假币的话，那么这组的个数不超过3。 我们知道，只要我们知道了该组（3个）有假币，并且知道轻重，只要称一次就可以找出来假币了。

从不平衡的两组中，比如轻的一组里分为3和1表示为“轻（3）”和“轻（1）”，同样重的一组也是分成3和1标示为“重（3）”和“重（1）”。在从另外4个剩下的，也就是好的一组里取3个表示为“准（3）”。交叉组合为： 轻（3） + 重（1） ？=======？ 轻（1） + 准（3） 来称一下。又会有3种情况：

(1)左面轻：这说明假币一定在第一次称的时候的轻的一组，因为“重（1）”也出现在现在轻的一边，我们已经知道，假

币是轻的。那么假币在轻（3）里面，根据推论1，再称一次就可以了。 (2)右面轻：这里有两种可能：

“重（1）”是假币，它是重的，或者“轻（1）”是假币，它是轻的。这两种情况，任意 取这两个中的一个和一个真币称一下即可。

(3)平衡：假币在“重（3）”里面，而且是重的。根据推论也只要称一次即可。 2.2 同时扔一对骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“骰子面朝上之和是3和4”时，

试问这三种情况分别获得多少信息量？

解：设“两骰子面朝上点数之和为2”为事件A ，则在可能出现的36种可能中，只能个骰子都为1，这一种结果。即：

P （A ）=1/36，I （A ）= 2log P （A ）=2log 36≈5.17 比特

设“面朝上点数之和为8”为事件B ，则有五种可能：2、6；6、2；4、4；3、5；5、3；即：

P （B ）= 5/36，I （B ）= 2log P （B ）= 2log 36/5≈2.85 比特

设“骰子面朝上之和是3和4”为事件C ，则有两种可能：3、4；4、3；即：

P （C ）= 2/36，I （C ）= 2log P （C ）= 2log 36/2≈4.17 比特

2.3 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几？”则答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的排序） 解：（1）P ＝1/7 I ＝－Log 2P ＝－Log 27

（2）已知今天星期四，问明天是星期几？

即：明天是星期五是必然事件，不存在不确定性，I ＝0。

2.4地区的女孩中有25％是大学生，在女大学生中有75％是身高1.6米以上的，而女孩中身高1.6米以上的占半数一半。假

如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？

解：设A 为女大学生,B 为1.6米以上的女孩

则依题意有:1()4P A =

, 1()2P B =, 3(|)4

P B A = 133

()()(|)4416

P AB P A P B A ==⨯=g

()3

(|)()8

P AB P A B P B =

=

所以信息量为2

28

log 3log 33

=- 2.5一副充分洗乱了的牌（含52张牌），试问

(1) 任一特定排列所给出的信息量是多少？

(2) 若从中出去抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：（1）任一排列发生的概率为1/52!

I ＝log52!＝225.58 bit

（2）13张牌点数都不相同发生的概率为1/413

I ＝log413＝26 bit

2. 设离散无记忆信源⎥⎦⎤⎢⎣⎡)x (P X =⎥⎦

⎤⎢⎣⎡8/13a 4/12a 4/11a 8/30a 4321＝＝＝

＝,其发出的消息为（202120130213001203210110321010021032

011223210），求：

（1）此消息的自信息是多少？

（2）在此消息中平均每个符号携带的信息量是多少？

解：(1) 因为离散信源是无记忆的，所以起发出的消息序列中各符号是无依赖且统计独立的。因此，此消息的自信息就

为该消息中各符号自信息之和。

I （01=a ）= −log P （1a ） = −log 83

= 1.415 比特 I （12=a ）= − log P （2a ）= −log 41

=2比特

I （23=a ）= −log P （3a ）= −log 41

=2比特

I （34=a ）= −log P （4a ）= −log 8

1

=3比特

则此消息的自信息是：

I=14I （01=a ）+ 13I （12=a ）+12 I （23=a ）+ 6I （34=a ）

≈14⨯1.415+13⨯2+12⨯2+6⨯3 ≈87.81比特

(2)此消息中平均每个符号携带的信息量是： I 2=87.81÷45≈1.95比特/符号

2.7如有6行8列的棋型方格，若又二个质点A 和B ，分别以等概率落入任一方格内，他们的坐标分别为（XA,YA ）,(XB,YB),

但A.B 不能落入同一方格内。

（1）如仅有质点A ，求A 落入任一个格的平均自信息量是多少？ （2）若已知A 已落入，求B 落入的平均自信息量。

（3）若A,B 是可分辨的，求A,B 同都落入的平均自信息量。 解:(1) H(XA)=－

)(log )(24

1i

i i

a P a P ∑==log24

(2) H(XB/XA)=－

∑=q

i 1

)/(log )/()(1

i j q

j i j

i

a a P a a

P a P ∑=

=－24

23log )/(log )/()(1124

20

1

=∑=a a P a a

P a P j j

j

(3) H(XAXB)=－

∑=q

i 1

)(log )(1

j i q

j j

i

a a P a

a P ∑=