信息论习题答案

《信息理论与编码》习题参考答案

第1章

1. 信息是什么?信息与消息有什么区别和联系?

答：信息是对事物存在和运动过程中的不确定性的描述。信息就是各种消息符号所包含的具有特定意义的抽象内容，而消息是信息这一抽象内容通过语言、文字、图像和数据等的具体表现形式。

2. 语法信息、语义信息和语用信息的定义是什么？三者的关系是什么？

答：语法信息是最基本最抽象的类型，它只是表现事物的现象而不考虑信息的内涵。语义信息是对客观现象的具体描述，不对现象本身做出优劣判断。语用信息是信息的最高层次。它以语法、语义信息为基础，不仅要考虑状态和状态之间关系以及它们的含义，还要进一步考察这种关系及含义对于信息使用者的效用和价值。三者之间是内涵与外延的关系。

第2章

1. 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量？

答：依据题意，这一随机事件的概率空间为

120.80.2X x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦

其中：

1

x 表示摸出的球为红球事件，

2

x 表示摸出的球是白球事件。

a)如果摸出的是红球，则获得的信息量是

()()11log log0.8

I x p x =-=-（比特）

b)如果摸出的是白球，则获得的信息量是

()()22log log0.2

I x p x =-=-（比特）

c) 如果每次摸出一个球后又放回袋中，再进行下一次摸取。则如此摸取n 次，红球出现的次数为

()

1np x 次，白球出现的次数为

()

2np x 次。随机摸取n 次后总共所获得信息量为

()()()()

1122np x I x np x I x +

d)则平均随机摸取一次所获得的信息量为

()()()()()()()()()112211221

log log 0.72 H X np x I x np x I x n

p x p x p x p x =+⎡⎤⎣⎦=-+⎡⎤⎣⎦=比特/次

2. 居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？

答：设事件A 为女孩是大学生；设事件B 为女孩身高1.6米以上。

根据题意，则知：

()0.25P A = ()0.50P B = ()0.75P B A =

而“身高1.6米以上的某女孩是大学生”这消息表明是在B 事件发生的条件下，A 事件发 生。所以其概率为()

P A B

根据贝叶斯定律可得

()()()

()()0.250.75

0.3750.5

P A P B A P AB P A B P B P B ⨯=

=

=

=

则得知“身高1.6米以上的某女孩是大学生”这消息，能获得的信息量

()()log log0.375 1.415I A B P A B =-==-≈（比特）

3. 设一个系统传送10个数字：0,1,2,…,9。奇数在以0.5的概率传送时，接收端有可能错误地判断成为另外的奇数，而其他数字完全正确地接收。求收到一个数字后平均得到的信息量？

答：发送集合{}0,1,,9,X =…接收集合{}0,1,,9,Y =…

其中 ()()1

0,2,4,6,810

p y i i ==

=

因为

()()

()()

1,1,3,5,7,981

,1,3,5,7,9

2p y i x j i j i j p y i x j i j i j ===

=≠===

==

所以

()()(),1(),1,3,5,7,910

i j

p y i p x j p y i x j i j ======

=∑

最后得：

()()()9

log log10 3.232i H Y p y i p y i ==-====∑（比特/符号）

4. 某一无记忆信源的符号集为{0,1}，已知信源的概率空间为013

144X P ⎡⎤⎡⎤⎢

⎥=⎢⎥⎢

⎥⎣⎦⎣⎦

。 (1) 求信源熵。

(2) 求由m 个“0”和(100-m )个“l ”构成的某一特定序列的自信息量的表达式。 (3) 计算由100个符号构成的符号序列的熵。 答：

（1）信源熵为

()134

log 4log 0.8113 443

H X =+=比特/符号

（2）该特定序列用A 表示则

()()

10013log 4441.5 1.585 (bit)

m

m I m -⎛⎫⎛⎫=- ⎪ ⎪

⎝⎭⎝⎭

≈+A （3）因为信源是无记忆信源，所以

()()10010081.13 H X H X ==比特/符号序列

5. 有一离散无记忆信源，其输出为{}0,1,2X ∈，相应的概率为01/4p =，11/4p =，21/2p =，设计两个独立实验去观察它，其结果分别为{}10,1Y ∈，{}20,1Y ∈。

已知条件概率如表2-4所示。

(1) 求()1;I X Y 和()2;I X Y ，并判断作哪一个实验好些。

(2) 求()12;,I X Y Y ，并计算作Y 1和Y 2两个实验比作Y 1或Y 2中的一个实验各可多得多少关于X 的信息。

(3) 求()12;I X Y Y 和()21;I X Y Y ，并解释它们的含义。 答：

（1）()()()

111;=I X Y H Y H Y X -，要求()1H Y 和()

1H Y X 需要先求()1P Y ，()1P XY ，

()1P Y X 已知。

()()()222;=I X Y H Y H Y X -，

要求()2H Y 和()2H Y X 需要先求()2P Y ，()2P XY ，()2P Y X 已知。

由()()()

11P XY P X P Y X =及联合概率分布与边缘概率分布的关系可得()1P XY 及()1P Y ，如表2-1所示：

表2-1