信息论与编码第三版一二章练习与答案

1-3 （5分）请简述一个通信系统中包括的各主要功能模块及其作用。

一般的通信系统模型如上图所示。一个通信系统的主要功能模块包括信源、信道、信宿、信源编码、信道编码等。各功能模块的作用分别为：

1)信源：信源是产生消息的源，消息是信息的载体。

2)信宿：信宿是消息传送的对象。

3)信道：信道是信号从信源传送到信宿的通路。

4)干扰源：整个通信系统中各种干扰的集中反映。

5)信源编码：压缩冗余度，提高通信系统传输消息的效率。

6)信道编码：提高信息传输的可靠性。

7)加密编码：提高通信的安全性。

8)解码（译码）：是编码的逆过程，译码有信源译码、信道译码、解密译码。

2-2（10分）由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。画出状态图，并计算各状态的稳态概率。

解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p ==

(0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==

于是可以列出转移概率矩阵：0.80.20

0000.50.50.50.500000.20.8p ⎛⎫ ⎪

⎪= ⎪ ⎪⎝⎭

状态图为：

设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有

41

1i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 131

132

24324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到123451417175

14W W W W ⎧=⎪⎪

⎪=⎪⎨

⎪=⎪⎪⎪=

⎩

2-6 （5分）掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？

当小圆点之和是7时，该消息所包含的信息量又是多少？

解：1）因圆点之和为3的概率1

()(1,2)(2,1)18

p x p p =+=

该消息自信息量()log ()log18 4.170I x p x bit =-==

2）因圆点之和为7的概率

1()(1,6)(6,1)(2,5)(5,2)(3,4)(4,3)6

p x p p p p p p =+++++=

该消息自信息量()log ()log6 2.585I x p x bit =-==

2-7（5分） 设有一离散无记忆信源，其概率空间为123401233/81/41/41/8X x x x x P ====⎛⎫⎛⎫

= ⎪ ⎪⎝⎭⎝⎭

（1）求每个符号的自信息量

（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021

032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量

解：12

2118

()log log 1.415()3

I x bit p x === 同理可以求得233()2,()2,()3I x bit I x bit I x bit ===

因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：123414()13()12()6()87.81I I x I x I x I x bit =+++= 平均每个符号携带的信息量为

87.81

1.9545

=bit/符号 2-12 （10分）两个实验X 和Y ，X={x 1 x 2 x 3},Y={y 1 y 2 y 3},l 联合概率(),i j ij r x y r =为

1112132122233132337/241/2401/241/41/2401/247/24r r r r r r r

r r ⎛⎫⎛⎫

⎪ ⎪= ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭

（1） 如果有人告诉你X 和Y 的实验结果，你得到的平均信息量是多少？

（2） 如果有人告诉你Y 的实验结果，你得到的平均信息量是多少？

（3） 在已知Y 实验结果的情况下，告诉你X 的实验结果，你得到的平均信息量是多少？ 解：联合概率(,)i j p x y 及X 、Y 的边缘分布为

2

2221

(,)(,)log (,)72411

2log 4log 24log 4247244

i j i j ij H X Y p x y p x y ==⨯

+⨯+∑

22272411

2log 4log 24log 4247244

=⨯

+⨯+

=2.3bit/符号

21

()3log 3 1.583

H Y =⨯=bit/符号

(|)(,)() 2.3 1.58H X Y H X Y H Y =-=- =0.72bit/符号

2-14（15分）在一个二进制信道中，信源消息X ∈{0,1}，且p(1)=p(0)，信宿的消息Y ∈{0,1}， 信道传输概率p(y=1|x=0)=1/4，p(y=0|x=1)=1/8。求：

(1)在接收端收到y=0后，所提供的关于传输消息x 的平均条件互信息量I(X ；y=0)。 (2)该情况所能提供的平均互信息量I(X ；Y)。 解：

已知X 的先验概率分布为p(x=1)=p(x=0)=1/2, 及条件概率p(y=1|x=0)=1/4，p(y=0|x=1)=1/8。

根据联合概率公式p(x,y)=p(x) p(y|x)及全概率公式 p(y)=∑p(x i ) p(y|x i )i 。

可得联合概率p(x i ,y j )及X 、Y 的边缘分布为

由条件概率公式可得

p(x=0|y=0)= p(x=0,y=0)p(y=0)=6

7 , p(x=1|y=0)= p(x=1,y=0)p(y=0)=1

7 p(x=0|y=1)=

p(x=0,y=1)p(y=1)=29

, p(x=1|y=1)=

p(x=1,y=1)p(y=1)=79

平均条件互信息I(X;y=0)=p(x 0| y 0)I(x 0; y 0)+ p(x 1| y 0)I(x 1; y 0)

= p(x 0| y 0)log

p(x0| y0)p(x0)+ p(x 1| y 0)log

p(x1| y0)p(x1)

=67

log 6/7

1/2+1

7log 1/7

1/2=0.408 bit/符号

(2) 平均互信息)

()|(log

)();(i j i i

j

j i x p y x p y x p Y X I ∑∑=

=38

log 6/71/2+116log 1/71/2+18

log 2/9

1/2+7

16log 7/9

1/2

=0.311 bit/符号