信息论与编码_习题集五邑大学

期中习题

1、 同时掷两个均匀的骰子，也就是各面呈现的概率都是1/6，求：

(1) 事件“3 和5 同时出现”的自信息量；

(2) 事件“两个l 同时出现”的自信息量；

(3) 两个点数之和(即2，3，?，12 构成的子集)的熵；

(4) 事件“两个骰子点数中至少有一个是1”的自信息量。

2、某一无记忆信源的符号集为{0，1}，已知p (0) =1/ 4,p (1) = 3/ 4。

(1) 求信源的熵。

(2) 由100 个符号构成的序列，求某一特定的序列(例如有m 个“0”和100 ?m 个“1”)的自信息量的表达式。

(3) 计算(2)中的序列的熵。

3、在一个二进制的信道中，信源消息集X={0，1}且p(1)=p(0)，信宿的消息集Y={0，1}， 信道传输概率p (y =1| x =0)=1/4， p (y =0 | x =1)=1/8。求：

(1) 在接收端收到y=0 后，所提供的关于传输消息x 的平均条件互信息I(X ；y=0)；

(2) 该情况下所能提供的平均互信息量I(X ；Y)。

4、

5、

6、

7、已知二元信源01()1X p x p p ⎡⎤⎡⎤=⎢⎥⎢⎥-⎣⎦⎢⎥⎣⎦以及失真矩阵0110ij d ⎡⎤⎡⎤=⎢⎥⎣⎦⎢⎥⎣⎦

，求（1）min D ；（2）max D ；（3）()R D 。

答案：

1、

2、

3、

4、

5、

（2）

（3）

6、

7、解：（1）min *00*(1)0D p p =+-=； 达到min D 的信道为一个一一对应的无噪信道，所以 (0)(;)()()R I U V H U H p ===

（2）最大允许失真度为max min ()(,)min(,(1))v ij D p u d u v p p ==-∑ 如果max 1/2,p D p <=

如果max 1/2,1p D p >=-

（3）因为二源对称信源，所以

()()()0R D H p H D D p =-≤≤