信息论基础试题

通信02级信息论基础试题

姓名班级学号（100分钟）

一填空题（20分）

1、信息论是应用近代数理统计方法研究信息的传输、存储与处理的科学，故称为 1 ；1948年香农在贝尔杂志上发表了两篇有关的“通信的数学理论”文章，该文用 2 对信源的不确定性的度量，是衡量信息量大小的一个尺度；用 3 来度量两事件的依赖程度，表现在通信领域就是输入和输出两事件的相互的信息量，若把它取最大值，就是通信线路的 4 。

2、信源的 5 是衡量信源的有效性，是无失真压缩的理论基础，它告诉了无失真压缩的极限，我们可以通过 6 减少信源的剩余度，形成新的信源来传输，而使新信源接近7 ，这样新信源的消息通过信道的信息传输率接近最大值，剩余率接近于零，提高通信的有效性。

3、8 是信源在允许失真的条件下，信源熵所能压缩的极限，是限失真压缩的理论基础，它给出了在指定的9 条件下，信源熵H(X)所能压缩的10 ，但没有给出具体的压缩方法。

二计算题（共60分）

1、有两个二元随机变量X和Y，它们的联合概率为：（15分）

X

Y x1=0 x2=1

y1=0 1/8 3/8

y2=1 3/8 1/8

求H(X)、H(XY)、H(Y/X)、I(X;Y)

2、每帧电视图像可以认为是由300000个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，（15分）1）问每帧图像含有多少信息量？

2）若有一个广播员，在常用的8192个汉字中来口述此电视图像（假设汉字字汇是等概率分布，并彼此无依赖），至少需要多少汉字？

3）你对第二问的结果想到了什么？

3、离散无记忆信源P(x1)=1/2；P(x2)=1/4；P(x3)=1/8；P(x4)=1/8；（15分）

(1) 计算对信源的逐个符号进行二元定长编码码长和编码效率；

(2) 对信源编二进制哈夫曼码，并计算平均码长和编码效率。

(3) 你做出一个结论。

4、设一个二元对称信道，其信道矩阵P为：

0.98 0.02

P=

0.02 0.98

现有一消息序列共有15000个符号，并设在这消息中P(0)=P(1)=1/2，要求10秒内无失真传送完，问该信道至少要以每秒多少个二元符号传输输入符号。（15分）

三用信息论的理论简单解释下列现象（20分）

1 选派中南大学的100m冠军参加奥运会100m决赛对比赛结果无任何影响。《摘自笑话与幽默》

2 一个最古老的问题：已知12个球中有一个球的重量与其它球不同，其它球均等重。用无砝码的天平至少须称3次才能找出此球。

3 【日经BP社报道】在MPEG-4规格里，“MPEG-

4 Advanced Video Codec（A VC）”压缩率可以超过200倍，最高可达400倍，而仍然保有极佳的音质和画质。

4 中新网3月23日电据路透社报道，美国联邦法院今天裁决：特莉·夏沃的进食管已于18日被移除，即被执行安乐死。法院今日的裁决意味着，这名因心脏病而导致脑部瘫痪，卧床15年之久的美国植物人走到了生命的尽头。