信息论习题集

信息论习题集

一、填空题

1、人们研究信息论的目的是为了高效、可靠安全地交换和利用各种

各样的信息。

2、单符号离散信源输出的消息一般用随机变量描述，而符号序列离散信源输出

的消息一般用随机矢量描述。

3、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。

4、连续信源或模拟信号的信源编码的理论基础是限失真信源编码定理。

5、必然事件的自信息是 0 ，不可能事件的自信息量是∞。

6、信道的输出仅与信道当前的输入有关，而与过去输入无关的信道称为

无记忆信道。

d，则可以纠正任意小于等于t= -1 7、若纠错码的最小距离为{ EMBED Equation.3 |min

个差错。

8、必然事件的自信息量是 0 ，不可能事件的自信息量是∞。

9、一信源有五种符号{a，b，c，d，e}，先验概率分别为=0.5，=0.25，=0.125，==0.0625。

符号“a”的自信息量为__1__bit，此信源的熵为____1.875____bit/符号。

10、已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出 2 个码元

错误，最多能纠正 1 个码元错误。

11、克劳夫特不等式是唯一可译码存在的充要条件。{00，01，10，11}

是否是唯一可译码？是。

12、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。

13、对于离散无记忆信源，当信源熵有最大值时，满足条件为信源符号等

概分布。

二、选择题

1、下面哪一项不属于最简单的通信系统模型：（B）

A．信源B．加密C．信道D．信宿

2、信道编码的目的是（ B ）。

A 提高通信系统的可靠性

B 提高通信系统的有效性

C 提高通信系统的保密性

D 提高通信系统的实时性

3、给定x i条件下随机事件y j所包含的不确定度和条件自信息量I(y j /x i)，（ C ）

A数量上不等，含义不同 B 数量上不等，含义相同

C 数量上相等，含义不同

D 数量上相等，含义相同

4、下面哪一项不是增加信道容量的途径：（D）

A 减小信道噪声功率

B 增大信号功率

C 增加码长

D 增加带宽

5、平均互信息量 I(X;Y)与信源熵和条件熵之间的关系是（ A ）。

A B

C D

6、克劳夫特不等式是___A______的充要条件。

A判断唯一可译码 B 判断即时码

C判断即时码存在与否 D 判断唯一可译码存在与否

7、一个珍珠养殖场收获240颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有

微小差异的假珠换掉1 颗。一人随手取出3 颗，经测量恰好找出了假珠，不巧假珠又滑落进去，

那人找了许久却未找到，但另一人说他用天平最多6 次能找出，结果确是如此，这一事件给出的

信息量（ A ）。

A 0bit

B log6bit

C 6bit

D log240bit

8、率失真函数的下限为（ B ）。

A H(U)

B 0

C I(U; V)

D 没有下限

9、下面哪一项不属于熵的性质：（ D ）

A 非负性

B 确定性

C 对称性

D 完备性

10、香农编码方法是根据（A）推导出来的。

A 香农第一极限定理

B 香农第二极限定理

C 香农第三极限定理

D 香农第四极限定理

11、线性分组码不具有的性质是（ C ）。

A 任意多个码字的线性组合仍是码字

B 最小汉明距离等于最小非0重量

C 最小汉明距离为3

D 任一码字和其校验矩阵的乘积

12、率失真函数的下限为（ B ）。

A H(U)

B 0

C I(U; V)

D 没有下限

13、纠错编码中，下列哪种措施不能减小差错概率（ D ）。

A 增大信道容量

B 增大码长

C 减小码率

D 减小带宽

14、已知某无记忆三符号信源 a,b,c 等概分布，接收端为二符号集，其失真矩阵为 ,则信源的最大平均失真度为（ D ）。

A 1/3

B 2/3

C 3/3

D 4/3

15、设信道输入为，输出为y，若译码准则是当，对所有时，将y判为，则称该准则为（ D ）。

A 最大后验概率译码准则

B 最小错误概率准则

C 最大相关译码准则

D 最大似然译码准则

16、平均互信息量 I(X;Y)与信源熵和条件熵之间的关系是（ A ）。

A B

C D

17、下面编码方法惟一的是（ C ）。

A 费诺编码

B 哈夫曼编码

C 香农编码

D 游程编码

18、信源编码的目的是（ B ）。

A 提高通信系统的可靠性

B 提高通信系统的有效性

C 提高通信系统的保密性

D 提高通信系统的实时性

19、下面哪一项不属于熵的性质：（ B ）

A 非负性

B 完备性

C 对称性

D 确定性

20、下面哪一项不属于最简单的通信系统模型：（ A ）

A加密B信源C信道D信宿

三、判断题