信息论与编码技术复习题3-4

《信息论与编码技术》复习题（3）

一、填空题（共20分，每空2分）

1. ___________________________________ 信息的基本概念在于它的。

2. 一个随机事件的___________ 定义为其出现概率对数的负值。

3. 按树图法构成的码一定满足____________ 的定义。

4. _______________________ 称为香农第二极限定理。

5. 纠错码的检、纠错能力是指___________________________________________________ 。

6. 信息率失真函数R（D）是关于D的严格单调___________ 函数。

7. 如果转移概率矩阵P的每一行 ________________________ ，称该矩阵是输入对称的。

8. 加密编码的主要目的是____________________________________ 。

9. 若最小码距为d min的码同时能检测e d个错误、纠正e c个错误，则三个量之间的关系

为_____________________________ 。

10. 稳定的马尔可夫信源必须有不可约性和_________________________________ 。

二、选择题（共10分，每题2分）

1. 给定为条件下，随机事件y j所包含的不确定度和条件自信息量l（y j|X i）,

（a）数量上不等，单位不同；（b）数量上不等，单位相同；

（c）数量上相等，单位不同；（d）数量上相等，单位相同。

2. 下面哪一项不属于熵的性质：

（a ）非负性；（b ）完备性；（c）对称性；（d ）确定性。

3. 下面哪一项不是增加信道容量的途径：

（a）减小信道噪声功率；（b ）增大信号功率；（c）增加码长；（d）增加带宽。

4. 香农编码方法是根据_______ 推导出来的。

（a）香农第一极限定理；（b）香农第二极限定理；

（c）香农第三极限定理；（d）香农第四极限定理。

5. 下面哪一项不属于最简单的通信系统模型：

（a）信源；（b）加密；（c）信道；（d）信宿。

三、名词解释（共10分，每题5分）

1. 唯一可译码。

2. 最小码距。

四、简答题（共20分，每10分）

1. 利用公式介绍无条件熵、条件熵、联合熵和平均互信息量之间的关系。

2. 简单介绍霍夫曼编码的步骤。

五、计算题（共40 分）（Iog2（3） =，log2（5）=）

1. 某信源含有三个消息，概率分别为P（0）=, P（1）=，P（2）=，失真矩阵为 4 2 1。求

D max、

D 0 3 2

2 0 1

D min 和R（D max）。（10 分）

2. 设对称离散信道矩阵为P1/3 1/3 1/6 1/6，求信道容量G（10分）

1/6 1/6 1/3 1/3

3. 有一稳态马尔可夫信源，已知转移概率为p（S1/S1）=2/3, p（S1/S2）=1。求：

（1）画出状态转移图和状态转移概率矩阵；（2）求出各状态的稳态概率；

（3）求出信源的极限熵。（20分）

信息论与编码技术》复习题（ 4）

1. （ 5 分）简述信源编码、信道编码和保密编码三种编码的联系。

2. （10 分）已知一离散无记忆信源

u 1 u 2 u 3 u 4 u 5 u 6 u 7 u 8

0.2 0.15 0.15 0.1 0.1 0.1 0.1 0.1

译码。

4. （10分）下面以码字集合的形式给出 5 种不同的编码，第一个码的码符号集合为 {x, y, z}，

其它 4 个码都是二进制： （1）｛xx, xz, y, zz, xyz ；｝ （2）｛000, 10, 00, 11｝； （3）｛100, 101, 0, 11｝；

（4）｛01, 100, 011,00,111,1010, 1011, 1101｝ ；

（5）｛01, 111, 011, 00, 010, 110｝。 对于上面列出的 5 种编码，分别回答下述问题： （a ）此码的码长分布是否满足 Kraft-McMilian 不等式 b ）此码是否是即时码如果不是，请给出反例。 （c ）此码是否唯一可译如果不是，请给出反例。

（1） 当信源X 的概率分布为p （a i ）=2/3，p （a 2）=p （a 3）=1/6时，按最大后验概率准则选择译码函 数，并计算其平均错误译码概率 p e 。

（2） 当信源是等概信源时，按最大似然译码准则选择译码函数，并计算其平均错误译码概 率 p e 。

3

6. （ 10 分）已知 （7, 4）循环码的生成多项式 g （x ） x x 1，若已知接收码的最高位码元 发生错误，求其伴随多项式；若已知接收码字为 0111000，求发送码字。

7. （10分）设（3, 1, 2）卷积码的生成子矩阵 g 1=[1 1 1]， g 2=[0 1 0]， g 3=[0 0 1]。 （1） 求卷积码的生成矩阵 Gw

（2） 若输入信息序列 U=[1 0 1 1 0 1 0 1 0 0...]时，求卷积码的输出码字序列。 8. （ 5 分）什么是对称密码体制和非对称密码体制各有何优缺点

9. （30 分）网络信息论研究的主要问题是什么目前的研究热点主要之中在哪几个问题上它 们与历史上相关的研究成果有哪些不同采用的模型和分析技术是什么

u p

（u 试利用三元码编成霍夫曼码， 哪种编码实用性更好。 用两种方法使得它们有相同的最小码长但方差不相同，

并说明

3. （10 分）已知二元信源 u p （u

01

1/8 7/8

，试对序列进行算术编码，并对结果进行

5. （10 分）设有一个离散信道，其信道矩阵为

a 1

b 1

b 2

b 3

1/2 1/4 1/4 a 2 1/4

1/2 1/4 a 3

1/4

1/4 1/2