《信息论与编码技术》复习题3-4

一、填空题（共20分，每空2分）

1. 信息的基本概念在于它的 。

2. 一个随机事件的 定义为其出现概率对数的负值。

3. 按树图法构成的码一定满足 的定义。

4. 称为香农第二极限定理。

5. 纠错码的检、纠错能力是指 。

6. 信息率失真函数R (D )是关于D 的严格单调 函数。

7. 如果转移概率矩阵P 的每一行 ，称该矩阵是输入对称的。

8. 加密编码的主要目的是 。

9. 若最小码距为d min 的码同时能检测e d 个错误、纠正e c 个错误，则三个量之间的关系为 。

10. 稳定的马尔可夫信源必须有不可约性和 。

二、选择题（共10分，每题2分）

1. 给定x i 条件下，随机事件y j 所包含的不确定度和条件自信息量I (y j |x i )，

（a ）数量上不等，单位不同；（b ）数量上不等，单位相同；

（c ）数量上相等，单位不同；（d ）数量上相等，单位相同。

2. 下面哪一项不属于熵的性质：

（a ）非负性；（b ）完备性；（c ）对称性；（d ）确定性。

3. 下面哪一项不是增加信道容量的途径：

（a ）减小信道噪声功率；（b ）增大信号功率；（c ）增加码长；（d ）增加带宽。

4. 香农编码方法是根据 推导出来的。

（a ）香农第一极限定理；（b ）香农第二极限定理；

（c ）香农第三极限定理；（d ）香农第四极限定理。

5. 下面哪一项不属于最简单的通信系统模型：

（a ）信源；（b ）加密；（c ）信道；（d ）信宿。

三、名词解释（共10分，每题5分）

1. 唯一可译码。

2. 最小码距。

四、简答题（共20分，每10分）

1. 利用公式介绍无条件熵、条件熵、联合熵和平均互信息量之间的关系。

2. 简单介绍霍夫曼编码的步骤。

五、计算题（共40分）（log 2(3)=1.585，log 2(5)=2.322）

1. 某信源含有三个消息，概率分别为p (0)=0.2，p (1)=0.3，p (2)=0.5，失真矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=102230124D 。求D max 、D min 和R (D max )。（10分）

2. 设对称离散信道矩阵为⎥⎦

⎤⎢⎣⎡=3/13/16/16/16/16/13/13/1P ，求信道容量C 。（10分） 3. 有一稳态马尔可夫信源，已知转移概率为p(S 1/S 1)=2/3，p(S 1/S 2)=1。求：

（1）画出状态转移图和状态转移概率矩阵；

（2）求出各状态的稳态概率；

（3）求出信源的极限熵。（20分）

1. （5分）简述信源编码、信道编码和保密编码三种编码的联系。

2. （10分）已知一离散无记忆信源

⎥⎦

⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡1.01.01.01.01.015.015.02.0)(87654321u u u u u u u u u p u ，

试利用三元码编成霍夫曼码，用两种方法使得它们有相同的最小码长但方差不相同，并说明哪种编码实用性更好。

3. （10分）已知二元信源⎥⎦

⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡8/78/110)(u p u ，试对序列11110111110进行算术编码，并对结果进行译码。

4. （10分）下面以码字集合的形式给出5种不同的编码，第一个码的码符号集合为{x, y, z}，其它4个码都是二进制：

（1）{xx, xz, y, zz, xyz}；

（2）{000, 10, 00, 11}；

（3）{100, 101, 0, 11}；

（4）{01, 100, 011,00,111,1010, 1011, 1101}；

（5）{01, 111, 011, 00, 010, 110}。

对于上面列出的5种编码，分别回答下述问题：

（a ）此码的码长分布是否满足Kraft-McMilian 不等式？

（b ）此码是否是即时码？如果不是，请给出反例。

（c ）此码是否唯一可译？如果不是，请给出反例。

5. （10分）设有一个离散信道，其信道矩阵为⎥⎥⎥⎦

⎤⎢⎢⎢⎣⎡=2/14/14/14/12/14/14/14/12/1321321b b b a a a P ， （1）当信源X 的概率分布为p (a 1)=2/3，p (a 2)=p (a 3)=1/6时，按最大后验概率准则选择译码函数，并计算其平均错误译码概率p e 。

（2）当信源是等概信源时，按最大似然译码准则选择译码函数，并计算其平均错误译码概率p e 。

6. （10分）已知(7, 4)循环码的生成多项式1)(3

++=x x x g ，若已知接收码的最高位码元发生错误，求其伴随多项式；若已知接收码字为0111000，求发送码字。

7. （10分）设(3, 1, 2)卷积码的生成子矩阵g 1=[1 1 1]，g 2=[0 1 0]，g 3=[0 0 1]。

（1）求卷积码的生成矩阵G ∞。

（2）若输入信息序列U=[1 0 1 1 0 1 0 1 0 0...]时，求卷积码的输出码字序列。

8. （5分）什么是对称密码体制和非对称密码体制？各有何优缺点？

9. （30分）网络信息论研究的主要问题是什么？目前的研究热点主要之中在哪几个问题上？它们与历史上相关的研究成果有哪些不同？采用的模型和分析技术是什么？