信息论 复习题目(2017)

信息论复习提纲（2017）

第一章绪论

1．通信系统模型；

2．香浓信息的概念；

3．信源、信道、信源编码和信道编码研究的核心问题。

第二章离散信源及信源熵

1．离散信息量、联合信息量、条件信息量、互信息量定义；

2．信源熵、条件熵、联合熵定义；

3．平均互信息量定义、性质、三种表达式及物理意义，与其它熵的关系（不证明）；4．最大信源熵定理及证明；

5．本章所有讲过的例题；

第三章离散信源的信源编码

1．信息传输速率、编码效率定义；

2．最佳编码定理（即3.2节定理：概率越大，码长越小；概率越小，码长越大）及证明；3．码组为即时码的充要条件；

4．单义可译定理（Kraft不等式）及应用；

5．费诺编码方法、霍夫曼编码方法应用（二进制，三进制，四进制）；

6．本章所有讲过的例题；

第四章离散信道容量

1．利用信道矩阵计算信道容量（离散无噪信道、强对称离散信道、对称离散信道、准对称离散信道）；

2．本章讲过的例题；

第五章连续消息和连续信道

1．相对熵的定义；

2．均匀分布、高斯分布、指数分布的相对熵及证明；

3．峰值功率受限条件下的最大熵定理及证明，平均功率受限条件下的最大熵定理及证明，均值受限条件下的最大熵定理及证明；

4．香农公式及意义；

5．本章所有讲过的例题；

第六章差错控制

1．重量、最小重量、汉明距离、最小汉明距离、编码效率的定义；

2．最小距离与检错、纠错的关系（即6.3节定理）；

3．本章所有讲过的例题；

第七章线性分组码

1．线性分组码定义；

2．线性分组码的最小距离与最小重量的关系及证明；

3．生成矩阵、一致校验矩阵定义，给出线性方程组求出生成矩阵和一致校验矩阵的标准形式，生成矩阵与一致校验矩阵的关系；

4．制作标准阵列并利用标准阵列译码；

5．本章所有讲过的例题；

第八章循环码

1．生成多项式的特点，有关定理（8.2三定理1，定理2，定理3）及证明；

2．生成矩阵、一致校验矩阵定义，如何获得生成矩阵、一致校验矩阵的典型形式；

3．本章所有讲过的例题；

习题：

1.

计算：。

2. 具有归并性能的无噪信道的信道矩阵P=，求其信道容量及达到信道容量时

信源的概率分布。

3. 信道矩阵[P]=，计算[P]代表的信道的信道容量。

4. 设二元对称信道的传递矩阵为213

3123

3⎡⎤

⎢⎥⎢

⎥⎢⎥⎣⎦

(1) 若()()(0)34,(1)14,(),,(;)P P H X H X Y H Y X I X Y ==求和； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布。

5. 设有信源 （1） 对该信源编二进制费诺；

（2） 计算其平均码长。

6. 设有信源 （1） 对该信源编二进制霍夫曼码，计算其平均码长；

（2） 对该信源编三进制霍夫曼码，计算其平均码长； （3） 对该信源编四进制霍夫曼码，计算其平均码长；

7. 设有一个无记忆信源发出符号A 和B ，已知p (A) = 1/4, p (B) = 3/4。 （1）计算该信源熵； （2）该信源改为发出二重符号序列消息的信源，采用费诺编码，求其平均信息传输速率； （3）该信源改为发三重序列消息的信源，采用霍夫曼编码，求其平均信息传输速率。

8. 设一个[7, 4]码的生成矩阵为10001110

10010100100110

00111

0⎡⎤⎢⎥⎢

⎥⎢⎥⎢⎥⎣⎦

（1） 求出该码的全部码字； （2） 求出该码的一致校验矩阵； (3) 作出该码的标准译码码表。

⎥⎥⎥⎥

⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣

⎡100

010*********⎥

⎦⎤

⎢⎣

⎡8/18/12/14/18/18/14/12/1⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣

⎡1.012.014.014.015.015.02.0(7654321

x x x x x x x X P X ）⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣

⎡128/1128/164/132/116/18/14/12/1(87654321

x x x x x x x x X P X ）

9. 设二元线性码L 的生成矩阵为110100

101

0⎛⎫

= ⎪⎝⎭

G ，建立码L 的标准阵并且对字11111和10000分别进行译码。

10. 令108542()1g x x x x x x x =++++++是 (15, 5)循环码的生成多项式，写出该码的系统码形式的G 和H 矩阵标准形式；

11. 给定X 的概率密度函数为拉普拉斯分布+∞

<<-∞=-x e x p x

,21)(λλ，求相对熵Hc(X)。

2014年《信息论与编码》研究生考试试题

注：满分100分，所有答案写在答题纸上，该试卷写上名字后交回． 姓名： 一． 叙述题（5分×4＝20分）

1．写出香农公式，并解释其意义． 2．叙述平均码长界定定理． 3．叙述香农第一定理．

4．分别叙述峰值功率受限和平均功率受限条件下的最大熵定理． 二． 计算题（共70分） １．（10分）设信源⎭

⎬⎫⎩⎨⎧=⎥

⎦⎤⎢

⎣⎡17.016.017.018.019.02.0)(654321

x x x x x x X P X ，求这个信源的熵，并解释为什么H(X) > log6，不满足最大熵定理．

2. （10分）利用最大后验概率译码准则，给出译码方案，并计算错误传输概率E P .

信源的概率空间为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡414121x x x )X (p X 321，信道矩阵为⎥⎥⎥⎦

⎤

⎢⎢⎢⎣⎡=2/13/16/16/12/13/13/16/12/1P ． 3．（15分）信源概率空间为⎥⎦

⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡04.008.016.018.022.032.0654321

x x x x x x P X ， 分别进行二进制费诺编码，二进制霍夫曼编码和三进制霍夫曼编码．

4．（20分）()3,6 线性分组码的生成矩阵⎥⎥⎥⎦

⎤⎢⎢⎢⎣⎡=011100110110011011G ． （1）写出一致校验矩阵．

（2）给出所有码字． （3）给出标准阵列表．

（4）如果接收1111001=R ，1000012=R ，0010113=R ，给出译码． 5．（15分）令10

8

5

4

2

()1g x x x x x x x =++++++是 (15, 5)循环码的生成多项式， 写出生成矩阵G 和一致校验矩阵H 的标准形式． 三． 证明题（共10分）

证明：),(k n 线性分组码构成n 维线性空间的k 维子空间．