信息论与编码复习题目

信息论与编码复习题目公司内部档案编码：[OPPTR-OPPT28-OPPTL98-OPPNN08]

信息论复习提纲

第一章绪论

1．通信系统模型；

2．香浓信息的概念；

3．信源、信道、信源编码和信道编码研究的核心问题。

第二章离散信源及信源熵

1．离散信息量、联合信息量、条件信息量、互信息量定义；

2．信源熵、条件熵、联合熵定义；

3．平均互信息量定义、性质、三种表达式及物理意义，与其它熵的关系（不证明）；

4．最大信源熵定理及证明；

5．本章所有讲过的例题；

第三章离散信源的信源编码

1．信息传输速率、编码效率定义；

2．最佳编码定理（即节定理：概率越大，码长越小；概率越小，码长越大）及证明；

3．码组为即时码的充要条件；

4．单义可译定理（Kraft不等式）及应用；

5．费诺编码方法、霍夫曼编码方法应用（二进制，三进制，四进制）；6．本章所有讲过的例题；

第四章离散信道容量

1．利用信道矩阵计算信道容量（离散无噪信道、强对称离散信道、对称离散信道、准对称离散信道）；

2．本章讲过的例题；

第五章连续消息和连续信道

1．相对熵的定义；

2．均匀分布、高斯分布、指数分布的相对熵及证明；

3．峰值功率受限条件下的最大熵定理及证明，平均功率受限条件下的最大熵定理及证明，均值受限条件下的最大熵定理及证明；

4．香农公式及意义；

5．本章所有讲过的例题；

第六章差错控制

1．重量、最小重量、汉明距离、最小汉明距离、编码效率的定义；2．最小距离与检错、纠错的关系（即节定理）；

3．本章所有讲过的例题；

第七章线性分组码

1．线性分组码定义；

2．线性分组码的最小距离与最小重量的关系及证明；

3．生成矩阵、一致校验矩阵定义，给出线性方程组求出生成矩阵和一致校验矩阵的标准形式，生成矩阵与一致校验矩阵的关系；

4．制作标准阵列并利用标准阵列译码；

5．本章所有讲过的例题；

第八章循环码

1．生成多项式的特点，有关定理（三定理1，定理2，定理3）及证明； 2．生成矩阵、一致校验矩阵定义，如何获得生成矩阵、一致校验矩阵的

典型形式；

3．本章所有讲过的例题； 习题：

1.

已知随机变量X 和Y 的联合分布如下：

计算：、I(X;Y)。

2. 具有归并性能的无噪信道的信道矩阵P=⎥⎥⎥⎥

⎥⎥⎦⎤⎢

⎢⎢⎢⎢⎢⎣⎡100

010*********，求其信道容量及达

到信道容量时信源的概率分布。

3. 信道矩阵[P]=⎥

⎦⎤

⎢⎣

⎡8/18/12/14/18/18/14/12/1，计算[P]代表的信道的信道容量。 4. 设二元对称信道的传递矩阵为213

31

23

3⎡⎤

⎢⎥⎢⎥⎢⎥⎣⎦

(1) 若()()(0)34,(1)14,(),,(;)P P H X H X Y H Y X I X Y ==求和；

(2) 求该信道的信道容量及其达到信道容量时的输入概率分布。

5. 设有信源

⎭⎬

⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡1.012.014.014.015.015.02.0(7654321

x x x x x x x X P X ） （1） 对该信源编二进制费诺； （2） 计算其平均码长。

6. 设有信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣

⎡128/1128/164/132/116/18/14/12/1(87654321

x x x x x x x x X P X ） （1） 对该信源编二进制霍夫曼码，计算其平均码长；

（2） 对该信源编三进制霍夫曼码，计算其平均码长；

（3）对该信源编四进制霍夫曼码，计算其平均码长；

7. 设有一个无记忆信源发出符号A和B，已知p(A) = 1/4, p(B) =

3/4。

（1）计算该信源熵；

（2）该信源改为发出二重符号序列消息的信源，采用费诺编码，求其平均信息传输速率；

（3）该信源改为发三重序列消息的信源，采用霍夫曼编码，求其平均信息传输速率。

8. 设一个[7, 4]码的生成矩阵为

1000111 0100101 0010011 0001110⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦

（1）求出该码的全部码字；（2）求出该码的一致校验矩阵；

(3) 作出该码的标准译码码表。

9. 设二元线性码L的生成矩阵为

11010

01010

⎛⎫

= ⎪

⎝⎭

G，建立码L的

标准阵并且对字11111和10000分别进行译码。

10. 令108542

()1

g x x x x x x x

=++++++是 (15, 5)循环码的生成多项式，写出该码的系统码形式的G和H矩阵标准形式；

11. 给定X的概率密度函数为拉普拉斯分布

+∞

<

<

-∞

=-x

e

x

p x,

2

1

)

(λ

λ

，求

相对熵Hc(X)。

2014年《信息论与编码》研究生考试试题

注：满分100分，所有答案写在答题纸上，该试卷写上名字后交回．姓名：

一．叙述题（5分×4＝20分）

1．写出香农公式，并解释其意义．