西安邮电大学信息论与编码复习题-已修改1

一、选择题（共15题）

1、有一离散无记忆信源X ，其概率空间为⎥⎦

⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡125.0125.025.05.04321x x x x P X ，则其无记忆二次扩展信源的熵H(X 2)=(B )

A 、1.75比特/符号；

B 、3.5比特/符号；

C 、9比特/符号；

D 、18比特/符号。

2、信道转移矩阵为112132425363(/)(/)000000(/)(/)000000(/)(/)P y x P y x P y x P y x P y x P y x ⎡⎤⎢

⎥⎢⎥⎢⎥⎣⎦

，其中(/)j i P y x 两两不相等，则该信道为D

A 、一一对应的无噪信道

B 、具有并归性能的无噪信道

C 、对称信道

D 、具有扩展性能的无噪信道

3、设信道容量为C ，下列说法正确的是：（ A ）

A 、互信息量一定不大于C

B 、交互熵一定不小于C

C 、有效信息量一定不大于C

D 、条件熵一定不大于C

4、在串联系统中，有效信息量的值（ B ）

A 、趋于变大

B 、趋于变小

C、不变

D、不确定

5、若BSC信道的差错率为P，则其信道容量为：（C ）

A、

() H p

B、

()1

2

log1

p

p

p p-

⎡⎤

-

⎢⎥

⎢⎥

⎣⎦

C、

() 1H p -

D、log()

P P

-

6、设信道输入为 xm，输出为y，若译码准则是当P(y | xm’)≥P(y | xm)，

对所有m ≠ m’时，将 y判为

m’，则称该准则为（D ）

A 最大后验概率译码准则

B 最小错误概率准则

C 最大相关译码准则

D 最大似然译码准则

7、线性分组码不具有的性质是（C）

A 任意多个码字的线性组合仍是码字

B 最小汉明距离等于最小非 0重量

C 最小汉明距离为3

D 任一码字和其校验矩阵的乘积 cmHT=0

8.条件熵H（X∣Y）C H（X）。

（A）小于（B）大于

（C）小于等于（D）大于等于

9.联合熵

()

n

X

X

X

H⋯

⋯

，

2

1

,C

1

log

n

i

i

X

-

∏。

（A ）小于 （B ）大于

（C ）小于等于 （D ）大于等于

10.相对熵总是 D 。

（A ）为正 （B ）为负

（C ）非正 （D ）非负

11. B 是最佳码。

(A)Fano 编码 (B)Huffman 编码

(C)Shannon 编码 (D)算术编码

12.字母表为∑＝｛0，1｝，情况下的Shannon 编码码长为 B 。

(A) ()()x P x L log -= (B) ()()⎡⎤x P x L log -=

(C) ()()⎣⎦x P x L log -= (D) ()()[]x P x L log -=

13.字母表为∑＝｛0，1｝，情况下的Shannon-Fano-Elias 编码码长为 A 。

(A) ()()⎡⎤1log +-=x P x L (B) ()()1log +-=x P x L

(C) ()()⎣⎦1log +-=x P x L (D) ()()⎣⎦1log +-=x P x L

14.译码错误概率最小的译码为 B 。

(A) 最大似然译码 (B)最大后验概率译码

(C) 最小距离译码 (D)择多译码

15.下列 D 不属于距离空间的公理。

(A) 非负性 (B)对称性

(C) 三角不等式 (D)反对称性

二、填空题（共29题）

1、(7,4)线性分组码中，接受端收到分组R 的位数为_7___ ，伴随式S 可能的

值有____8 种,差错图案e 的长度为 7 ，系统生成矩阵G s 为__4*7__ 行的矩阵，系统校验矩阵H s 为____ 3*7 行的矩阵，G s 和H s 满足的关系式

是 。

2、 一张1024×512像素的16位彩色BMP 图像能包含的最大信息量

为 。

3、香农编码中,概率为()i P x 的信源符号x i 对应的码字C i 的长度K i 应满足不等

式。

4、设有一个信道，其信道矩阵为

0.250.50.25

0.250.250.5

0.50.250.25

⎡⎤

⎢⎥

⎢⎥

⎢⎥

⎣⎦

，则它是信道（填

对称，准对称），其信道容量是比特/信道符号。

5、1948年，美国数学家香农发表了题为“通信的数学理论”的

长篇论文，从而创立了信息论。

6、必然事件的自信息是0 。

7、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N

倍。

8、对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分

布_。

9、若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二

进制编码，则编码长度至少为 3 。

10、对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编

码。

11、已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出

_2_______个码元错误，最多能纠正___1__个码元错误。

12、设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输

率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。

13、平均错误概率不仅与信道本身的统计特性有关，还与___译码规则

____________和___编码方法___有关

14、必然事件的自信息量是________，不可能事件的自信息量是_________。

15、一信源有五种符号{a，b，c，d，e}，先验概率分别为Pa=0.5，Pb=0.25，Pc=0.125，Pd=Pe=0.0625。符号“a”的自信息量为________bit，此信源的熵为________bit/符号。

16、如某线性分组码的最小汉明距dmin=6，最多能纠正____ __个随机错。

17、平均互信息量I(X;Y)与信源熵和条件熵之间的关系是________________。

18、克劳夫特不等式是唯一可译码_________的充要条件。{00，01，10，11}是否是唯一可

译码？_________。

19、在Shannon信息论中，最重要的概念是

20、通信系统一般由5个部分组成。

21、字母表为∑＝｛0，1｝，且取值空间χ=｛a, b, c, d, e｝下的概率分布为