信息论与编码复习题,德州学院

一、填空

1. 信息论基础主要研究信息的测度、 信道容量 、 信源和信道编码理论 等问题。

2. 必然事件的自信息量是0，不可能事件的自信息量是无穷大。

3. 若把掷骰子的结果作为一离散信源，则信源熵为

2log 。

4. 当事件i x 和j y 彼此之间相互独立时，平均互信息量为 0 。

5. 若二维平稳信源的信源熵为3bit/sign ，则其平均符号熵为1.5bit/sign 。

6. 信源熵H(X)表示信源输出后每个消息所提供的 平均信息量 。

7. 布袋中有红白球各50只，若从中随意取出一只球，则判断其颜色所需的信息量为 1bit 。 8. 单符号离散信源是用随机变量来描述的，则多符号离散信源用随机矢量来描述。 9. 平均互信息量与信息熵、联合熵的关系是I(X;Y)=H(X)+H(Y)-H(XY) 。 10. 条件熵H （x|y ）和无条件熵H （X ）的关系是小于等于。 11. 对于理想信道，H （x|y ）等于0 ；I （x ；y ）= H （X ）。

12. 若YZ 统计独立，则H （YZ ）和H （Y ）、H （Z ）之间的关系是H （YZ ）=H （Y ）+H （Z ） 。 13. 对某含有7个消息的信源，其熵的最大值为2log 7，对应为等概分布分布。 14. 对某含有8个消息的信源，其熵的最大值为2log 8，对应为等概分布。 15. 对某含有6个消息的信源，其熵的最大值为2log 6，对应为等概分布。 16. 对某含有9个消息的信源，其熵的最大值为2log 9，对应为等概分布。 17. 十六进制脉冲所含的信息量是四进制脉冲的2 倍。 18. 八进制脉冲所含的信息量是二进制脉冲的3倍。 19. 十六进制脉冲所含的信息量是二进制脉冲的 4倍。

20. 离散平稳无记忆信源的N 次扩展信源的熵等于离散信源熵的N 倍。 21. 离散信源的熵越小，则该信源消息之间的平均不确定性越弱。 22. 对于r 进制树图，n 级节点的个数一般为n

r 。

23. 信道中任一时刻输出符号仅统计依赖于对应时刻的输入符号，而与非对应时刻的输入符号及其它任何

时刻的输出符号无关，这种信道称之为 有干扰无记忆信道 。

24. 对于某一信源和某一符号集来说，若有一个唯一可译码，其平均码长小于所有其它唯一可译码的平均

码长，则称该码为紧致码或最佳码 。

25. 分组码是前向纠错码 ，它可以在无需重新发射的情况下检测出有限个错码，并加以纠正。 26. 信源编码的目的是提高通信的有效性。

27. 对于香农编码和哈夫曼编码，编码方法唯一的是香农编码 。

28. 若纠错码的最小距离为dmin,则可以纠错任意小于等于（dmin-1）/2个差错。 29. 线性分组码是同时具有线性特性和分组特性的纠错码。

30. 道的输出仅与当前输入有关，而与过去无关的信道称无记忆信道。 31. 唯一可译码存在的充要条件是

1

1i n

k i m -=≤∑

。

32. 编码分为信源编码和信道编码两种。

33. 信道无失真传输信息的条件是信息传输速率小于信道容量。 34. 对称信道中，信源的最佳分布为等概分布。

35. 信源编码和信道编码的最大区别在于信源编码需减少信源的冗余度，而信道编码需增加信源的冗余。 36. 信道编码的目的是提高通信的可靠性。

37. 离散信源分为离散无记忆信源 和 离散有记忆信源。

38. ()R D 是D 的下凸函数。

39. 码字10100001与码字01100000之间的距离是 3 。 40. 码字011111101、100111001之间的最汉明距离为5。 41. 码字101110101、100111001之间的最汉明距离为3。

42. 码字101111101、011111101、100111001之间的最小汉明距离为 2 。 43. 码字101010101、100111001之间的最汉明距离为4。 44. 码字101010101、100101001之间的最汉明距离为5。 45. 码字10100001与码字01100000之间的距离是 3 。 46. 将循环码0010111循环左移位1之后的码字10101110。 47. 将循环码0010111循环左移位2之后的码字1011100。 48. 将循环码0010111循环左移4位之后的码字1110010。 49.

50. 二、解释下列名词

51. 自信息量：一个随机事件发生某一结果后所带来的信息量称为自信息量，简称自信息。

2()log ()i i I a p a =-

52. 互信息量：xi 的后验概率与先验概率比值的对数，为yj 对xi 的互信息量，也称为交互信息量（简称

互信息），用I(xi ；yj)表示，

53. 即：log (/)

(;)()

i j i

j

i p x y I x y p x =

54. （i=1，2，……n ；j=1，2，……m ）

55. 信道冗余度：设信道的信息传输速率为R=I(X,Y)，信道容量为C ，信道的剩余度定义为：信道冗余度

=C-I(X,Y)

56. 离散信源：发出在时间和幅度上都是离散分布的离散消息的信源。 如：文字、数字、数据、字母等。 57. 离散无记忆序列信源：若信源输出的消息是取值离散的平稳随机序列，并且序列中各随机变量之间彼

此统计独立，则此信源称为离散无记忆序列信源.

58. 无记忆离散信源：发出的各个符号是相互独立的；各符号序列中的各个符号之间是没有统计关联的关

系。 各个符号的出现概率是它自身的先验概率。无记忆离散信源包含发出单符号的无记忆离散信源和发出符号序列的无记忆离散信源。

59. 有记忆离散信源：发出的各个符号是相关联的。表述起来很困难。有记忆离散信源又可分为发出符号

序列的有记忆离散信源和发出符号序列的马尔可夫信源。

60. 冗余度: 它表示给定信源在实际发出消息时所包含的多余信息.(也称为多余度或剩余度).

m H H /1∞-=γ其中：H ∞(X)--为信源实际熵； Hm(X)--信源最大熵。

61. 线性分组码：同时具有分组特性和线性特性的纠错码。将输入的信息组编成长为n 的码字,码字前k 位

为信息元,后r=n-k 个码元为校验元。若各校验元与前k 个信息元之间是线性关系,则称这样的码为线性分组码。

62. 唯一可译码：若码的任意一串有限长的码符号序列,只能被唯一的译成所对应的信源符号序列,则称为

唯一可译码。

63. 编码效率: 表示编码后实际信息量和能载荷最大信息量的比值。 假设码元为m 进制，即可取m 种可能值，则每个码元所能载荷的最大信息量为logm 比特/码元。

m

K x H R R log )

(max ==η

64. 准对称信道：如果信道转移矩阵按列可以划分为几个互不相交的子集，每个子矩阵满足下列性质： (1)

每行都是第一行的某种置换； (2)每列都是第一列的某种置换。 称该信道为准对称信道。