信息论与编码”期末复习题

信研10“信息论与编码”期末复习题

1.信息论基础(狭义信息论/景点信息论/香农信息论)主要研究的三个方面是什么？

信息测度、信道容量、信息率失真函数

2.全信息同时考虑的三个方面的内容是什么？

语法信息、语义信息、语用信息

3.研究信息论的目的是什么？

寻找信息传输过程的共同规律，以提高信息传输的可靠性、有效性、保密性等，已达到信息传输系统的最优化

4.消息、信号、信息的含义、定义及区别。

信息--事物运动的状态及状态变化的方式。

消息--包含信息的语言，文字和图像等。

信号--消息的物理体现。

消息是信息的数学载体、信号是信息的物理载体

同一信息，可以采用不同形式的物理量来载荷，也可以采用不同的数学描述方式同一类型信号或消息也可以代表不同内容的信息

5.信息的特征与分类。

1.接收者在收到信息之前，对其内容是未知的，所以信息是新知识，新内容；

2.信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识；

3.信息可以产生，也可以消失，同时信息可以被携带，被存储及处理；

4.信息是可以量度的，信息量有多少的差别

6.狭义信息论、广义信息论、一般信息论研究的领域。

狭义信息论：信息论是在信息可以量度的基础上，对如何有效，可靠地传递信息进行研究的科学。它涉及信息量度，信息特性，信息传输速率，信道容量，干扰对信息传输的影响等方面的知识。

广义信息论：信息是物质的普遍属性，所谓物质系统的信息是指它所属的物理系统在同一切其他物质系统全面相互作用（或联系）过程中，以质、能和波动的形式所呈现的结构、状态和历史。包含通信的全部统计问题的研究，除了香农信息论之外，还包括信号设计，噪声理论，信号的检测与估值等。

概率信息：信息表征信源的不定度，但它不等同于不定度，而是为了消除一定的不定度必须获得与此不定度相等的信息量

7.通信系统的物理模型（主要框图），各单元（方框）的主要功能及要解决的主要问题。

信源--如何确定信息量。

信宿--能收到或提取多少信息。

信道--信道容量的多少

8.通信的目的？要解决的最基本问题？通信有效性的概念。提高通信有效性的最根本

途径？通信可靠性的概念。提高通信可靠性的最根本途径？

9.随机事件的不确定度和它的自信息量之间的关系及区别？单符号离散信源的数学模

型，自信息量、条件自信息量、联合自信息量的含义？

10.信息量的性质？含义？分别从输入端、输出端和系统总体来理解互信息量的含义。

11.互信息的定义及物理意义？

12.各种熵（信源熵，条件熵，联合熵（共熵），等）的含义及其关系。

13.信源熵的基本性质与定理及其理解？

14.平均互信息量的定义及物理意义？

15.信道疑义度和噪声熵的物理意义是什么？

16.平均互信息量的性质及理解？

17.证明平均互信息量关于信源概率和信道转移概率的凸性定理。

18.最大离散熵定理及其证明。

19.凸函数的定义及其性质，定理。

20.数据处理定理及其含义，证明。

21.信源的种类（详细分类）？各举出几个例子。

22.离散平稳信源的定义，平均符号熵，极限熵的定义，含义与理解。

23.马尔可夫信源的定义，含义及其极限熵？

24.信源的冗余度的定义和含义？为什么有些信源有冗余度？冗余度的好处与坏处，及

其计算。

25.写出平均互信息的三种表达公式，并说明其物理意义。

26.写出二进制的熵函数，并画出熵与概率的关系图。

27.极限熵与条件熵的关系（二进制）。

28.连续信源的熵的定义及其推导？

29.连续信源熵的性质。

30.熵功率的含义，均值为0，平均功率受限的连续信源的冗余度的计算？

31.Shannon第一定理—离散无失真信源编码定理（定长和变长）及含义？举例说明其

应用。

32.证明关于前缀码存在的克拉夫特不等式。

33.信道的数学模型和分类？

34.什么是信道容量？简述求信道容量的方法。

35.信息传输速率R的定义？信道转移概率、信道矩阵和信道容量C的定义？几种离散

无噪信道的C？

36.强对称，对称，准对称信道的含义及其C？

37.离散信道容量的一般计算方法推导及其步骤？

38.写出二进制均匀信道的数学表达式，并画出信道容量C与信道转移概率p的曲线图。

39.简述著名的香农公式，说明其物理含义。

40.多用户信道的定义及分类。

41.连续信道，连续信道的C的定义及推导。

42.香农公式的推导及含义？

43.Shannon第二定理（信道编码定理）及其含义？举例说明其应用。

44.对信源编码器有些什么基本要求？编码效率的定义？如何提高编码效率？

45.什么是最佳编码？说出Shannon、Fano和Huffman编码的基本方法和主要特点。

46.算术编码相关定义与步骤？

47.简要说明最大似然译码准则。

48.什么叫失真度？平均失真度？允许平均失真度？分述其物理意义。

49.保真度的定义及其含义？

50.什么是汉明失真矩阵？

51.信息率失真函数R(D)的定义、性质及其含义？R(D)与C的比较？

52.信息率失真函数R(D)中的自变量D的物理意义是什么？

53.说明信息率失真函数及其物理意义。

54.分三个方面简述信道容量和信息率失真函数的对偶问题（求极值、特性、解决的问