信息论概念复习1

信息论概念复习题一、填空1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。

信息的 可度量性 是建立信息论的基础。

统计度量 是信息度量最常用的方法。

熵 是香农信息论最基本最重要的概念。

事物的不确定度是用时间统计发生 概率的对数 来描述的。

7、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。

8、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。

9、自信息量的单位一般有 比特、奈特和哈特 。

10、必然事件的自信息是 0 。

11、不可能事件的自信息量是 ∞ 。

12、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。

13、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。

14、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。

15、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N NN XX X X H 。

16、对于n 元m 阶马尔可夫信源，其状态空间共有 nm 个不同的状态。

17、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ） 。

18、根据输入输出信号的特点，可将信道分成离散信道、连续信道、半离散或半连续 信道。

19、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 无记忆 信道。

20、具有一一对应关系的无噪信道的信道容量C= log2n 。

21、对称信道的信道容量C= log2m-Hmi 。

22、对于离散无记忆信道和信源的N 次扩展，其信道容量CN= NC 。

24、信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是 信息率小于信道容量 。

25、信息率失真理论是量化、数模转换、频带压缩和 数据压缩 的理论基础。

26、求解率失真函数的问题，即：在给定失真度的情况下，求信息率的 极小值 。

27、单符号的失真度或失真函数d （xi ，yj ）表示信源发出一个符号xi ，信宿再现yj 所引起的 误差或失真 。

28、汉明失真函数 d （xi ，yj ）=⎩⎨⎧≠=ji j i 10 。

29、如果规定平均失真度D 不能超过某一限定的值D ，即：D D ≤。

我们把D D ≤称为 保真度准则 。

30、试验信道的集合用PD 来表示，则PD={}mj n i D D x yp i j,,2,1,,,2,1;:)/( ==≤ 。

31、信息率失真函数，简称为率失真函数，即：试验信道中的平均互信息量的 最小值 。

32、平均失真度的上限Dmax 取{Dj ：j=1，2，···，m}中的 最小值 。

33、率失真函数对允许的平均失真度是 单调递减和连续的 。

34、当失真度大于平均失真度的上限时Dmax 时，率失真函数R （D ）= 0 。

35、信源编码的目的是： 提高通信的有效性 。

36、设无记忆二元序列中，“0”和“1”的概率分别是p0和p1，则“0”游程长度L （0）的概率为11)0(0)]0([p p L p L -= 。

37、信道编码的最终目的是 提高信号传输的可靠性 。

38、BSC 信道即：无记忆二进制对称信道 。

39、任意两个码字之间的最小汉明距离有称为码的最小距dmin ，则dmin=)',(min 'c cd c c ≠。

40. 若失真矩阵为1310d ⎡⎤=⎢⎥⎣⎦，若输入等概，则对应的m D ax = 1 ，max R (D )= 0 。

41. 若二元一阶平稳马氏源的符号转移概率为21|1(1|0)3X X p =，21|1(1|1)3X X p =，那么符号的平稳分布为=)0(X p 2/3 ，=)1(X p 1/3 ；信源的符号熵为 0.918 比特/符号，信源的剩余度为0.082 。

信息分为三个基本层次，即语法信息 、语义信息、语用信息，其中，香农信息论所研究的信息是语法信息中的概率信息。

对于无记忆二元对称信道，最大似然准则等价于最小汉明距离准则。

Huffman 编码是信源的最优编码。

(填“是”或“不是”) 熵是信源平均不确定性的量度。

若信源的熵为H(X)，信源序列长度为N ，则典型序列出现概率约为()2NH X - ，数目近似为()2NH X 。

如果以2为底，自信息的单位为 比特 ，信息熵的单位为 比特/符号 ，信道容量的单位为 比特/符号 。

如果某信源S 存在一个符号，其出现概率为1，则该信源的熵为 0 。

已知离散无记忆信源的概率分布为：p(a1)=1/4，p(a2)=3/4，则其二次扩展信源的概率分布为 p(a1a1)=1/16 、 p(a1a2)=3/16 、 p(a2a1)=3/16 、 p(a2a2)=9/16 ，熵为 1.6226比特/符号 。

满足Kraft 不等式是异前置码存在的 充要 条件；满足Kraft 不等式是一个码为唯一可译码的 必要 条件。

(填写“充分”、“必要”或“充要”) 信源信道编码定理：设有一离散无记忆平稳信道的每秒容量为C ，一个离散信源每秒的熵为H ，那么，如果 H<C ，总存在一种编码系统，使得信源的输出以任意小的错误概率通过信道传输；反之，如果 H>C 时，对任何编码系统，译码差错率p>0。

一个典型的通信系统主要由信源、编码器、信道、译码器和信宿五个部分组成。

通信系统的3个性能指标分别是：传输的有效性、传输的可靠性、传输的安全性 。

根据熵的链规则，H(X, Y , Z)可以分解为H(X)＋H(Y|X)＋H(Z|XY)。

设信源符号集为12{,,,}q s s s =S ，码符号集为12{,,,}r x x x =X ，对信源进行编码，得到的码为12{,,,}q C ωωω= ，码长分别为12,,,ql l l ，即时码存在的充要条件是11iql i r-=≤∑。

信源在某时刻发出的符号仅与此之前发出的有限个符号有关，而与更早些时候发出的符号无关，这一性质称为马尔可夫性。

有噪信道编码定理：设有一离散无记忆平稳信道的容量为C ，则只要信息传输速率R 满足R<C ，总存在一种(M,n)码，使得当n 足够长时，译码错误概率pE 任意小；反之，当信息传输速率R>C 时，对任何编码方式，译码差错率大于零。

二、判断1. 非奇异的定长码是唯一可译码 （√）2. 信源编码可以提高信息传输的有效性 （√）3. 连续信源和离散信源的平均互信息都具有非负性 （√）4. 离散级联信道的容量一定小于构成级联信道的每个子信道的容量 （╳）5. 当信道输入独立等概率时，信道疑义度达到最大值。

（╳） 互信息是非负的。

(×)在信息处理过程中熵不会增加； (√)信息率失真函确定了在满足失真度的条件下所必需传送的最大信息量； (×) 对于离散对称信道，当输入等概率时达到信道容量。

(√) 最优码就是平均码长等于信源熵的编码； (×) 最大后验概率准则与最大似然准则是等价的； (×)只要信息的传输速率小于信道容量，就一定可以找到一种编码方式，可以使传输差错任意小； (√)离散信源N 次扩展之后的熵，是原来信源熵的N 倍。

(×) 14. R （D ）函数是关于D 的下凸函数 （√） 15.最大后验概率准则与最大似然准则是等价的； (×) 必然事件和不可能事件的自信息量都是0 。

错 自信息量是)(i x p 的单调递减函数。

对单符号离散信源的自信息和信源熵都具有非负性。

对 单符号离散信源的自信息和信源熵都是一个确定值。

错单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的。

对 自信息量、条件自信息量和联合自信息量之间有如下关系：)/()()/()()(j i j i j i j i y x I y I x y I x I y x I +=+= 对自信息量、条件自信息量和互信息量之间有如下关系：)/()()/()();(i j j j i i j i x y I y I y x I x I y x I -=-= 对当随即变量X 和Y 相互独立时，条件熵等于信源熵。

对当随即变量X 和Y 相互独立时，I （X ；Y ）=H （X ） 。

错 25、信源熵具有严格的下凸性。

错26、平均互信息量I （X ；Y ）对于信源概率分布p （xi ）和条件概率分布p （yj/xi ）都具有凸函数性。

对27、m 阶马尔可夫信源和消息长度为m 的有记忆信源，其所含符号的依赖关系相同。

错 28、利用状态极限概率和状态一步转移概率来求m 阶马尔可夫信源的极限熵。

对 29、定长编码的效率一般小于不定长编码的效率。

对 30、若对一离散信源（熵为H （X ））进行二进制无失真编码，设定长码子长度为K ，变长码子平均长度为K ，一般K >K 。

错31、信道容量C 是I （X ；Y ）关于p （xi ）的条件极大值。

对32、离散无噪信道的信道容量等于log2n ，其中n 是信源X 的消息个数。

错33、对于准对称信道，当m y p j 1)(时，可达到信道容量C 。

错34、信道无失真传递信息的条件是信息率小于信道容量。

对35、最大信息传输速率，即：选择某一信源的概率分布（p （xi ）），使信道所能传送的信息率的最大值。

错36、求解率失真函数的问题，即：在给定失真度的情况下，求信息率的极小值。

对 37、信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小。

错 38、当p （xi ）、p （yj/xi ）和d （xi ，yj ）给定后，平均失真度是一个随即变量。

错 39、率失真函数对允许的平均失真度具有上凸性。

对 40、率失真函数没有最大值。

错41、率失真函数的最小值是0 。

对42、率失真函数的值与信源的输入概率无关。

错43、信源编码是提高通信有效性为目的的编码。

对44、信源编码通常是通过压缩信源的冗余度来实现的。

对45、离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。

错46、一般情况下，哈夫曼编码的效率大于香农编码和费诺编码。

对47、在编m （m>2）进制的哈夫曼码时，要考虑是否需要增加概率为0的码字，以使平均码长最短。

对三、简答简述通信系统的基本模块及其作用？ 狭义信息论？简述自信息的性质。

简述信源熵的基本性质。

简述信源熵、条件熵、联合熵和互信息量之间的关系。

信道的分类方法有哪些？7、简述信道编码定理。