信息论习题——精选推荐

选择题
1、离散有记忆信源],[21x x X =，12()()0.5P x P x ==，其极限熵H ∞ 。

A 、1bit >
B 、1bit <
C 、1bit =
D 、不能确定
2、任意离散随机变量X 、Y 、Z ， 必定成立
A 、)|()|(XZ Y H YZ X H =
B 、)()()()(Z H Y H X H XYZ H ++=
C 、)|()|(Y X H YZ X H ≤
D 、0)|;(=Z Y X I
3、|Y X P 给定时，(;)I X Y 是X P 的 函数。

A 、上凸
B 、下凸
C 、上升
D 、下降
4、使(;)I X Y 达到最大的 称为最佳分布。

A 、联合分布
B 、后验分布
C 、输出分布
D 、输入分布
5、离散平稳无记忆信源],[21x x X =，且bit X H 1)(=，则=)(1x P 。

A 、41
B 、2
C 、1
D 、21
6、=);(Y X I 。

A 、)|()(X Y H X H -
B 、)|()(Y X H Y H +
C 、)|()(X Y H Y H -
D 、)()(X H XY H -
7、通常所说的“连续信源”是指 信源。

A 、时间连续且取值连续的
B 、取值连续
C 、时间离散且取值连续的
D 、时间连续
8、已知信道，意味着已知 。

A 、 先验分布
B 、转移概率分布
C 、 输入输出联合概率分布
D 、输出概率分布
9、已知X Y P |，可求出
A 、)(XY H
B 、 )|(X Y H
C 、);(Y X I
D 、)|(i j x y I
10、连续信源的输出可用 来描述
A 、常量
B 、变量
C 、离散随机变量
D 、连续随机变量
11、101)(=i x P ，则=)(i x I 。

A 、bit 10ln
B 、dit 10ln
C 、dit 1
D 、dit 10log
12、信道容量表征信道的 。

A 、最大通过能力
B 、最大尺寸
C 、最小通过能力
D 、最小尺寸
13、DMS 的信息含量效率等于信源的实际熵 信源的最大熵。

A 、乘以
B 、减去
C 、除以
D 、加上
14、下面信道矩阵为准对称信道的是 。

15、()H XY = 。

A 、()(|)H X H Y X +
B 、()(|)H Y H X Y +
C 、()(|)H X H X Y +
D 、()(|)H Y H Y X +
16、信道编码能 。

A 、减小信息冗余
B 、提高信息含量效率
C 、增大信息冗余
D 、提高传送可靠性
17、已知联合概率分布XY P ，可求出 。

A 、(;)I X Y
B 、(;)I X Z
C 、()H XYZ
D 、()H X
18、互信息量(;)i j I x y 具有 的性质。

A 、非负
B 、互易性
C 、大于()j I y
D 、小于等于()i I x
19、0);(=Y X I 的条件是 。

A 、X 与Y 统计独立
B 、)|()(Y X H Y H =
C 、()(|)H X H X Y =
D 、)|()(),(i j i j i x y P x P y x P =，对所有j i ,。

20、已知转移概率，就能 。

A 、求出);(Y X I
B 、求出信道容量
C 、画出信道线图
D 、求出)|(X Y H
填空题
1. 衡量信息传输系统传输速度的技术指标为 。

2. 在对信源进行观察之前，对认识主体来说，信源存在 ，它与信源的
先验概率有关。

3. 对于无记忆加性噪声信道，假设输入信号服从高斯分布，且噪声的平均功率
受限，则服从高斯分布的噪声使信道平均互信息量达到最 。

4. 在加性高斯噪声信道中传输信息， 分布的输入信号是最有效的。

5. 设X 的取值受限于有限区间[a,b]，则X 服从 分布时，其熵达到最大。

6. 波形信道的信道容量与信噪比有关，提高信噪比可以 信道容量。

7. 波形信道的信道容量与频带B 有关，若信噪比不变，则 频带B 可使
信道容量增大。

8. 条件多的熵不 条件少的熵
9. DMS 中X 的符号表中含N 符号，其M 次扩展信源中含 个符号。

10. 对称信道的最佳分布是 。

11. 若Y 、Z 统计独立，则H(ZY)、H(Y)以及H(Z)三者之间的关系式
为 。

12. 离散无记忆信道的统计特性是由 概率分布来描述的。

13. 离散平稳无记忆信源X ，H(X)=2bit ，则H(X3)= 。

14. M 个信源符号的离散无记忆信源，其最大熵为 bit 。

15. I(xi|yj)=2bit 、I(xi)=3bit ，则I(yj;xi)= bit 。

16. 某离散无记忆信道的信道容量为C ，则其N 次扩展信道的信道容量为 。

17. 连续信源服从均值为u 、方差2
σ的高斯分布，则=)(X h 。

18. 物理量H(X)、H(X|Y)、I(X;Y)、I(yj;xi)、I(xi|yj)、I(xi)中，只有 不
具有非负的性质。

19. 信道2秒钟传一个符号，信道的I(X;Y) =3bit ，Rt= bit/秒。

20. 给定信源X ，信道输出为Y ，I(X;Y)是 概率的下凸函数。

21. 离散对称信道输入 时，输出为 分布，达到信道容量。

22. 设Ｘ的取值受限于有限区间［a,b ］，则X 服从 分布时，其熵达到最大；
如X 的均值为u ，方差受限为2σ，则X 服从 分布时，其熵达到最大。

23. 信息论不等式：对于任意实数z>0，有 ，当且仅当 时等式成立。

24. 甲在一个8×8的方格棋盘上随意放入一个棋子，在乙看来棋子落入的位置是
不确定的，若甲告知乙棋子落入方格的行号，这时乙得到的信息量为 bit ／符号；若甲将棋子落入方格的行号和列号都告知乙，这时乙得到的信息量为 bit ／符号。

25. 对于某离散信道，具有3 x 5的转移矩阵，矩阵每行有且仅有一非零元素，
则该信道噪声熵为 ；最大信息传输率为 。

26. 对于理想信道，H(X|Y)= ，I(X;Y)= 。

27. 对于强噪声信道，H(X|Y)= 。

28. H(X|Y)与H(X)的关系式为 。

29. 对于某个含有5个消息的信源，当 分布时，熵最大，其值为 ，
当 分布时，熵最小，其值为 。

30. 若信源离散无记忆，则N 维序列有H(X)
∑=N
i i X H 1)(，I(X;Y) ∑=N i i
i Y X I 1);(。

（填不等号） 31. )()(),(j i j i y P x P y x P =,=);(j i y x I 。

33.根据码字所含的码元的个数，信源编码可分为 编码
和 编码。

34.使平均差错率达到最小的译码规则称为 ，按最大转移概率条件来确定的译码规则称为 。

35.两序列{1,0,1,1,1,1}和{1,1,1,1,0,0}的汉明距离为 。

36.信源无失真编码通常采用 长编码。

37.当信道 概率等概时，极大似然译码规则与最佳译码规则等价。

38.信道编码的作用是提高信息传输的 。

39.信息率失真函数R(D)是关于D 的 函数。

40.失真度（或失真函数）);(j i v u d 是 实值函数。

41.设离散无记忆平稳信源的信息率失真函数为R(D)，只要满足 ，当信源序列 K 足够长时，一定存在一种编码方法，其译码失真小于或等于D+ε，其中ε是任意小的正数。

42.编码效率高意味着平均码长 。

43.信道编码通常采用 长编码。

44.信源编码的实质是为了提高信息传输的 。

45.最小码间距离是衡量码的性能的重要参数，信道编码在选择码字组成一个码时，只要条件允许，尽量使码的最小码间距离 一些为好。

46.设离散无记忆平稳信源的信息率失真函数为R(D)，若R<R(D)，则无论采用什么样的编码方法，其译码失真必大于 。

47.将一个码标在码树上，如果其所有码字均处于 节点上，则该码为非续长码。

48.(5,2)线性码{00000，01101，10111，11010}能纠正错误的个数c t 为 。

49.伴随式[][][]T
H e s =中[]e ，称为 。

50.Shannon 定理说明，要构成最佳唯一可译码，平均码长N 应满足 ；
允许一定失真时，信息率所能压缩的极限值是 ；定理也指出是可靠通信系统信息传输的上界 。

50.R(D)是满足保真度准则下平均传送每信源符号的所需的 比特数，它是定义域上的严格递 函数。

51.在对信源进行观察之前，对认识主体来说，信源存在 ，它与信源的 有关。

52. 考虑任意N 个相邻时刻输出的随机变量，将其看成一个新的离散无记忆信源的输出，则称为 。

53. 是自信息量的统计平均，对数以2为底时，单位是 。

54. 一般衡量一个信息传递系统的好坏，有两个主要指标，其一，信息率R ，即 ，其二，平均差错率，即 。

55. 设Ｘ的取值受限于有限区间［a,b ］，则X 服从 分布时，其熵达到最大。

56. 变长码采用非续长码，力求使 最小，此时 最高，信源的冗余度得到最大程度的压缩。

57. 使平均差错率达到最小的译码规则称为 。

58. 两个等长符号序列之间的汉明距离，是它们之间 。

59. 最小码间距离是衡量码的性能的重要参数，信道编码在选择码字组成一个码时，只要条件允许，尽量使码的最小码间距离 一些为好。

60. 设离散无记忆平稳信源的信息率失真函数为R(D)，若R<R(D)，则无论采用什么样的编码方法，其译码失真必大于 。

61. 在加性高斯噪声信道中传输信息， 分布的输入信号是最有效的。

62. 将一个码标在码树上，如果其所有码字均处于 节点上，则该码为非续长码。

63. 信息率失真函数R(D)是关于D 的 函数。

64.失真度（或失真函数）);(j i v u d 是 实值函数。

65. 物理量H(X)、H(X|Y)、I(X;Y)、I(yj;xi)、I(xi|yj)、I(xi)中，只有 不具有非负的性质。

判断题
1.
微分熵可作为连续随机变量平均不确定性的测度。

2.
幅值受限时，连续随机变量X 服从均匀分布时，其微分熵达到最大。

3.
离散无记忆信道{X, PY/X, Y}是无损的，意味着H(X|Y)=0。

4.
加性高斯噪声信道的最佳输入分布仍为高斯分布。

5. 对于无记忆加性噪声信道，若输入信号服从高斯分布，且平均功率受限，则
服从高斯分布的噪声是最有害的。

6. 有噪信道串联，串联环节增加不影响串联信道的平均互信息量。

7. 信道剩余度大，意味着信源与信道（信息）匹配程度高。

8. 均值受限时，连续随机变量X 服从高斯分布时，其微分熵达到最大。

9. 设二维离散平稳信源X 的条件熵为H(X2|X1)，平均符号熵为H2(X)，理想的
无记忆信源熵为H(X)，则此三者满足H2(X) ≤H(X2|X1) ≤ H(X) 。

10.满足Kraft 不等式的码一定是非续长码。

11.Haffman 编码编出的码一定是非续长码，而Fano 编码编出的码不一定是非续长码。

12.最小距离译码规则与极大似然译码规则是等价的。

13.信源的最佳编码使信道码符号的平均码长最短。

14.等长非奇异码一定是唯一可译码。

15.在信源编码中，试验信道只是假想的信道，不同的试验信道对应于不同的信源编码。

16.信源在允许失真时，其信息率所能压缩到的极限值是R(D)。

17.R(D)=0表示信源无任何失真。

问答题
1.画出信息传输系统基本模型，并简要说明各部分作用。

2.信源编码和信道编码的目的是什么。

3.什么是香农容量公式，为保证足够大的信道容量，可采用哪两种方法。

4.香农信道容量公式为 式中，信噪比PS/PN=PS/N0B 。

试根据香农信道容量公式，讨论在能源很珍贵的场合增大信道容量的方法以及方法的局限性。

试根据香农信道容量公式，讨论在频率资源受限的场合增大信道容量的方法以及方法的局限性。

5.设离散无记忆信源为 ⎥⎦
⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡4/34/121x x P X X ，试求信源的熵、信息含量效率以及冗余度。

6.上一题，求其二次扩展信源的概率空间。

7.设DMC 的转移矩阵为[]⎥⎦⎤⎢
⎣⎡=9.01.01.09.0|X Y P ，求该信道的2次扩展信道的转移矩阵。

8.设连续信源的概率密度函数为⎩
⎨⎧∉∈=]6,2[,0]6,2[,4/1)(x x x f X ，求X 的微分熵。

9.设离散无记忆信源⎥⎦
⎤===⎢⎣⎡==⎥⎦⎤⎢⎣⎡8/138/14/1212/102221x x x x P X X ，其发生的一则消息A 为（202120130213001203210110321），求该消息的自信息量。

10.设离散无记忆信源 ⎥⎦⎤===⎢⎣⎡==⎥⎦⎤⎢⎣⎡8/134/14/1218
/304321x x x x P X X ，其发生的消息为A ={321010212300210320120103210130210100112232102}，求：
1）此消息的自信息量是多少？
2）在此消息中平均每个符号携带的信息量是多少？
11.设随机变量}1,0{},{21==x x X 和}1,0{},{21==y y Y 的联合概率空间为 ⎥⎦
⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡8/1),(8/38/3),(),(8/1),(22122111y x y x y x y x P X XY 定义一个新的随机变量Y X Z ⨯=（普通乘积），求：
1）计算熵H(X),H(Y),H(Z),H(XZ),H(YZ),H(XYZ);
0()log 1S S P C P B N B ⎛⎫=+ ⎪⎝⎭
2）计算条件熵H(X|Z),H(Y|XZ);
12.二进制删除信道输入概率为：2.0)(1=a P ，求][],[],[],[||Y X X Y Y X P P P P 及);(Y X I 。

13.设离散无记忆信源X 通过离散无记忆信道},,{|Y P X X Y 传送信息，设信源的概
率分布和信道的线图分别为，⎥⎦
⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡4.06.021a a P X
,
求：
1）信源X 和信道输出Y 的熵；
2）信道疑义度H(X|Y)和噪声熵H(Y|X)。

3）信源X 的符号a1和a2分别含有的自信息；
4）从输出符号)2,1(=j b j 分别所获得的关于输入符号1a 的信息量；
14.三个特殊的DMC 的转移矩阵如下：
⎥⎥⎥⎦
⎤⎢⎢⎢⎣⎡=2/13/16/16/12/13/13/16/12/1][|X Y P ⎥⎥⎥⎥⎦
⎤⎢⎢⎢⎢⎣⎡=101001000001][|X Y P ⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=10005/2005/2005/10004/3004/1][|X Y P
分别判断各信道属何种信道（无损、确定、无损确定、对称、准对称、一般），求出各信道的最佳输入分布和信道容量。

15.设信道转移矩阵为⎥⎥⎥⎦
⎤⎢⎢⎢⎣⎡=4/34/104/14/30001][|X Y P
试列出能够解出信道容量的方程组。

（不要求求出结果）
16.设有一离散无记忆信源，其概率空间为⎥⎦
⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡78.022.021a a P X 通过信道BSC(0.05)，该信道以1000二元符号/秒的速度传输输入符号，求：
1）H(X)、H(Y|X)和I(X;Y);
2）从信息传输的角度来考虑，10秒钟内能否将9300个信源符号无失真地传送完？
17.设信源U 取值于{0，1} ，限失真编码器输出V 取值于{0，1，2} 。

规定失真度或失真函数为||),(j i j i v u v u d -=求失真矩阵[]d 。

18.设码为C={11100，01001，10010，00111}
（1）求该码的最小汉明距离；
（2）假设码字等概率分布，求该码的码率；
（3）若采用最小距离译码规则，那么，当收到“10000”、“01100”以及“00100”时，分别译为什么码字？
（4）该码能检出几位错误？能纠正几位错误？
19.设DMS 为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡03.007.010.018.025.037.0654321u u u u u u P
U U 用二元符号表}1,0{21===x x X 对其进行定长编码，
若所编的码为{000，001，010，011，100，101}，
（1）对编码器输出码元的一维概率P(x1)与P(x2)。

（2）用二元符号表}1,0{21===x x X ，写出利用霍夫曼编码后的编码，并求编码后的码元的一维概率P(x1)与P(x2)、平均码长。

20.设DMS 为⎥⎦
⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡1.01.02.02.04.054321u u u u u P U U （1）对U 进行霍夫曼编码，并求出平均码长-
l 和编码效率η。

（2）对U 进行Fano 编码，并求出平均码长-l 和编码效率η。

注：322.14.0log ,322.22.0log ,322.31.0log -=-=-= 21.设DMS 为⎥⎦
⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡12/112/18/18/18/18/16/16/187654321u u u u u u u u P U U 对U 进行三元霍夫曼编码，并求出平均码长-
l 和编码效率η。

22.（5,2
（1（2）求(5,2)线性码能检出错误的个数td 、纠正错误的个数tc 。

23.已知线性分组码的生成矩阵⎥⎥⎥⎦
⎤⎢⎢⎢⎣⎡=011110101100010001G （1）该码的码长N ？信息位长度？检验矩阵H ？
（2）列出全部许用码字。

（3）该码最大能检验几位错，纠正几位错？
（4）已知接收码字Y=100111，错1位，进行正确译码。

24.给定信源等概分布，失真测度矩阵⎥⎥⎥⎦
⎤⎢⎢⎢⎣⎡=130502014][d 求率失真函数的定义域和值域。

25分析连续信源熵和离散信源熵的异同点。

26. 简述唯一可译性和非奇异性的区别与联系。

27. 简述信源的信息率、信息速率、信息含量效率和信息冗余度的概念。

28.设有离散无记忆信源⎥⎦
⎤⎢⎣⎡=⎥⎦⎤
⎢⎣⎡02.005.008.010.015.018.020.022.087654321s s s s s s s s P S 试对信源进行四元Huffman 编码，求信源熵H(S)，平均码长和编码效率。

（编码时码树各分枝概率从大到小分别编0至3码）
29.三个特殊的DMC 的转移矩阵如下:
⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=101001000
001][|X Y P ⎥⎦⎤⎢⎣⎡=3/16/13/16/16/13/16/13/1][|X Y P ⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=10004/3004/1000
1
][|X Y P ,分别判断各信道属何种信道（无损、确定、无损确定、对称、准对称、一般），求出各信道的最佳输入分布和信道容量。

（注：585.13log =,322.25log =,585.26log =）
30.设有DMS ，其转移矩阵为[]⎥⎥⎥⎦
⎤⎢⎢⎢⎣⎡=2/13/16/16/12/13/13/16/12/1|X Y P 若信道输入概率为
]6/13/12/1[][=X P ，试确定最佳译码规则，并计算出相应的平均差错率。