信息论习题

前三章习题

选择题

1、离散有记忆信源],[21x x X =，12()()0.5P x P x ==，其极限熵H ∞ 。

A 、1bit >

B 、1bit <

C 、1bit =

D 、不能确定

2、任意离散随机变量X 、Y 、Z ， 必定成立

A 、)|()|(XZ Y H YZ X H =

B 、)()()()(Z H Y H X H XYZ H ++=

C 、)|()|(Y X H YZ X H ≤

D 、0)|;(=Z Y X I

3、|Y X P 给定时，(;)I X Y 是X P 的 函数。

A 、上凸

B 、下凸

C 、上升

D 、下降

4、使(;)I X Y 达到最大的 称为最佳分布。

A 、联合分布

B 、后验分布

C 、输出分布

D 、输入分布

5、离散平稳无记忆信源],[21x x X =，且bit X H 1)(=，则=)(1x P 。

A 、41

B 、2

C 、1

D 、2

1 6、=);(Y X I 。

A 、)|()(X Y H X H -

B 、)|()(Y X H Y H +

C 、)|()(X Y H Y H -

D 、)()(X H XY H -

7、通常所说的“连续信源”是指 信源。

A 、时间连续且取值连续的

B 、取值连续

C 、时间离散且取值连续的

D 、时间连续

8、已知信道，意味着已知 。

A 、 先验分布

B 、转移概率分布

C 、 输入输出联合概率分布

D 、输出概率分布

9、已知X Y P |，可求出

A 、)(XY H

B 、 )|(X Y H

C 、);(Y X I

D 、)|(i j x y I

10、连续信源的输出可用 来描述

A 、常量

B 、变量

C 、离散随机变量

D 、连续随机变量

11、101)(=i x P ，则=)(i x I 。

A 、bit 10ln

B 、dit 10ln

C 、dit 1

D 、dit 10log

12、信道容量表征信道的 。

A 、最大通过能力

B 、最大尺寸

C 、最小通过能力

D 、最小尺寸

13、DMS 的信息含量效率等于信源的实际熵 信源的最大熵。

A 、乘以

B 、减去

C 、除以

D 、加上

14、下面信道矩阵为准对称信道的是 。

15、()H XY = 。

A 、()(|)H X H Y X +

B 、()(|)H Y H X Y +

C 、()(|)H X H X Y +

D 、()(|)H Y H Y X +

16、信道编码能 。

A 、减小信息冗余

B 、提高信息含量效率

C 、增大信息冗余

D 、提高传送可靠性

17、已知联合概率分布XY P ，可求出 。

A 、(;)I X Y

B 、(;)I X Z

C 、()H XYZ

D 、()H X

18、互信息量(;)i j I x y 具有 的性质。 A 、非负 B 、互易性 C 、大于()j I y D 、小于等于()i I x

19、0);(=Y X I 的条件是 。

A 、X 与Y 统计独立

B 、)|()(Y X H Y H =

C 、()(|)H X H X Y =

D 、)|()(),(i j i j i x y P x P y x P =，对所有j i ,。

20、已知转移概率，就能 。

A 、求出);(Y X I

B 、求出信道容量

C 、画出信道线图

D 、求出)|(X Y H

填空题

1. 衡量信息传输系统传输速度的技术指标为 。

2. 在对信源进行观察之前，对认识主体来说，信源存在 ，它与信源的先验概率有关。

3. 对于无记忆加性噪声信道，假设输入信号服从高斯分布，且噪声的平均功率受限，则服从高斯分布的噪声使信道平均互信息量达到最 。

4. 在加性高斯噪声信道中传输信息， 分布的输入信号是最有效的。

5. 设X 的取值受限于有限区间[a,b]，则X 服从 分布时，其熵达到最大。

6. 波形信道的信道容量与信噪比有关，提高信噪比可以 信道容量。

7. 波形信道的信道容量与频带B 有关，若信噪比不变，

则 频带B 可使信道容量增大。

8. 条件多的熵不 条件少的熵

9. DMS 中X 的符号表中含N 符号，其M 次扩展信源中含 个符号。

10.对称信道的最佳分布是 。

11.若Y 、Z 统计独立，则H(ZY)、H(Y)以及H(Z)三者之间的关系式为 。

12.离散无记忆信道的统计特性是由 概率分布来描述的。

13.离散平稳无记忆信源X ，H(X)=2bit ，则H(X3)= 。

14.M 个信源符号的离散无记忆信源，其最大熵为 bit 。

15.I(xi|yj)=2bit 、I(xi)=3bit ，则I(yj;xi)= bit 。

16.某离散无记忆信道的信道容量为C ，则其N 次扩展信道的信道容量为 。

17.连续信源服从均值为u 、方差 的高斯分布，则 。

18.物理量H(X)、H(X|Y)、I(X;Y)、I(yj;xi)、I(xi|yj)、I(xi)中，只有 不具有非负的性质。

19.信道2秒钟传一个符号，信道的I(X;Y) =3bit ，Rt= bit/秒。

20.给定信源X ，信道输出为Y ，I(X;Y)是 概率的下凸函数。

21.离散对称信道输入 时，输出为 分布，达到信道容量。

22.设Ｘ的取值受限于有限区间［a,b ］，则X 服从 分布时，其熵达到最大；如X 的均值为u ，方差受限为 ，则X 服从 分布时，其熵达到最大。

23.信息论不等式：对于任意实数z>0，有 ，当且仅当 时等式成立。

24.甲在一个8×8的方格棋盘上随意放入一个棋子，在乙看来棋子落入的位置是不确定的，若甲告知乙棋子落入方格的行号，这时乙得到的信息量为 bit ／符号；若甲将棋子落入方格的行号和列号都告知乙，这时乙得到的信息量为 bit ／符号。

25.对于某离散信道，具有3 x 5的转移矩阵，矩阵每行有且仅有一非零元素，则该信道噪声熵为 ；最大信息传输率为 。

26.对于理想信道，H(X|Y)= ，I(X;Y)= 。

27.对于强噪声信道，H(X|Y)= 。

28.H(X|Y)与H(X)的关系式为 。

29.对于某个含有5个消息的信源，当 分布时，熵最大，其值为 ，当 分布时，熵最小，其值为 。

30.若信源离散无记忆，则N 维序列有 31.H(X) ∑=N i i X H 1)(，I(X;Y) ∑=N

i i i Y X I 1);(。（填不等号）。

32.)()(),(j i j i y P x P y x P =,=);(j i y x I 。

判断题

1. 微分熵可作为连续随机变量平均不确定性的测度。

2. 幅值受限时，连续随机变量X 服从均匀分布时，其微分熵达到最大。

3. 离散无记忆信道{X, PY/X, Y}是无损的，意味着H(X|Y)=0。

4. 加性高斯噪声信道的最佳输入分布仍为高斯分布。