信息论习题集

信息论习题集

第一章、判断题

1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。（√）

2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。（√）

3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（√）

4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。（√）

5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。（√）

6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。（√）

7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。（×）

第二章

{

一、判断题

1、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。（√）

2、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。（×）

3、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。（×）

4、信源熵是信号符号集合中，所有符号的自信息的算术平均值。（×）

5、信源熵具有极值性，是信源概率分布P的下凸函数，当信源概率分布为等概率分布时取得最大值。（×）

6、离散无记忆信源的N次扩展信源，其熵值为扩展前信源熵值的N倍。（√）

7、互信息的统计平均为平均互信息量，都具有非负性。（×）

8、信源剩余度越大，通信效率越高，抗干扰能力越强。（×）

9、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。（×）

|

10、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。（×）

11、在信息处理过程中，熵是不会增加的。（√）

12、熵函数是严格上凸的。（√）

13、信道疑义度永远是非负的。（√）

14、对于离散平稳信源，其极限熵等于最小平均符号熵。（√）

2-1 同时掷两个正常的骰子，也就是各面呈现的概率都是l/6，求：

(1) “3和5同时出现”事件的自信息量；

(2)“两个1同时出现”事件的自信息量；

(3)两个点数的各种组合（无序对）的熵或平均信息量；

(4) 两个点数之和(即2，3，…，12构成的子集）的熵；

~

(5)两个点数中至少有一个是1的自信息。

2-2 居住某地区的女孩中有25％是大学生，在女大学生中有75％身高为以

上，而女孩中身高以上的占总数一半。假如得知“身高以上的某女孩是大学

生”的消息，问获得多少信息量、

2-3两个实验和，联合概率为

（1）如果有人告诉你和的实验结果，你得到的平均信息量是多少

（2）如果有人告诉你的实验结果，你得到的平均信息量是多少

（3）在已知的实验结果的情况下，告诉你的实验结果，你得到的平均信息量是多少[

2-4某一无记忆信源的符号集为，已知，。

（1）求信源符号的平均信息量；

（2）由100个符号构成的序列，求某一特定序列（例如有个0和个1）的

信息量的表达

（3）计算（2）中的序列熵。

2-5 有一个马尔可夫信源，已知转移概率为

。

试画出状态转移图，并求出信源熵。

—

2-6有一个一阶马尔可夫链各取值于集，已知起始概率为，其转移概率如下：

（1）求的联合熵和平均符号熵；

（2）求这个链的极限平均符号熵；

（3）求和它们对应的冗余度。

2-7 一阶马尔可夫信源的状态如图所示，信源X的符号集为{0,1,2}。

（1）求平稳后的信源的概率分布；

（2）求信源熵；

^

（3）求当和时信源的熵，并说明其理由。

2-8设有一信源，它在开始时以的概率发出，如果为时，则为的概率为；如果为时，则为的概率为；

如果为时，则为概率为，为的概率为0。而且后面发出的概率只与有关。有。试利用马尔可夫信源的图示法画出状态转移图，并且计算信源熵。

第三章

一、判断题

1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。（√）

2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。（√）

3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（√）

4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。（√）

5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。（√）

&

6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。（√）

7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。（×）

8、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。（√）

9、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。（×）

10、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。（×）

11、信源熵是信号符号集合中，所有符号的自信息的算术平均值。（×）

12、信源熵具有极值性，是信源概率分布P的下凸函数，当信源概率分布为等概率分布时取得最大值。（×）

13、离散无记忆信源的N次扩展信源，其熵值为扩展前信源熵值的N倍。（√）

14、互信息的统计平均为平均互信息量，都具有非负性。（×）

15、信源剩余度越大，通信效率越高，抗干扰能力越强。（×）

，

16、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。（×）

17、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。（×）

18、在信息处理过程中，熵是不会增加的。（√）

19、熵函数是严格上凸的。（√）

20、信道疑义度永远是非负的。（√）

21、对于离散平稳信源，其极限熵等于最小平均符号熵。（√）

22、对于离散无记忆信道，达到信道容量时其输入概率分布是唯一的、特定的。（√）

23、噪声功率相同的加性噪声信道中以高斯噪声信道的信道容量最大。（×）

24、典型序列中，信源符号出现的频率与它的概率接近。（√）

25、为有效抵抗加性高斯噪声干扰，信道输入分布应该是高斯分布。（√）

|

26、最大似然译码准则是使平均译码错误率最小的准则。（×）

27、加性高斯噪声信道的信道容量不大于相同平均功率的其他加性噪声信道的信道容量。（√）

28、非奇异的定长码是惟一可译码。（√）

29、AWGN的信道容量的大小与系统的带宽成正比。（×）

30、信源编码可以提高信息传输的有效性。（√）

31、连续信源和离散信源的平均互信息都具有非互性。（√）

32、当信道输入独立等概率时，信道疑义度达到最大值。（×）

33、必然事件和不可能事件的自信息量都是0。（×）

34、事件所包含的信息量是与事件发生的概率成反比的。（×）

二、选择题

\

1 离散信源熵表示信源输出一个消息所给出的（ B ）。

A、实际信息量；

B、统计平均信息量；

C、最大信息量；

D、最小信息量；

2 平均互信息I(X,Y)等于（ C ）。

A 、H(Y)―H(X/Y)；B、H(X)―H(Y/X)

C 、H(Y)―H(Y/X)；D、H(XY)―H(X)；

3 设连续信源输出的信号谱宽度为W，平均功率为N（受限），则连续无噪信

道的信道容量为（ A ）。

A、Wlog(2πeN)；

B、2Wlog(2πeN)；

C、Wlog(2πN)；

D、2Wlog(2πN)；

4 对于无记忆离散信源X，其熵值为H(X)，由其生成的扩展信源X N的熵为

H(X N)，H(X)与H(X N)之间的关系是（ B ）。

A、H(X N)=H(X)；

B、H(X N)=NH(X)；

C、H(X N)= H N(X)；

D、H(X N)= H(X)/N；