第二章 信源与信息度量 习题

第二章 信源与信息度量 习题

1. 某大学设置五个学院，每个学院的学生数分别为

学院： 数学 物理 外语 外贸 医学

人数： 300 400 500 600 200

问“某学生王某是外语学院学生”这一消息提供的信息量是多少？

2. 同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求：

（1） 事件“2和5同时呈现”的自信息量；

（2） 事件“两个4同时呈现”的自信息量；

（3） 事件“至少呈现一个1”的自信息量。

3. 字母“e ” 在英文中出现的概率是0.103，字母“c ”出现的概率为0.022，字母“x ”出现的概率是0.001，求这些字母各自的自信息量。

4. 某电子厂共能生产A 、B 、C 、D 四种仪器，其中A 因技术落后停产了，B 占全部产量的20%，C 占30%，D 占50%。有两个消息“现在完成1台仪器B ”，和“现在完成1台仪器C ”，试确定哪一种消息提供的信息量大些？其中有什么规律？

5. 某地，35%的女孩上大学，65%的女大学生身高超过1.6米，而一个女孩身高超过1.6米的概率是50%，现有一条消息：说某一个身高超过1.6米的女孩是大学生，求这条消息的信息量。

6. 试求：

（1） 在一付标准的扑克牌中抽出一张（每张牌均认为是不同的）的平均信息量。

（2） 若扑克牌仅按它的等级鉴定而不问它的花色(大、小王属同一等级)，重复上述计算。

7. 某地的天气预报为：晴（占4/8），多云（占2/8），雨（占1/8），雪（占1/8），冰雹（占0/8）；而当地老农对天气的预测只能做到：晴（占7/8），雨（占1/8）。试求两者对天气预报各自提供的平均信息量，并说明从中得到的规律。

8. 某离散无记忆平稳信源的概率空间为：12340123()3/81/41/41/8X x x x x p X ====⎧⎫⎡⎤=⎨⎬⎢⎥⎩

⎭⎣⎦，若某消息符号序列为：202 120 130 213 001 203 210 110 321 010 021 032 011 223 210，求：

（1） 该消息的自信息量；

（2） 该消息平均每个符号携带的信息量。

9. 若每帧电视图像由3×105

个像素组成，且像素是独立变化的。每个像素取128个不同的亮度电平，并设亮度电平等概率出现。

（1） 问每帧图像含有多少信息量？

（2） 若现有一广播员在约10，000个汉字的字汇中选1，000个字来口述此电视图像，问广播员描述此图像所播出的信息量是多少？（假设，10，000个汉字字汇等概率分布，并彼此无依赖）

（3） 若要恰当地描述出此图像的所有信息量，广播员在口述中至少需要多少汉字？

10. 设有一个信源，发送“0”和“1”两种符号，无论何时发出符号的概率均为p (0) = 0.4，p (1) = 0.6，并与以前发出的符号无关，

（1） 问该信源是否是平稳信源？

（2） 计算2()H X ，312()/H X X X 和lim ()N N H X →∞

； （3） 计算4()H X ，并写出4X 信源中所有可能的符号序列。

11. 有一二元数字通信系统，传送“0”和“1”的概率分别为1/4和3/4。

（1） 计算此系统的信源熵和其冗余度。

（2） 为了可靠地传输消息，对每个符号重复传输3次，试求其冗余度为多少；如果采用重复传输4次的方案呢？这样做是否合理？

12. 黑白电视消息只有黑色()B 和白色()W 两种，即信源(,)X B W =，设黑色出现的概率为()0.3p B =，白色出现的概率()0.7p W =。

（1） 假设图上黑白消息出现前后没有相关性，求熵()H X ；

（2） 假设消息前后有相关性，其依赖关系为(/)0.9p W W =，(/)0.1p B W =，(/)0.2p W B =，(/)0.8p B B =，求此一阶马尔可夫信源的熵2()H X ，画出其状态转移图；

（3） 分别求上述两种信源的剩余度，比较()H X 和2()H X 的大小，并说明其物理意义。

13. 马尔可夫信源的消息符号集为{0,1,2}，其状态转移图如右

图所示。

（1） 求稳定后信源符号的概率分布；

（2） 求此马尔可夫信源熵；

（3） 当p = 0或p = 1时，求此马尔可夫信源熵。

14. 某校入学考试中有1/4考生被录取，3/4考生未被录取。被录取的考生中有50%来自本市，而落榜考生中有10%来自本市。所有本市的考生都学过英语。而外地落榜考生以及被录取的外地考生中都有40%学过英语。

（1） 当已知考生来自本市时，给出多少关于考生是否被录取的信息。

（2） 当已知考生学过英语时，给出多少关于考生是否被录取的信息。

（3） 以x 表示是否落榜，y 表示是否为本市学生，z 表示是否学过英语，试求H (X )，H (Y /X )，H (Z /XY )。

作业：1，2，3，5，6，7，8，9，11，12