教学资源 4信息及其度量 电子教案

信息及其度量
一、教学目标：
能说出信息的定义，并知道信息量与事件发生概率之间的关系； 知道信息量与平均信息量的计算公式；
会熟练运用公式进行信息量的计算。

二、教学重点、难点：
重点是会运用信息量公式计算某个信息的信息量；
难点是运用平均信息量（熵）计算信源的信息量。

三、教学过程设计：
1.基本概念：
举例说明什么是消息，什么事信息，消息与信息之间的关系。

给出信息量的概念。

2.度量信息量的原则：
1）能度量任何消息，并与消息的种类无关；
2）度量方法应该与消息的重要程度无关；
3）消息中所含信息量和消息内容的不确定性有关。

给出三个原则过以后，不做过多解释，给出实际案例：太阳从西边出来、法国又遭到袭击、土耳其击落俄罗斯战机、今年夏天是热的、12点是中午了等，问学生哪个含有的信息量大，从而得出，信息量和事件发生的概率之间的关系。

3.度量信息量的方法：
（1）根据前面给出的结论，从而给出信息量定义的公式：
针对不同的底，给出不同的单位，并指出常用的是底取2，单位为bit 讲解例题：设二进制离散信源，数字0或1以相等的概率出现，试计算每个符号的信息量。

解:二进制等概率时
有
)(log )
(1log x P x P I a a -==5021)0()1(.===P P ()
bit I I 150)0()1(2=-==.log
即二进制等概时，每个符号的信息量相等，为1bit 。

（2）平均信息量（熵）
当各个符号出现的概率不相等时，计算消息的信息量，常用到平均信息量的概念。

平均信息量定义：每个符号所含信息的平均值。

用符号 表示。

给出计算平均信息量的公式：
为了进一步给出加深大家对平均信息量和信息量的理解，举例进行说明。

例：一离散信源由“0”，“1”，“2”，“3”四个符符号组成，它们出现的概率分别为3/8，1/4，1/4，1/8，且每个符号的出现都是独立的。

试求某消息：
201020130213001203210100321010023102002010312032100120210的信息量。

这道题让学生来进行计算并讲解。

一种方法采用直接计算法，一种采用平均信息量计算法，得出结果以后对其进行对比并说明。

四、课后作业或思考题：
1、设一信息源的输出由128个不同的符号组成。

其中16个出现的概率为1/32，其余112个出现的概率是1/224.信息源每秒发出1000个符号，且每个符号相互独立，试计算信息源的平均信息速率。

五、本节小结：
对本节内容进行小结 I ()
bit x P x P x P x P x P x P x P x P I n i i i n n ∑=-=-⋯--=122222121)
(log )()(log )()(log )()(log )(。