通信原理教案2

信息及其量度（一）

一、本节知识要点：符号的信息量信息熵

由概率论可知，事件的不确定程度，可用事件出现的概率来描述。事件出现（发生）的可能性愈小，则概率愈小；反之，概率愈大。基于这种认识，我们得到：消息中的信息量与消息发生的概率紧密相关。消息出现的概率愈小，则消息中包含的信息量就愈大。且概率为零时（不可能事件）信息量为无穷大；概率为1 时（必然事件）信息量为0 。

综上所述，可以得出消息中所含信息量与消息出现的概率之间的关系应反映如下规律：

（1 ） (式1-1)

（ 2 ）消息出现的概率愈小，它所含信息量愈大；反之信息量愈小。且

时；时

（ 3 ）若干个互相独立事件构成的消息（），所含信息量等

于各独立事件信息量的和，即

(式1-2)

(式1-3) 同理，对于离散信源，若个符号等概率（）出现，且每一个

符号的出现是独立的，即信源是无记忆的，则每个符号的信息量相等，为

（ bit ）（式 1-4 ）

式中，为每一个符号出现的概率，为信源中所包含符号的数目。一般

情况下，为2 的整幂次，即，则上式可改写成：

（ bit ）（式 1-5 ）该结果表明，独立等概情况下（）进制的每一符号包含的信息

量，是二进制每一符号包含信息量的倍。由于就是每一个进制符号用二进制符号表示时所需的符号数目，故传送每一个进制符号的信息量就等于用

二进制符号表示该符号所需的符号数目。

例 1.1 试计算二进制符号不等概率时的信息量（设）。

解:由，有

利用式（ 1-3 ），得

（ bit ）

（ bit ）

可见不等概率时，每个符号的信息量不同。

计算消息的信息量，常用到平均信息量的概念。平均信息量定义为每个符

号所含信息量的统计平均值，即等于各个符号的信息量乘以各自出现的概率再相加。

二进制时

（ bit/ 符号）

多进制时，设各符号独立，且出现的概率为

且（式1-6 ）

则每个符号所含信息的平均值（平均信息量）

（式1-7 ）由于式（ 1-7 ）同热力学中熵的形式一样，故通常又称为信息源的熵，

其单位为 bit/ 符号。显然，当信源中每个符号等概、独立出现时，式（ 1-7 ）即成为（ 1-4 ）。可以证明，此时信息源的熵为最大值。

例 1.2 设由 5 个符号组成的信息源，相应概率为

试求信源的平均信息量。

解:利用式（ 1-7 ），有

例 1.3一信息源由 4 个符号 0 、 1 、 2 、 3 组成，它们出现的概率分别为 3/8 、 1/4 、 1/4 、 1/8 ，且每个符号的出现都是独立的。试求某消息为“201020130213001203210100321010023102002010312032100120210”的信息量。

解：信源输出的信息序列中， 0 出现 23 次， 1 出现 14 次， 2 出现 13 次，3 出现 7 次，共有 57 个。则

出现 0 的信息量为（ bit ）

出现 1 的信息量为（ bit ）

出现 2 的信息量为（ bit ）

出现 3 的信息量为（ bit ）

该消息总的信息量为（ bit ）

每一个符号的平均信息量为（ bit/ 符号）

上面的计算中，我们没有利用每个符号出现的概率，而是用每个符号在 57 个符号中出现的次数（频度）来计算的。实际上，若直接用熵的概念来计算，由平均信息量公式（ 1-7 ）可得

（ bit/ 符号）

则该消息总的信息量为（ bit ）

可以看出，本例中两种方法的计算结果是有差异的，原因就是前一种方法中把频度视为概率来计算。当消息很长时，用熵的概念计算比较方便，而且随着消息序列长度的增加，两种计算方法的结果将趋于一致。