信息及其度量

通常广泛使用的单位为比特，这时有：
I
log2
1 P(x)
log2
P(x)
3.度量信息的方法
[例]设二进制离散信源，数字0或1以相等的概率出现，试计算 每个符号的信息量。
解:二进制等概率时
P(1) P(0) 1ຫໍສະໝຸດ Baidu 0.5 2
有 I (1) I (0) log2 0.5 1 bit
即二进制等概时，每个符号的信息量相等，为1bit。
每个符号的算术平均信息量为
I
I 符号数
108 57
1.89
(比特/ 符号）
3.度量信息的方法
若用熵的概念来计算：
H
3 8
log
2
3 8
1 4 log 2
1 4
1 4 log 2
1 4
1 8 log 2
1 8
1.906 （比特 / 符号）
则该消息的信息量：
I 571.906 108.64 (b)
3.度量信息的方法
当各个符号出现的概率不相等时，计算消息的信息量，常用到平均信息量的概念。
平均信息量定义：每个符号所含信息的平均值。用符号 I 表示
多进制时，设各符号出现的概率为：
x1,
x2, , xn
P(
x1
),
P(
x2
),,
P(
xn
)
且
n
P(xi ) 1
i1
则平均信息量（信息源的熵）为：
试求某消息： 20102013021300120321010032101002310200201031203210012021 0的信息量。
[解] 此消息中，“0”出现23次，“1”出现14次，“2”出现13次，“3” 出现7次，共有57个符号，故该消息的信息量：
I 23 log2 8/ 3 14 log2 4 13 log2 4 7log2 8 108 (b)
2.度量信息的原则
度量信息量的原则：
能度量任何消息，并与消息的种类无关；
度量方法应该与消息的重要程度无关；
消息中所含信息量和消息内容的不确定性有关； 如：一条概率几乎为零的消息（太阳将从西方升起）将会使人 感到惊奇和意外，而一个必然事件（如太阳从东方升起），人们不 足为奇，前一条比后一条包含了更多的信息。 这表明：消息所表达的事件越不可能发生，信息量就越大。
I P(x1) log 2 P(x1) P(x2 ) log 2 P(x2 ) P(xn ) log 2 P(xn )
n
P(xi ) log2 P(xi ) bit 符号 i 1
3.度量信息的方法
[例] 一离散信源由“0”，“1”，“2”，“3”四个符符号组成，它们出 现的概率分别为3/8，1/4，1/4，1/8，且每个符号的出现都是独立的。
3.度量信息的方法
信息量是消息出现概率的函数； 消息出现的概率越小，所包含的信息量就越大；
设： P(x) － 消息发生的概率
（1） I 是 P(x) 的函数： I ＝I [P(x)]
I － 消息中所含的信息量， 则 P(x) 和 I 之间应该有如下关系：
（2）P(x) ，I ； P(x) ，I ； （3）P(x) = 1时，I ＝ 0； P(x) = 0时，I ＝ ；
通信技术专业教学资源库 南京信息职业技术学院
《现代通信技术》课程
信息及其度量
主讲： 曾庆珠
目录
01
基本概念
02 度量信息的原则
03 度量信息的方法
1.最佳接收准则
信息
消息中包含的有意义的内容。 不同形式的消息，可以包含相同的信息。
信息量
信源的不肯定度就是信源提供的信息量。 传输信息的多少用信息量表示。
I[P(x1)P(x2 )] I[P(x1)] I[P(x2 )]
满足上述3条件的关系式如下：
1
I log a P(x) log a P(x) －信息量的定义
3.度量信息的方法
若a = 2，信息量的单位称为比特(bit) ，可简记为b；
上式中对数的底
若a = e，信息量的单位称为奈特(nat) 若 a = 10，信息量的单位称为哈特莱(Hartley)
以上两种结果略有差别的原因在于，它们平均处理方法不同。前一种按算 数平均的方法，结果可能存在误差。这种误差将随着消息序列中符号数的增加 而减小。
当消息序列较长时，用熵的概念计算更为方便。
通信技术专业教学资源库 南京信息职业技术学院
谢谢
主讲： 曾庆珠