第二章 信息的度量 1

通过无噪信道传输后，收信者（信宿）对事
件xi消除的不确定性的大小，即获得的信息 量的大小 收到某消息获得的信息量=不确定性的减少量
例题4
（1）假设英文字母中“a”出现的概率为0.064，
“c”出现的概率为0.022，分别计算他们的自信息量。
（2）假源自文库前后字母出现是互相独立的，计算消息
“ac”的自信息。
1/8
1/4
1/2
则该信源各消息的自信息量分别为： xi
P(xi )
A
1/8
T
1/8 log8
G
1/4 log4
C
1/2 log2
I(xi log8 单位：比特 )
自信息I(xi)的含义
▲
在事件发生以前，等于事件xi发生的不确定
性的大小;
在事件发生以后，表示事件xi所含有或最大
能给收信者提供的信息量。
小结---信息量
收到某消息获得的信息量 =不确定性的减少量 =（收到此消息前关于某事件发生的不确定性） -（收到此消息后关于某事件发生的不确定）
互信息的其他计算公式
是已知事件 xi 后所消除的关于事件 yi 的不确定 性 I ( yi ; xi )。 p( xi | yi ) p( yi | xi ) yi ) log 2I ( yi ; xi ) I ( yi ) I ( yi / xi ) log 2 p( xi ) p( yi )
log p( xi ) log p( xi | y j ) (i 1,2,, n I ( xi ; y j ) I ( xi ) I ( xi | y j ) 噪声 p( xi | y j ) log p( xi )I log p( x | y j ) (i 1,2,, n ; j 1,2,, m) I ( xi ; y (x j ) I ( xi ) i | y j ) i log p( xi ) ( xi p |y p log (x ) log p( xi | y j ) (i 1,2,, n ; j 1,2,, m 观察者站在输出端 j) i log (x )|y ) ix ：对 py x 存在的不确定度； p (一无所知的情况下
i I ( xi ) log j i j p( xi )yj 后 xi 仍然存在的不确定度，损失的信息 I ( xi | y j )：收到
p(xi|yj )
表示事件 y j 出现前和出现后关于事件 xi 的不确定性被消除 的部分； 表示事件 y j 出现以后信宿获得的关于事件 xi 的信息量。
x3(雨)，x4(雪)。 收到消息y1后各种天气发生的概率变成了后验概率：
1 1 p( x1 p( x 2 py (1) x1 y1) py (1) x 2 y1) 4 4 1 1 p( x1/ y 1) 0 p ( x 2 / y 1) p( x1/ y1) 0 p( x 2 / y1) 1 1 1 p( y1) p ( y 1) 2 1 1 1 p( y1) p( y1) 2 4 8 4 8 8 8 1 1 1 1 p ( x3 py (1) x3 y1) 8 8 1 1 p( x 4 / y1) p( x 4 py (1) x 4 y1) 8 8 1 1 p ( x3 / y 1) p( x3 / y1) p( x 4 / y1) 1 1 1 p( y1) 4 4 p( y1) 4 11 1 1 1 1 1 p( y1) 1 1 p ( y 1) 4 4 8 4 8 4 8 8 8 4 8 8 8
可能性大小的数量指标
非负性（P（X）>=0）、完备性(P（Ω）=1)
2.1 自信息和互信息
2.1.1自信息
自信息（量）:一个消息xi
的先验概率p(xi)的函数:
（事件）本身所包含 的信息量，由事件的不确定性决定，记为I(xi)。 某事件xi发生所提供的信息量I(xi)应该是该事件发生
I(x)=f(p(x))
比特（bit,binary unit)
息量
P(x)=1/2时，I(x)=1bit。即概率为1/2的事件具有1bit信
由于在计算机上是二进制(binary digit)，我们一
般都采用比特。
计算自信息量的例子
例3：信源消息X={A,T,G,C} 的概率模型如下： xi A T G C
P(xi)
1/8
试的试验
概率知识回顾
基本事件，常用e, ω来表示
对一个试验来说，我们把其最简单的不能再分的
事件称为该事件的基本事件
样本空间---用Ω表示，一个试验所有基本事
件组成的集合，称为该试验的样本空间
随机事件---随机试验的每个可能的结果
是基本事件集的子集，简称事件
概率测度（概率），用P表示，刻画事件发生
I(c) log 2 0.022 5.51bit
（2）假定前后字母出现是互相独立的，计
算消息“ac”的自信息。
解：由于前后字母出现是互相独立的，
“ac”出现的概率为0.064*0.022，所以
I(ac) log (log 2 0.064 (log 2 0.064 log I( a)+I(c)=9.47bit 2 (0.064*0.022) 2 0.022)
应满足以下公理化条件：
(1)I(x)是p(x)的单调递减函数；若p(x1)<p(x2),则 I(x1)>I(x2) (2)当p(x)=1时，I(x)=0； 极限情况下，当p(x)=0时，I(x)→+∞。 (3)信息量满足可加性：对于两个独立事件，其信息量等于各自信 息量之和。若p(x1x2)=p(x1)p(x2),I(x1x2)=I(x1)+I(x2)
信息的概念
信息是信息论中最基本、最重要的概念，它是 一个既存在广泛又抽象的概念；
广泛性
客观世界充满信息 人类离不开信息 知识、书本是有用信息的积累
抽象性
信息不等同与“消息”、“信号”、“情报”、“知 识”和“数据”等
小结----理解信息的概念
信息---事物运动状态或存在方式的不确定
性的描述。
根据互信息的定义，可以算出y1与各种天气
之间的互信息：
p ( x1 | y1 ) I ( x1 ; y1 ) I ( x1 ) I ( x1 / y1 ) log 2 p ( x1 ) p ( x2 | y1 ) 1/ 2 I ( x2 ; y1 ) I ( x2 ) I ( x2 / y1 ) log 2 log 2 1bit p ( x2 ) 1/ 4 p ( x3 | y1 ) 1/ 4 I ( x3 ; y1 ) I ( x3 ) I ( x3 / y1 ) log 2 log 2 1bit p( x3 ) 1/ 8 p ( x4 | y1 ) 1/ 4 I ( x4 ; y1 ) I ( x4 ) I ( x4 / y1 ) log 2 log 2 1bit p ( x4 ) 1/ 8
由于计算机是离散的，我们重点讨论离散信源
某时刻，信源发出的消息（事件）具有不确定性
概率知识回顾
在一定条件下可能出现也可能不出现的现象
称为随机现象.
随机现象揭示了条件和结果之间的不确定性，其
数量关系无法用函数加以描述，
在一次观察中出现什么结果具有偶然性，但是通
过大量试验，结果具有一定的统计规律性 。 （掷 骰子）
064*0.022) (log 2 0.064 log 2 0.022) I( a)+I(c)=
log 2 0.022) I( a)+I(c)=9.47bit
信息量满足可加性
（3）假定前后字母出现不是互相独立的，当“a”
出现以后， “c”出现的概率为0.04， 计算“a”出现以后， “c”出现的自信息量。
（3）假定前后字母出现不是互相独立的，当“a”出
现以后， “c”出现的概率为0.04，计算“a”出现以 后， “c”出现的自信息量。
（1）英文字母中“a”出现的概率为0.064，
“c”出现的概率为0.022，分别计算他们的自 信息量。
解：
（1） I(a) log 0.064 3.96bit 2
p( xi | yi ) I ( xi ; yi ) I ( xi ) I ( xi / yi ) log 2 I ( yi ) I ( yi / xi ) log p( xi )
是已知事件 y i 后所消除的关于事件 xi 的不确定性。 事件 本身的不确定性 减去已知事件 后 yi 对 仍然存在的不确定性 xi I ( xi )
狭义信息论：又称香农信息论。主要通过数
学描述与定理分析，研究通信系统从信源到 信宿的全过程 信息的度量 信道容量 信源和信道编码理论等问题。
通信系统模型
香农将各种通信系统概括成通信系统模型：
消息 信号 信号+干扰 消息
信源
编码器
干扰
信道
译码器
信宿
噪声源
通信系统中形式上传输的是消息，但实质上传输的是信息。 通信的结果是消除或部分消除不确定性，从而获得信息。
随机现象是通过随机试验来研究的.
概率知识回顾
随机试验，通常用 E 表示，对自然现象的
观察和进行一次科学实验。在相同条件下
可重复进行 试验的结果不止一个，每次试验总是恰好出现这
些可能结果中的一个，但在一次试验之前其结果 无法确知 在大量重复试验或观察中呈现出某种统计规律性 的现象
例如：重复摸球试验、掷骰子、参加一次英语考
概率的乘法公式
p( xy) p( x) p( y | x) p( y) p( x | y)
I ( xi ; yi ) I ( yi ; xi )
互信息的其他计算公式
概率乘法公式
p( xi | yi ) p ()yi | xi p ( x , y ) p ( x ) p ( y x I ( xi ; yi ) I ( xi ) I ( xi / yi ) log 2 I ( yi ) I ( yi / xi ) log 2 p( xi ) p( yi )
2.1.1 自信息 ※
某消息xi的自信息，可用该消息出现的概率的对数
的负值来表示：
1 I(xi) log 2 p( xi ) log 2 p( xi )
p(xi)为消息的先验概率 底数为2时，常把2省略
log a b log c b log c a
自信息量的单位：若这里的对数底取2，则单位为
利用通信系统模型理解互信息
设X为信源发出的离散消息集合；Y为信宿收
到的离散消息集合；
信源发出的消息，经过有噪声的信道传递到
信宿；
信源
X
信道
Y
信宿
噪声
图1 通信系统的简化模型
I(xi)
p(xi)
信源
xi X xi
无噪
信道
xi Y
I(xi)
信宿
yI I ( xi ; y j ) I ( xi ) j ( xi | y j )
xi
I ( xi | y j )
条件概率公式
例5
雪1/8.
p( x y) p( xy) / p( y)
某地二月份天气出现的频率分别为 晴1/2，阴1/4，雨1/8，
某一天有人告诉你：“今天不是晴天”，他这句话作为收
到的消息y1，求收到y1后，y1与各种天气的互信息量。
解：把各种天气记作x1(晴)，x2(阴),
信源
信源---信息的来源，是产生消息或消息序列的源泉 按照消息的取值集合的离散性和连续性
离散信源---输出的消息是有限的，可数的，可以用一维
离散型随机变量来描述。
如筛子的点数、碱基种类、氨基酸的种类、选修课成绩
连续信源---信源符号集的取值是连续的，可以用一维连
续型随机变量来描述。
如：说话的内容是离散的,说话的分贝是连续的.
解：
I( c ) log2 0.04 4.64bit a I (c) 5.51bit
“a”出现的条件下，“c”出现的频率变大，它的不
确定性变小，消除了一定的不确定性，所提供的信 息量就减少。
2.1.2互信息 ※
互信息 一个事件 yi 所给出关于另一个事件 xi
的信息定义为互信息，用 I ( xi ; yi ) 表示。