信息论第二章 信息的度量 PPT课件

b.信息量应具有可加性：对于两个独立事件， 其信息量应等于各事件自信息量之和；
c.当q(x)=1时，I(x)= 0：表示确定事件发生 得不到任何信息；
d.当q(x)=0时，I(x)→∞：表示不可能事件 一旦发生，信息量将无穷大。
综合上述条件，将自信息量定义为:
I (x) log q(x) (2-1)
4.联合自信息量和条件自信息量间的关系
联合自信息量和条件自信息也满足非负和单调 递减性 ，同时，它们也都是随机变量。
自信息量、条件自信息量和联合自信息量之 间有如下关系式：
I (aibj ) log p(aibj ) log p(ai )p(bj ai ) I (ai ) I (bj ai ) log p(bj )p(ai bj ) I (bj ) I (ai bj )
yj∈{b1,b2,…,bD}，j = 1, 2, …,J。
{x1，x2，…xI}
{y1，y2，…yJ}
信源
信道
信宿
信源符号集 {a1,a2,…, ak}
干扰 图2－1简单的通信模型
信宿符号集 { b1,b2,…,bD}
事件xi是否发生具有不确定性，用I(xi)度量。 接收到符号yj后，事件xi是否发生仍保留有一定的不确定 性，用I(xi︱yj)度量。 观察事件前后，这两者之差就是通信过程中所获得的信息
量，用I(xi ; yj )表示： 。
I ( xi ;
yj)
I(xi )
I ( xi
yj)
log (xi y j )
q(xi )
（2-6）
称(2-6)式为事件xi和事件yj之间的互信息量。
注：式（2-6）的I(xi ；yj ) 和式（2-3）的I(xiyj )的区别
在于： 前者是事件xi∈X和事件yj∈Y之间的互信息量， 后者是二维空间XY 上元素xi yj 的自信息量。
（1）信源一： X1 q( X1
)
x0 0.99
x1 0.01
熵 H(X1) =-0.99 log 0.99 － 0.01 log 0.01 = 0.08
（2）信源二：等概信源
X2 q( X 2
)
x0 0.5
x1 0.5
)
x1 1 3
x2 1
6
x3 1 2
计算出各事件的自信息量列表2-1如下：
消息xi
概率分 布q (xi) 自信息 量I (xi)
x1 1/3 log 3
x2 1/6 log 6
x3 1/2 log 2
自信息量具有下列性质:
1 I (ai )是非负值。
图2.1 对数曲线
2 当p(ai ) 1时，I (ai ) 0 3 当p(ai ) 0时，I (ai ) 4 I (ai )是p(ai ) 的单调递减函数。
自信息量
自信息量I(xi)代表两种含义：
1.事件xi发生以前，表示事件发生的先验不确定性 2.当事件xi发生以后，表示事件xi所能提供的最大 信息量（在无噪情况下）
2.联合自信息量
XY P( XY
)
a1b1, p(a1b1),
, ,
a1bm , p(a1bm
),
, ,
anb1, p(anb1),
知，在接收过程中，每收到一个数字，各消息的后验概率都相应地
发生变化。考虑在接受100三个数字的过程中，各后验概率的变化，
计算信息量I(x4;100)。
表2-4为7个三位二进制数对应的各种概率。
信源消 息
码字
消息先验 概率
消息后验概率 收到1后 收到10后 收到100后
x0
000
1/16
0
0
0
x1
001
4
有：I (0) I (1) I (2) I (3) log 2 4 2bit
【例2.3】若盒中有6个电阻，阻值为1Ω、2Ω、3Ω的分别为2个、1
个、3个，将从盒子中取出阻值为iΩ的电阻记为事件 x i（i = 1，2，
3），则事件集X = {x1, x2, x3}，其概率分布
X q( X
+ I (u1; ui︱u2 … u i-1)+ … + I (u1; uN︱u2 … uN -1)
（2-10）
2．条件互信息量
三维X Y Z联合集中，在给定条件zk的情况下, xi , yj的互信息量I(xi ;yj︱zk )定义为：
I(xi ; y j
zk ) log
p(xi y j zk ) p(xi zk )
, ,
anbm p(anbm
)
其中 0 p(aibj ) 1(i 1,2,L ,n; j 1,2,L ,m)
nm
p(aibj ) 1。
i1 j1
二维联合集X Y上元素xi yj的联合自信息量I(xi yj)
定义为：
I ( xi y j ) log p( xi y j )
(2-3)
当X与Y相互独立时, 有p(aibj ) p(ai ) p(bj )，
信息量 I(xi; yj zk ) 0
（4） 互信息量I(xi ;yj)可以是正数，也可以是负数。
（5）两个事件的互信息量不大于单个事件的自信息量
，即有：
I
(
xi
;
y
j
)
I (xi I(yj
) )
（2-13）
【例2.8】信源包含7个消息x0,x1,x2,x3,x4,x5,x6 信源编码器将其 对应编成7个三位二进制数000，001,…,110。各消息的先验概率已
I(y
j
)
I(yj
xi )
(2-8)
物理解释：
通信前
发送
接收
“输入端出现ai和输出端出现b
”的概率
j
p(aibj ) p(ai ) p(bj )
先验不定度（联合自信息量）
I (aibj ) log
1 p(ai ) p(bj )
通信后
发送
接收
输入输出端的联合概率
p(aibj ) p(ai ) p(bj ai ) p(bj ) p(ai bj )
0 )
1
i
1,2,
,I
p(xi y j ) 0
I
J
p(xi y j ) 1
i1 j1
相应的条件概率为
( xi y j )
p(
y
j
xi )
p( xi y j )
( y j )
p( xi y j )
q( xi )
2．1．1 自信息量和条件自信息量
信息量直观的定义为： 收到某消息获得的信息量 = 不确定性减少的量
后验不定度
I (aibj )
log
1 p(aibj )
这样，通信后流经信道的信息量， 等于通信前后不定度的差
I(a i ; b j) I`(a ib j) - I(a ib j)
log 1 log 1
p(ai ) p(bj )
p(aibj )
log p(aibj ) p(ai ) p(bj )
自信息量的单位与log函数所选用的对数底数有关，
如底数分别取 2、 e、 10，
则自信息量单位分别为：比特、奈特、哈特
一个以等概率出现的二进制码元
(0,1)所包含的自信息量为1bit。
当p(0) p(1) 1 时，
2
Biblioteka Baidu
有
:
I
(0)
I
(1)
log2
1 2
log
2
2
1bit
当p(0) p(1) p(2) p(3) 1 时，
1/16
0
0
0
x2
010
1/16
0
0
0
x3
011
1/16
0
0
0
x4
100
1/2
2/3
4/5
1
x5
101
1/8
1/6
1/5
0
x6
110
1/8
1/6
0
0
根据给定的先验概率，可算出：
p(x4
)
1 2
12
2
p(x4 1) 1 2 1 8 1 8 3
p(
x4
10)
2
23 31
6
4 5
P (x4︱100) = 1
第2章 信息的度量
第2章 信息的度量
内容提要：
根据香农对于信息的定义，信息是一个系 统不确定性的度量，尤其在通信系统中， 研究的是信息的处理、传输和存储，所以 对于信息的定量计算是非常重要的。本章 主要从通信系统模型入手，研究离散情况 下各种信息的描述方法及定量计算，讨论 它们的性质和相互关系。
2.1 自信息量和互信息量
(i 1,2, , n; j 1,2, , m)
将事件互信息量的概念推广至多维空间： 在三维X Y Z联合集中，有：
I(xi ; yj zk)= I(xi ; yj )+ I(xi; zk︱yj)
（2-9）
类似，在N维U1 U2 … UN联合空间,有： I (u1; u2u3 … uN ) = I (u1; u2 )+ I (u1; u3︱u2) + …
一个事件的自信息量就是对其不确定性的度量。 互信息量则表明了两个随机事件的相互约束程度。
对于随机事件集X = {x1，x2，…，xi，…，xI}中的随机事 件xi，其出现概率记为q(xi)，将两个事件xi ,yj同时出现的概率 记为p(xi yj)，则q(xi) ，p(xi yj)应满足：
qiI(1xqi )(xi
（2-11）
3．互信息量的性质
（1）互易性 ————对称性
I(xi ;yj )= I(yj ; xi)
(2-12)
（2）可加性：
I(u1;u2u3 uN ) I(u1;u2) I(u1;u3 u2)
I(u1;ui u2 ui1)
I(u1;uN u2 uN1)
（3）当xi ,yj统计独立时，互信息量I(xi ;yj) = 0及条件互
将各种后验概率的计算结果列于表2-3中，再根据式（2-10）计 算出互信息量：
I (x4;100 ) = I (x4; 1)+ I (x4; 0︱1)+ I (x4; 0︱10)
log p(x4 1) log p(x4 10) log p(x4 100)
p(x4 )
p(x4 1)
p(x4 10)
代入式自信息量的公式就有
I (aibj ) log p(ai ) log p(bj )
I (ai ) I (bj )
（2 - 4）
3.条件自信息量
在已知事件yj条件下,随机事件xi发生的概率为条件概率φ(xi
︱yj),条件自信息量 I(xi y j ) 定义为：
I (xi y j ) log (xi y j ) (2-5)
将某事件发生所得到的信息量记为I(x)，I(x)应该是 该
事件发生的概率的函数，即 I(x)=f[q(x)]
信息量
自信息量
联合 自信息量
条件 自 信息量
1．自信息量 直观地看，自信息量的定义应满足以下四点： a. I(x)应该是q(x)的单调递减函数：概率小
的事件一旦发生赋予的信息量大，概率大的 事件如果发生则赋予的信息量小；
（1）甲找到乙这一事件是二维联合集X Y上的等概分
布
p( xi
y
j
)
1 60
，这一事件提供给甲的信息量为
I(xi yj ) = - log p(xi yj ) = log 60 = 5.907（比特）
（2）在二维联合集X Y上的条件分布概率为 事件提供给甲的信息量为条件自信息量
p( y j
xi
)
1 12
率加权平均值（统计平均值），即平均自信息量 H(X)定义为：
H X q(xi )I (xi ) q(xi ) log q(xi )
i
i
（2-15 ）
H(X)的表达式与统计物理学中的热熵具有相类似 的形式，在概念上二者也有相同之处，故借用熵
这个词把H(X)称为集合X的信息熵，简称熵。
【例2.9】计算下列信源的熵
log 2 3 log 4 5 log 1 log 2 1
12
23
45
(比特)
)
也可直接计算出：
I (x4 ;100)
log
p(x4 100) p(x4 )
log 1 12
1
(比特
2．2 离散集的平均自信息量
熵
信
源
条
熵
联
件
合
熵
熵
2．2 离散集的平均自信息量
1．平均自信息量(熵)
无记忆信源的平均自信息量定义为各消息自信息量的概
，这一
I(yj︱xi) = -log p(yj︱xi) = log12 = 3.585（比特）
2．1．2 互信息量和条件互信息量
1.互信息量
信 源 符 号 X={x1，x2，…，xI} ， xi∈{a1,a2,…,ak} ，i = 1,..., I。
信 宿 方 接 收 到 符 号 Y = {y1，y2，…，yJ}，
根据概率互换公式p(xi yj) = p(yj︱xi)q(xi)=φ(xi︱yj)ω(yj) 互信息量I(xi ;yj )有多种表达形式:
I
(xi
;
y
j
)
log
p(xi y j )
q(xi )( y j
)
I
(xi
)
I
(
y
j
)
I
(xi
y
j
)
(2-7)
I(xi ;
yj
)
log
p(y j xi ) (y j )
【例2.6】某住宅区共建有若干栋商品房，每栋有5个单元，每个 单元住有12户，甲要到该住宅区找他的朋友乙，若：
1. 甲只知道乙住在第5栋，他找到乙的概率有多大？他能得到 多少信息？
2. 甲除知道乙住在第5栋外，还知道乙住在第3单元，他找到 乙的概率又有多大？他能得到多少信息？
用xi代表单元数，yj代表户号：