信息论与编码第二章.

1
I (xi
|
yj)

log
p(xi
|
yj)

log
解： 由于甲袋里的各阻值的电阻为等概分布，则
I (ai )

log 2
p(ai )

log 2
1 n

log 2
n
【例2.3】 若盒中有6个电阻，阻值为1Ω、2Ω、3Ω
的分别为2个、1个、3个，将从盒子中取出阻值为iΩ
的电阻记为事件 xi (i 1,2,3), 组成事件集 X {x1, x2 , x3} ，其概率分布
X P( X
)


a（1 1晴） 2
a（2 阴） 1
4
a（3 雨） 1
8
a（4 1雪） 8
问发生晴天的自信息量是多少？
解：发生晴天的概率为
p(a1 )

1 2
，则晴天的自信息量为
I (a1) log 2 p(a1) 1bit
【例2.2】设在甲袋中放入n个不同阻值的电阻，如果

X P( X
)



x1 1
3
x2 1
6
x3 1

2
计算出各种事件的自信息量。
解：自信息量 I(xi ) 计算如下：
I ( x1 )

log
1 3

log 3
I (x2 )

log
Hale Waihona Puke Baidu1 6

log 6
1 I ( x3 ) log 2 log 2
二维联合集 XY，当 X 和 Y相互独立时，有
p(xi y j ) p(xi ) p( y j ) 则联合自信息量为
I (xi y j ) log p(xi y j ) log p(xi ) p( y j ) log p(xi ) log( p j ) I (xi ) I ( y j )
， 他找到乙得到的信息可以用联合自信息量表示。
定义2.2 在二维联合集 XY上元素 xi y j的联合自信息量 I (xi y j ) 定义为联合概率 p(xi y j ) 的对数的负数，即
I (xi y j ) log p(xi y j )
当X和Y相互独立时，联合信息量应等于它们各自信息 量之和。
通过上面两个实例可以得知，在甲袋抽出红色球的 不确定性要比乙袋抽红色球的不确定性小。不确定 性越大，就越难猜到，对于狭义信息论而言，此事 件的信息量就越大。
定义2.1 任意随机事件的自信息量定义为该事件发生 概率的对数的负值。
设事件 a i的概率为 p(ai ) 那么，它的自信息量定义为
说明：
1、自信息量的单位 自信息量的单位取决于对数的底； 底为2，单位为“比特（bit）”； 底为e，单位为“奈特（nat）”; 底为10，单位为“哈特（hat）”；
I (xi | y j ) log p(xi | y j )
例:设在一正方形棋盘上共有64个方格，行、列各8个。 如甲将一粒棋子随意放在棋盘某个方格内让乙猜测棋 子所在的位置，则
（1）在乙看来，棋子落入某方格的不确定性为多少？
（2）若甲告知乙棋子落入方格的行号，这时，在乙看 来棋子落入某方格的不确定性为多少？
随机地取出一个，并对取出的电阻值进行事先猜测，
其猜测的困难程度相当于概率空间的不确定性，概率
空间为

X P( X
)



a1 p(a1
)
a2 p(a2 )
...... ......
an p(a
n
)
式中 p(ai ) 表示取出电阻值为i的电阻的概率，那么被 告知“取出的阻值为i的电阻”所获得的信息量为多少？
2、三个自信息量单位之间的转换
1nat log 2 e 1.433bit 1hat log 2 10 3.322bit
1bit 0.693nat 1bit 0.301hat
3、自信息量的性质 •I(ai)是非负值；
•当P(ai) =1时， I(ai)=0；
•当P(ai) =0时， I(ai)= ∞ ； •I(ai)是P(ai) 的单调递减函数
自信息量 I(xi) 的含义
2、联合自信息量
某住宅区的某栋商品房，有5个单元，每个单元住有
12户，甲要到该住宅区找他的宅区找他的朋友乙，因
为每一住户的地址需要单元号和住户号，因此，每一
住户的地址同时由单元号和住户号唯一确定，甲找到
乙这一事件是二维联合集 XY 上的等概分布
p(xi
y
j
)

1 60
解：由于甲是将一粒棋子随意地放在棋盘中某一方格 内，因此棋子在棋盘中所处位置为二维等概率分布， 二维概率分布函数为
1 p(xi y j ) 64
（1）在二维联合集 XY 上的元素为 xi y j 的自信息为：
I (xi
y
j
)

log
p(xi
y
j
)

log
1 64

6bit
（2）在二维联合集 XY上，元素 xi相对 y j 的条件自信息为：
第二章 信息的度量
2.1信息量 2.2信息熵 2.3离散集的平均互信息量
中学数学知识
Log(xy)=logx+logy Log(x/y)=logx-logy
2.1 信息量
2.1.1 自信息和条件自信息量
1、自信息量
设甲袋中有100个球，其中50个是红球，50 个是白球，现有人从袋子中随机抽出一个球是红 色的，对于这次抽取的事件所携带的信息量是多 少？又如乙袋中也有100个球，其中有25个红球， 25个白球，25个蓝球，25个黑球。现又有人随机 抽取一个球，发现时红球，针对这次抽取的事件 当中有具有多少信息呢？
3、条件自信息量
乙住的楼房有5个单元，每个单元住有12户，甲要到 该住宅区找他的朋友乙，若甲知道乙住在第5单元，
即看做为已知 y j条件，他要找到乙，记为事件 x i那
么甲找到乙得到多少信息可以用条件自信息量度量。
定义2.3 联合集XY中，在事件yj出现的条件下， 随机事件事件xi 发生的条件下概率为 p(xi | y j ) ， 则它的条件自信息量定义为条件概率对数的负值：
解释： 小概率事件，一当出现必然使人感到意外，因
此产生的信息量就大；几乎不可能事件一旦出现， 将是一条爆炸性的新闻，一鸣惊人。
大概率事件，是预料之中的，即使发生，也没 什么信息量，特别是当必然事件发生了，它不会 给人以任何信息量。
注：I－－自信息
【例2.1】某地二月份天气的概率分布统计如下：