复旦 周小林 信息论 2.信源与信息熵

14
2.2离散信源熵与互信息
普通高等教育“十五”国家级规划教材《信息论与编码》
15
2.2离散信源熵与互信息
定义：联合概率空间中任一联合事件的联合（自）
信息量为：
I ( xi ,
yj)
log
p( xi ,
yj)
log
1 p( xi ,
yj)
定义：联合概率空间中，事件x在事件y给定条件
下的条件（自）信息量为：
解：随机事件的概率空间为
X P
x1 0.8
x2 0.2
普通高等教育“十五”国家级规划教材《信息论与编码》
单符号离散信源
U p(u)
U
u1, p1,
U u2, p2 ,
L, L,
U un
pn
例如：对二进制数字与数据信源
U 0,
p
p0 ,
1
p1
0, 1, 2
1
1
2
普通高等教育“十五”国家级规划教材《信息论与编码》
4
2.1 信源描述与分类
普通高等教育“十五”国家级规划教材《信息论与编码》
5
2.1信源描述与分类
连续信源
U p(u)
(a, b)
p(u)
u U (, ), p(u)为概率密度函数
普通高等教育“十五”国家级规划教材《信息论与编码》
6
2.1信源描述与分类
离散序列信源
ur
uur
UL r
U
uuur1,
U uuuur2,
L
p(u) p(u1), p(u2 ), L
以3位PCM信源为例
uur
U
uuuunrL
p(unL )
U L U 000, U 001, L U 111
r p(u)
p03,
p02 p1, L
p13
普通高等教育“十五”国家级规划教材《信息论与编码》
7
2.1信源描述与分类
当p=1/2
U L U 000, U 001, L U 111
第2章 信源与信息熵
信源描述与分类 离散信源的信息熵和互信息 离散序列信源的熵 连续信源的熵与互信息 冗余度
普通高等教育“十五”国家级规划教材《信息论与编码》
1
2.1信源的描述与分类
信源是产生消息（符号）、消息序列和连 续消息的来源。从数学上，由于消息的不 确定性。因此，信源是产生随机变量、随 机序列和随机过程的源。
log p( x) log p( y / x) I ( x) I ( y / x) 当x和y相互独立: I ( xy) I (x) I ( y) 推广
I ( x1x2 L xN ) I ( x1) I ( x2 / x1) L
I ( xN / x1x2 L xN 1)
普通高等教育“十五”国家级规划教材《信息论与编码》
0时, 1时,
I I
( (
pi pi
) )
0
由两个不同的消息（相互统计独立）所提供的信 息等于它们分别提供信息之和（可加性）
普通高等教育“十五”国家级规划教材《信息论与编码》
12
2.2离散信源熵与互信息
普通高等教育“十五”国家级规划教材《信息论与编码》
13
2.2离散信源熵与互信息
定义：对于给定的离散概率空间表示的信
r p(u)
1 8
,
1 8
,
L
1 8
普通高等教育“十五”国家级规划教材《信息论与编码》
8
普通高等教育“十五”国家级规划教材《信息论与编码》
9
2.2离散信源熵与互信息
信息量
自信息量 联合自信息量 条件自信息量
单符号离散信源熵
符号熵 条件熵 联合熵
普通高等教育“十五”国家级规划教材《信息论与编码》
I (xi
/
yj)
log2
p( xi
/
yj)
log2
p(xi , y j ) p( y j )
log2
1Байду номын сангаас8
3bit
普通高等教育“十五”国家级规划教材《信息论与编码》
20
2.2离散信源熵与互信息
例2. 一个布袋内放100个球，其中80个球为红色， 20球为白色。若随机摸取一个球，猜测其颜色， 求平均摸取一次所获得的（自）信息量。
17
2.2离散信源熵与互信息
普通高等教育“十五”国家级规划教材《信息论与编码》
18
2.2离散信源熵与互信息
例1 设在一正方形棋盘上共有64个方格，如果甲将 一粒棋子随意地放在棋盘中的某方格内，让乙猜 测棋子所在的位置： （1）将方格按顺序编号，令乙猜测棋子所在方格 的顺序号 （2）将方格按行和列编号，甲将棋子所在的方 格的行（或列）编号告诉乙，再令乙猜测棋子所 在列（或行）所在的位置。
源，x=ai事件所对应的（自）信息为
I ( xi
ai )
log
p( xi )
log
1 p( xi )
以2为底，单位为比特（bit)
以e为底，单位为奈特（nat) 1nat=1.433bit
以10为底，单位为笛特（det) 1det=3.322bit
普通高等教育“十五”国家级规划教材《信息论与编码》
普通高等教育“十五”国家级规划教材《信息论与编码》
19
2.2离散信源熵与互信息
解：由于甲将一粒棋子随意地放在棋盘中的某方格内， 因此棋子在棋盘中所处位置为二维等概率分布
p( xi
,
y
j
)
1 64
（1）联合（自）信息量为
I (xi ,
yj)
log2
p(xi ,
yj)
log2
1 64
6bit
（2）条件（自）信息量为
信源的基本特性是具有随机不确定性。
普通高等教育“十五”国家级规划教材《信息论与编码》
2
2.1信源特性与分类
分类
时间
离散
连续
幅度
离散
连续
记忆
有
无
三大类：
单符号离散信源
符号序列信源（有记忆和无记忆）
连续信源
普通高等教育“十五”国家级规划教材《信息论与编码》
3
2.1 信源描述与分类
描述：通过概率空间描述
I ( xi
/
yj)
log
p( xi
/
yj)
log
1 p( xi /
yj)
普通高等教育“十五”国家级规划教材《信息论与编码》
16
2.2离散信源熵与互信息
联合自信息、条件自信息与自信息间的关系
p(x, y) p(x) p( y / x) p( y) p(x / y)
I ( x, y) log p( x, y) log p( x) p( y / x)
10
2.2离散信源熵与互信息
信息
不确定性的消除
信息的度量
随机性、概率 相互独立符合事件概率相乘、信息相加
熵
事件集的平均不确定性
普通高等教育“十五”国家级规划教材《信息论与编码》
11
2.2离散信源熵与互信息
直观推导信息测度
信息I应该是消息概率p的递降函数
pi pi
, I ( pi ) ,且当pi , I ( pi ) ,且当pi