信源熵 第二章—3

• 离散信源熵H(X)
(平均不确定度/平均信息量/平均自信息量)
– 定义：
信源的平均不确定度H(X)为信源中ห้องสมุดไป่ตู้个符号 不确定度的数学期望，即：
H (X )p (x i)I(x i) p (x i)lo p (x ig )
i
i
单位为比特/符号或比特/符号序列
11
例如：有两个信源
其概率空间分别为：
H (Y)7lo7 g1lo1 g0.5比 44/符 特号 8 88 8
• 甲地提供的平均信息量大于乙地
16
(2) 甲、乙地天气预报为两极端情况：
X 晴阴雨雪 p(x)1 0 0 0
Y 晴 雨 p(y)1 0
H (X ) 1 lo 1 0 lg o 0 0 lg o 0 0 lg o 0 0 比 g/符 特 号
X p(x)
x1, 0.99
x2 0.01
Y p(y)
y1, 0.5
y2 0.5
H (X ) 0 .9 lo 9 0 .9 g 0 9 .0 lo 1 0 .0 g 0 1 .0 比 8 /符 特
H (Y ) 0 .5 lo 0 .5 g 0 .5 lo 0 .5 g 1 比 /符 特 号
得出：H(Y) ＞H(X) 信源Y比信源X的平均不确定性要大。
12
III-1.信源熵
• 信息熵：
–从平均意义上来表征信源的总体信息测度 的一个量。
• 自信息：
– 指某一信源发出某一消息所含有的信息量。 – 所发出的消息不同,它们所含有的信息量也
就不同。 – 自信息I (xi)是一个随机变量,不能用它来作
含义
接收到某消息yj
后获得的关于事
件xi的信息量
4
互信息
• 互信息量
I(xi;yj)lo2gp(px(ix|iy)j) • 条件互信息量
I(xi;yj
zk)lo
gp(xi yjzk) p(xi zk)
• 联合互信息量
I(xi;yjzk)logp(xpi(xyij)zk)
5
2.2 单符号离散信源
2.2.1 单符号离散信源的数学模型 2.2.2 自信息和信源熵
8
• 如果摸出的是红球，则获得的信息量是 I (x1)=－log2p (x1) = －log20.8 bit
• 如果摸出的是白球，则获得的信息量是 I (x2)=－log2p (x2) = －log20.2 bit
• 如果每次摸出一个球后又放回袋中，再进行下 一次摸取。则如此摸取n次，红球出现的次数为 np(x1)次，白球出现的次数为 np (x2)次。随机摸 取n次后总共所获得的信息量为 np(x1) I (x1)+ np(x2) I (x2)
H (Y) 1lo1 g 0lo0 g0 比/符 特号
limεlogε=0
• 信源是一确定信源，所以不存在不确定性， 信息熵等于零。
17
(3) 甲、乙地天气预报为两极端情况：
pX(x)1晴 /4 1阴 /4 1雨 /4 1雪 /4
pY(y)1晴 /2,
雨 1/2
H(X)lo1g2比特 /符号 4
H(Y)lo1g1比特 /符号 2
• 这种情况下,信源的不确定性最大,信息熵最大。
• 甲地比乙地提供更多的信息量。因为甲地可能 出现的消息数多于乙地可能出现的消息数。
18
III-2.条件熵
• 定义：
– 在给定yj条件下，xi的条件自信息量为I(xi| yj), X 集合的条件熵H(X|yj)为
H (X |yj) p (x i|yj)I(x i|yj)
i
– 在给定Y(即各个yj )条件下，X集合的条件熵H(X|Y)
H(X|Y) p(yj)H(X|yj) p(yj)p(xi|yj)I(xi|yj)
j
ij
p(xiyj)I(xi|yj)
ij
19
III-2.条件熵
• 条件熵是在联合符号集合(X,Y)上的条件自信息 量的联合概率加权统计平均值。
第二章—3
信源熵
互信息
• 设有两个随机事件X和Y，X取值于信源发出的离 散消息集合，Y取值于信宿收到的离散符号集合
XPp(xx11)
x2 xn p(x2) p(xn)
YPp(yy11)
y2 yn p(y2) p(yn)
• 互信息定义：xi的后验概率与先验概率比值的 对数
I(xi;yj)lo2gp(px(ix|iy)j)
• I、信息量
– 1、自信息量；2、联合自信息量；3、条件自信息量
• II、互信息量和条件互信息量
– 1、互信息量；2、互信息的性质；3、条件互信息量
• III、信源熵
– 1、信源熵；2、条件熵；3、联合熵
2.2.3 信源熵的基本性质和定理 2.2.4 平均互信息量 2.2.5 各种熵之间的关系
6
III、信源熵
– 信息熵H(X)反映了变量X的随机性。
区别：信源熵表征信源的平均不确定度； 平均自信息量是消除信源不确定度所需要的信息的量度。
15
例2-7:
(1) 甲地天气预报
X 晴 阴雨雪 p(x)1/2 1/4 1/8 1/8
乙地天气预报
pY(y)7晴/8
雨 1/8
求：两地天气预报各自提供的平均信息量?
H (X ) 1 lo 1 g 1 lo 1 1 g lo 1 1 g lo 1 1 g .7比 5/符 特 2 24 48 88 8
7
III-1.信源熵
例2-6:
一个布袋内放100个球，其中80个球是红色的，20 个球是白色的，若随机摸取一个球，猜测其颜色， 求平均摸取一次所能获得的自信息量？ 解: 依据题意，这一随机事件的概率空间为
X P
x1 0.8
x2 0.2
其中：x1表示摸出的球为红球事件， x2表示摸出的 球是白球事件。
9
• 平均随机摸取一次所获得的信息量为
H(X) 1n[np(x1)I(x1)np(x2)I(x2)] [p(x1)logp(x1) p(x2)logp(x2)]
2
p(xi)log2 p(xi) 0.72bit/符号 i1
H(X):平均信息量,称为信源X的熵。 信源熵、香农熵
10
III-1.信源熵
为整个信源的信息测度。
13
熵
有限值
信息量
可为无穷大
确定值 与信源是否输出无关
一般为随机量 接收后才得到信息
信源的平均不确定度 消除不定度得到信息
信源熵与信息量的比较
14
III-1.信源熵
• 信源熵具有以下三种物理含意：
– 信息熵H(X)表示信源输出后，每个离散消 息所提供的平均信息量。
– 信息熵H(X)表示信源输出前，信源的平均 不确定性。