信息理论基础第二章信息的度量

H
f(X(1)Y)
f (X)
f(X )(1 )f(Y )
f (Y )
Hf(X)
0 X α X+(1-α )Y Y X
证明: 设 (p 1 ,p 2 ,...,p q )和 ' (p 1 ',p 2 ',...,p q ')是 两 个 概 率 矢 量 ，
且 有 q


b1 0.3
b2 0.7

Z P



c1 0.5
c2 0.5
从定性的角度可知：三个信源不确定性大小为X<Y<Z
请问:
能否用自信息量作为信源的总体信息测度呢?
信源的总体信息测度
-------应该是信源每发一个符号所提供的平均信息量
记为:H(X)---离散熵
i 1
i 1
i 1
其中，λ为待定常数，对辅助函数中的r个变量pi(i=1,2,…,r)分
别求偏导，并令为零，得r个稳定方程
(1 lo g p i) 0(i 1 ,2 ,...,r) pie(1) (i1,2,...,r)
将上式代入约束条件得：
r
r
pi
e(1) =re(1)=1
x2 ... p(x2) ...
xq p(xq)
q
其中 p(xi)0, (i 1,2,...,q) p(xi)1 i1
二.自信息量
----信源发送单个符号所携带的的信息量
信源发送符号ai的自信息量I(ai) ,(i=1,2,…,r)
I(ai) =[收到ai 前,信宿对信源发送符号ai 的不确定性]
熵函数的确定性表明：
只有信源的任一个概率wenku.baidu.com量等于1时，才能使信源信息 熵等于零，除此以外的任何情况的信息熵都大于零。
对于确知信源，发符号前，不存在不确定性；发符号 后，不提供任何信息量。
4.上凸性 设有一个多元函数或矢量函数 f(x1 ,x2 ,...,xn )f(X )
对 任 一 个 小 于 1 的 正 数 （ 0 1 ） 及 f的 定 义 域 中 的 任 意 两 个 矢 量 X ， Y 若 f[X ( 1 ) Y ] f( X ) ( 1 ) f( Y ) ,则 称 f为 严 格 上 凸 函 数 。
各自的熵为: H(X) = H(Y) =H(Z)=1.4592 bit/symbol
对称性说明:
----信源的信息熵只与信源的概率空间的总体结构有关,与具
体内容无关
2.非负性 H (P ) H (p 1 ,p 2,.p .n). ,0
证明：
r
H(P)
pi logpi
i1
当 p i0 p ilop ig 0
I(ai)f[p(ai)]
3.信源发送符号ai的先验概率p(ai) = 1,则
I(ai)f[p(ai)]0
4.设有两个独立信源X和Y,信源X发送符号ai的先验概率为p(ai), 信源Y发送符号aj的先验概率为p(aj),符号ai 和aj的联合消息 (aiaj)的先验概率为p (aiaj),则
本章需要掌握的概念:
离散熵（平均自信息量）,涉及自信息量、条件
自信息量、条件熵、联合熵、加权熵
平均互信息量，涉及互信息量、条件互信息量、平
均条件互信息量
一. 单符号离散信源
1.定义 如果信源发出的消息是离散的符号或数字，
并且一个符号代表一条完整的消息，则称这种信源为 单符号信源。
2.数学模型
XPp(xx11)
（2）此消息中平均每个符号携带的信息量为：
I 2 8 7 .8 1 /4 5 1 .9 5 b it/s y m b o l
信源的信息熵:
4
H(X) p(ai)log p(ai) i1 3log3 1 log 1 1 log 1 3log3 8 84 44 48 8 1.91bit / symbol
解：（1）消息的自信息量就是等于消息中各个符号 的自信息量之和。根据题意可得：
I(a10)lop(g a1)lo8 3g 1.4比 15特 I(a21)lopg (a2)lo1 4g 2比特 I(a32)lopg (a3)lo1 4g 2比特 I(a43)lopg (a4)lo8 1g 3 比特


b1 0.3
b2 0.7

Z P



c1 0.5
c2 0.5
解:
r
H(X) p(ai)logp(ai) i1
0.01log0.010.99log0.990.08比 特 /信 源 符 号
r
H(Y) p(bi)logp(bi) i1
-1 0.5
1 0.5
0 -0.5
-1 0.5
x 104 6
4
2
1
1.5
样点数
1
1.5
样点数
2
2.5
4
x 10
2
2.5
4
x 10
分带谱熵加能量参数
频率
0
0
10
20
30
40
50
60
70
80
90
100
4
x 10 5
帧数
4
3
2
1
0
0
10
20
30
40
50
60
70
80
90
100
帧数
四. 熵的性质
1.对称性
H (p 1 ,p 2 ,.p n .) .H ,(p 2 ,p 3 ,.p 1 .,p n .),各,pn的顺序变化,不影
响熵值
例： X P a 1 3 1 a 1 6 2 a 1 2 3 Y P a 1 2 1 a 1 3 2 a 1 6 3 Z P b 1 6 1 b 1 2 2 b 1 3 3
结论: (2)问的值与信源的信息熵不完全相等
原因：(2)问的值是该特定消息中平均每个符号携带的信息
量，而信息熵是离散无记忆信源平均每个符号携带的信息量， 是统计平均值。
例 熵在语音端点检测中的应用(本人的实际工作）
纯净语音波形 带噪语音波形 谱熵加能量参数
归一化幅值
归一化幅值
频率
1 0.5
0 -0.5
I( a ia j) f[p ( a ia j) ] I( a i) I( a j)
I(ai) 的具体表达式:
又名概率信息
I(ai)logp(1ai)logp(ai)
单位:
以2为底,单位为比特 以e为底,单位为奈特 以10为底,单位为哈特莱
自信息量在历史上第一次使信息的度量成为可能，成为推动
又名平均自信息量
r
H(X) p(xi)logp(xi) i1
单位:
以2为底,单位为比特/信源符号 以e为底,单位为奈特/信源符号 以10为底,单位为哈特莱/信源符号
看刚才的三个信源X，Y，Z，求它们的信息熵

X P
0a.011
a2 0.99

Y P
信息论发展的基石。
例2-1：有12个球，只有一个是非标重球，问是否存在
用天平称3次必然找到该球的方法？(从信息的角度解决)
解：天平的状态有三种：平衡、左轻、左重
每称一次消除一种状态，则带来的信息量为log3 则称3次后，带来的信息量为3log3 = log27
而一个非标球的携带的信息量为
log1( 1)log24
熵还可记为H(P)或H(p1,p2,…,pr)
r
H(P)H(p1,p2,..pr.,), pilopg i
请问：
i1
由熵的推导过程看，熵具有什么样的物理意义呢？
信息熵的物理意义
1.表示信源输出后，每个离散消息所提供的平均信息量 2.表示信源输出前，信源的平均不确定度 3.反映随机变量X的随机性
则 pi 0 或 pi 1
又∵
r
pi 1
i 1
∴只有某一个 pi 1，而其他 pk 0,ki
H (p ) H (p 1 ,p 2,.p .n). ,0
3.确定性
若信源符号集中，有一个符号几乎必然出现，其他 符号几乎不可能出现，则该信源为一个确知信源，则信息
熵等于零,即：
H ( X ) H (1,0 ) H (1,0 ,0 ) ... 0
例2-2 设离散无记忆信源
X Pa18 30
a21 1
4
a32 1
4
a43 1 8
其发生的消息为：
（202120130213001203210110321010021032011223210）
求（1）此消息的自信息量。 （2）在此消息中平均每个符号携带的信息量。
当 0pi1 时 lo， pig 0
H(P)0
非负性表明：
从总体看，信源在发送符号以前，总存在一定 的不确定性；在发符号后，总可提供一定的信息量
提问:何时等式成立?
r
当且仅当在 H(P) pi logpi 中各项为零时等号成
立，即
i1
p ilop ig 0 ,(i 1 ,2 ,.r.).,
H (P )(1)H (P ')
i q 1pilop g i(1 pi)pi' (1)i q 1pi'lop g i(1 pi ' )pi'
由于后面两项的数值均大于零，故有：
H [ ( 1 ) '] H ( ) ( 1 ) H ( ')
i1
i1
e ( 1) = 1 r
pi=1r (i1,2,...,r)
熵函数的最大值为 H(P)lorg
则有： H(P) ≤logr ,当且仅当等概分布时等号成立
熵的极值性说明：
在所有符号个数相同，而符号的概率分布不 同的离散信源中，以先验等概的信源的信息熵最 大，其最大值等于信源符号个数r的对数；
上凸性说明： 熵函数具有极大值
5.极值性（最大离散熵定理）
H(P) ≤logr,当且仅当等概分布时等号成立, r为X的取值个数 证明：按条件极大值的数学求解方法，作辅助函数：
r
r
r
F (P ) H (P )[ p i 1 ] p ilo p i g [ p i 1 ]
pi 1,
q
pi' 1
i1
i1
取01则:
q
H [ ( 1 ) '] [p i ( 1 )p i']lo g [p i ( 1 )p i']
i 1
i q 1 p ilop i g ( 1 { ) p i ']p p [ i i} ( 1 ) i q 1 p i 'lop i g ( 1 { ) p i ']p p [ i i ''}
同时说明：
离散信源信息熵的最大值，只取决于信源符 号的个数r，r越大，其信息熵也越大
6.扩展性 l 0 iH m q 1 (p 1 ,p 2 ,.p q . .,,) H q (p 1 ,p 2 ,.p q .).,
0.3log0.30.7log0.70.88比 特 /信 源 符 号
r
H(Z) p(ci)logp(ci) i1
0.5log0.50.5log0.51比 特 /信 源 符 号
由信息熵可知：H(Z)>H(Y)>H(X)
结论：X、Y、Z熵的大小关系与X、Y、Z 不确定性的大
小关系符合，说明熵的确可以作为信源的总体信息侧度
信息量的度量转化为对不确定性的度量
I(ai)f[p(ai)]
I(ai) 必须满足以下四个公理性条件:
1.信源发送符号ai和aj的先验概率分别为p(ai)和p(aj),如果 0<p(ai) < p(aj)<1,则
I(a i) f[p (a i) ] I(a j) f[p (a j) ]
2.信源发送符号ai的先验概率p(ai) = 0,则
此消息中共有14个“0”符号，13个“1”符号，12个“2” 符号，6个“3”符号，则得到的自信息量是：
I 1 I ( a 1 4 ) 1 I ( a 2 3 ) 1 I ( a 3 2 ) 6 I ( a 4 )
1 1 . 4 4 1 1 2 1 3 5 2 2 6 3 8 . 8 b 7 1 i
结论:
12 2
log24log27
存 在 称 三 次 的 方 法 必 然 找 到 该 球
可见：信息的度量是为了找到解决问题的方
法，而不是纯粹度量信息的大小
三. 离散熵
有三个信源X，Y，Z，各自的概率空间为

X P
0a.011
a2 0.99

Y P