信息论-信息熵(ppt文档)

i1 p(xi ) log np(xi )
令x 1 ,引用ln x x 1, x 0的关系，
np(ai )
并注意log x ln x log e, 得
H (X ) log n

n1 [
i1 n

p(xi )]log e
n
[
i 1
1 n

n i 1
p(0)

p( y1

0)

p(x1 y1

00)
p(x2 y1
10)

1 8

3 8

1 2
1 p(1) p( y2 1) 2
p( xi
/
yj)
p(xi y j ) p( y j )
p(0 / 0)
p( x1
0 / y1
0)
p(00) p(0)

p(x1 y1 00) p( y1 0)
可见 H(X)>H(Y)>H(Z)，信源符号的概率分布越 均匀，则平均信息量越大，信源X比信源Y平均 信息量大，Z是确定事件，不含有信息量。
例：有一篇千字文章，假定每个字可从一万个汉 字中任选，则共有不同的千字文篇数为 N=100001000=104000篇，按等概计算，平均每篇千 字文可提供的信息量？
1/8 1/ 2

1 4

p(1/1)
p(1/ 0) p(0 /1) 3 4
H ( X / Y ) p(00) log 2 p(0 / 0) p(01) log 2 p(0 /1) p(10) log 2 p(1/ 0) p(11) log 2 p(1/1)

(
1 8

x1(12晴, ),
x2
(阴), 1, 4
x3
( 雨), 1, 8
x4
(1雪) 8
由定义，该信源的熵为
H ( X ) 1 log 1 1 log 1 (1 log 1) 2 2 22 4 22 8 28
1.75(比特 符号)
总括起来，信源熵有三种物理含义：
2.1.2 信息熵
1.信息熵
熵
信
息
条
熵
联
件
合
熵
熵
已知单符号离散无记忆信源的数学模型
X P( X
)


x1, p( x1),
x2 , p(x2
, ),,
xi , p(xi
, ),,
xn p(xn
)
n
其中 0 p(xi ) 1,i 1,2,, n,且 p(xi ) 1
p(xi )] 0
故有H(X ) log n
n
p(xi ) 1
i1
p( xi
)

1 n
x 1 1, np(xi )
对于单符号离散信源，当信源呈等概率分布时具有最大熵。
4 确定性 H (1,0)来自百度文库 H (1,0,,0) H (0,1,,0)
0y.201
Z P(Z
)

0z1
z2 1

H ( X ) 0.5log2 0.5 0.5log2 0.5 1(bit / 符号) H (Y ) 0.99log2 0.99 0.01log2 0.01 0.08(bit / 符号) H (Z ) 0 log2 0 1log2 1 0(bit / 符号)
2 对称性
当变量 p(x1),p(x2),…,p(xn) 的顺序任意互换时，熵函数的 值不变，即
H[ p(x1), p(x2 ),, p(xn )] H[ p(xi1 ), p(xi2 ),, p(xin )] 其中：i1,i2,in 1,2,, n
3 最大离散熵定理
信源中包含n个不同离散消息时，信源熵H(X)有
log 2
1 4

3 8
log 2
3) 4
2

0.812 (比特
/
符号)
3.联合熵
nm
H (XY)
p(xi y j ) log 2 p(xi y j )
i1 j1
2.1.3 信息熵的性质
1 非负性
H(X) ≥ 0
其中等号成立的充要条件是当且仅当对某i，p(xi)=1，其 余的p(xk)=0(k≠i)。
1 信源熵H(X)表示信源输出后，离散消息所提供 的平均信息量。
2 信源熵H(X)表示信源输出前，信源的平均不确 定度。
3 信源熵H(X)反映了变量X的随机性。
例：有三个信源X，Y，Z，其概率空间为
X P( X
)

0x1.5
0x.25
Y P(Y
)

0y.199
定义：各离散消息自信息量的数学i1期望，即信源的平均信息量。
1
n
H(X)
E[I (xi )]
E[log 2
] p(xi )

i 1
p(xi ) log 2
p(xi )
信源的信息熵；香农熵；无条件熵；熵函数；熵
单位：比特/符号
例:某地二月份天气构成的信源为

X P(
X
)
合概率加权？
nm
H (Y / X )
p(xi y j ) log 2 p( yi / x j )
i1 j1
例 : 已 知 X ， Y∈{0 ， 1} ， XY 构 成 的 联 合 概 率 为 ： p(00)=p(11)=1/8，p(01)=p(10)=3/8,计算条件熵H(X/Y)。
N
H ( X ) p(xi ) log 2 p(xi ) log 2 10 4000 1.33 10 4 (bit / 符号) i 1
2.条件熵
nm
H (X /Y )
p(xi y j ) log 2 p(xi / y j )
i1 j1
思考：求条件熵
时为什么要用联
证明：随机变量X的概率分布满足0≤p(xi)≤1，
log2p(xi) ≤0，所以H(X)≥0 因每一项非负，所以必须是每一项为零等号才成立。
此时只有p(xi)=0或p(xi)=1
时上式才成立，而
n
i 1
p ( xi )
1
所以只能有一个p(xi)=1，而其他p(xk)=0(k≠i)。这个信源 是一个确知信源，其熵等于零。
H (X ) log n
当且仅当X中各个消息出现的概率全相等时，上式 取等号。
证明：自然对数具有性质
当x 0时，ln x x 1,并且当且仅当x 1时， 该式取等号。
H (X ) log n
n
1
n

i 1 n
p(xi ) log
p(xi )
1
i 1
p(xi ) log n