信息量和熵

0 0 0 1 0 0 0 0
非平均互信息量
输入消息 X1 X2 X3 X4 X5 X6 X7 x8 码字 000 001 010 011 100 101 110 111
p(xk)
1/8 1/4 1/8 1/4 1/16 1/16 1/16 1/16
收到0 1/6 1/3 1/6 1/3 0 0 0 0
互信息量特性：

对称性 可加性 互信息量的值域： -infinite ~ +infinite, 即全体实数


离散变量的非平均自信息量
if p( xk | y j ) 1
I ( xk ; y j ) log p ( xk | y j ) q ( xk )
1 log log q( xk ) q ( xk )
p(u1 | u2u3 ) p(u1u2 | u3 ) I (u1; u2 | u3 ) log log p(u1 | u3 ) p(u1 | u3 ) p(u2 | u3 )

可以推广到任意有限多个空间情况
互信息的可加性
u1
系统 u2 u3 u1 系统 u3
u2
I (u1; u2u3 ) I (u1; u2 ) I (u1; u3 | u2 ) I (u1; u3 ) I (u1; u2 | u3 )
非平均互信息量

例2.1.1
码字
输入消息
p(xk)
1/8 1/8 1/8 1/8 1/8 1/8 1/8 1/8
收到0
收到01
收到011
X1 X2 X3 X4 X5 X6 X7 x8
000 001 010 011 100 101 110 111
1/4 1/4 1/4 1/4 0 0 0 0
0 0 1/2 1/2 0 0 0 0
条件自信息和联合自信息
I (u1 | u2 ) log p(u1 | u2 )
I ( xk y j ) log p( xk y j )
I ( xk ; y j ) I ( xk ) I ( xk | y j ) I ( y j ) I ( y j | xk )
自信息、条件自信息和互信息
第二章 信息量和熵
信源自文库量和熵

2.1 离散变量的非平均信息量 2.2 离散集的平均自信息量－熵 2.3 离散集的平均互信息量 2.4 连续随机变量的互信息和熵 2.5 凸函数和互信息的凸性
2.1 离散变量的非平均信 息量
输入，输出空间定义

输入空间X={xk,k=1,2,…,K},概率记为q(xk) 输出空间Y={yj,j=1,2,…,J},概率记为ω (yj) 联合空间XY={xkyj ;k=1,2,…,K;j=1,2,…,J}, 概率 为p(xkyj) p(xkyj)= p(xk|yj)ω (yj)= p(yj|xk)q(xk)


对称性 非负性 确定性 扩展性 可加性 极值性 是H(P)上凸函数
熵是概率矢量的函数
H K ( p1 , p2 ,..., pK ) pk log pk
k 1 K

P＝K (p1, p2, …, pk)可以看作是K维矢量, 当 pk 1, pk 1 ,常称作是概率矢量;
H ( X | Y ) p( xy) log p( x | y)
x y
XY独立时有H(X|Y)=H(X)
H ( XY ) p ( xy) log p ( xy)
x y
H ( XY ) H ( X ) H (Y | X ) H (Y ) H ( X | Y )
熵的性质
I ( xk ; y j 3 | y j1 y j 2 )
I ( xk ; y j ) loga loga p ( xk | y j ) q ( xk ) p ( y j | xk ) I ( y j ; xk )
( y j )
条件互信息和联合事件互信息

三个事件集的条件互信息定义为
I ( xk ; y j ) I ( xk ) I ( y j ) I ( xk y j )
I(xk) I(yj)
I(xk ;yj)
2.2 离散集的平均自信 息量－熵
熵
H ( x) q( x) logq( x)
集X中事件出现的平均不确定性
例2.2.1 H(p) 例2.2.2
条件熵和联合熵
收到01 0 0 1/3 2/3 0 0 0 0
收到011 0 0 0 1 0 0 0 0
非平均互信息量

例2.1.2
输入消息 X1 X2 码字 000 111
p(xk)
1/2 1/2
1-p
收到0 1-p p
收到01 1/2 1/2
收到011 1-p p
0 p p 1 1-p
0
1
非平均互信息量
I ( xk ; y j ) f (q( xk ), p( xk | y j )) I ( xk ; y j ) I ( xk ; y j1 ) I ( xk ; y j 2 | y j1 )

熵的性质－确定性

若事件集X中有一个事件为必然事件，其余事 件为不可能事件，则此集合的熵值为0
熵的性质－扩展性
lim H K 1 ( p1 , p2 ,..., pK , ) H K ( p1 , p2 ,..., pK )
0
熵的性质－可加性
H M ( p1q11 , p1q21 ,..., p1qm11 , p2 q12 , p2 q22 ,..., p2 qm2 2 ,..., pK q1K , pK q2 K ,..., pK qmK K ) H K ( p1 , p2 ,..., pK ) pk H mk ( q1k , q2 k ,..., qmk k )
定义：给定集合｛X, q(xk)｝,事件xk∈X的 自信息量定义为：
1 I ( xk ) log log q( xk ) q( xk )
非平均自信息的性质


非负性 体现先验不确定性大小
I ( xk ; y j ) I ( xk ) I ( xk ; y j ) I ( y j )
k 1

故HK(P)=HK(p1, p2, …, pk)是概率矢量P 的函数
熵的性质－对称性

矢量的各分量p1,p2,…pk的次序任意改变 时，熵值不变

熵函数的值只与概率分布或将1分割成的 K个实数的取值有关，而与这K个实数和 K个事件采取何种一一对应方式无关
熵的性质－非负性

HK(P) = HK(p1, p2, …, pK) ≥0 可由单个事件自信息量的非负性得到