第二章离散信源与信息熵(下)

平均不定度 信 息 量 I ( xi ; y j ) E [ I ( xi )]
§2. 5 离散信源的互信息、条件互信息 离散信源的互信息、
通过上述比较， 通过上述比较，可知互信息象熵一样应是整个集合 间的总体特征， 间的总体特征，即它是描述了两个分属于不同集合的随 机变量间的平均相关程度。 机变量间的平均相关程度。 互信息的数学定义: 一、互信息的数学定义
又 ∵ H ( XY ) = H ( X ) + H (Y X ) = H ( X ) + H (Y ) − I ( X : Y ) ∴ I ( X ; Y ) = H ( X ) + H (Y ) − H ( XY ) 同理： ∵ I ( X ;Y ) = H ( X ) − H ( X Y ) I ( X ;Y ) ≤ H ( X ) and ∴ and H ( X Y ) ≥ 0 I ( X ; Y ) ≤ H (Y )
§2. 5 离散信源的互信息、条件互信息 离散信源的互信息、
∴ I ( X ; Y ) = E I ( xi ; y j ) = ∑ ∑ p ( xi y j ) I ( xi ; y j )
i =1 j =1 n n m
= ∑ ∑ rij log
i =1 j =1 n m
n
m
Qij pi
j =1 k =1
m
l
= I ( X ;Y / Z )
§2. 5 离散信源的互信息、条件互信息 离散信源的互信息、
从另一种方式也可得到条件互信息的表达式： 从另一种方式也可得到条件互信息的表达式： ∵ I ( xi ; y j z k ) = I ( xi ; y j z k ) − I ( xi ; z k ) 可加性
I ( X ; Y ) = E[ I ( xi ; y j )]
def
∵
I ( x = ai ; y = b j ) = log
p ( x = ai y = b j ) p ( x = ai )
= log
p ( xi y j ) p ( xi )
where : and
a1, a2 ,…, an b1, b2 ,…, bm x∈ y∈ p1 , p2 ,…, pn q1, q2 ,…, qm p( xy ) = rij = pi Pji = q jQij
第二章. 第二章 信息的度量与信息熵
离散信源的互信息、 §2. 5 离散信源的互信息、条件互信息
( Mutual Information and Conditional Mutual Information for Discrete Source)
有的书把互信息亦称为平均互信息(average mutual information) 有的书把互信息亦称为平均互信息
∵ H(X)表示集合X原有的平均不定度；H(X Y)则表示当收到 符 号 集 合 Y之 后 （ 即 集 合 Y中 的 平 均 不 确 定 度 已 解 除 后 ） 关 于 集 合 X中 还 剩 下 多 少 平 均 不 定 度 ， 两 者 之 差 就 是 每 收 到 一 个 y 之 后 ， 平 均 得 到 有 关 x的 信 息 量 。 I(X; Y)的物理概念是：当Y被确知后，所能解除多少关于X 的 平 均 不 确 定 度 ； 或 者 说 所 能 得 到 有 关 X的 信 息 量 。 所 谓 平 均 是 指 从 集 合 Y中 平 均 每 一 符 号 可 获 得 有 关 X的 信 息 。
= H ( X ) − ∑ q j H ( X y = bj )
j =1
m
= H (X ) − H (X Y)
§2. 5 离散信源的互信息、条件互信息 离散信源的互信息、
同理：I (Y ; X ) = H(Y ) − H(Y X ) = I ( X;Y ) = H( X ) − H( X Y )
n m l 和互信息一样也可 1 = ∑∑∑ p ( zk )P( xi zk ) P( y j xi zk ) log + 由条件自互信息导出条 P( xi zk ) i =1 j =1 k =1 件互信息： n m l
§2. 5 离散信源的互信息、条件互信息 离散信源的互信息、 三、条件互信息（Conditional mutual information） ）
§2.4.2 各种熵函数的互换关系 同理可推出： 同理可推出：
H ( X1 X2 ⋯X N ) ≤ H ( X1) + H ( X2 ) +⋯+ H ( X N )
等号成立的充分必要条件是：
X 1 , X 2 , … , X N ; 之间相互统计独立。
即： H ( X1 X 2 ⋯ X N ) = H ( X1 ) + H ( X 2 ) +⋯+ H ( X N )
我们将类似于自信息引出信息熵的方法导出互信息： 先比较自信息与信息熵的关系，再讨论互信息与自互 信息的关系。
自信息 events Variables 不确定度 I ( xi ) 信息熵 set Constant
自互信息 Events Variables
互信息 Sets Constant 平均信息量 E I ( xi ; y j )
i =1 j =1
1
证明的难点二： ∵ ln x ≤ x − 1
then :
log x = ln x log e
log x ≤ ( x − 1) log e
∴
log
p( xi ) p( y j )
p( xi ) p( y j ) ≤ − 1 log e p( xi y j ) p( xi y j )
∵ I ( X ; Y ) = ∑∑ p( xi y j ) log
i =1 j =1 n m
Qij pi
pi pi 1 n m − I ( X ; Y ) = ∑∑ q j Qij log ≤ − 1 ∑∑ q j Qij Q Qij ln 2 i =1 j =1 i =1 j =1 ij
= ∑ ∑ rij log
i =1 j =1 n m
m
Pji qj
= − ∑ ∑ pi Pji log pi + ∑ ∑ q j Qij log Qij
i =1 j =1 i =1 j =1
∑p
j =1
m
ji
=1
m m n n = − ∑ Pji ∑ pi log pi − ∑ q j − ∑ Qij log Qij j i =1 j i
如 果 等 号 成 立 ： 即， I ( X ; X ) = H ( X ) 则 x与 y一 一 对 应 。 [∵ H ( X Y ) = 0]
为了方便记忆，用两种图来表示它们的关系。
§(Y/X) I(X;Y) H(X/Y) H(Y)
2°. 互易性 (mutuality)
I(X;Y)=I(Y;X) 显而易见！ 显而易见！
3°. 互信息与各类熵函数之间的关系
I(X;Y) =H(X)−H(X Y) =HY)−HY X) =H(X)+HY)−H(XY) ( ( (
§2. 5 离散信源的互信息、条件互信息 离散信源的互信息、
∵ ∴ I ( X ; Y ) = H (Y ) − H (Y X ) H (Y X ) = H (Y ) − I ( X ; Y )
n m l
P ( xi y j zk )
Definition： ：
m j
+ ∑∑∑ p( zk )P( y j zk ) P( xi y j zk ) log P( xi y j zk )
i =1 j =1 k =1 n l
= −∑ P( y j xi zk )∑∑ p( zk )P( xi zk ) log P ( xi zk ) −
∵ ∴ I ( xi ; y j ) ≥ 0 ⇒ E I ( xi ; y j ) ≥ 0 I ( X ;Y ) ≥ 0
n
or :
m
∵H ( X Y ) ≤ H( X )
Qij pi = ∑∑ q j Qij log
i =1 j =1 n m
∴ H ( X ) − H ( X Y ) = I ( X ;Y ) ≥ 0 当然也可从定义中证明：
∴
Thus the mutual information I(x;y) is the reduction in the uncertainty of X due to the knowledge of Y.
§2. 5 离散信源的互信息、条件互信息 离散信源的互信息、 二、互信息的性质
1°. 非负性 (non-negativity)
二、由熵函数可加性的推广可得：
H ( X1, X 2 , X 3 ,…, X N ) = H ( X1 ) + H ( X 2 X1 ) + H ( X 3 X1 X 2 ) + + ⋯ + H ( X N X1 X 2 ⋯ X N −1 ) = = ∑ H ( X i X1 X 2 ⋯ X i −1 )
i =1 N
§2.4.2 各种熵函数的互换关系 三、联合熵与分部信息熵的关系 H ( XY ) ≤ H ( X ) + H (Y )
1
证明的难点一： n m n m −∑ p( xi )log p( xi ) + −∑ p( y j )log p( y j ) = −∑ p(xi ) ∑ p( y j xi ) log p( xi ) i =1 i=1 j =1 j =1 m n − ∑ p( y j ) ∑ p( xi y j ) log p( y j ) j =1 i=1 n m = − ∑ ∑ p ( x i y j ) log[ p ( x i ) p ( y j )]