信息论与编码理论基础 王育民(第二章 )

2020/4/5
12
非平均互信息量性质
（3）当rkj>qkwj时 I(xk; yj)>0，当rkj<qkwj时 I(xk; yj)<0。 当(rkj/qk) > wj时，I(xk; yj)>0； 当(rkj/qk) < wj时，I(xk; yj)<0。 换句话说，
当“X=xk”与“Y= yj”这两个事件相互肯定时，互信息量为 正值；
事件xk∈X与事件yj∈Y的互信息量定义为
I(xk;yj)loga
P(XP(Xxk|Yxk)yj)loga
P(Yyj |Xxk) P(Yyj)
logaP P((X (X,Yx)k)P((xYk,yyj)j))logaqkrkw j j
2020/4/5
10
非平均互信息量直观认识
若信源发某符号xi, 由于信道中噪声的随机干扰，收信者收到 的是xi的某种变形yj，收信者收到yj后，从yj中获取xi的信息量 用I( xi ; yj )表示，则有
观察到010之后不能断定是哪个消息出现了。但是由观察结 果计算出来的某个消息出现的后验概率大于1/2或小于1/2,使 我们可比未观察前较有把握地推断消息出现的可能性，因 而多少得到了一些有关出现的“信息”。
若p<1/2，则1-p>1/2，也即010是消息x1的输出可能性大。
2020/4/5
7
直观认识
I( xi ; yj )=[收到yj 前，收信者对信源发xi 的不确定性] -[收到yj 后，收信者对信源发xi仍然存在 的 不确定性]
=收信者收到yj 前后，收信者对信源发xi 的 不确定性的消除
2020/4/5
11
非平均互信息量性质
其中底数a是大于1的常数。常用a=2或a=e，当a=2时互信息量 的单位为“比特”。
可以推广到任意有限多个空间情况
2020/4/5
14
互信息的可加性
u1
u2 u3
系统
u1
u2
系统
u3
I(u1;u2,u3)I(u1;u2)I(u1;u3|u2) I(u1;u3)I(u1;u2|u3)
意味着：（u2,u3）联合给出的关于u1的信息量等于u2给出的关 于u1的信息量与u2已知条件下u3给出的关于u1的信息量之和。
互信息量的性质：
（1）I(xk; yj)=loga(rkj/(qkwj))。因此有对称性：
I(xk; yj)=I(yj; xk)。
（2）当rkj=qkwj时, I(xk; yj)=0。即当(rkj/qk)=wj时，I(xk; yj)=0。
又即当(rkj/wj)=qk时，I(xk; yj)=0。
换句话说，当“X=xk”与“Y= yj”这两个事件相互独立时，互信 息量为0）。
2020/4/5
2
非平均互信息量
例2.1.1
输入 消息
码字 （输出）
p(xk)
X1 000
1/8
X2 001
1/8
X3 010
1/8
X4 011
1/8
X5 100
1/8
X6 101
1/8
X7 110
1/8
x8 111
1/8
2020/4/5
收到0
1/4 1/4 1/4 1/4
0 0 0 0
收到01 收到011
2020/4/5
9
非平均互信息量
（本章将给出各种信息量的定义和它们的性质。）
定义2.1.1(非平均互信息量) 给定一个二维离散型随机变量
{(Xx k,, j)y Y ,k,j)r k ,1 ~(K 1 ~ ; Jj}
因此就给定了两个离散型随机变量 { X ,x k ,q k ,k 1 ~ K } 和 { Y ,y j,w j,j 1 ~ J }
从上述两个系统可以看出，在一个系统中我们 所关心的输入是哪个消息的问题，只与事件出
现的先验概率和经过观察后事件出现的后验概
率有关。 信息应当是先验概率和后验概率的函数，即
I(xk;yj)=f [Q(xk),P(xk|yj)]
2020/4/5
8
研究表明
信息量就表示成为事件的后验概率与事件的先 验概率之比的对数函数!!!
收到01
0 0 1/3 2/3 0 0 0 0
收到011
0 0 0 1 0 0 0 0
2020/4/5
4
直观认识
对观察者来说，同样观察事件011，但输 入消息等概情况下“收获”要大些，即 得到的“信息”要多些。
越是不太可能发生的事件竟然发生了， 越是令人震惊。获得的“信息”要多些。
2020/4/5
5
非平均互信息量
例2.1.2
输入消息 码字
X1
000
X2 111
p(xk)
1/2 1/2
收到0
1-p p
收到01
1/2 1/2
收到010
1-p p
1-p
0
0
p
p
1
1
1-p
2020/4/5
6
直观认识
在接收010的过程中，消息出现的可能性，即后验概率也在 不断变化，但变化趋势不再像例2.1.1 那样单调地变化，而 是有起伏的，且最后并未达到1或0.
第二章：信息量和熵
§2.1 离散型随机变量的非平均信息量（事件的信息量）
§2.2 离散型随机变量的平均自信息量（熵）
§2.4 离散型随机变量的平均互信息量
§2.5 连续型随机变量的平均互信息量和微分熵
§2.6 凸函数与(离散型随机变量的)平均互信息量凸性
2020/4/5
1
§2.1 离散型随机变量的非平均信息量 （事件的信息量）
0
0
0
0
1/2
0
1/2
1
0
0
0
0
0
0
0
0
3
非平均互wk.baidu.com息量
输入消息
X1 X2 X3 X4 X5 X6 X7 x8
码字
000 001 010 011 100 101 110 111
p(xk)
1/8 1/4 1/8 1/4 1/16 1/16 1/16 1/16
收到0
1/6 1/3 1/6 1/3
0 0 0 0
2020/4/5
15
非平均自信息量
定义2.1.3(非平均自信息量) 给定一个离散型随机变量{X, xk, qk, k=1~K}。 事件xk∈X的自信息量定义为 I(xk)=loga(1/qk)，
其中底数a是大于1的常数。
当“X=xk”与“Y= yj”这两个事件相互否定时，互信息量为 负值。
2020/4/5
13
条件互信息和联合事件互信息
三个事件集的条件互信息定义（定义2.1.2）为
I( u 1 ;u 2 |u 3 ) lo g p ( u p 1 ( u |1 u 2 |， u 3 u )3 ) lo g p ( u p 1 ( |u u 1 ， 3 )u p 2 (u |u 2 3 |) u 3 )