第二章信息的统计度量

由于每一个随机事件的条件概率都处在0--1范围，所以条件自信息量均为非负值。
1.1.3 自信息量的关系 I(xi Yi)= I(xi)+ I(Yi / xi) I(xi Yi)= I(yi)+ I(xi /Yi)
例1 •
设在一正方形棋盘上共有64个方格,如果甲将一粒随意放在棋盘中 的某个方格且让乙猜测棋子的位置: （1）将方格按顺序编号，令乙猜测棋子所在方格的顺序号； （2）将方格按行和列编号，甲将棋子所在方格的行（或列）编号告诉乙之 后，再令乙猜测棋子所在列（或行）的位置。 解: 由于甲是将一粒棋子随意的放在棋盘中某一方格内，因此棋子在棋 盘中所处位置为二维等概率分布。
I ( B; E ) log
p( B | E ) 1/ 2 log 2 log 2 1.5 0.585比特 P( B) 1/ 3
I (C ; E ) I ( B; E ) 0.585比特
因为p(D|E)=0，即在事件E发生的条件下不会出现D事件，所以无须考虑 D事件与E事件之间的互信息量。 在接到两次电话后，A获得关于B，C，D的互信息量为
二维概率分布函数为P（XiYi）=1/64，故 （1）在二维联合集XY上的元素XiYi的自信息量
1 I ( xi yi ) log 2 p( xi yi ) log 2 log 2 26 6比特 64
（2）在二维联合集XY上，元素Xi相对Yi的条件自信息量为
p( xi yi ) 1 / 64 I ( xi | yi ) log 2 p( xi | yi ) log 2 log 2 3比特 p( yi ) 1/ 8
由对概率的递降性和可加性可以导出这类函数应是概率的对数函数：
•1.1.1自信息量
1)自信息量定义:
• 任意随机事件的自信息量定义为该事件发生概率的对数的负值。设该事 件Xi的概率为p(xi)，则它的自信息量定义式为
I(xi)=-logP(xi)
（1-1）
数学含义:某事件发生所含有的信息量=该事件发生的先验概率的函数 物理含义：随机事件的不确定性在数量上等于它的自信息量
式中，xi Yi积事件，p (xi Yi)为元素xi Yi的二维联合概率。
当xi Yi独立时I(xi
Yi)= I(xi)+ I(Yi)
1.1.2 条件自信息量
联合集XY中，对事件Xi和Yi，事件Xi在事件Yi给定的条件下的条件自信息量 定义为
I ( xi | yi )def log p ( xi | yi )
在现代数字通信系统中，一般选用二进制计数方式。 在信息熵的计算中也多以2为对数底。以2为对数底时， 信息熵写成H(X)形式，其单位为bit/符号。其它对数 底的信息熵可以利用对数换底公式进行转换。
log b x log r x log b r
例：TV平均每个画面可提供的信息量
• 电视屏上约有500×600=3×105个格点，按每点有10个 5 不同的灰度等级考虑，则共能组成103×10 个不同的画面。 按等概计算，平均每个画面可提供的信息量为
第二章
信息的度量
• 信息论是在信息可以度量的情况下，研究有效、可靠、 安全传递信息的科学。 • 信息的定性描述:信息蕴含在不肯定性中。 • 信息的定量描述：---如何度量？
1.1 自信息和条件自信息量
信息量的直观定义:收到某消息获得的信息量=不确定性减少的量=
收到某消息前关于某事件发生的不确定性-收到某消息后关于某事件发生的不确定性
P( B | EF ) 1 I (ຫໍສະໝຸດ BaiduB; EF ) log log 2 log 2 3 1.585比特 P( B) 1/ 3
• 因为其他两个条件概率p(C|EF)，p(D|EF)均为零，所以不考虑事 件C，D与EF事件之间的互信息量。 由此例看出，由于I(B;EF)=1.585比特， 而I(B;E)=0.585比特，因此事件EF的出现有助于肯定事件B的出现。
其中Xi，(i=1,2,…)为集合X中各个消息的取值Xi， P(xi)为对应的概率 ------常称为先验概率。 其中Yi，（j=1,2,…）是集合Y中各个消息符号的取值， P(Yi)，（j=1,2,…） 为消息符号Yi，j=1,2,…出现的概率。 当信宿收到集合Yi后，接受者重新估计关于信源各个消息Xi发生的概率，就成 为条件概率P（Xi|Yi）－－－这种条件概率又称为后验概率。
1.2 互信息量和条件互信息量
1、 简化的通信系统模型
信源
X
信道
Y
信宿
... p ( y2 ) ... y2
X x1 P p( x ) 1
... p ( x2 ) ... x2
Y y1 P p( y ) 1
系统的紊乱程度
A B
A
B
+
-
熵值越小，意味着系统越“整齐”和“集中”，也就越有序； 熵值越大，意味着系统越“混乱”和“分散”，无序程度越高。


熵增加也就意味着系统有序性减少或本 身在退化，熵值极大意味着系统的平衡 破坏或死亡来临。 例如：熵病
第二类永动机
������ ������ ������ 热力学第二定率 封闭系统的熵可以自发减少吗？ 麦克斯韦妖 布里渊
这里说明----自信息量I(xi) 是为了确定事件xi的出现所必须提 供的信息量，也是任何其它事件所能提供的关于事件xi的最大信 息量。
例.
• 某人A预先知道他的三位朋友B，C，D中必定会有一人于某晚要到 他家来，并且这三人来的可能性均相同，其先验概率为 p(B)=p(C)=p(D)=1/3。但是这天上午A接到D的电话，说因故不能 来了。我们把上午这次电话作为事件E，那么有后验概率 p(D|E)=0 ， p(B|E)=p(C|E)=1/2。这天下午A又接到C的电话， 说他今晚要出席一个重要会议不能来A家。把下午这次电话作为 事件F ，p(C|EF)=p(D|EF)=0，而p(B|EF)=1。 • 在接到上午的电话后，A获得关于B，C，D的互信息量为
4）任何两事件之间的互信息量不可能大于其中任一事件的自信息量
• 证明:由于互信息量为
p( xi | yi ) I ( xi ; yi ) log p( xi )
一般， P(xi| yi) ≤1，所以
I(xi; yi) ≤log1/ P(xi)= I(xi)
同理，因P(yi| xi) ≤1，所以 I(yi; xi) ≤ log1/ P(yi)= I(yi)
可见，当事件xi，yi统计独立时，其互信息量为零。这意味着不能 从观测yi获得关于另一个事件xi的任何信息。
3).互信息量可正可负
由于 1 1 I ( xi ; yi )def log log p( xi ) p( xi | yi )
在给定观测数据yi的条件下，事件xi出现的概率P(xi| yi)大于先验 概率P(xi)时,互信息量I(xi; yi)大于零，为正值；当后验概率小 于先验概率时，互信息量为负值。 互信息量为正，意味着事件yi的出现有助于肯定事件xi的出现；反之， 则是不利的。造成不利的原因是由于信道干扰引起的。
1奈特=log2 e比特≈1.443比特
1哈脱来=log2 10比特≈3.322比特
3)信息量的性质：
a)非负性
b)P＝1 I＝0
c)P＝0 I＝

d)I是p的单调递减函数
3）联合自信息量
• 二维联合集XY的元素（ xi Yi）的联合自信息量定义为
I(xi Yi)=-logp (xi Yi)
（1-2）
式（1-5）表明，由事件yi提供的有关事件xi的信息量等于 由事件xi提供的有关事件yi的信息量。
2）当事件xi ,yi统计独立时，互信息量为零， 即 I(xi; yi)=0 （1-6）
证明: 由于xi ;yi统计独立，故有p(xi yi)=p(xi )p(yi)于是
p( xi | yi ) p( xi yi ) I ( xi ; yi ) log log log1 0 p( xi ) p( xi ) p( yi )
2、 互信息量的性质
• 1）互异性----对称性 互信息量的互异性可表示为 I(Xi;Yi)=I(Yi;Xi) 证明：由式（1-4） （1-5）
p ( xi | yi ) p ( xi | yi ) p ( yi ) I ( xi ; yi ) log log p ( xi ) p ( xi ) p ( yi ) p ( xi yi ) / p ( xi ) p ( yi | xi ) log log I ( yi ; xi ) p ( yi ) p ( yi )
1 1 I ( xi ; yi )def log log p( xi ) p( xi | yi )
上式意义：互信息量等于自信息量减去条件自信息量。或者说互信息量 是一种消除的不确定性的度量，亦即互信息量等于先验不确定性 Log(1/p(xi))减去尚存在的不确定性Log(1/p(xi|yi))。
分析：1、对于单个消息信源U，发送某个消息 u i U ，对应概率 为 p i ，这时信源输出的信息量为I，则有：
pi , I (ui ) ; pi 0, I (ui ) pi , I (ui ) ; pi 1, I (ui ) 0 I是pi的递降函数
2、从直观概念上讲，由两个不同的消息（相对独立）所提供的信息应等于它 们分别提供的信息之和，即满足可加性：I (A B) = I (A) + I (B)
2）自信息量的单位:-----与所用对数的底有关
* * * 若对数的底为为2，信息量的单位为比特(bit)。 p (xi)=1/2，则I(xi)=1比特，即该事件xi具有1比特的自信息量。 若取自然对数(对数底为e)，此时，自信息量的单位为奈特（nat）。 若以10为底，此时自信息量的单位为哈脱来(Hartley)--hat
1.2.1互信息量 • 1.定义:对两个离散随机事件集X和Y，事件Yi的出现给出关于
I 事件Xi的信息量定义为互信息量( xi ; yi )
。其定义式为
I ( xi ; yi )def log
p( xi | yi ) p( xi )
(1 4)
互信息量的单位与自信息量的单位一样取决于对数的底。 由式（1-4）又可得到
集X的平均自信息量----又称作是集X的信息熵,简称熵。 名称信息熵的来源-----平均自信息量的表示式和统计物 理学中热熵的表示式相似。在热力学中，热熵H（X） 描述了在某一给定时刻一个系统可能出现的有关状态 的不确定程度。故在含义上，信息熵与热熵也有相似 之处。
注意： 1） 如果一个事件的概率为0，显然它无法提供 任何信息，因此我们定义0· log0等于零，即0概率事件 的信息熵为零。 2）信息熵的单位---取决于对数选取的底r。 H r (X ) ,(r=2,e,10) r进制单位/符号
1.3离散集的平均自信息量－－－熵
• 1.3.1平均自信息量（信息熵）
平均自信息量定义：
集X上，随机变量自信息I(xi) 的数学期望定义为平均自信息量
H ( X )def E[ I ( xi )] E[ log p( xi )] p( xi ) log p( xi )
i 1
n
集X的平均自信息量----表示集X中事件出现的平均不确定性， 即为了在观测之前，确定集X中出现一个事件平均所需的信息量； 或者说，在观测之后，集X中每出现一个事件平均给出的信息量。
当r等于2时，信息熵的单位为二进制单位(binary unit)，简称比特 (bit)。当以自然对数为底时，信息熵的单位为自然单位(natural unit)，简称奈特(nat)。以10为对数底时，信息熵的单位为哈脱来。


由热力学第二定律可以发现，一个系统 在孤立的封闭状态下，总是由有序走向 无序，进而使熵增加，它不需要附加任 何条件。若要由无序走向有序，则需要 在一定的附加条件下才能实现。 例：在分子运动论的实验
H 1 ( X ) p ( xi ) log p ( xi ) log 10
i 1
n
3105