信息论基础课件chp2
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第二章 信息的度量
2.1 自信息和互信息 2.2 平均自信息 2.3 平均互信息
本章重点：各 类信源的信息 测度—熵及其 性质。
关于信息的度量有几个重要的概念： （1）自信息：一个事件（消息）本身所包含的信
息量，它是由事件的不确定性决定的。比如抛掷一 枚硬币的结果是正面这个消息所包含的信息量。 （2）互信息：一个事件所给出关于另一个事件的 信息量，比如今天下雨所给出关于明天下雨的信息 量。 （3）平均自信息（信息熵）：事件集（用随机变 量表示）所包含的平均信息量，它表示信源的平均 不确定性。比如抛掷一枚硬币的试验所包含的信息 量。 （4）平均互信息：一个事件集所给出关于另一个 事件集的平均信息量，比如今天的天气所给出关于 明天的天气的信息量。
概率论基础
无条件概率、条件概率、联合概率的性质和关系
⑴ 0 p ( x i) ， p ( y j) ， p ( y j|x i) ， p ( x i|y j) ， p ( x iy j) 1
⑵n
m
n
p(xi) 1, p(yj) 1, p(xi | yj) 1,
i1
j1
I(xi)lo2gp(1xi)比特
如果取以e为底，则信息量单位称为奈特
(nature unit)
I(xi)lnp(1xi ) 奈特
如果取以10为底，则信息量单位称为哈特莱
(Hart unit,以纪念哈特莱首先提出用对数来度量消息)
1奈特＝1.443比特
I(xi
)
lg
1 p(xi
哈特
)
xi与yj zk的互信息
I(x i;yjzk) I(x i;zk) I(x i;yj/zk)
上量给之式定和I(x表。zik;条y明j 件z：k)下，一再等个出于联现z合k发y事j后生件所后y提j提zk供发供的生的有后有关所关x提xi的i的供信信的息息有量量关II(x(xxi的i;i;y信zjk/)z息与k)
⑸ 当 X与 Y相互独 p(x立 iyj)时 p(xi)， p(yj) p(yj |xi)p(yj)， p(xi |yj)p(xi)，
⑹
p(xi |
yj)
p(xiyj)
n
，p(yj
|xi)
p(xiyj)
m
p(xiyj)
p(xiyj)
i1
j1
2.2.1 平均自信息（信息熵）的概念
自信息量是信源发出某一具体消息所含有的信息 量，发出的消息不同所含有的信息量不同。因此自信 息量不能用来表征整个信源的不确定度。我们定义平 均自信息量来表征整个信源的不确定度。平均自信息 量又称为信息熵、信源熵，简称熵。
从图2.1中可以看到上述信息量的定义 正是满足上述公理性条件的函数形式。
I ( xi ) 代表两种含义：
图2.1 自信息量
1、当事件发生前，表示该事件发生的不确定性；
2、当事件发生后，表示该事件所提供的信息量。
自信息的测度单位及其换算关系
如果取以2为底，则信息量单位称为比特(binary
unit)
q
H(X)EI(xi) p(xi)logp(xi) i1
这里q为的所有X可能取值的个数。熵的单位也是 与所取的对数底有关，根据所取的对数底不同，可以 是比特/符号、奈特/符号、哈特莱/符号或者是r进制 单位/符号。通常用比特/符号为单位。
2.1 自信息和互信息
在信息传输的一般情况下，直观地把信息量定义为：
收到某消息获得的信息量 ＝不确定性减少的量 ＝（收到此信息前关于某事件发生的不确 定性）－（收到此信息后关于某事件发生 的不确定性）
事件发生的不确定性与事件发生的概率有关。
事件发生的概率越小，我们猜测它有没有发生的困 难程度就越大，不确定性就越大。概率等于1的必 然事件，就不存在不确定性。
某事件发生所含有的信息量应该是该事件发生的先 验概率的函数。
函数f [p(xi)]应满足以下4个条件
（1）f ( p i ) 应是先验概率的单调递减函数，即 当 P1(a1)P2(a2) 时， f (P1) f (P2)
（2）当 P (ai ) 1 时f (Pi ) 0 （3）当P(ai ) 0 时 f (Pi )
计算机术语中“比特”是代表 二元数字；
这两种定义之间的关系是：每 个二元数字所能提供的最大平 均信息量为1比特。
【例2.1 】 （1）英文字母中”a”出现的概率为0.064， “c”出现的概率为0.022，分别计算它们的自信息量。 （2）假定前后字母出现是互相独立的，计算“ac”出现的 自信息量。 （3） 假定当“a”出现后，出现“c”的概率为0.04，计算 “a”出现后， “c”出现的自信息量。
【例2.2 】某地二月份天气出现的概率分别为晴1/2， 阴1/4，雨1/8，雪1/8。某天有人告诉你：“今天不是
晴天”，把这句话作为收到的消息y1，求收到y1后， y1
与各种天气的互信息量。
解：把各种天气记作x1(晴),x2(阴),x3(雨),x4(雪)，收 到消息y1后，阴天发生的概率为 1
j后所消除的关于事 本身的不确定性
I ( xi )减去已知事 件 y j 后对 x i 仍然存 在的不确 定
性I (xi | y j ) 。
互信息的引出，使信息得到了定量的表示，是
信息论发展的一个重要的里程碑。
互信息的三种不同表达式
观察者站在输出端 I ( x i;y j) lo 2 p ( 1 x i) g lo 2 p ( x i 1 g /y j) I ( x i) I ( x i/y j)
自信息量：对yj一无所知的情况下xi存在的不确定度； 条件自信息量：已知yj 的条件下xi 仍然存在的不确定度； 互信息量：两个不确定度之差是不确定度被消除的部分，
即等于自信息量减去条件自信息量。
观察者站在输入端
I(y j;x i) lo 2源自文库p ( 1 y jg ) lo 2 p (y 1 jg /x i) I(y j) I(y j/x i)
（4）两个独立事件的联合信息量应等于它们分别的信息量 之和。
根据上述条件可以从数学上证明这种函数形式是对数形式。
定义2.1 随机事件的自信息量定义为该事件发生概
率的对数的负值。设事件x i 的概率为 p ( xi )，则它的
自信息定义为
I(xi)deflogp(xi)logp(1xi)
1哈特莱＝3.322比特
一般都采用以“2”为底的对数，为了书写简洁， 有时把底数2略去不写。
信息论 中“比特” 与 计算 机术语中 “比特” 区别
如果p(xi)=1/2，则I(xi)=1比特。 所以1比特信息量就是两个互 不相容的等可能事件之一发生 时所提供的信息量。
信息论中“比特”是指抽象的 信息量单位；
这三种表达式实际上是等效的，在实际应用中可根据具体情 况选用一种较为方便的表达式。
互信息的性质
对称性：I(xi;yj)=I(yj; xi) 两个随机事件的可能结果xi和yj之间的统计约束程度;
从yj得到的关于xi的信息量I(xi;yj)与从xi得到的关于 yj的信息量I(yj; xi)是一样的,只是观察的角度不同而已。
0
p(x3
y1)
p(x3 y1) p( y1)
1/8
1/ 41/81/8
1 4
p(x4
y1)
1 4
因此y1 与晴天、雨天、雪天的互信息分别为：
I ( x1; y1 ) log
p ( x1 y1 ) p( x1 )
I ( x3 ; y1 ) log
p( x3 y1 ) p ( x3 )
I''(xiyj)lo2gp(x1iyj)
通信后的互信息量，等于前后不确定度的差
I ( x i ; y j ) l o g 2 p ( x i ) 1 p ( y j ) l o g 2 p ( x 1 i y j ) I '( x i y j ) I ''( x i y j ) I ( x i ) I ( y j ) I ( x i y j )
log 1 / 4 1/8
1 bit
I ( x4 ; y1 ) log
p( x4 y1 ) p(x4 )
log 1 / 4 1/8
1 bit
小结
非平均互信息量I(xk; yj)。 非平均自信息量I (xk)，I (yj)。 条件的非平均自信息量I (xk|yj)， I (yj|xk)。 联合的非平均自信息量I (xk, yj)。
相互关系： I(xk; yj)≤min{I(xk)，I (yj)}。
I(xk|yj)=I (xk)-I(xk; yj) 。 I(xk, yj)=I (yj)+I (xk|yj)=I (xk)+I (yj|xk)。
I(xk, yj)=I (xk)+I (yj)-I(xk; yj)。
1177
2.2 平均自信息
i1
m
mn
p(yj | xi) 1,
p(xi yj ) 1
j1
⑶ n
j1 i1
m
p(xiyj)p(yj), p(xiyj)p(xi)
i 1
j1
概率论基础
无条件概率、条件概率、联合概率的性质和关系
⑷ p ( x iy j) p ( x i) p ( y j|x i) p ( y j) p ( x i|y j)
观察者得知输入端发出xi前、后对输出端出现yj的不确
定度的差
观察者站在通信系统总体立场上
通信前：输入随机变量X和输出随机变量Y之间没有任何关 联关系,即X与Y统计独立：p(xi yj)=p(xi)p(yj) 先验不确定度 I'(xiyj)lo2gp(xi)1p(yj)
通信后：输入随机变量X和输出随机变量Y之间由信道的统 计特性相联系，其联合概率密度： p(xi yj)=p(xi)p(yj /xi )= p(yj)p(xi / yj) 后验不确定度
2.1.2 互信息
定义2.2 一个事件 y j 所给出关于另一个事件
信息定义为互信息，用 I(xi ; y j )表示。
x
i
的
I(xi ;yj)d efI(xi)I(xi |yj)logp(px(ix|iy)j)
件互x i 的信不息确I(定xi ;性y j，) 是它已等知于事事件件xyi
p ( x2 | y1 )
p ( x2 y1 ) p ( y1 )
4 111
1 2
488
因 此 y1与 阴 天 之 间 的 互 信 息
I ( x2 ; y1 ) log 2
p ( x2 | y1 ) p(x2 )
log 2
1/ 1/
2 4
1
bit
同理有：
p(x1
y1)
p( x1 y1) p( y1)
因为信源具有不确定性，所以我们把信源用随机 变量来表示，用随机变量的概率分布来描述信源的不 确定性。通常把一个随机变量的所有可能的取值和这
些取值对应的概率 X,PX称为它的概率空间。
定义2.3 随机变量X的每一个可能取值的自信息I ( xi )
的统计平均值定义为随机变量X的平均自信息量:
解：(1) I(a)log20.0643.96bit I(c)log20.0225.51 bit
( 2 ) I ( a c ) l o g 2 0 . 0 6 4 0 . 0 2 2 3 . 9 6 5 . 5 1 9 . 4 7 b i t
( 3 )I( c |a ) lo g 2 0 .0 4 4 .6 4 b it
当统计独立时,表明xi和yj之间不存在统计约束关系，从yj 得不到关于的xi任何信息,反之亦然。
I(xiyj)lo2g p(xi)1 p(yj)lo2g p(x1 iyj)0
互信息量可为正值或负值
当后验概率大于先验概率时，互信息量为正
当后验概率小于先验概率时，互信息量为负
当后验概率与先验概率相等时，互信息量为零。这就是 两个随机事件相互独立的情况。
条件互信息
定义： 消息xi与消息对yj zk之间的互信息为
I(x i;y jz k) lo 2p (x p ig ( /x y ij)z k) lo 2p ( 1 x ig ) lo 2p (x ig /1 y jz k)
在给定zk条件下，xi与yj之间的互信息。 I(x i;y j/z k ) lo 2p p (x (i x / g i/ y z jk z k )) lo 2p (x i 1 / g z k) lo 2p (x i/ g 1 y jz k)
2.1 自信息和互信息 2.2 平均自信息 2.3 平均互信息
本章重点：各 类信源的信息 测度—熵及其 性质。
关于信息的度量有几个重要的概念： （1）自信息：一个事件（消息）本身所包含的信
息量，它是由事件的不确定性决定的。比如抛掷一 枚硬币的结果是正面这个消息所包含的信息量。 （2）互信息：一个事件所给出关于另一个事件的 信息量，比如今天下雨所给出关于明天下雨的信息 量。 （3）平均自信息（信息熵）：事件集（用随机变 量表示）所包含的平均信息量，它表示信源的平均 不确定性。比如抛掷一枚硬币的试验所包含的信息 量。 （4）平均互信息：一个事件集所给出关于另一个 事件集的平均信息量，比如今天的天气所给出关于 明天的天气的信息量。
概率论基础
无条件概率、条件概率、联合概率的性质和关系
⑴ 0 p ( x i) ， p ( y j) ， p ( y j|x i) ， p ( x i|y j) ， p ( x iy j) 1
⑵n
m
n
p(xi) 1, p(yj) 1, p(xi | yj) 1,
i1
j1
I(xi)lo2gp(1xi)比特
如果取以e为底，则信息量单位称为奈特
(nature unit)
I(xi)lnp(1xi ) 奈特
如果取以10为底，则信息量单位称为哈特莱
(Hart unit,以纪念哈特莱首先提出用对数来度量消息)
1奈特＝1.443比特
I(xi
)
lg
1 p(xi
哈特
)
xi与yj zk的互信息
I(x i;yjzk) I(x i;zk) I(x i;yj/zk)
上量给之式定和I(x表。zik;条y明j 件z：k)下，一再等个出于联现z合k发y事j后生件所后y提j提zk供发供的生的有后有关所关x提xi的i的供信信的息息有量量关II(x(xxi的i;i;y信zjk/)z息与k)
⑸ 当 X与 Y相互独 p(x立 iyj)时 p(xi)， p(yj) p(yj |xi)p(yj)， p(xi |yj)p(xi)，
⑹
p(xi |
yj)
p(xiyj)
n
，p(yj
|xi)
p(xiyj)
m
p(xiyj)
p(xiyj)
i1
j1
2.2.1 平均自信息（信息熵）的概念
自信息量是信源发出某一具体消息所含有的信息 量，发出的消息不同所含有的信息量不同。因此自信 息量不能用来表征整个信源的不确定度。我们定义平 均自信息量来表征整个信源的不确定度。平均自信息 量又称为信息熵、信源熵，简称熵。
从图2.1中可以看到上述信息量的定义 正是满足上述公理性条件的函数形式。
I ( xi ) 代表两种含义：
图2.1 自信息量
1、当事件发生前，表示该事件发生的不确定性；
2、当事件发生后，表示该事件所提供的信息量。
自信息的测度单位及其换算关系
如果取以2为底，则信息量单位称为比特(binary
unit)
q
H(X)EI(xi) p(xi)logp(xi) i1
这里q为的所有X可能取值的个数。熵的单位也是 与所取的对数底有关，根据所取的对数底不同，可以 是比特/符号、奈特/符号、哈特莱/符号或者是r进制 单位/符号。通常用比特/符号为单位。
2.1 自信息和互信息
在信息传输的一般情况下，直观地把信息量定义为：
收到某消息获得的信息量 ＝不确定性减少的量 ＝（收到此信息前关于某事件发生的不确 定性）－（收到此信息后关于某事件发生 的不确定性）
事件发生的不确定性与事件发生的概率有关。
事件发生的概率越小，我们猜测它有没有发生的困 难程度就越大，不确定性就越大。概率等于1的必 然事件，就不存在不确定性。
某事件发生所含有的信息量应该是该事件发生的先 验概率的函数。
函数f [p(xi)]应满足以下4个条件
（1）f ( p i ) 应是先验概率的单调递减函数，即 当 P1(a1)P2(a2) 时， f (P1) f (P2)
（2）当 P (ai ) 1 时f (Pi ) 0 （3）当P(ai ) 0 时 f (Pi )
计算机术语中“比特”是代表 二元数字；
这两种定义之间的关系是：每 个二元数字所能提供的最大平 均信息量为1比特。
【例2.1 】 （1）英文字母中”a”出现的概率为0.064， “c”出现的概率为0.022，分别计算它们的自信息量。 （2）假定前后字母出现是互相独立的，计算“ac”出现的 自信息量。 （3） 假定当“a”出现后，出现“c”的概率为0.04，计算 “a”出现后， “c”出现的自信息量。
【例2.2 】某地二月份天气出现的概率分别为晴1/2， 阴1/4，雨1/8，雪1/8。某天有人告诉你：“今天不是
晴天”，把这句话作为收到的消息y1，求收到y1后， y1
与各种天气的互信息量。
解：把各种天气记作x1(晴),x2(阴),x3(雨),x4(雪)，收 到消息y1后，阴天发生的概率为 1
j后所消除的关于事 本身的不确定性
I ( xi )减去已知事 件 y j 后对 x i 仍然存 在的不确 定
性I (xi | y j ) 。
互信息的引出，使信息得到了定量的表示，是
信息论发展的一个重要的里程碑。
互信息的三种不同表达式
观察者站在输出端 I ( x i;y j) lo 2 p ( 1 x i) g lo 2 p ( x i 1 g /y j) I ( x i) I ( x i/y j)
自信息量：对yj一无所知的情况下xi存在的不确定度； 条件自信息量：已知yj 的条件下xi 仍然存在的不确定度； 互信息量：两个不确定度之差是不确定度被消除的部分，
即等于自信息量减去条件自信息量。
观察者站在输入端
I(y j;x i) lo 2源自文库p ( 1 y jg ) lo 2 p (y 1 jg /x i) I(y j) I(y j/x i)
（4）两个独立事件的联合信息量应等于它们分别的信息量 之和。
根据上述条件可以从数学上证明这种函数形式是对数形式。
定义2.1 随机事件的自信息量定义为该事件发生概
率的对数的负值。设事件x i 的概率为 p ( xi )，则它的
自信息定义为
I(xi)deflogp(xi)logp(1xi)
1哈特莱＝3.322比特
一般都采用以“2”为底的对数，为了书写简洁， 有时把底数2略去不写。
信息论 中“比特” 与 计算 机术语中 “比特” 区别
如果p(xi)=1/2，则I(xi)=1比特。 所以1比特信息量就是两个互 不相容的等可能事件之一发生 时所提供的信息量。
信息论中“比特”是指抽象的 信息量单位；
这三种表达式实际上是等效的，在实际应用中可根据具体情 况选用一种较为方便的表达式。
互信息的性质
对称性：I(xi;yj)=I(yj; xi) 两个随机事件的可能结果xi和yj之间的统计约束程度;
从yj得到的关于xi的信息量I(xi;yj)与从xi得到的关于 yj的信息量I(yj; xi)是一样的,只是观察的角度不同而已。
0
p(x3
y1)
p(x3 y1) p( y1)
1/8
1/ 41/81/8
1 4
p(x4
y1)
1 4
因此y1 与晴天、雨天、雪天的互信息分别为：
I ( x1; y1 ) log
p ( x1 y1 ) p( x1 )
I ( x3 ; y1 ) log
p( x3 y1 ) p ( x3 )
I''(xiyj)lo2gp(x1iyj)
通信后的互信息量，等于前后不确定度的差
I ( x i ; y j ) l o g 2 p ( x i ) 1 p ( y j ) l o g 2 p ( x 1 i y j ) I '( x i y j ) I ''( x i y j ) I ( x i ) I ( y j ) I ( x i y j )
log 1 / 4 1/8
1 bit
I ( x4 ; y1 ) log
p( x4 y1 ) p(x4 )
log 1 / 4 1/8
1 bit
小结
非平均互信息量I(xk; yj)。 非平均自信息量I (xk)，I (yj)。 条件的非平均自信息量I (xk|yj)， I (yj|xk)。 联合的非平均自信息量I (xk, yj)。
相互关系： I(xk; yj)≤min{I(xk)，I (yj)}。
I(xk|yj)=I (xk)-I(xk; yj) 。 I(xk, yj)=I (yj)+I (xk|yj)=I (xk)+I (yj|xk)。
I(xk, yj)=I (xk)+I (yj)-I(xk; yj)。
1177
2.2 平均自信息
i1
m
mn
p(yj | xi) 1,
p(xi yj ) 1
j1
⑶ n
j1 i1
m
p(xiyj)p(yj), p(xiyj)p(xi)
i 1
j1
概率论基础
无条件概率、条件概率、联合概率的性质和关系
⑷ p ( x iy j) p ( x i) p ( y j|x i) p ( y j) p ( x i|y j)
观察者得知输入端发出xi前、后对输出端出现yj的不确
定度的差
观察者站在通信系统总体立场上
通信前：输入随机变量X和输出随机变量Y之间没有任何关 联关系,即X与Y统计独立：p(xi yj)=p(xi)p(yj) 先验不确定度 I'(xiyj)lo2gp(xi)1p(yj)
通信后：输入随机变量X和输出随机变量Y之间由信道的统 计特性相联系，其联合概率密度： p(xi yj)=p(xi)p(yj /xi )= p(yj)p(xi / yj) 后验不确定度
2.1.2 互信息
定义2.2 一个事件 y j 所给出关于另一个事件
信息定义为互信息，用 I(xi ; y j )表示。
x
i
的
I(xi ;yj)d efI(xi)I(xi |yj)logp(px(ix|iy)j)
件互x i 的信不息确I(定xi ;性y j，) 是它已等知于事事件件xyi
p ( x2 | y1 )
p ( x2 y1 ) p ( y1 )
4 111
1 2
488
因 此 y1与 阴 天 之 间 的 互 信 息
I ( x2 ; y1 ) log 2
p ( x2 | y1 ) p(x2 )
log 2
1/ 1/
2 4
1
bit
同理有：
p(x1
y1)
p( x1 y1) p( y1)
因为信源具有不确定性，所以我们把信源用随机 变量来表示，用随机变量的概率分布来描述信源的不 确定性。通常把一个随机变量的所有可能的取值和这
些取值对应的概率 X,PX称为它的概率空间。
定义2.3 随机变量X的每一个可能取值的自信息I ( xi )
的统计平均值定义为随机变量X的平均自信息量:
解：(1) I(a)log20.0643.96bit I(c)log20.0225.51 bit
( 2 ) I ( a c ) l o g 2 0 . 0 6 4 0 . 0 2 2 3 . 9 6 5 . 5 1 9 . 4 7 b i t
( 3 )I( c |a ) lo g 2 0 .0 4 4 .6 4 b it
当统计独立时,表明xi和yj之间不存在统计约束关系，从yj 得不到关于的xi任何信息,反之亦然。
I(xiyj)lo2g p(xi)1 p(yj)lo2g p(x1 iyj)0
互信息量可为正值或负值
当后验概率大于先验概率时，互信息量为正
当后验概率小于先验概率时，互信息量为负
当后验概率与先验概率相等时，互信息量为零。这就是 两个随机事件相互独立的情况。
条件互信息
定义： 消息xi与消息对yj zk之间的互信息为
I(x i;y jz k) lo 2p (x p ig ( /x y ij)z k) lo 2p ( 1 x ig ) lo 2p (x ig /1 y jz k)
在给定zk条件下，xi与yj之间的互信息。 I(x i;y j/z k ) lo 2p p (x (i x / g i/ y z jk z k )) lo 2p (x i 1 / g z k) lo 2p (x i/ g 1 y jz k)