第二章 信息的度量
第二章信息的统计度量
1.2.1互信息量 • 1.定义:对两个离散随机事件集X和Y，事件Yi的出现给出关于
I 事件Xi的信息量定义为互信息量( xi ; yi )
。其定义式为
I ( xi ; yi )def log
p( xi | yi ) p( xi )
(1 4)
互信息量的单位与自信息量的单位一样取决于对数的底。 由式（1-4）又可得到
可见，当事件xi，yi统计独立时，其互信息量为零。这意味着不能 从观测yi获得关于另一个事件xi的任何信息。
3).互信息量可正可负
由于 1 1 I ( xi ; yi )def log log p( xi ) p( xi | yi )
在给定观测数据yi的条件下，事件xi出现的概率P(xi| yi)大于先验 概率P(xi)时,互信息量I(xi; yi)大于零，为正值；当后验概率小 于先验概率时，互信息量为负值。 互信息量为正，意味着事件yi的出现有助于肯定事件xi的出现；反之， 则是不利的。造成不利的原因是由于信道干扰引起的。
式中，xi Yi积事件，p (xi Yi)为元素xi Yi的二维联合概率。
当xi Yi独立时I(xi
Yi)= I(xi)+ I(Yi)
1.1.2 条件自信息量
联合集XY中，对事件Xi和Yi，事件Xi在事件Yi给定的条件下的条件自信息量 定义为
I ( xi | yi )def log p ( xi | yi )
1奈特=log2 e比特≈1.443比特
1哈脱来=log2 10比特≈3.322比特
3)信息量的性质：
a)非负性
b)P＝1 I＝0
c)P＝0 I＝
d)I是p的单调递减函数
3）联合自信息量
信息论与编码-第2讲-信源及信息度量1
自信息含义
当事件xi发生以前：表示事件xi发生的不确定性。 当事件xi发生以后：表示事件xi所含有（或所提供）的信
息量。在无噪信道中，事件xi发生后，能正确无误地传输到 收信者，所以I(xi)可代表接收到消息xi后所获得的信息量。 这是因为消除了I(xi)大小的不确定性，才获得这么大小的信 息量。
2.1.1 单符号离散信源的数学模型
(1) 信源的描述方法 (2) 单符号离散信源数学模型
(1) 信源的描述方法
在通信系统中收信者在未收到消息以前，对信源发出 什么消息是不确定的。
① 离散信源：输出的消息常常是以一个个符号形式出现，
这些符号的取值是有限的或可数的。 单符号离散信源：只涉及一个随机事件，可用随机变量描述。 多符号离散信源：每次输出是一个符号序列，序列中每一位出现
② 联合自信息量
信源模型为
x2 y1 ,, x2 ym ,, xn y1 ,, xn y m XY x1 y1 ,, x1 ym , P( XY ) p( x y ),, p( x y ), p( x y ),, p( x y ),, p( x y ),, p( x y ) 1 m 2 1 2 m n 1 n m 1 1
计算y1与各种天气之间的互信息量 对天气x1，不必再考虑 对天气x2， I ( x2 ; y1 ) log2 p( x2 / y1 ) log2 1/ 2 1(比特) p( x ) 1/ 4
i i
验概率的函数。
函数f [p(xi)]应满足以下4个条件 根据上述条件可以从数学上证明这种函数形式是对 数形式。
信息的度量
How to measure Information?
信息论基础
本章内容
• 信息及其度量
• 平均信息量-熵
• 通过信道的平均信息量-互信息量 • 信息不增原理 • 各种信息量之间的关系 • 连续随机变量的信息度量
参考书：沈振元等，“通信系统原理”，第11章（PP412-437)
戴善荣, “信息论与编码基础”, 第2章
p ( xi , yj ) p ( xi / yj ) = p ( yj ) p ( xi , yj ) p ( yj / xi ) = p ( xi )
3 联合自信息量和条件自信息量 设输入和输出都可以用离散概率空间来表示：
X = {A， P}，其中A={ai}; Y = {B, Q}, 其中B={bj}
Y y1 , y 2 , , y j , P(Y ) = p( y ), p( y ), , p( y ), 2 j 1
这里p(yj)（j=1,2,3等）是集合Y中各个消息 y1，y2 ，y3 …出现的概率。
收信者获得的信息量
当信宿接到集合Y中的一个消息符号后，接收 者重新估计关于信源的各个消息 发生的概率 就变成条件概率，这种条件概率又称为后验概 率。 收信者收到一个消息后，所获得的信息量等 于收到消息前后不确定程度的减少量。
i n n 1 1 pi) ln 2 = 0, ( n = 1, pi = 1) i =1 i =1
n 1 1 p( 1) = ( i i =1 p n ln 2 i=1 n
1
i
故有H ( x ) H 0 0,即等概时有最大熵
例
一个二进制信元X，两个符号出现的概率分别为p和1-p,
信息论与编码第二章信息的度量
14
2.1.1 自信息量
（1）直观定义自信息量为：
收到某消息获得的信息量 = 不确定性减少的量
= 收到此消息前关于某事件发生的不确定性 收到此消息后关于某事件发生的不确定性
15
2.1.1 自信息量
举例：一个布袋中装有对人手感觉完全 一样的球，但颜色和数量不同，问下面 三种情况下随意拿出一个球的不确定程 度的大小。
18
2.1.1 自信息量
应用概率空间的概念分析上例，设取红球的状 态为x1，白球为x2，黑球为x3，黄球为x4，则 概率空间为： x2 （1） X x1
P( x) 0.99 0.01
（ 2）
（ 3）
X x1 P( x) 0.5
一、自信息和互信息
二、平均自信息
2.1.2 互信息
三、平均互信息
2.1.1 自信息量
信源发出的消息常常是随机的，其状态存在某种 程度的不确定性，经过通信将信息传给了收信者， 收信者得到消息后，才消除了不确定性并获得了 信息。
获得信息量的多少与信源的不确定性
的消除有关。
不确定度——惊讶度——信息量
第二章：信息的度量
自信息和互信息 平均自信息 平均互信息
2.1.1 自信息（量） （续9）
例4：设在一正方形棋盘上共有64个方格，如果甲将一 粒棋子随意的放在棋盘中的某方格且让乙猜测棋子所 在位置。 （1） 将方格按顺序编号，令乙猜测棋子所在的顺序 号。问猜测的难易程度。
（2）将方格按行和列编号，甲将棋子所在方格的列编 号告诉乙之后，再令乙猜测棋子所在行的位置。问猜 测的难易程度。
自信息是事件发生前，事件发生的不确定性。
信息论编码 第二章信息度量1
50个红球，50个黑球
Y
20个红球，其它4种 颜色各20个
Z
问题：能否度量、如何度量？？
2.3.2信源熵数学描述
信源熵
• 定义：信源各个离散消息的自信息量的数学期望 （即概率加权的统计平均值）为信源的平均信息 量，一般称为信源的信息熵，也叫信源熵或香农 熵，有时也称为无条件熵或熵函数，简称熵。 • 公式： n 1 H ( X ) = E[ I ( xi )] = E[log2 ] = −∑ p( xi ) log2 p( xi ) p( xi ) i =1 • 熵函数的自变量是X,表示信源整体，实质上是无 记忆信源平均不确定度的度量。也是试验后平均 不确定性＝携载的信息 信息量为熵 • 单位：以2为底，比特/符号 • 为什么要用熵这个词，与热熵的区别？
3
( 2)
∑ p ( x ) = 1, ∑ p ( y
i =1 m i j =1
n
m
j
) = 1,∑ p ( xi / y j ) = 1,
i =1 n
n
概 率 复 习
∑ p( y
j =1 n
j
/ xi ) = 1, ∑ ∑ p ( xi y j ) = 1
j =1 i =1 m
m
( 3) ( 4) (5)
1
对天气x1 ,Q p( x1 / y1 ) = 0,∴不必再考虑x1与y1之间 信息量
对天气 x 2 : I ( x 2 : y 1 ) = log
2
p ( x 2 / y1 ) = log p ( x2 )
2
1/ 2 = 1( bit ) 1/ 4
同理 I ( x 3 : y 1 ) = I ( x 4 : y 1 ) = 1( bit ), 这表明从 y 1 分别得到了
信息论基础第2章离散信源及其信息度量[83页]
![信息论基础第2章离散信源及其信息度量[83页]](https://img.taocdn.com/s3/m/a8bfc380a32d7375a5178051.png)
I (ai ) logr P(ai ) (r进制单位）
通常采用“比特”作为信息量的实用单位。在本书中，且为了 书写简洁，底数 2 通常省略不写。
【例】假设有这样一种彩票，中奖概率为 0.0001，不中 奖概率为 0.9999。现有一个人买了一注彩票。 试计算
定义: 设信源的概率空间为
X
P( x)
a1 P(a1
)
a2 P(a2 )
aq
P(aq )
则自信息量的数学期望定义为信源的平均自信息量，即
q
H ( X ) E[I (ai )] P(ai ) log2 P(ai ) （bit/符号） i 1
简记为
H ( X ) P(x) log2 P(x) xX
（1） 事件“彩票中奖”的不确定性； （2） 事件“彩票不中奖”的不确定性； （3） 事件“彩票中奖”和事件“彩票不中奖”相
比较，哪个提供的信息量较大？
【例】 对于 2n 进制的数字序列, 假设每一符号的出现相互 独立且概率相等，求任一符号的自信息量。
解：
根据题意， P(ai ) =1/2n，所以 I (ai ) log P(ai ) log（1/ 2n ) n(bit)
一般的多符号离散信源输出的随机序列的统计特性 比较复杂，分析起来也比较困难。将在第 3 章中详细讨 论。
《信息论基础》
2.3 离散随机变量的信息度量
一、自信息量I(xi)和信息熵H(X)
定义: 随机事件的自信息量定义为该事件发生概率的
对数的负值。设集合 X 中的事件 x ai 发生概率为 P(ai ) ，
按输出符号之间依赖关系分类，多符号离散信源 可分为无记忆信源和有记忆信源。
信息论基础第2章离散信源及其信息度量
第2章 离散信源及其信息度量
本章内容
2.1 离散信源的分类 2.2 离散信源的统计特性 2.3 离散随机变量的信息度量 2.4 离散信源的N次扩展信源 2.5 离散平稳信源 2.6 马尔可夫信源 2.7 离散信源的相关性和剩余度
《信息论基础》
2.1 离散信源的分类
离散信源的分类
按照离散信源输出的是一个消息符号还是消息符 号序列，可分为单符号离散信源和多符号离散信 源。
,
q2 pn
,
qm ) pn
n
m
其中， pi 1, qj pn 。
i1
j 1
可见，由于划分而产生的不确定性而导致熵的增加量为
pnHm (
q1 pn
,
q2 pn
, qm pn
)
6、上凸性
熵函数 H (p) 是概率矢量 p ( p1, p2 ,
pq ) 的严格∩型凸函数
（ 或 称 上 凸 函 数 ）。 即 对 任 意 概 率 矢 量 p1 ( p1, p2 , pq ) 和
成 H ( p1) 或 H ( p2 ) 。
和自信息相似，信息熵 H ( X ) 有两种物理含义：
① 信源输出前，信源的信息熵表示信源的平均 不确定度。
② 信源输出后，信源的信息熵表示信源输出一 个离散消息符号所提供的平均信息量。如果信道无噪 声干扰，信宿获得的平均信息量就等于信源的平均信 息量，即信息熵。需要注意的是，若信道中存在噪声， 信宿获得的平均信息量不再是信息熵，而是 2.5 节介 绍的平均互信息。
联合熵 H (XY ) 的物理含义表示联合离散符号集 XY 上
的每个元素对平均提供的信息量或平均不确定性。 单位为“bit/符号对”。 需要注意的是，两个随机变量 X 和 Y 既可以表示两个
信息理论与编码课后答案第2章
第二章 信息的度量习题参考答案不确定性与信息（2.3）一副充分洗乱的牌（含52张），试问： （1）任一特定排列所给出的不确定性是多少？（2）随机抽取13张牌，13张牌的点数互不相同时的不确定性是多少？ 解：（1）一副充分洗乱的扑克牌，共有52张，这52张牌可以按不同的一定顺序排列，可能有的不同排列状态数就是全排列种数，为6752528.06610P =≈⨯!因为扑克牌充分洗乱，所以任一特定排列出现的概率是相等的。
设事件A 为任一特定排列，则其发生概率为 ()6811.241052P A -=≈⨯!可得，任一特定排列的不确定性为()()22log log 52225.58I A P A =-=≈!比特 （2）设事件B 为从中抽取13张牌，所给出的点数都不同。
扑克牌52张中抽取13张，不考虑其排列顺序，共有1352C 种可能的组合，各种组合都是等概率发生的。
13张牌中所有的点数都不相同（不考虑其顺序）就是13张牌中每张牌有4种花色，所以可能出现的状态数为413。
所以()131341352441339 1.05681052P B C -⨯!!==≈⨯!则事件B 发生所得到的信息量为()()13213524log log 13.208I B P B C =-=-≈ 比特2.4同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1）“2和6 同时出现”这事件的自信息量。
（2）“两个3同时出现”这事件的自信息量。
（3）两个点数的各种组合（无序对）的熵。
（4）两个点数之和（即2，3，…，12构成的子集）的熵。
（5）两个点数中至少有一个是1的自信息。
解：同时扔两个正常的骰子，可能呈现的状态数有36种，因为两骰子是独立的，又各面呈现的概率为61，所以36种中任一状态出现的概率相等，为361。
（1） 设“2和6同时出现”这事件为A 。
在这36种状态中，2和6同时出现有两种情况，即2，6和2，6。
第二章_离散信源与信息熵的关系
给出，为了书写方便以后写成： 和
y1 , y2 , Y q1 , q2 , ym qm
xn Y y1, y2 , Q q( y ), q( y ), p( xn ) ； 1 2
ym q ( ym )
一. Definition of the self-mutual information:
«信 息 论 基 础 »
第二章：信息的度量与信息熵
( The measure of Information &Entropy) §2. 1 自信息与条件自信息
( self—information & conditional self— information) §2. 2 自互信息与条件自互信息 (self—mutual
p ( x ) 则表达当收端已收到某种消息后, 再统计发端的发送 率： y 概率，所以此条件概率称为后验概率(Posterior Probability) 。
§2. 1 自信息与条件自信息 因此我们说事件 xi 以及它所对应的先验概率P( x )而定
i
义出的自信息 I [ p( xi )] ，所表达的不论事件是否有人接收这 个事件它所固有的不确定度，或者说它所能带来的信息 xi p ( ) 量。而消息事件 y j xi nk 它所对应的条件概率 yj 是在收端接收到已干扰的消息后的后验概率,如果当它为1 xi p ( ) 则属于透明传输；若 y j <1，则属于有扰传输。而当 xi p ( ) 后验概率大于先验概率是 y j > P( xi )，说明事件 y j 发生之后多少也解除了事件 xi 的部分不定度，即得到 了事件 X xi 的部分信息。由于概率越大，不定度越小。 从客观上讲，条件自信息一定不会大于无条件的自信息。 同时也反映出要得知一些条件，原事件的不定度一定会 减少，最坏的情况也不过保持不变，即条件与事件无关。
信息论与编码第二章答案
第二章信息的度量2.1信源在何种分布时，熵值最大？又在何种分布时，熵值最小？答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。
2.2平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？答：若信道给定，I(X;Y)是q(x)的上凸形函数；若信源给定，I(X;Y)是q(y|x)的下凸形函数。
2.3熵是对信源什么物理量的度量？答：平均信息量2.4设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少？答：kk k xi q xi q X H i log 1log 1)(log )()(2.5根据平均互信息量的链规则，写出I(X;YZ)的表达式。
答：)|;();();(Y Z X I Y X I YZ X I 2.6互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？答：互信息量)()|(log );(xi q yj xi Q y x I ，若互信息量取负值，即Q(xi|yj)<q(xi)，说明事件yi 的出现告知的是xi 出现的可能性更小了。
从通信角度看，视xi 为发送符号，yi 为接收符号，Q(xi|yj)<q(xi)，说明收到yi 后使发送是否为xi 的不确定性更大，这是由于信道干扰所引起的。
2.7一个马尔可夫信源如图所示，求稳态下各状态的概率分布和信源熵。
答：由图示可知：43)|(41)|(32)|(31)|(41)|(43)|(222111110201s x p s x p s x p s x p s x p s x p 即：43)|(0)|(41)|(31)|(32)|(0)|(0)|(41)|(43)|(222120121110020100s s p s s p s s p s s p s s p s s p s s p s s p s s p 可得：1)()()()(43)(31)()(31)(41)()(41)(43)(210212101200s p s p s p s p s p s p s p s p s p s p s p s p得：114)(113)(114)(210s p s p s p )]|(log )|()|(log )|()[()]|(log )|()|(log )|()[()]|(log )|()|(log )|()[(222220202121211111010100000s s p s s p s s p s s p s p s s p s s p s s p s s p s p s s p s s p s s p s s p s p H 0.25（bit/符号）2.8一个马尔可夫信源，已知：0)2|2(,1)2|1(,31)1|2(,32)1|1(x x p x x p x x p x x p 试画出它的香农线图，并求出信源熵。
(完整版)第2章_信息的统计度量题与答案
四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2.9 如有6行8列的棋型方格，若有2个质点A和B，分别以等概率落入任一方格内，且它们的坐标分别为 、 ，但A和B不能落入同一方格内。试求：
(1) 若仅有质点A，求A落入任一方格的平均自信息量；
(2) 若已知A已入，求B落入的平均自信息量；
(3) 若A、B是可分辨的，求A、B同时落入的平均自信息量。
解：
(1)
(2)
(3)
2.10 一的平均信息量。
解：
2.13 已知信源发出 和 两种消息，且 。此消息在二进制对称信道上传输，信道传输特性为
求互信息量 和 。
解：
(3) 互信息I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。
解：
(1)
Z = XY的概率分布如下：
(2)
(3)
2.19 有两个随机变量X和Y，其和为Z = X + Y，若X和Y相互独立，求证：H(X) ≤ H(Z), H(Y) ≤ H(Z)，H(XY) ≥ H(Z)。
(1) 任一特定排列所给出的信息量是多少？
(2) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？
解：
(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：
(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：
2.6 试问四进制、八进制的每一波形所含的信息量是二进制每一波形所含的信息量的多少倍？
0
1
2
3
4
5
6
7
代码组
000
001
信息论复习提纲
信道传递概率可以用信道矩阵来表示：
x1 x2 P xr
y1 p( y1 | x1 ) p( y | x ) 1 2 p( y1 | xr )
y2 p( y2 | x1 )
p( y2 | x2 ) p( y2 | xr )
ys p( ys | x1 ) 1 p( ys | x2 ) p( ys | xr )
i
第四章：信道及信道容量
二、离散单符号信道及其信道容量
1.离散单符号信道的数学模型（续14）
例3：求二元删除信道的 H ( X )、H (Y )、H ( X | Y )和I ( X ;Y ) 。
已知
1 3 PX 4 4
1 1 2 2 0 P 1 2 0 3 3
3. 后验概率（后向概率）: 贝叶斯公式
p ( xi | y j ) p ( xi y j ) p( y j ) p ( xi ) p ( y j | xi )
p( x ) p( y
i 1 i
r
j
| xi )
（i =1，2，…，r;j =1，2，…，s）
且
p ( xi | y j ) 1
Y y2
ys
i 1, 2,..., r ; j 1, 2,..., s
满足： （1）0≤ p(yj|xi) ≤ 1 (i=1,2,…,r；j=1,2,…,s) （2）
p( y j | xi ) 1
j 1
s
(i=1,2,…,r)
第四章：信道及信道容量
二、离散单符号信道及其信道容量
1.离散单符号信道的数学模型（续2）
r s
第四章：信道及信道容量
第二章 地球信息的度量空间
二、空间信息网格的建议
空间信息网格的重点：是全面空间数据、
信息的系统化的表示、组织和管理。 空间信息网格的结构 空间信息网格的地图投影：等距圆柱投影
三、“无缝空间数据库”问题
无缝空间数据库是一个具体的科学概念
无缝空间数据库的理论和技术是大区域GIS
和数字地球的关键和前提。
（一）无缝技术的意义
无缝技术分为：物理无缝技术、视无缝技术 视无缝技术：指一些仅仅使屏幕上的图“看 起来似乎无缝”的技术处理。 视无缝技术是一种局部的、静态的无缝，一 般只适合单分辨率的一个投影及其邻近区域。
例：高斯投影带相邻的两幅1：5万图
真正的无缝技术不仅需要“视无缝”，而 且需要真正拓扑意义上的任意方向都连续， 多分辨率上均精密匹配，以达到统一度量 和分析的目的。 无缝技术在地球信息系统方面的意义:是彻 底解决6个全球范围问题的无缝，是物理的， 而不是技巧性的问题。
地图的地图空间和地图投影学
地图采用地图投影学来实现它的空间。
地图投影学：是研究把地球椭球体面展平到 平面上的科学。 地图投影学的主要内容：是由于旋转椭球体 的不可展性，展平必然产生变形，需要针 对不同用途、不同比例尺、不同区域的地 图选择和设计各种变形特性的地图投影。
地理信息系统的地理空间：是指经过投影变 换后放在笛卡尔坐标系中的地球表层特征空 间，它的理论基础在于旋转椭球体和地图投 影变换。 三维地理信息系统中的地理空间：是在笛卡 尔平面直角坐标系加上第三维z，并假定该 笛卡尔平面是处处切过地球旋转椭球体，z 代表地面相对于该旋转椭球体面的高程。 GIS的地理空间承袭了地图的空间概念。
协议规范、Web和数据库技术，为用户提供
信息的统计度量
2.3.2熵函数旳数学特征
1、对称性: 熵函数对每个Pk 对称旳。该性质 阐明熵只与随机变量旳总体构造有关，与事件 集合旳总体统计特征有关；
2、非负性: H（P）=H(p1,p2,…,pq)>=0；
3、扩展性: 当某事件Ek旳概率Pk稍微变化时， H函数也只作连续旳不突变旳变化；
lim
0
H q1(
熵函数旳自变量是X,表达信源整体
信息熵旳单位与公式中旳对数取底有关。通信与信息 中最常用旳是以2为底，这时单位为比特（bit）；理 论推导中用以e为底较以便，这时单位为奈特 （Nat）；工程上用以10为底较以便，这时单位为笛 特（Det）。它们之间能够引用对数换底公式进行互 换。例如：
1 bit = 0.693 Nat = 0.301 Det
I ( xi / y j ) log p( xi / y j )
在特定条件下( 已定)随机事件发生所带来旳 信息量 条件自信息量满足非负和单调递减性。
例:甲在一种8*8旳 方格盘上随意放入 一种 棋子，在乙看来是不拟定旳。
(1)在乙看来，棋子落入某方格旳不拟 定性为多少？
（2）若甲告知乙棋子落入方格旳行号， 这时，在乙看来棋子落入某方格旳不 拟定性为多少？
j 1
(4)
p( xi y j ) p( xi ) p( y j / xi ) p( y j ) p( xi / y j )
(5) 当X与Y相互独立时, p( y j / xi ) p( y j ),
p( xi / y j ) p( xi ), p( xi y j ) p( xi ) p( y j )
熵旳计算
• 例：设某信源输出四个符号，其符号集合旳 概率分布为：
s1 S p1
第二章 信源与信息度量 习题解答
第二章 信源与信息度量 习题解答1.某大学设置五个学院，每个学院的学生数分别为学院： 数学 物理 外语 外贸 医学人数： 300 400 500 600 200问“某学生王某是外语学院学生”这一消息提供的信息量是多少？解：总人数为：300+400+500+600+200=2000人 是外语学院学生的概率为：5000.252000= 同理计算其它学院学生概率后，得信源的概率空间为：12345()0.150.20.250.30.1X x x x x x p X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭“学生王某是外语学院学生”这一消息提供的信息量：33()lb ()lb 0.252I x p x =-=-=比特2. 同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求：（1） 事件“2和5同时呈现”的自信息量； （2） 事件“两个4同时呈现”的自信息量； （3） 事件“至少呈现一个1”的自信息量。
解：（1）事件“2和5同时呈现”的概率：1()18p A =，该事件的自信息量： 1()lb ()lb4.170 bit 18I A p A =-=-= （2）事件“两个4同时呈现”的概率：1()36p B =，该事件的自信息量：1()lb ()lb 5.170 bit 36I B p B =-=-=（3）事件“至少呈现一个1”的概率：11()36p C =，该事件的自信息量： 11()lb ()lb1.711 bit 36I C p C =-=-=3. 字母“e ” 在英文中出现的概率是0.103，字母“c ”出现的概率为0.022，字母“x ”出现的概率是0.001，求这些字母各自的自信息量。
解：（1）字母“e ”的自信息量：()lb ()lb0.103 3.279 bit I e p e =-=-=（2）字母“c ”的自信息量：()lb ()lb0.022 5.506 bit I c p c =-=-=（3）字母“x ”的自信息量：()lb ()lb0.0019.966 bit I x p x =-=-=4. 某电子厂共能生产A 、B 、C 、D 四种仪器，其中A 因技术落后停产了，B 占全部产量的20%，C 占30%，D 占50%。
信息论与编码理论-第2章信息的度量-习题解答-20071017
1第2章 信息的度量习 题2.1 同时扔一对质地均匀的骰子，当得知“两骰子面朝上点数之和为5”或“面朝上点数之和为8”或“两骰子面朝上点数是3和6”时，试问这三种情况分别获得多少信息量？解：某一骰子扔得某一点数面朝上的概率是相等的，均为1/6，两骰子面朝上点数的状态共有36种,其中任一状态出现都是等概率的,出现概率为1/36。
设两骰子面朝上点数之和为事件a ，有：⑴ a=5时，有1+4，4+1，2+3，3+2，共4种，则该事件发生概率为4/36=1/9，则信息量为I(a)=-logp(a=5)=-log1/9≈3.17(bit)⑵ a=8时，有2+6，6+2，4+4，3+5，5+3，共5种，则p(a)=5/36,则I(a)= -log5/36≈2.85(bit) ⑶ p(a)=2/36=1/18,则I(a)=-log1/18≈4.17(bit)2.2 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几”，则答案中含有多少信息量？如果你在已知今天是星期三的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的排序）？解：设“明天是星期几”为事件a ：⑴ 不知道今天是星期几：I(a)=-log1/7≈2.81(bit) ⑵ 知道今天是星期几：I(a)=-log1=0 (bit)2.3 居住某地区的女孩中有20%是大学生，在女大学生中有80%是身高1米6以上的，而女孩中身高1米6以上的占总数的一半。
假如我们得知“身高1米6以上的某女孩是大学生”的消息，求获得多少信息量？解：设“居住某地区的女孩是大学生”为事件a ，“身高1米6以上的女孩”为事件b ，则有： p(a)= 0.2，p(b|a)=0.8，p(b)=0.5，则“身高1米6以上的某女孩是大学生”的概率为：32.05.08.02.0)()|()()|(=⨯==b p a b p a p b a p信息量为：I=-logp(a|b)=-log0.32≈1.64(bit)2.4 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男同志：“你是否是红绿色盲？”，他回答“是”或“否”，问这两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均自信息量是多少？解：⑴ 男同志回答“是”的概率为7%=0.07，则信息量I=-log0.07≈3.84(bit) 男同志回答“否”的概率为1-7%=0.93，则信息量I=-log0.93≈0.10(bit)2平均信息量为：H 1=-(0.07×log0.07+0.93×log0.93) ≈0.37(bit/符号) ⑵ 问女同志的平均自信息量：H 2=-[0.05×log0.05+(1-0.05) ×log(1-0.05)] ≈0.045(bit/符号)2.5 如有7行9列的棋型方格，若有两个质点A 和B ，分别以等概率落入任一方格内，且它们的坐标分别为（X A ，Y A ）、（X B ，Y B ），但A 、B 不能落入同一方格内。
2015-第2章 离散信息的度量-2.2
例
2.5
A、B两城市天气情况概率分布如下表：
晴 阴 雨
A城市
B城市
0．8
0．4
0．15
0．3
0．05
0．3
问哪个城市的天气具有更大的不确定性？
解：
H ( A) H (0.8,0.15,0.05) 0.8 log 0.8 0.15 log 0.15 0.05 log 0.05 0.884 比特/符号
2 3
p x (1)
1 3
p( y 1 | x 1) 1
求H(Y|X)
解：H (Y | X ) p( x) H (Y | x) p( x 0) H (Y | x 0) p( x 1) H (Y | x 1)
x
2 1 1 2 H ( ) H (1) 比特/符号 3 2 3 3
第 2章 离散信息的度量
本章知识结构
自信息 条件自信息 单个事件信息度量 联合自信息 互信息 离散信息的度量 条件互信息 熵
条件熵 事件集平均信息度量 联合熵 平均互信息
平均条件互信息
§2.2
信息熵
★信息熵的定义与计算
★条件熵与联合熵
★熵的基本性质
信息熵的引入
x2, …, xn} 离散集的概率分布表示为
严格上凸函数
★ 对于α(0≤α≤1) 及任意两矢量x1,x2，有 f[αx1+(1-α)x2]≤αf(x1)+(1-α)f(x2) 下凸函数(cup)
x2 若当且仅当x1 = x2或α= 0,1时等式成立 x1
严格下凸函数
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2、平均互信息的性质
（1）非负性
I ( X ;Y ) 0来自（2）互易性I ( X ; Y ) I (Y ; X )
（3）平均互信息和各熵的关系
I ( X ;Y ) H ( X ) H ( X / Y ) H (Y ) H (Y / X ) H ( X ) H (Y ) H ( XY )
i 1
p( x y z
j 1 k 1 i j
k
图形表示
两者的关系
I ( X ; YZ ) I ( X ; Z ) I ( X ; Y / Z ) I ( X ; YZ ) I ( X ; Y ) I ( X ; Z / Y )
定理2.3 （数据处理定理）
如果随机变量 X，Y，Z 构成一个马尔科夫链，则有以 下关系成立：
3、数据处理定理的含义
定义2.7 平均条件互信息
I ( X ; Y / Z ) E[ I ( xi ; y j / zk )]
i 1 n n
p( x y z ) I ( x ; y
j 1 m k 1 q i j k i
m
q
j
/ zk )
i 1
p( x y z ) log
i 1 n
p( x y ) log
j 1 i j
m
p( xi / y j ) p( xi ) 1 p( xi y j ) log2 p( xi / y j ) j 1
m
2
i 1 n
n
n 1 p( xi y j ) log2 p( xi ) i 1 j 1 m
图形表示
特殊情况
当随即变量 X 与 Y 互相独立时 ，
I ( X ; Y ) I (Y ; X ) 0
X、Y之间有依赖关系时
图示
符号
H(X )
H (Y ) H ( X | Y ) H (Y | X ) H ( XY ) I ( X ;Y )
X、Y相互独立时
图示
符号
H(X )
H (Y ) H ( X | Y ) H (Y | X )
j 1 k 1 i j k
p( xi / y j z k ) p( xi / zk )
2
图形表示
定义2.8 平均联合互信息
I ( X ; YZ ) E[ I ( xi ; y j z k )]
i 1 n n
p( x y z
j 1 m k 1 q i
m
q
j k
) I ( xi ; y j z k ) ) log2 p( xi / y j z k ) p( xi )
例2.6
掷骰子，若结果是1,2,3或4，则抛一次硬币； 如果结果是5或者6，则抛两次硬币。 现用X表示掷骰子结果：若结果是1,2,3或4， 则X=0；如果结果是5或者6，则X=1。用Y表 示抛硬币出现正面的次数。 试计算从抛硬币的出现正面的次数Y来得到 掷骰子结果X的信息量,即求I(X; Y). P(X)易得，P(Y/X)也不难求，故利用互信息的 第二种公式求法易求I(X; Y).
s
p ( xi / y j )
2
p ( xi ) p ( xi ) p ( y j / xi )
i 1
r
p( xi ) p( y j / xi ) log 2
j 1
s
p( x ) p( y
i 1 i
r
j
/ xi )
p ( xi )
影响平均互信息取值的因素由哪些？
（5）凸函数性（续）
I ( X ; Y ) E[ I ( xi ; y j )]
i 1 n n
p( x y ) I ( x ; y )
j 1 m i j i j
m
i 1
p( x y ) log
j 1 i j
p( xi / y j )
2
p( xi )
进一步推导
I ( X ;Y )
第二章 信息的度量
徐州工程学院 燕善俊
主要学习内容
一、自信息量和互信息量 二、平均自信息量及其性质 三、联合熵与条件熵 四、平均互信息量及其性质
1、平均互信息
定义2.6 互信息 I( xi ; yj )在 X 与 Y 的联合概率空间 中的统计平均值为随机变量 X 和 Y 间的平均互信息。
总结
1、平均互信息的含义与计算方法 2、平均互信息的性质 3、数据处理定理的含义
m
n 1 p( xi ) log2 p( xi ) i 1 i 1
1 p( xi y j ) log2 p( xi / y j ) j 1
H (X ) H(X /Y)
含义的理解
H（ X ）：表示信源 X ，在统计平均的意义 上每发出一个消息所含有信息量的多少； H（X / Y）：表示在统计平均的意义上，信源 Y 发出一个消息后，信源 X 再发出一个消息时， 每个消息所含有的信息量； I（X；Y）：表示在统计平均的意义上，信源 Y 每发出一个消息，能够提供的对信源 X 的每 个消息的信息量,即信源 X 每个消息所含信息 量的减少量。
I ( X ; Z ) I ( X ; Y ), I ( X ; Z ) I (Y ; Z )
等号成立的条件是：对于任意的 x , y , z ,有 p( x/ y z )=p (x /z)和 p (z/ x y) =p (z /x).
图形表示
定理说明的问题
在任何信息传输系统中，最后获得的信息量至 多是信源所提供的信息量，一旦在某一个过程 中丢失一些信息，以后的系统不管如何处理， 如不触及丢失信息的输入端，就不能再恢复已 丢失的信息，这就是信息不增性的原理，反映 了信息的物理意义。
H(X )
H (Y )
H ( XY ) H ( X ) H (Y )
I ( X ;Y ) 0
（4）极值性
I ( X ;Y ) H ( X ) I ( X ; Y ) H (Y )
（5）凸函数性
I ( X ;Y )
i 1 r
p( x y ) log
j 1 i j
定理2.1 当条件概率分布{ p (yj / xi) }给定时， 平均互信息 I（X；Y）是输入分布{ p ( xi ) }的 上凸函数。 说明：当条件概率分布{ p (yj / xi) }给定时，存 在一种输入分布，在该输入分布下，平均互信 息 I（X；Y）能取的最大值。
定理2.2 对于固定的输入分布{ p (xi) }，平均 互信息量I（X；Y）是条件概率分布{ p (yj /xi) } 的下凸函数。 说明：当输入分布{ p (xi) }给定时，存在一种 条件概率分布，在该条件概率分布下，平均互 信息 I（X；Y）能取的最小值。