第二章信息的统计度量
合集下载
第二章信息的统计度量
1.2.1互信息量 • 1.定义:对两个离散随机事件集X和Y，事件Yi的出现给出关于
I 事件Xi的信息量定义为互信息量( xi ; yi )
。其定义式为
I ( xi ; yi )def log
p( xi | yi ) p( xi )
(1 4)
互信息量的单位与自信息量的单位一样取决于对数的底。 由式（1-4）又可得到
可见，当事件xi，yi统计独立时，其互信息量为零。这意味着不能 从观测yi获得关于另一个事件xi的任何信息。
3).互信息量可正可负
由于 1 1 I ( xi ; yi )def log log p( xi ) p( xi | yi )
在给定观测数据yi的条件下，事件xi出现的概率P(xi| yi)大于先验 概率P(xi)时,互信息量I(xi; yi)大于零，为正值；当后验概率小 于先验概率时，互信息量为负值。 互信息量为正，意味着事件yi的出现有助于肯定事件xi的出现；反之， 则是不利的。造成不利的原因是由于信道干扰引起的。
式中，xi Yi积事件，p (xi Yi)为元素xi Yi的二维联合概率。
当xi Yi独立时I(xi
Yi)= I(xi)+ I(Yi)
1.1.2 条件自信息量
联合集XY中，对事件Xi和Yi，事件Xi在事件Yi给定的条件下的条件自信息量 定义为
I ( xi | yi )def log p ( xi | yi )
1奈特=log2 e比特≈1.443比特
1哈脱来=log2 10比特≈3.322比特
3)信息量的性质：
a)非负性
b)P＝1 I＝0
c)P＝0 I＝
d)I是p的单调递减函数
3）联合自信息量
信息统计量求法
信息统计量求法
信息统计量是用来描述或度量数据集中信息内容的指标。
常见的信息统计量包括平均值、中位数、众数、方差、标准差、四分位数等。
下面是一些常见的信息统计量求法：
1. 平均值（均值）：将所有数据值相加，再除以数据的个数即可得到平均值。
2. 中位数：将数据按照从小到大的顺序排列，如果数据个数是奇数，则中间位置上的数据即为中位数；如果数据个数是偶数，则中间两个位置上的数据的平均值即为中位数。
3. 众数：指在数据集中出现次数最多的数值。
一个数据集可以有一个或多个众数，也有可能没有众数。
4. 方差：反映了数据离散程度的大小。
计算方法是将每个数据与平均值的差的平方进行求和，并除以数据个数。
5. 标准差：方差的平方根，用来度量数据的离散程度。
6. 四分位数：将数据按照从小到大的顺序排列，将数据分为四个等份。
第一四分位数是中间位置左侧一半数据的中位数，第二四分位数
即为中位数，第三四分位数是中间位置右侧一半数据的中位数。
以上只是常见的信息统计量之一，根据需要还可以使用其他的统计量来描述数据集的特征。
第二章 信息的度量
（2）将方格按行和列编号，甲将棋子所在方格的列编 号告诉乙之后，再令乙猜测棋子所在行的位置。问猜 测的难易程度。
第二章：信息的度量
自信息和互信息 平均自信息 平均互信息
1. 自信息（量） （续12）
解： p(xi yj )=1/64
i=1,2,…,8; j= 1,2,…,8
（1） I(xi yj)= – logp(xi yj )= 6 比特
1 p ( x4 | y1 ) 4
I ( x4 ; y1 ) log
第二章：信息的度量
自信息和互信息 平均自信息 平均互信息
2. 互信息（量） （续6）
xi
yj
观察者站在输出端
I(xi;yj)=logp(xi|yj)–logp(xi)=I (xi) – I(xi|yj)
I ( xi ) ：对 yj 一无所知的情况下 xi 存在的不确定度； I ( xi | y j ) ：收到 yj 后 xi 仍然存在的不确定度；
第二章：信息的度量
自信息和互信息 平均自信息 平均互信息
1. 自信息（量） （续9）
联合自信息量
定义：二维联合集XY上的元素（xi yj ）的联合自信 息量 定义为： I(xiyj)=﹣㏒p(xiyj) 0≦p(xiyj) ≦1；∑∑ p(xiyj) =1
第二章：信息的度量
自信息和互信息 平均自信息 平均互信息
bit
第二章：信息的度量
自信息和互信息 平均自信息 平均互信息
2. 互信息（量）
设X为信源发出的离散消息集合；Y为信宿收到的离散消
息集合；
信源发出的消息，经过有噪声的信道传递到信宿；
信源
X
信道
Y
第2章信息的度量
P( zl )
1 64
l 1, 2, , 64
P( zl
|
xk
)
1 8
l 1, 2, , 64; k 1, 2, ,8
(1)
I (zl
)
log
P( zl
)
log
1 64
6
bit/符号
(2)
I (zl
|
xk
)
log
P( zl
|
xk
|)
log
1 8
3
bit/符号
4 自信息量的性质和相互关系
KJ
P(xk , y j ) 1
k 1 j1
联合符号 (xk , 的y j )先验不确定性称为联合自信息量 : I (xk , y j ) log P(xk , y j ) bit/二元符号
多元联合符号的联合自信息量
三元符号的自信息量为: I (xk , y j , zl ) log P(xk , y j , zl ) bit/三元符号
统计平均意义下的不确定性有： 熵、条件熵和联合熵。
先介绍各种不确定性的度量方法，然后再引入信息的 度量方法。
1 自信息量
DMS
X
{x1, x2 , , xK }
[ X , PX ] [xk , P(xk ) | k 1 , 2 , , K ]
K
P(xk ) 1
k 1
I (xk ) ：xk 的（先验）不确定性 ，也称为 的xk自信息量 。
I (xk
)
log
1 P( xk
)
log
P( xk
)
k 1, 2,, K
注：自信息量与信息有联系，但不是信息，而 是符号的先验不确定性。
信息论讲义_第一讲
• 香农定义的信息也有其局限性，存在一些缺陷
– 定义的出发点是假定事物状态可以用一个以经典集 合论为基础的概率模型来描述。 – 没有考虑收信者的主观特性和主观意义，也撇开了 信息的具体含意、具体用途、重要程度和引起后果 等因素。
20
1.1.4 信息、消息与信号
信息： 比较抽象的概念；是系统中传输的对 象；包含在消息之中。 消息：比较具体，但不是物理量；具有不同 形式，例如语言、文字、符号、图像等能够 被人感知；可以传输并被通信双方理解；同 一消息含有不同信息；同一信息可用不同消 息载荷。 信号：最具体，是消息的载荷者；是表示消 息的物理量，可测量、可显示、可描述，是 信息的物理表达层。
12
1.1.2 广义的信息概念
信息本身看不见、摸不着，它必须依附于一定的物 质形式（如文字、声波、电磁波等）。这种运载信 息的物质称为信息的载体，一切物质都有可能成为 信息的载体。
13
1.1.3 概率信息概念
由美国数学家香农1948年提出，亦称香农信息 基于对通信活动基本功 基于对通信活动对象和 基于对通信活动的机制 或狭义信息。概率信息是从 不确定性 能的观察分析，“通信 过程的分析研究，“信 和本质的分析研究， (Uncertainty) 和概率测度出发定义信息的。 的基本问题是在信宿端 源发出的消息总是从可 “人类只有在两种情况 香农针对人类通信活动的特点，提出了 精确或近似地复制发送 能发生的消息符号集合 下有通信的需求， 1）自 端所挑选的消息。通常 中随机选择，通信系统 己有某种形式的消息要 ① 形式化假说 消息是有语义的，即它 无法预先知道信源在什 告诉对方，且估计对方 ② 非决定论 按某种关系与某些物质 么时候会选择什么消息 不知道； 2）自己有某种 ③ 不确定性 概念的实体联系着。通 发送”，即具有通信意 疑问需要对方给出解答” 信中语义方面的问题与 义的消息都是随机发生 经过通信活动后，消除 工程问题没有关系” 的 了 随机事件，获取了信 不确定性
信息论编码 第二章信息度量1
50个红球，50个黑球
Y
20个红球，其它4种 颜色各20个
Z
问题：能否度量、如何度量？？
2.3.2信源熵数学描述
信源熵
• 定义：信源各个离散消息的自信息量的数学期望 （即概率加权的统计平均值）为信源的平均信息 量，一般称为信源的信息熵，也叫信源熵或香农 熵，有时也称为无条件熵或熵函数，简称熵。 • 公式： n 1 H ( X ) = E[ I ( xi )] = E[log2 ] = −∑ p( xi ) log2 p( xi ) p( xi ) i =1 • 熵函数的自变量是X,表示信源整体，实质上是无 记忆信源平均不确定度的度量。也是试验后平均 不确定性＝携载的信息 信息量为熵 • 单位：以2为底，比特/符号 • 为什么要用熵这个词，与热熵的区别？
3
( 2)
∑ p ( x ) = 1, ∑ p ( y
i =1 m i j =1
n
m
j
) = 1,∑ p ( xi / y j ) = 1,
i =1 n
n
概 率 复 习
∑ p( y
j =1 n
j
/ xi ) = 1, ∑ ∑ p ( xi y j ) = 1
j =1 i =1 m
m
( 3) ( 4) (5)
1
对天气x1 ,Q p( x1 / y1 ) = 0,∴不必再考虑x1与y1之间 信息量
对天气 x 2 : I ( x 2 : y 1 ) = log
2
p ( x 2 / y1 ) = log p ( x2 )
2
1/ 2 = 1( bit ) 1/ 4
同理 I ( x 3 : y 1 ) = I ( x 4 : y 1 ) = 1( bit ), 这表明从 y 1 分别得到了
信息论与编码习题解答(待校200812)
（有问题请更正并通知xiezg@ ）第二章 信息的度量1． 一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有微小差异的假珠换掉1颗。
（1）一人随手取出3颗，经测量恰好找出了假珠，问这一事件大约给出了多少比特的信息量；（2）不巧假珠又滑落进去，那人找了许久却未找到，但另一人说他用天平最多6次能找出，结果确是如此，问后一事件给出多少信息量；（3）对上述结果作出解释。
解：（1）从240颗珠子中取3颗，含1颗假珠的概率为80132402239==C C P)(32.680log log 22bit P I ==-=（2）240颗中含1颗假珠，用天平等分法最多6次即可找到假珠，是必然事件，因此信息量为0。
（3）按照shannon 对信息量的定义，只有事件含有不确知成分，才有信息量，且不确知成分越大，信息量越大，必然事件则没有信息量。
但从广义信息论来说，如果那人不知用天平二分法找假珠，另一人告之此事，使他由不知到知，也应该含有一定的信息量。
2．每帧电视图像可以认为是由3105个象素组成，所有象素均独立变化，且每一象素又取128个不同的亮度电平，并设亮度电平等概率出现。
问每帧图像含有多少信息量？如果一个广播员在约10000个汉字的字汇中选取1000个字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，且彼此独立）？若要恰当地描述此图像，广播员在口述中至少需用多少汉字？解：设电视图像每个像素取128个不同的亮度电平，并设电平等概率出现，则每个像素亮度含有的信息量为7128)(H ==lb X 比特/像素一帧中像素均是独立变化的，则每帧图像信源就是离散亮度信源的无记忆N 次扩展信源。
得每帧会图像含有的信息量为6101.2)()(⨯==X NH X H N比特/每帧广播口述时，广播员是从10000个汉字字汇中选取的，假设汉字字汇是等概率分布的，则汉字字汇中每个汉字含有的信息量29.131000)(==lb Y H 比特/字广播员口述电视图像是从此汉字字汇信源中独立地选取1000个字来描述的。
(完整版)第2章_信息的统计度量题与答案
所以：
四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2.9 如有6行8列的棋型方格，若有2个质点A和B，分别以等概率落入任一方格内，且它们的坐标分别为 、 ，但A和B不能落入同一方格内。试求：
(1) 若仅有质点A，求A落入任一方格的平均自信息量；
(2) 若已知A已入，求B落入的平均自信息量；
(3) 若A、B是可分辨的，求A、B同时落入的平均自信息量。
解：
(1)
(2)
(3)
2.10 一的平均信息量。
解：
2.13 已知信源发出 和 两种消息，且 。此消息在二进制对称信道上传输，信道传输特性为
求互信息量 和 。
解：
(3) 互信息I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。
解：
(1)
Z = XY的概率分布如下：
(2)
(3)
2.19 有两个随机变量X和Y，其和为Z = X + Y，若X和Y相互独立，求证：H(X) ≤ H(Z), H(Y) ≤ H(Z)，H(XY) ≥ H(Z)。
(1) 任一特定排列所给出的信息量是多少？
(2) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？
解：
(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：
(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：
2.6 试问四进制、八进制的每一波形所含的信息量是二进制每一波形所含的信息量的多少倍？
0
1
2
3
4
5
6
7
代码组
000
001
四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2.9 如有6行8列的棋型方格，若有2个质点A和B，分别以等概率落入任一方格内，且它们的坐标分别为 、 ，但A和B不能落入同一方格内。试求：
(1) 若仅有质点A，求A落入任一方格的平均自信息量；
(2) 若已知A已入，求B落入的平均自信息量；
(3) 若A、B是可分辨的，求A、B同时落入的平均自信息量。
解：
(1)
(2)
(3)
2.10 一的平均信息量。
解：
2.13 已知信源发出 和 两种消息，且 。此消息在二进制对称信道上传输，信道传输特性为
求互信息量 和 。
解：
(3) 互信息I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。
解：
(1)
Z = XY的概率分布如下：
(2)
(3)
2.19 有两个随机变量X和Y，其和为Z = X + Y，若X和Y相互独立，求证：H(X) ≤ H(Z), H(Y) ≤ H(Z)，H(XY) ≥ H(Z)。
(1) 任一特定排列所给出的信息量是多少？
(2) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？
解：
(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：
(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：
2.6 试问四进制、八进制的每一波形所含的信息量是二进制每一波形所含的信息量的多少倍？
0
1
2
3
4
5
6
7
代码组
000
001
第二章：信息的度量
BUPT Press
8. 上凸性: H (p ) 是严格的上凸函数，设 . 上凸性:
p = ( p1 , p2 ,L , pq ), p ' = ( p1 ', p2 ',L , pq '), ∑ pi = 1, ∑ pi ' = 1
则对于任意小于1的正数 α , ( 0 < α < 1 ) 有以下不等式成立：
性说明熵函数仅与信源的总体统计特性有关。
BUPT Press
2. 确定性： . 确定性： 在概率矢量中，只要有一个分量为1，其它分量必为0，它们对熵 的贡献均为0，因此熵等于0。也就是说确定信源的不确定度为0。 3. 非负性：H (p) = H ( p1 , p2 ,L , pq ) ≥ 0 . 非负性： 对确定信源，等号成立。信源熵是自信息的数学期望，自信息是 非负值，所以信源熵必定是非负的。 4. 扩展性： lim H q +1 ( p1 , p2 ,L , pq − ε，ε ) = H q ( p1 , p2 ,L , pq ) . 扩展性： ε →0 这个性质的含义是增加一个基本不会出现的小概率事件，信源的 熵保持不变。 5. 连续性： lim H ( p1 , p2 ,L , pq −1 − ε， pq + ε ) = H ( p1 , p2 ,L , pq ) 连续性： ε →0 即信源概率空间中概率分量的微小波动，不会引起熵的变化。
BUPT Press
例2.1.3 某地二月份天气出现的概率分别为晴1/2，阴1/4， 雨1/8，雪1/8。某天有人告诉你：“今天不是晴天”，把 这句话作为收到的消息y1，求收到y1后， y1与各种天气的 互信息量。 解：把各种天气记作x1(晴),x2(阴),x3(雨),x4(雪)，收到消 息y1后，阴天发生的概率为
8. 上凸性: H (p ) 是严格的上凸函数，设 . 上凸性:
p = ( p1 , p2 ,L , pq ), p ' = ( p1 ', p2 ',L , pq '), ∑ pi = 1, ∑ pi ' = 1
则对于任意小于1的正数 α , ( 0 < α < 1 ) 有以下不等式成立：
性说明熵函数仅与信源的总体统计特性有关。
BUPT Press
2. 确定性： . 确定性： 在概率矢量中，只要有一个分量为1，其它分量必为0，它们对熵 的贡献均为0，因此熵等于0。也就是说确定信源的不确定度为0。 3. 非负性：H (p) = H ( p1 , p2 ,L , pq ) ≥ 0 . 非负性： 对确定信源，等号成立。信源熵是自信息的数学期望，自信息是 非负值，所以信源熵必定是非负的。 4. 扩展性： lim H q +1 ( p1 , p2 ,L , pq − ε，ε ) = H q ( p1 , p2 ,L , pq ) . 扩展性： ε →0 这个性质的含义是增加一个基本不会出现的小概率事件，信源的 熵保持不变。 5. 连续性： lim H ( p1 , p2 ,L , pq −1 − ε， pq + ε ) = H ( p1 , p2 ,L , pq ) 连续性： ε →0 即信源概率空间中概率分量的微小波动，不会引起熵的变化。
BUPT Press
例2.1.3 某地二月份天气出现的概率分别为晴1/2，阴1/4， 雨1/8，雪1/8。某天有人告诉你：“今天不是晴天”，把 这句话作为收到的消息y1，求收到y1后， y1与各种天气的 互信息量。 解：把各种天气记作x1(晴),x2(阴),x3(雨),x4(雪)，收到消 息y1后，阴天发生的概率为
信息论复习提纲
信道传递概率可以用信道矩阵来表示：
x1 x2 P xr
y1 p( y1 | x1 ) p( y | x ) 1 2 p( y1 | xr )
y2 p( y2 | x1 )
p( y2 | x2 ) p( y2 | xr )
ys p( ys | x1 ) 1 p( ys | x2 ) p( ys | xr )
i
第四章：信道及信道容量
二、离散单符号信道及其信道容量
1.离散单符号信道的数学模型（续14）
例3：求二元删除信道的 H ( X )、H (Y )、H ( X | Y )和I ( X ;Y ) 。
已知
1 3 PX 4 4
1 1 2 2 0 P 1 2 0 3 3
3. 后验概率（后向概率）: 贝叶斯公式
p ( xi | y j ) p ( xi y j ) p( y j ) p ( xi ) p ( y j | xi )
p( x ) p( y
i 1 i
r
j
| xi )
（i =1，2，…，r;j =1，2，…，s）
且
p ( xi | y j ) 1
Y y2
ys
i 1, 2,..., r ; j 1, 2,..., s
满足： （1）0≤ p(yj|xi) ≤ 1 (i=1,2,…,r；j=1,2,…,s) （2）
p( y j | xi ) 1
j 1
s
(i=1,2,…,r)
第四章：信道及信道容量
二、离散单符号信道及其信道容量
1.离散单符号信道的数学模型（续2）
r s
第四章：信道及信道容量
彭代渊王玲-信息论与编码理论-第二章习题解答精选全文
1第2章 信息的度量2.1 同时扔一对质地均匀的骰子，当得知“两骰子面朝上点数之和为5”或“面朝上点数之和为8”或“两骰子面朝上点数是3和6”时，试问这三种情况分别获得多少信息量？解：某一骰子扔得某一点数面朝上的概率是相等的，均为1/6，两骰子面朝上点数的状态共有36种,其中任一状态出现都是等概率的,出现概率为1/36。
设两骰子面朝上点数之和为事件a ，有：⑴ a=5时，有1+4，4+1，2+3，3+2，共4种，则该事件发生概率为4/36=1/9，则信息量为I(a)=-logp(a=5)=-log1/9≈3.17(bit)⑵ a=8时，有2+6，6+2，4+4，3+5，5+3，共5种，则p(a)=5/36,则I(a)= -log5/36≈2.85(bit) ⑶ p(a)=2/36=1/18,则I(a)=-log1/18≈4.17(bit)2.2 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几”，则答案中含有多少信息量？如果你在已知今天是星期三的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的排序）？解：设“明天是星期几”为事件a ：⑴ 不知道今天是星期几：I(a)=-log1/7≈2.81(bit) ⑵ 知道今天是星期几：I(a)=-log1=0 (bit)2.3 居住某地区的女孩中有20%是大学生，在女大学生中有80%是身高1米6以上的，而女孩中身高1米6以上的占总数的一半。
假如我们得知“身高1米6以上的某女孩是大学生”的消息，求获得多少信息量？解：设“居住某地区的女孩是大学生”为事件a ，“身高1米6以上的女孩”为事件b ，则有： p(a)= 0.2，p(b|a)=0.8，p(b)=0.5，则“身高1米6以上的某女孩是大学生”的概率为：32.05.08.02.0)()|()()|(=⨯==b p a b p a p b a p信息量为：I=-logp(a|b)=-log0.32≈1.64(bit)2.4 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男同志：“你是否是红绿色盲？”，他回答“是”或“否”，问这两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均自信息量是多少？解：⑴ 男同志回答“是”的概率为7%=0.07，则信息量I=-log0.07≈3.84(bit) 男同志回答“否”的概率为1-7%=0.93，则信息量I=-log0.93≈0.10(bit) 平均信息量为：H 1=-(0.07×log0.07+0.93×log0.93) ≈0.37(bit/符号) ⑵ 问女同志的平均自信息量：H 2=-[0.05×log0.05+(1-0.05) ×log(1-0.05)] ≈0.045(bit/符号)2.5 如有7行9列的棋型方格，若有两个质点A 和B ，分别以等概率落入任一方格内，2且它们的坐标分别为（X A ，Y A ）、（X B ，Y B ），但A 、B 不能落入同一方格内。
信息论基础及应用第2章 信源及其信息的统计度量(2)_2.4~2.7
P(x y) P( xy ) log
X ,Y
P(x)
P(y x)
H (Y ) H (Y X ) P(xy)log
X ,Y
P( y)
P(xy)
H ( X ) H (Y ) H ( XY ) P(xy)log
X ,Y
P( x)P( y)
2.4.1 平均互信息
平均互信息的物理含意及其负熵的概念 (1) 式 I(X;Y ) H(X ) H(X Y ) 的物理含意 ◆ I(X;Y) 是信源的原有平均不确定度 H(X) 与仍然保留的平均
数学期望，称为在给定 Z 条件下由 Y 提供的关于 X 的
平均条件互信息（或平均条件互信息量），
定义式为
I ( X ;Y Z ) EX ,Y ,Z [I (x; y z)]
P(x y z)
P(xyz)log
X ,Y ,Z
P(x z)
2.4.2 平均互信息的性质
性质2.31（非负性） I(X;y=bj ) 和 I(X;Y) 是非负的，即
称 H(X | Y) 为信道疑义度（或损失熵）。
2.4.1 平均互信息
平均互信息的物理含意及其负熵的概念 (2) 式 I(X;Y ) H(Y ) H(Y X ) 的物理含意 ◆ I(X;Y)即信道传输的信息量，等于在 H(Y) 中
扣除掉 H(Y | X)后的量值。 ◆H(Y | X) 表示信源发出 X 后，对 Y 依然存在的平均不确定度，
2.4.2 平均互信息的性质
性质2.32（极值性）
H(X ) I ( X ;Y ) H (Y )
性质2.33（互易性、对称性） I(X ;Y ) I(Y ; X )
性质2.34（上凸性） I(X;Y) 是输入信源概率分布 P(x) 的 ∩形凸函数（又称上凸函数）。
彭代渊王玲-信息论与编码理论-第二章习题解答
⑶ I ( X;Y ),I ( X;Z ),I (Y;Z ),I ( X;Y | Z ),I (Y;Z | X ) 和 I ( X;Z | Y ) 。
I ( X ; Y ) H ( X ) H ( X | Y ) 1 0.81 0.19bit / 符号 I (Y ; Z ) H (Y ) H (Y | Z ) 1 0.87 0.13bit / 符号
第2章
信息的度量
第 2 章 信息的度量
2.1 同时扔一对质地均匀的骰子，当得知“两骰子面朝上点数之和为 5”或“面朝上点数 之和为 8”或“两骰子面朝上点数是 3 和 6”时，试问这三种情况分别获得多少信息量？ 解： 某一骰子扔得某一点数面朝上的概率是相等的，均为 1/6，两骰子面朝上点数的状态共 有 36 种,其中任一状态出现都是等概率的,出现概率为 1/36。设两骰子面朝上点数之和为事 件 a，有： ⑴ a=5 时，有 1+4，4+1，2+3，3+2，共 4 种，则该事件发生概率为 4/36=1/9，则信息 量为 I(a)=-logp(a=5)=-log1/9≈3.17(bit) ⑵ a=8 时， 有 2+6， 6+2， 4+4， 3+5， 5+3， 共 5 种， 则 p(a)=5/36,则 I(a)= -log5/36≈2.85(bit) ⑶ p(a)=2/36=1/18,则 I(a)=-log1/18≈4.17(bit) 2.2 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几”，则答案中含 有多少信息量？如果你在已知今天是星期三的情况下提出同样的问题，则答案中你能获得 多少信息量（假设已知星期一至星期日的排序）？ 解： 设“明天是星期几”为事件 a： ⑴ 不知道今天是星期几：I(a)=-log1/7≈2.81(bit) ⑵ 知道今天是星期几：I(a)=-log1=0 (bit) 2.3 居住某地区的女孩中有 20%是大学生， 在女大学生中有 80%是身高 1 米 6 以上的， 而女孩中身高 1 米 6 以上的占总数的一半。假如我们得知“身高 1 米 6 以上的某女孩是大学 生”的消息，求获得多少信息量？ 解： 设“居住某地区的女孩是大学生”为事件 a，“身高 1 米 6 以上的女孩”为事件 b，则有： p(a)= 0.2，p(b|a)=0.8，p(b)=0.5， 则“身高 1 米 6 以上的某女孩是大学生”的概率为：
I ( X ; Y ) H ( X ) H ( X | Y ) 1 0.81 0.19bit / 符号 I (Y ; Z ) H (Y ) H (Y | Z ) 1 0.87 0.13bit / 符号
第2章
信息的度量
第 2 章 信息的度量
2.1 同时扔一对质地均匀的骰子，当得知“两骰子面朝上点数之和为 5”或“面朝上点数 之和为 8”或“两骰子面朝上点数是 3 和 6”时，试问这三种情况分别获得多少信息量？ 解： 某一骰子扔得某一点数面朝上的概率是相等的，均为 1/6，两骰子面朝上点数的状态共 有 36 种,其中任一状态出现都是等概率的,出现概率为 1/36。设两骰子面朝上点数之和为事 件 a，有： ⑴ a=5 时，有 1+4，4+1，2+3，3+2，共 4 种，则该事件发生概率为 4/36=1/9，则信息 量为 I(a)=-logp(a=5)=-log1/9≈3.17(bit) ⑵ a=8 时， 有 2+6， 6+2， 4+4， 3+5， 5+3， 共 5 种， 则 p(a)=5/36,则 I(a)= -log5/36≈2.85(bit) ⑶ p(a)=2/36=1/18,则 I(a)=-log1/18≈4.17(bit) 2.2 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几”，则答案中含 有多少信息量？如果你在已知今天是星期三的情况下提出同样的问题，则答案中你能获得 多少信息量（假设已知星期一至星期日的排序）？ 解： 设“明天是星期几”为事件 a： ⑴ 不知道今天是星期几：I(a)=-log1/7≈2.81(bit) ⑵ 知道今天是星期几：I(a)=-log1=0 (bit) 2.3 居住某地区的女孩中有 20%是大学生， 在女大学生中有 80%是身高 1 米 6 以上的， 而女孩中身高 1 米 6 以上的占总数的一半。假如我们得知“身高 1 米 6 以上的某女孩是大学 生”的消息，求获得多少信息量？ 解： 设“居住某地区的女孩是大学生”为事件 a，“身高 1 米 6 以上的女孩”为事件 b，则有： p(a)= 0.2，p(b|a)=0.8，p(b)=0.5， 则“身高 1 米 6 以上的某女孩是大学生”的概率为：
信息论基础教程,李亦农李梅编著,北京邮电大学出版社
物理量称为信号。编码器可分为信源编码器、信道编码器。
信源编码的目的为了提高通信系统的有效性和提高信息传输的可靠 性。在实际的通信系统中，可靠性和有效性常常相互矛盾 。
（3）信道。信道是指通信系统把载荷消息的信号从发送端送到接收 端的媒介或通道，是包括收发设备在内的物理设施。
（4）译码器。译码就是把信道输出的已迭加了干扰的编码信号进行 反变换，变成信宿能够接受的消息。译码器也可分成信源译码器 和信道译码器。
的概率，这样得到的新信xn 源的熵增加，熵增加了一项是由于划分
产生的不确定性。
7. 极值性： H ( p1, p2,
,
pn
)
H
1 n
,
1, n
,
1 n
log
n
式中n是随机变量X的可能取值的个数。
极值性表明离散信源中各消息等概率出现时熵最大，这就是最大离 散熵定理。连续信源的最大熵则与约束条件有关。
, pq ) H (p)
1.对称性：H (p)
H( p1, p2, , pq ) H( p2, p1, , pq )= = H( pq, p1, , pq1) 性说明熵函数仅与信源的总体统计特性有关。
2021/5/20
19
2. 确定性：
H(1, 0) H(1, 0, 0) H(1, 0, 0, 0) H(1, 0, ,0) 0
（2）一般信息论：也称工程信息论。主要也是研究信息传输和处理问题， 除香农信息论的内容外，还包括噪声理论、信号滤波和预测、统计检测 和估计、调制理论、信息处理理论以及保密理论等。
（3）广义信息论：不仅包括上述两方面内容，而且包括所有与信息有关的 自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生 理学、语言学、语义学甚至包括社会学中有关信息的问题。
信源编码的目的为了提高通信系统的有效性和提高信息传输的可靠 性。在实际的通信系统中，可靠性和有效性常常相互矛盾 。
（3）信道。信道是指通信系统把载荷消息的信号从发送端送到接收 端的媒介或通道，是包括收发设备在内的物理设施。
（4）译码器。译码就是把信道输出的已迭加了干扰的编码信号进行 反变换，变成信宿能够接受的消息。译码器也可分成信源译码器 和信道译码器。
的概率，这样得到的新信xn 源的熵增加，熵增加了一项是由于划分
产生的不确定性。
7. 极值性： H ( p1, p2,
,
pn
)
H
1 n
,
1, n
,
1 n
log
n
式中n是随机变量X的可能取值的个数。
极值性表明离散信源中各消息等概率出现时熵最大，这就是最大离 散熵定理。连续信源的最大熵则与约束条件有关。
, pq ) H (p)
1.对称性：H (p)
H( p1, p2, , pq ) H( p2, p1, , pq )= = H( pq, p1, , pq1) 性说明熵函数仅与信源的总体统计特性有关。
2021/5/20
19
2. 确定性：
H(1, 0) H(1, 0, 0) H(1, 0, 0, 0) H(1, 0, ,0) 0
（2）一般信息论：也称工程信息论。主要也是研究信息传输和处理问题， 除香农信息论的内容外，还包括噪声理论、信号滤波和预测、统计检测 和估计、调制理论、信息处理理论以及保密理论等。
（3）广义信息论：不仅包括上述两方面内容，而且包括所有与信息有关的 自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生 理学、语言学、语义学甚至包括社会学中有关信息的问题。
差错控制编码第2章 信息的统计度量
H(X)又可记作H(p1,p2,…,pn)
平均自信息量
含义
熵表示了集合中所有事件是否发生的平均不确 定性的大小。
熵表示了集合中事件发生，带给我们的平均信 息量的大小。
熵表示了确定集合中到底哪个事件发生时，所 需的平均信息量的大小。
熵表示了，如果用二进制数据将集合中的各个 元素表示出来，所需的二进制位的个数的平均 值。
自信息量的含义
自信息量表示了一个事件是否发生的不确 定性的大小。一旦该事件发生，就消除了 这种不确定性，带来了信息量.
自信息量表示了一个事件的发生带给我们 的信息量的大小。
自信息量表示了确定一个事件是否发生， 所需的信息量的大小。
自信息量表示了将事件的信息量表示出来， 所需的二进制位的个数。
2.1.2 条件自信息量
定义2-3 事件xi在事件yj给定的条件下的条件自 信息量定义为：
I (xi | y j ) log p(xi | y j ) 含义：知道事件yj之后，仍然保留的关于事件xi
的不确定性；或者，事件yj发生之后，事件xi再 发生，能够带来的信息量。
先验概率
p(x)：x出现的概率 I(x)：x的不确定性
p(x)
x：张三病了。 y：张三没来上课。
p(x | y) 1 p(x | y) p(x) p(x)
负： y的出现有助于否定x的出现 x：李四考了全班第一名。
I (x;
y)
log
p(x | y) p(x)
0
y：李四没有复习功课。 p(x | y) 1 p(x | y) p(x)
p(x)
无论正负，互信息量的绝对 回想自信息量I(x) 值越大，x和y的关系越密切。 I(x)≥0：x的出现或多或少总能
信息论第二章信息的度量
I(xi;yj)I(xi)I(xi yj)
log
( xi y j q(xi )
)
（2-6）
称(2-6)式为事件xi和事件yj之间的互信息量。
注：式（2-6）的I(xi ；yj ) 和式（2-3）的I(xiyj )的区别
在于： 前者是事件xi∈X和事件yj∈Y之间的互信息量， 后者是二维空间XY 上元素xi yj 的自信息量。
根据概率互换公式p(xi yj) = p(yj︱xi)q(xi)=φ(xi︱yj)ω(yj) 互信息量I(xi ;yj )有多种表达形式:
I(xi;yj)loq(p x g (ix ) iy (jy )j)I(xi)I(yj)I(xiyj) (2-7)
I(xi;yj)lopg (y(yjjx)i)I(yj)I(yj xi)(2-8)
如底数分别取 2、 e、 10，
则自信息量单位分别为：比特、奈特、哈特
1 na lto2e g 1 .4b 3i3t
1 H a lo r2 1 tg 0 3 .3b 2i2 t
1 bi t0.69 n3 at
1bit0.30H 1art
一个以等概率出现的二进制码元
(0,1)所包含的自信息量为1bit。
第2章 信息的度量
内容提要：
根据香农对于信息的定义，信息是一个系 统不确定性的度量，尤其在通信系统中， 研究的是信息的处理、传输和存储，所以 对于信息的定量计算是非常重要的。本章 主要从通信系统模型入手，研究离散情况 下各种信息的描述方法及定量计算，讨论 它们的性质和相互关系。
2.1 自信息量和互信息量
I(a i)I(bj)
（ 2-4 ）
3.条件自信息量
在已知事件yj条件下,随机事件xi发生的概率为条件概率φ(xi
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
nat = 1.44bit , 1 hat = 3.32 bit；
自信息量I(ai)的性质 •I(ai)是非负值；
•当P(ai) =1时， I(ai)=0；
•当P(ai) =0时， I(ai)= ∞ ； •I(ai)是P(ai) 的单调递减函数
计算信息量主要要注意有关事件发生概率的计算
例：从26个英文字母中，随即选取一个字
I ( xi yi ) log p( xi yi )
2.1.2条件自信息量
定义2.1.3联合集XY中，对事件xi和yj，事件xi 在事件yj给定的条件下的条件自信息量定义为
I ( xi / y j ) log p( xi / y j )
在特定条件下( 已定)随机事件发生所带来的 信息量 条件自信息量满足非负和单调递减性。
99个红球，1个黑球
50个红球，50个黑 球
Y P（y） Z P（z） ＝ ＝
20个红球，其它4种 颜色各20个
0.2 0.2 0.2 0.2 0.2
大
问题：能否度量、如何度量？？
2.3.1平均自信息量（熵）
通常研究单独一个事件或单独一个符号的信 息量是不够的，往往需要研究整个事件集合 或符号序列(如信源)的平均的信息量(总体特 征)，这就需要引入新的概念--平均自信息量
i 1 i
) p ( y j ), p ( xi y j ) p ( xi )
j 1
p ( xi y j ) p ( xi ) p ( y j / xi ) p ( y j ) p ( xi / y j ) 当X与Y相互独立时 , p ( y j / xi ) p ( y j ), p ( xi / y j ) p ( xi ), p ( xi y j ) p ( xi ) p ( y j ) p ( xi y j ) p ( xi y j )
熵函数的自变量是X,表示信源整体
信息熵的单位与公式中的对数取底有关。通信与信息 中最常用的是以2为底，这时单位为比特（bit）；理 论推导中用以e为底较方便，这时单位为奈特（Nat ）；工程上用以10为底较方便，这时单位为笛特 （Det）。它们之间可以引用对数换底公式进行互换。 比如： 1 bit = 0.693 Nat = 0.301 Det
分别计算其熵，则： H(X)=0.08 bit /符号, H(Y)=1bit / 符号
2.3.2熵函数的数学特性
1、对称性: 熵函数对每个Pk 对称的。该性质 说明熵只与随机变量的总体结构有关，与事件 集合的总体统计特性有关； 2、非负性: H（P）=H(p1,p2,…,pq)>=0； 3、扩展性: 当某事件Ek的概率Pk稍微变化时， H函数也只作连续的不突变的变化；
母，则该事件的自信息量为
I = -log2 (1/26) = 4.7 比特
例：设m比特的二进制数中的每一个是等 概率出现的(这样的数共有2m个)，则任何一
个数出现的自信息为:
I = -log2 (1/ 2m) = m 比特/符号
联合自信息量
定义2.1.2二维联合集XY上的元素 （xy)的联合自信息量定义为
自信息、条件自信息和互信息
I ( xk ; y j ) I ( xk ) I ( y j ) I ( xk y j )
I(xk) I(yj)
I(xk ;yj)
2.2.3 条件互信息量
定义2.2.2联合集合XYZ中，给定条件zk的 条件下，xi与yj之间的互信息量，其定义式
I ( xi ; y j / zk ) log2 p( xi / y j zk ) p( xi / zk )
随机变量X , Y分别取值于集合 {x1 , x2 , xi , , xn } 和{ y1 , y 2 , yi , , y m } : (1) ( 2) 0 p ( xi ) , p ( y j ), p ( xi / y j ), p ( y j / xi ), p ( xi y j ) 1
熵的计算
• 例：设某信源输出四个符号，其符号集合的 概率分布为：
1 s2 s3 s4 s1 s2 s3 s4 s 1 1 1 1 S p 1 p 2 p 3 p 4 2 4 8 8
则其熵为：
1 1 2 H(S) pi logpi log 2 log 4 log8 1.75比特/ 符号 2 4 8 i 1
1 I ( xi ) log2 log2 Pi pi
自信息量
当事件
I(xi) 的含义
xi发生以前，表示事件xi发生的不确定 xi发生以后，表示事件xi所提供的信息
性； 量；
当事件
对于单个消息随机变量U，出现某个消息，对应概率 为 ，这时可获得的信息量为 ，则有： I( p)
i
pi , I ( pi ) ; pi 0, I ( pi ) I是pi的递降函数 pi , I ( pi ) ; pi 1, I ( pi ) 0
当X和Y独立时，
I ( xi y j ) log2 p( xi ) log2 p( y j ) I ( xi ) I ( y j )
2.2互信息量和条件互信息量
2.2.1互信息量
信源
X
信道
Y
信宿
信源集合X的概率空间
X P
=
x1 x2 ….. p(x1) p(x2)…..
信宿收到的符号集合Y的概率空间
(6)
p ( xi / y j )
p( x y
i 1 i
n
, p ( y j / xi ) )
j
p( x y
j 1 i
m
j
)
中学数学知识
Log(xy)=logx+logy Log(x/y)=logx-logy
2.1 自信息和条件自信息量
2.1.1自信息量
定义2.1.1任意随机事件的字信息量的定 义为该事件发生概率的对数的负值。
2.2.2互信息量的性质
1、互信息量的互易性，即 I(xi;yj)=I(yj;xi) 2、当X和Y相互独立时，互信息为0
3、互信息量可为正值或负值 4、任何两个事件之间的互信息量不可能 大于之中任一事件的自信息量
I ( xk ; y j ) I ( xk ) I ( xk ; y j ) I ( y j )
定义2.3.1集X上，随机变量I（xi)数学 期望定义为平均自信息量
n 1 H ( X ) E[ I ( xi )] E[log2 ] p( xi ) log2 p( xi ) p( xi ) i 1
由于这个表达式和统计物理学中热熵 的表达式相似，且在概念上也有相似 之处，因此借用“熵”这个词，把 H(X)称为信息“熵”；
例:甲在一个8*8的 方格盘上随意放入 一个 棋子，在乙看来是不确定的。 (1)在乙看来，棋子落入某方格的不确 定性为多少？
（2）若甲告知乙棋子落入方格的行号， 这时，在乙看来棋子落入某方格的不 确定性为多少？
联合自信息量和条件自信息量关系
I ( xi y j ) log 2 p ( xi ) p ( y j / xi ) I ( xi ) I ( y j / xi ) log 2 p ( y j ) p ( xi / y j ) I ( y j ) I ( xi / y j )
p ( x ) 1, p ( y
i 1 m i j 1
n
m
j
) 1, p ( xi / y j ) 1,
i 1 n
n
p( y
j 1 n
j
/ xi ) 1, p ( xi y j ) 1
j 1 i 1 m j
m
(3) ( 4) (5)
p( x y
上式表明一对事件yjzk出现后提供有关xi的 信息量I（xi;yjzk),等于事件yj出现后所提供 的有关xi的信息量I（xi;yj)加上在给定时间 yj的条件下再出现事件zk所提供的有关xi的 信息量。 思考下式的证明
I ( xi ; y j zk ) I ( xi ; zk ) I ( xi ; y j / zk )
lim H q 1 ( p1 , p2 ,..., pq , ) H q ( p1 ,
0
p2 , ... , pq )
4、可加性：如果有两个随机变量X,Y,他们不 是相互独立的，则二维随机变量（X,Y)的熵等 于X的无条件熵加上当X已给定时Y的条件概率 定义的熵统计平均值，即
另外，联合集合XYZ中还存在xi与yjzk 之间的互信息量，其定义式
I ( xi ; y j zk ) log2 p( xi / y j zk ) p( xi )
或将上式进一步表示为
I ( xi ; y j zk ) I ( xi ; y j ) I ( xi ; zk / y j )
2.3离散集的平均自信息量
一个离散随机变量X，以不同的取值概率 有N个可能取值,
X
P（x ）
＝
a1 a2 p1 p2
… …
aN pN
信息论关心：X的不确定性
不确定性－－大，获取的信息－－多
熵的引入
箱内100个球摸到红球不确定性分 析：随机变量X、Y、Z
X P（x） ＝ a1 0.99 a1 0.5 a1 a2 a3 a2 0.01 a2 0.5 a4 a5 小
互信息量等于自信息量减去条件自信息量。
I ( xi ; y j ) log2 p( xi ) log2 p( xi / y j ) I ( xi ) I ( xi / y j )
第三种表达方式：
I ( xi ; y j ) I ( xi ) I ( y j ) I ( xi y j )