第二章信息的统计度量
合集下载
信息统计量求法
信息统计量求法
信息统计量是用来描述或度量数据集中信息内容的指标。
常见的信息统计量包括平均值、中位数、众数、方差、标准差、四分位数等。
下面是一些常见的信息统计量求法：
1. 平均值（均值）：将所有数据值相加，再除以数据的个数即可得到平均值。
2. 中位数：将数据按照从小到大的顺序排列，如果数据个数是奇数，则中间位置上的数据即为中位数；如果数据个数是偶数，则中间两个位置上的数据的平均值即为中位数。
3. 众数：指在数据集中出现次数最多的数值。
一个数据集可以有一个或多个众数，也有可能没有众数。
4. 方差：反映了数据离散程度的大小。
计算方法是将每个数据与平均值的差的平方进行求和，并除以数据个数。
5. 标准差：方差的平方根，用来度量数据的离散程度。
6. 四分位数：将数据按照从小到大的顺序排列，将数据分为四个等份。
第一四分位数是中间位置左侧一半数据的中位数，第二四分位数
即为中位数，第三四分位数是中间位置右侧一半数据的中位数。
以上只是常见的信息统计量之一，根据需要还可以使用其他的统计量来描述数据集的特征。
第二章 信息的度量
（2）将方格按行和列编号，甲将棋子所在方格的列编 号告诉乙之后，再令乙猜测棋子所在行的位置。问猜 测的难易程度。
第二章：信息的度量
自信息和互信息 平均自信息 平均互信息
1. 自信息（量） （续12）
解： p(xi yj )=1/64
i=1,2,…,8; j= 1,2,…,8
（1） I(xi yj)= – logp(xi yj )= 6 比特
1 p ( x4 | y1 ) 4
I ( x4 ; y1 ) log
第二章：信息的度量
自信息和互信息 平均自信息 平均互信息
2. 互信息（量） （续6）
xi
yj
观察者站在输出端
I(xi;yj)=logp(xi|yj)–logp(xi)=I (xi) – I(xi|yj)
I ( xi ) ：对 yj 一无所知的情况下 xi 存在的不确定度； I ( xi | y j ) ：收到 yj 后 xi 仍然存在的不确定度；
第二章：信息的度量
自信息和互信息 平均自信息 平均互信息
1. 自信息（量） （续9）
联合自信息量
定义：二维联合集XY上的元素（xi yj ）的联合自信 息量 定义为： I(xiyj)=﹣㏒p(xiyj) 0≦p(xiyj) ≦1；∑∑ p(xiyj) =1
第二章：信息的度量
自信息和互信息 平均自信息 平均互信息
bit
第二章：信息的度量
自信息和互信息 平均自信息 平均互信息
2. 互信息（量）
设X为信源发出的离散消息集合；Y为信宿收到的离散消
息集合；
信源发出的消息，经过有噪声的信道传递到信宿；
信源
X
信道
Y
第2章信息的度量
P( zl )
1 64
l 1, 2, , 64
P( zl
|
xk
)
1 8
l 1, 2, , 64; k 1, 2, ,8
(1)
I (zl
)
log
P( zl
)
log
1 64
6
bit/符号
(2)
I (zl
|
xk
)
log
P( zl
|
xk
|)
log
1 8
3
bit/符号
4 自信息量的性质和相互关系
KJ
P(xk , y j ) 1
k 1 j1
联合符号 (xk , 的y j )先验不确定性称为联合自信息量 : I (xk , y j ) log P(xk , y j ) bit/二元符号
多元联合符号的联合自信息量
三元符号的自信息量为: I (xk , y j , zl ) log P(xk , y j , zl ) bit/三元符号
统计平均意义下的不确定性有： 熵、条件熵和联合熵。
先介绍各种不确定性的度量方法，然后再引入信息的 度量方法。
1 自信息量
DMS
X
{x1, x2 , , xK }
[ X , PX ] [xk , P(xk ) | k 1 , 2 , , K ]
K
P(xk ) 1
k 1
I (xk ) ：xk 的（先验）不确定性 ，也称为 的xk自信息量 。
I (xk
)
log
1 P( xk
)
log
P( xk
)
k 1, 2,, K
注：自信息量与信息有联系，但不是信息，而 是符号的先验不确定性。
信息论讲义_第一讲
• 香农定义的信息也有其局限性，存在一些缺陷
– 定义的出发点是假定事物状态可以用一个以经典集 合论为基础的概率模型来描述。 – 没有考虑收信者的主观特性和主观意义，也撇开了 信息的具体含意、具体用途、重要程度和引起后果 等因素。
20
1.1.4 信息、消息与信号
信息： 比较抽象的概念；是系统中传输的对 象；包含在消息之中。 消息：比较具体，但不是物理量；具有不同 形式，例如语言、文字、符号、图像等能够 被人感知；可以传输并被通信双方理解；同 一消息含有不同信息；同一信息可用不同消 息载荷。 信号：最具体，是消息的载荷者；是表示消 息的物理量，可测量、可显示、可描述，是 信息的物理表达层。
12
1.1.2 广义的信息概念
信息本身看不见、摸不着，它必须依附于一定的物 质形式（如文字、声波、电磁波等）。这种运载信 息的物质称为信息的载体，一切物质都有可能成为 信息的载体。
13
1.1.3 概率信息概念
由美国数学家香农1948年提出，亦称香农信息 基于对通信活动基本功 基于对通信活动对象和 基于对通信活动的机制 或狭义信息。概率信息是从 不确定性 能的观察分析，“通信 过程的分析研究，“信 和本质的分析研究， (Uncertainty) 和概率测度出发定义信息的。 的基本问题是在信宿端 源发出的消息总是从可 “人类只有在两种情况 香农针对人类通信活动的特点，提出了 精确或近似地复制发送 能发生的消息符号集合 下有通信的需求， 1）自 端所挑选的消息。通常 中随机选择，通信系统 己有某种形式的消息要 ① 形式化假说 消息是有语义的，即它 无法预先知道信源在什 告诉对方，且估计对方 ② 非决定论 按某种关系与某些物质 么时候会选择什么消息 不知道； 2）自己有某种 ③ 不确定性 概念的实体联系着。通 发送”，即具有通信意 疑问需要对方给出解答” 信中语义方面的问题与 义的消息都是随机发生 经过通信活动后，消除 工程问题没有关系” 的 了 随机事件，获取了信 不确定性
信息论编码 第二章信息度量1
50个红球，50个黑球
Y
20个红球，其它4种 颜色各20个
Z
问题：能否度量、如何度量？？
2.3.2信源熵数学描述
信源熵
• 定义：信源各个离散消息的自信息量的数学期望 （即概率加权的统计平均值）为信源的平均信息 量，一般称为信源的信息熵，也叫信源熵或香农 熵，有时也称为无条件熵或熵函数，简称熵。 • 公式： n 1 H ( X ) = E[ I ( xi )] = E[log2 ] = −∑ p( xi ) log2 p( xi ) p( xi ) i =1 • 熵函数的自变量是X,表示信源整体，实质上是无 记忆信源平均不确定度的度量。也是试验后平均 不确定性＝携载的信息 信息量为熵 • 单位：以2为底，比特/符号 • 为什么要用熵这个词，与热熵的区别？
3
( 2)
∑ p ( x ) = 1, ∑ p ( y
i =1 m i j =1
n
m
j
) = 1,∑ p ( xi / y j ) = 1,
i =1 n
n
概 率 复 习
∑ p( y
j =1 n
j
/ xi ) = 1, ∑ ∑ p ( xi y j ) = 1
j =1 i =1 m
m
( 3) ( 4) (5)
1
对天气x1 ,Q p( x1 / y1 ) = 0,∴不必再考虑x1与y1之间 信息量
对天气 x 2 : I ( x 2 : y 1 ) = log
2
p ( x 2 / y1 ) = log p ( x2 )
2
1/ 2 = 1( bit ) 1/ 4
同理 I ( x 3 : y 1 ) = I ( x 4 : y 1 ) = 1( bit ), 这表明从 y 1 分别得到了
信息论与编码习题解答(待校200812)
（有问题请更正并通知xiezg@ ）第二章 信息的度量1． 一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有微小差异的假珠换掉1颗。
（1）一人随手取出3颗，经测量恰好找出了假珠，问这一事件大约给出了多少比特的信息量；（2）不巧假珠又滑落进去，那人找了许久却未找到，但另一人说他用天平最多6次能找出，结果确是如此，问后一事件给出多少信息量；（3）对上述结果作出解释。
解：（1）从240颗珠子中取3颗，含1颗假珠的概率为80132402239==C C P)(32.680log log 22bit P I ==-=（2）240颗中含1颗假珠，用天平等分法最多6次即可找到假珠，是必然事件，因此信息量为0。
（3）按照shannon 对信息量的定义，只有事件含有不确知成分，才有信息量，且不确知成分越大，信息量越大，必然事件则没有信息量。
但从广义信息论来说，如果那人不知用天平二分法找假珠，另一人告之此事，使他由不知到知，也应该含有一定的信息量。
2．每帧电视图像可以认为是由3105个象素组成，所有象素均独立变化，且每一象素又取128个不同的亮度电平，并设亮度电平等概率出现。
问每帧图像含有多少信息量？如果一个广播员在约10000个汉字的字汇中选取1000个字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，且彼此独立）？若要恰当地描述此图像，广播员在口述中至少需用多少汉字？解：设电视图像每个像素取128个不同的亮度电平，并设电平等概率出现，则每个像素亮度含有的信息量为7128)(H ==lb X 比特/像素一帧中像素均是独立变化的，则每帧图像信源就是离散亮度信源的无记忆N 次扩展信源。
得每帧会图像含有的信息量为6101.2)()(⨯==X NH X H N比特/每帧广播口述时，广播员是从10000个汉字字汇中选取的，假设汉字字汇是等概率分布的，则汉字字汇中每个汉字含有的信息量29.131000)(==lb Y H 比特/字广播员口述电视图像是从此汉字字汇信源中独立地选取1000个字来描述的。
(完整版)第2章_信息的统计度量题与答案
所以：
四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2.9 如有6行8列的棋型方格，若有2个质点A和B，分别以等概率落入任一方格内，且它们的坐标分别为 、 ，但A和B不能落入同一方格内。试求：
(1) 若仅有质点A，求A落入任一方格的平均自信息量；
(2) 若已知A已入，求B落入的平均自信息量；
(3) 若A、B是可分辨的，求A、B同时落入的平均自信息量。
解：
(1)
(2)
(3)
2.10 一的平均信息量。
解：
2.13 已知信源发出 和 两种消息，且 。此消息在二进制对称信道上传输，信道传输特性为
求互信息量 和 。
解：
(3) 互信息I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。
解：
(1)
Z = XY的概率分布如下：
(2)
(3)
2.19 有两个随机变量X和Y，其和为Z = X + Y，若X和Y相互独立，求证：H(X) ≤ H(Z), H(Y) ≤ H(Z)，H(XY) ≥ H(Z)。
(1) 任一特定排列所给出的信息量是多少？
(2) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？
解：
(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：
(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：
2.6 试问四进制、八进制的每一波形所含的信息量是二进制每一波形所含的信息量的多少倍？
0
1
2
3
4
5
6
7
代码组
000
001
四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2.9 如有6行8列的棋型方格，若有2个质点A和B，分别以等概率落入任一方格内，且它们的坐标分别为 、 ，但A和B不能落入同一方格内。试求：
(1) 若仅有质点A，求A落入任一方格的平均自信息量；
(2) 若已知A已入，求B落入的平均自信息量；
(3) 若A、B是可分辨的，求A、B同时落入的平均自信息量。
解：
(1)
(2)
(3)
2.10 一的平均信息量。
解：
2.13 已知信源发出 和 两种消息，且 。此消息在二进制对称信道上传输，信道传输特性为
求互信息量 和 。
解：
(3) 互信息I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。
解：
(1)
Z = XY的概率分布如下：
(2)
(3)
2.19 有两个随机变量X和Y，其和为Z = X + Y，若X和Y相互独立，求证：H(X) ≤ H(Z), H(Y) ≤ H(Z)，H(XY) ≥ H(Z)。
(1) 任一特定排列所给出的信息量是多少？
(2) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？
解：
(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：
(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：
2.6 试问四进制、八进制的每一波形所含的信息量是二进制每一波形所含的信息量的多少倍？
0
1
2
3
4
5
6
7
代码组
000
001
第二章：信息的度量
BUPT Press
8. 上凸性: H (p ) 是严格的上凸函数，设 . 上凸性:
p = ( p1 , p2 ,L , pq ), p ' = ( p1 ', p2 ',L , pq '), ∑ pi = 1, ∑ pi ' = 1
则对于任意小于1的正数 α , ( 0 < α < 1 ) 有以下不等式成立：
性说明熵函数仅与信源的总体统计特性有关。
BUPT Press
2. 确定性： . 确定性： 在概率矢量中，只要有一个分量为1，其它分量必为0，它们对熵 的贡献均为0，因此熵等于0。也就是说确定信源的不确定度为0。 3. 非负性：H (p) = H ( p1 , p2 ,L , pq ) ≥ 0 . 非负性： 对确定信源，等号成立。信源熵是自信息的数学期望，自信息是 非负值，所以信源熵必定是非负的。 4. 扩展性： lim H q +1 ( p1 , p2 ,L , pq − ε，ε ) = H q ( p1 , p2 ,L , pq ) . 扩展性： ε →0 这个性质的含义是增加一个基本不会出现的小概率事件，信源的 熵保持不变。 5. 连续性： lim H ( p1 , p2 ,L , pq −1 − ε， pq + ε ) = H ( p1 , p2 ,L , pq ) 连续性： ε →0 即信源概率空间中概率分量的微小波动，不会引起熵的变化。
BUPT Press
例2.1.3 某地二月份天气出现的概率分别为晴1/2，阴1/4， 雨1/8，雪1/8。某天有人告诉你：“今天不是晴天”，把 这句话作为收到的消息y1，求收到y1后， y1与各种天气的 互信息量。 解：把各种天气记作x1(晴),x2(阴),x3(雨),x4(雪)，收到消 息y1后，阴天发生的概率为
8. 上凸性: H (p ) 是严格的上凸函数，设 . 上凸性:
p = ( p1 , p2 ,L , pq ), p ' = ( p1 ', p2 ',L , pq '), ∑ pi = 1, ∑ pi ' = 1
则对于任意小于1的正数 α , ( 0 < α < 1 ) 有以下不等式成立：
性说明熵函数仅与信源的总体统计特性有关。
BUPT Press
2. 确定性： . 确定性： 在概率矢量中，只要有一个分量为1，其它分量必为0，它们对熵 的贡献均为0，因此熵等于0。也就是说确定信源的不确定度为0。 3. 非负性：H (p) = H ( p1 , p2 ,L , pq ) ≥ 0 . 非负性： 对确定信源，等号成立。信源熵是自信息的数学期望，自信息是 非负值，所以信源熵必定是非负的。 4. 扩展性： lim H q +1 ( p1 , p2 ,L , pq − ε，ε ) = H q ( p1 , p2 ,L , pq ) . 扩展性： ε →0 这个性质的含义是增加一个基本不会出现的小概率事件，信源的 熵保持不变。 5. 连续性： lim H ( p1 , p2 ,L , pq −1 − ε， pq + ε ) = H ( p1 , p2 ,L , pq ) 连续性： ε →0 即信源概率空间中概率分量的微小波动，不会引起熵的变化。
BUPT Press
例2.1.3 某地二月份天气出现的概率分别为晴1/2，阴1/4， 雨1/8，雪1/8。某天有人告诉你：“今天不是晴天”，把 这句话作为收到的消息y1，求收到y1后， y1与各种天气的 互信息量。 解：把各种天气记作x1(晴),x2(阴),x3(雨),x4(雪)，收到消 息y1后，阴天发生的概率为
信息论复习提纲
信道传递概率可以用信道矩阵来表示：
x1 x2 P xr
y1 p( y1 | x1 ) p( y | x ) 1 2 p( y1 | xr )
y2 p( y2 | x1 )
p( y2 | x2 ) p( y2 | xr )
ys p( ys | x1 ) 1 p( ys | x2 ) p( ys | xr )
i
第四章：信道及信道容量
二、离散单符号信道及其信道容量
1.离散单符号信道的数学模型（续14）
例3：求二元删除信道的 H ( X )、H (Y )、H ( X | Y )和I ( X ;Y ) 。
已知
1 3 PX 4 4
1 1 2 2 0 P 1 2 0 3 3
3. 后验概率（后向概率）: 贝叶斯公式
p ( xi | y j ) p ( xi y j ) p( y j ) p ( xi ) p ( y j | xi )
p( x ) p( y
i 1 i
r
j
| xi )
（i =1，2，…，r;j =1，2，…，s）
且
p ( xi | y j ) 1
Y y2
ys
i 1, 2,..., r ; j 1, 2,..., s
满足： （1）0≤ p(yj|xi) ≤ 1 (i=1,2,…,r；j=1,2,…,s) （2）
p( y j | xi ) 1
j 1
s
(i=1,2,…,r)
第四章：信道及信道容量
二、离散单符号信道及其信道容量
1.离散单符号信道的数学模型（续2）
r s
第四章：信道及信道容量
彭代渊王玲-信息论与编码理论-第二章习题解答精选全文
1第2章 信息的度量2.1 同时扔一对质地均匀的骰子，当得知“两骰子面朝上点数之和为5”或“面朝上点数之和为8”或“两骰子面朝上点数是3和6”时，试问这三种情况分别获得多少信息量？解：某一骰子扔得某一点数面朝上的概率是相等的，均为1/6，两骰子面朝上点数的状态共有36种,其中任一状态出现都是等概率的,出现概率为1/36。
设两骰子面朝上点数之和为事件a ，有：⑴ a=5时，有1+4，4+1，2+3，3+2，共4种，则该事件发生概率为4/36=1/9，则信息量为I(a)=-logp(a=5)=-log1/9≈3.17(bit)⑵ a=8时，有2+6，6+2，4+4，3+5，5+3，共5种，则p(a)=5/36,则I(a)= -log5/36≈2.85(bit) ⑶ p(a)=2/36=1/18,则I(a)=-log1/18≈4.17(bit)2.2 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几”，则答案中含有多少信息量？如果你在已知今天是星期三的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的排序）？解：设“明天是星期几”为事件a ：⑴ 不知道今天是星期几：I(a)=-log1/7≈2.81(bit) ⑵ 知道今天是星期几：I(a)=-log1=0 (bit)2.3 居住某地区的女孩中有20%是大学生，在女大学生中有80%是身高1米6以上的，而女孩中身高1米6以上的占总数的一半。
假如我们得知“身高1米6以上的某女孩是大学生”的消息，求获得多少信息量？解：设“居住某地区的女孩是大学生”为事件a ，“身高1米6以上的女孩”为事件b ，则有： p(a)= 0.2，p(b|a)=0.8，p(b)=0.5，则“身高1米6以上的某女孩是大学生”的概率为：32.05.08.02.0)()|()()|(=⨯==b p a b p a p b a p信息量为：I=-logp(a|b)=-log0.32≈1.64(bit)2.4 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男同志：“你是否是红绿色盲？”，他回答“是”或“否”，问这两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均自信息量是多少？解：⑴ 男同志回答“是”的概率为7%=0.07，则信息量I=-log0.07≈3.84(bit) 男同志回答“否”的概率为1-7%=0.93，则信息量I=-log0.93≈0.10(bit) 平均信息量为：H 1=-(0.07×log0.07+0.93×log0.93) ≈0.37(bit/符号) ⑵ 问女同志的平均自信息量：H 2=-[0.05×log0.05+(1-0.05) ×log(1-0.05)] ≈0.045(bit/符号)2.5 如有7行9列的棋型方格，若有两个质点A 和B ，分别以等概率落入任一方格内，2且它们的坐标分别为（X A ，Y A ）、（X B ，Y B ），但A 、B 不能落入同一方格内。
信息论基础及应用第2章 信源及其信息的统计度量(2)_2.4~2.7
P(x y) P( xy ) log
X ,Y
P(x)
P(y x)
H (Y ) H (Y X ) P(xy)log
X ,Y
P( y)
P(xy)
H ( X ) H (Y ) H ( XY ) P(xy)log
X ,Y
P( x)P( y)
2.4.1 平均互信息
平均互信息的物理含意及其负熵的概念 (1) 式 I(X;Y ) H(X ) H(X Y ) 的物理含意 ◆ I(X;Y) 是信源的原有平均不确定度 H(X) 与仍然保留的平均
数学期望，称为在给定 Z 条件下由 Y 提供的关于 X 的
平均条件互信息（或平均条件互信息量），
定义式为
I ( X ;Y Z ) EX ,Y ,Z [I (x; y z)]
P(x y z)
P(xyz)log
X ,Y ,Z
P(x z)
2.4.2 平均互信息的性质
性质2.31（非负性） I(X;y=bj ) 和 I(X;Y) 是非负的，即
称 H(X | Y) 为信道疑义度（或损失熵）。
2.4.1 平均互信息
平均互信息的物理含意及其负熵的概念 (2) 式 I(X;Y ) H(Y ) H(Y X ) 的物理含意 ◆ I(X;Y)即信道传输的信息量，等于在 H(Y) 中
扣除掉 H(Y | X)后的量值。 ◆H(Y | X) 表示信源发出 X 后，对 Y 依然存在的平均不确定度，
2.4.2 平均互信息的性质
性质2.32（极值性）
H(X ) I ( X ;Y ) H (Y )
性质2.33（互易性、对称性） I(X ;Y ) I(Y ; X )
性质2.34（上凸性） I(X;Y) 是输入信源概率分布 P(x) 的 ∩形凸函数（又称上凸函数）。
彭代渊王玲-信息论与编码理论-第二章习题解答
⑶ I ( X;Y ),I ( X;Z ),I (Y;Z ),I ( X;Y | Z ),I (Y;Z | X ) 和 I ( X;Z | Y ) 。
I ( X ; Y ) H ( X ) H ( X | Y ) 1 0.81 0.19bit / 符号 I (Y ; Z ) H (Y ) H (Y | Z ) 1 0.87 0.13bit / 符号
第2章
信息的度量
第 2 章 信息的度量
2.1 同时扔一对质地均匀的骰子，当得知“两骰子面朝上点数之和为 5”或“面朝上点数 之和为 8”或“两骰子面朝上点数是 3 和 6”时，试问这三种情况分别获得多少信息量？ 解： 某一骰子扔得某一点数面朝上的概率是相等的，均为 1/6，两骰子面朝上点数的状态共 有 36 种,其中任一状态出现都是等概率的,出现概率为 1/36。设两骰子面朝上点数之和为事 件 a，有： ⑴ a=5 时，有 1+4，4+1，2+3，3+2，共 4 种，则该事件发生概率为 4/36=1/9，则信息 量为 I(a)=-logp(a=5)=-log1/9≈3.17(bit) ⑵ a=8 时， 有 2+6， 6+2， 4+4， 3+5， 5+3， 共 5 种， 则 p(a)=5/36,则 I(a)= -log5/36≈2.85(bit) ⑶ p(a)=2/36=1/18,则 I(a)=-log1/18≈4.17(bit) 2.2 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几”，则答案中含 有多少信息量？如果你在已知今天是星期三的情况下提出同样的问题，则答案中你能获得 多少信息量（假设已知星期一至星期日的排序）？ 解： 设“明天是星期几”为事件 a： ⑴ 不知道今天是星期几：I(a)=-log1/7≈2.81(bit) ⑵ 知道今天是星期几：I(a)=-log1=0 (bit) 2.3 居住某地区的女孩中有 20%是大学生， 在女大学生中有 80%是身高 1 米 6 以上的， 而女孩中身高 1 米 6 以上的占总数的一半。假如我们得知“身高 1 米 6 以上的某女孩是大学 生”的消息，求获得多少信息量？ 解： 设“居住某地区的女孩是大学生”为事件 a，“身高 1 米 6 以上的女孩”为事件 b，则有： p(a)= 0.2，p(b|a)=0.8，p(b)=0.5， 则“身高 1 米 6 以上的某女孩是大学生”的概率为：
I ( X ; Y ) H ( X ) H ( X | Y ) 1 0.81 0.19bit / 符号 I (Y ; Z ) H (Y ) H (Y | Z ) 1 0.87 0.13bit / 符号
第2章
信息的度量
第 2 章 信息的度量
2.1 同时扔一对质地均匀的骰子，当得知“两骰子面朝上点数之和为 5”或“面朝上点数 之和为 8”或“两骰子面朝上点数是 3 和 6”时，试问这三种情况分别获得多少信息量？ 解： 某一骰子扔得某一点数面朝上的概率是相等的，均为 1/6，两骰子面朝上点数的状态共 有 36 种,其中任一状态出现都是等概率的,出现概率为 1/36。设两骰子面朝上点数之和为事 件 a，有： ⑴ a=5 时，有 1+4，4+1，2+3，3+2，共 4 种，则该事件发生概率为 4/36=1/9，则信息 量为 I(a)=-logp(a=5)=-log1/9≈3.17(bit) ⑵ a=8 时， 有 2+6， 6+2， 4+4， 3+5， 5+3， 共 5 种， 则 p(a)=5/36,则 I(a)= -log5/36≈2.85(bit) ⑶ p(a)=2/36=1/18,则 I(a)=-log1/18≈4.17(bit) 2.2 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几”，则答案中含 有多少信息量？如果你在已知今天是星期三的情况下提出同样的问题，则答案中你能获得 多少信息量（假设已知星期一至星期日的排序）？ 解： 设“明天是星期几”为事件 a： ⑴ 不知道今天是星期几：I(a)=-log1/7≈2.81(bit) ⑵ 知道今天是星期几：I(a)=-log1=0 (bit) 2.3 居住某地区的女孩中有 20%是大学生， 在女大学生中有 80%是身高 1 米 6 以上的， 而女孩中身高 1 米 6 以上的占总数的一半。假如我们得知“身高 1 米 6 以上的某女孩是大学 生”的消息，求获得多少信息量？ 解： 设“居住某地区的女孩是大学生”为事件 a，“身高 1 米 6 以上的女孩”为事件 b，则有： p(a)= 0.2，p(b|a)=0.8，p(b)=0.5， 则“身高 1 米 6 以上的某女孩是大学生”的概率为：
信息论基础教程,李亦农李梅编著,北京邮电大学出版社
物理量称为信号。编码器可分为信源编码器、信道编码器。
信源编码的目的为了提高通信系统的有效性和提高信息传输的可靠 性。在实际的通信系统中，可靠性和有效性常常相互矛盾 。
（3）信道。信道是指通信系统把载荷消息的信号从发送端送到接收 端的媒介或通道，是包括收发设备在内的物理设施。
（4）译码器。译码就是把信道输出的已迭加了干扰的编码信号进行 反变换，变成信宿能够接受的消息。译码器也可分成信源译码器 和信道译码器。
的概率，这样得到的新信xn 源的熵增加，熵增加了一项是由于划分
产生的不确定性。
7. 极值性： H ( p1, p2,
,
pn
)
H
1 n
,
1, n
,
1 n
log
n
式中n是随机变量X的可能取值的个数。
极值性表明离散信源中各消息等概率出现时熵最大，这就是最大离 散熵定理。连续信源的最大熵则与约束条件有关。
, pq ) H (p)
1.对称性：H (p)
H( p1, p2, , pq ) H( p2, p1, , pq )= = H( pq, p1, , pq1) 性说明熵函数仅与信源的总体统计特性有关。
2021/5/20
19
2. 确定性：
H(1, 0) H(1, 0, 0) H(1, 0, 0, 0) H(1, 0, ,0) 0
（2）一般信息论：也称工程信息论。主要也是研究信息传输和处理问题， 除香农信息论的内容外，还包括噪声理论、信号滤波和预测、统计检测 和估计、调制理论、信息处理理论以及保密理论等。
（3）广义信息论：不仅包括上述两方面内容，而且包括所有与信息有关的 自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生 理学、语言学、语义学甚至包括社会学中有关信息的问题。
信源编码的目的为了提高通信系统的有效性和提高信息传输的可靠 性。在实际的通信系统中，可靠性和有效性常常相互矛盾 。
（3）信道。信道是指通信系统把载荷消息的信号从发送端送到接收 端的媒介或通道，是包括收发设备在内的物理设施。
（4）译码器。译码就是把信道输出的已迭加了干扰的编码信号进行 反变换，变成信宿能够接受的消息。译码器也可分成信源译码器 和信道译码器。
的概率，这样得到的新信xn 源的熵增加，熵增加了一项是由于划分
产生的不确定性。
7. 极值性： H ( p1, p2,
,
pn
)
H
1 n
,
1, n
,
1 n
log
n
式中n是随机变量X的可能取值的个数。
极值性表明离散信源中各消息等概率出现时熵最大，这就是最大离 散熵定理。连续信源的最大熵则与约束条件有关。
, pq ) H (p)
1.对称性：H (p)
H( p1, p2, , pq ) H( p2, p1, , pq )= = H( pq, p1, , pq1) 性说明熵函数仅与信源的总体统计特性有关。
2021/5/20
19
2. 确定性：
H(1, 0) H(1, 0, 0) H(1, 0, 0, 0) H(1, 0, ,0) 0
（2）一般信息论：也称工程信息论。主要也是研究信息传输和处理问题， 除香农信息论的内容外，还包括噪声理论、信号滤波和预测、统计检测 和估计、调制理论、信息处理理论以及保密理论等。
（3）广义信息论：不仅包括上述两方面内容，而且包括所有与信息有关的 自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生 理学、语言学、语义学甚至包括社会学中有关信息的问题。
差错控制编码第2章 信息的统计度量
H(X)又可记作H(p1,p2,…,pn)
平均自信息量
含义
熵表示了集合中所有事件是否发生的平均不确 定性的大小。
熵表示了集合中事件发生，带给我们的平均信 息量的大小。
熵表示了确定集合中到底哪个事件发生时，所 需的平均信息量的大小。
熵表示了，如果用二进制数据将集合中的各个 元素表示出来，所需的二进制位的个数的平均 值。
自信息量的含义
自信息量表示了一个事件是否发生的不确 定性的大小。一旦该事件发生，就消除了 这种不确定性，带来了信息量.
自信息量表示了一个事件的发生带给我们 的信息量的大小。
自信息量表示了确定一个事件是否发生， 所需的信息量的大小。
自信息量表示了将事件的信息量表示出来， 所需的二进制位的个数。
2.1.2 条件自信息量
定义2-3 事件xi在事件yj给定的条件下的条件自 信息量定义为：
I (xi | y j ) log p(xi | y j ) 含义：知道事件yj之后，仍然保留的关于事件xi
的不确定性；或者，事件yj发生之后，事件xi再 发生，能够带来的信息量。
先验概率
p(x)：x出现的概率 I(x)：x的不确定性
p(x)
x：张三病了。 y：张三没来上课。
p(x | y) 1 p(x | y) p(x) p(x)
负： y的出现有助于否定x的出现 x：李四考了全班第一名。
I (x;
y)
log
p(x | y) p(x)
0
y：李四没有复习功课。 p(x | y) 1 p(x | y) p(x)
p(x)
无论正负，互信息量的绝对 回想自信息量I(x) 值越大，x和y的关系越密切。 I(x)≥0：x的出现或多或少总能
信息论第二章信息的度量
I(xi;yj)I(xi)I(xi yj)
log
( xi y j q(xi )
)
（2-6）
称(2-6)式为事件xi和事件yj之间的互信息量。
注：式（2-6）的I(xi ；yj ) 和式（2-3）的I(xiyj )的区别
在于： 前者是事件xi∈X和事件yj∈Y之间的互信息量， 后者是二维空间XY 上元素xi yj 的自信息量。
根据概率互换公式p(xi yj) = p(yj︱xi)q(xi)=φ(xi︱yj)ω(yj) 互信息量I(xi ;yj )有多种表达形式:
I(xi;yj)loq(p x g (ix ) iy (jy )j)I(xi)I(yj)I(xiyj) (2-7)
I(xi;yj)lopg (y(yjjx)i)I(yj)I(yj xi)(2-8)
如底数分别取 2、 e、 10，
则自信息量单位分别为：比特、奈特、哈特
1 na lto2e g 1 .4b 3i3t
1 H a lo r2 1 tg 0 3 .3b 2i2 t
1 bi t0.69 n3 at
1bit0.30H 1art
一个以等概率出现的二进制码元
(0,1)所包含的自信息量为1bit。
第2章 信息的度量
内容提要：
根据香农对于信息的定义，信息是一个系 统不确定性的度量，尤其在通信系统中， 研究的是信息的处理、传输和存储，所以 对于信息的定量计算是非常重要的。本章 主要从通信系统模型入手，研究离散情况 下各种信息的描述方法及定量计算，讨论 它们的性质和相互关系。
2.1 自信息量和互信息量
I(a i)I(bj)
（ 2-4 ）
3.条件自信息量
在已知事件yj条件下,随机事件xi发生的概率为条件概率φ(xi
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1.2.1互信息量 • 1.定义:对两个离散随机事件集X和Y，事件Yi的出现给出关于
I 事件Xi的信息量定义为互信息量( xi ; yi )
。其定义式为
I ( xi ; yi )def log
p( xi | yi ) p( xi )
(1 4)
互信息量的单位与自信息量的单位一样取决于对数的底。 由式（1-4）又可得到
可见，当事件xi，yi统计独立时，其互信息量为零。这意味着不能 从观测yi获得关于另一个事件xi的任何信息。
3).互信息量可正可负
由于 1 1 I ( xi ; yi )def log log p( xi ) p( xi | yi )
在给定观测数据yi的条件下，事件xi出现的概率P(xi| yi)大于先验 概率P(xi)时,互信息量I(xi; yi)大于零，为正值；当后验概率小 于先验概率时，互信息量为负值。 互信息量为正，意味着事件yi的出现有助于肯定事件xi的出现；反之， 则是不利的。造成不利的原因是由于信道干扰引起的。
式中，xi Yi积事件，p (xi Yi)为元素xi Yi的二维联合概率。
当xi Yi独立时I(xi
Yi)= I(xi)+ I(Yi)
1.1.2 条件自信息量
联合集XY中，对事件Xi和Yi，事件Xi在事件Yi给定的条件下的条件自信息量 定义为
I ( xi | yi )def log p ( xi | yi )
1奈特=log2 e比特≈1.443比特
1哈脱来=log2 10比特≈3.322比特
3)信息量的性质：
a)非负性
b)P＝1 I＝0
c)P＝0 I＝
d)I是p的单调递减函数
3）联合自信息量
• 二维联合集XY的元素（ xi Yi）的联合自信息量定义为
I(xi Yi)=-logp (xi Yi)
（1-2）
二维概率分布函数为P（XiYi）=1/64，故 （1）在二维联合集XY上的元素XiYi的自信息量
1 I ( xi yi ) log 2 p( xi yi ) log 2 log 2 26 6比特 64
（2）在二维联合集XY上，元素Xi相对Yi的条件自信息量为
p( xi yi ) 1 / 64 I ( xi | yi ) log 2 p( xi | yi ) log 2 log 2 3比特 p( yi ) 1/ 8
由于每一个随机事件的条件概率都处在0--1范围，所以条件自信息量均为非负值。
1.1.3 自信息量的关系 I(xi Yi)= I(xi)+ I(Yi / xi) I(xi Yi)= I(yi)+ I(xi /Yi)
例1 •
设在一正方形棋盘上共有64个方格,如果甲将一粒随意放在棋盘中 的某个方格且让乙猜测棋子的位置: （1）将方格按顺序编号，令乙猜测棋子所在方格的顺序号； （2）将方格按行和列编号，甲将棋子所在方格的行（或列）编号告诉乙之 后，再令乙猜测棋子所在列（或行）的位置。 解: 由于甲是将一粒棋子随意的放在棋盘中某一方格内，因此棋子在棋 盘中所处位置为二维等概率分布。
式（1-5）表明，由事件yi提供的有关事件xi的信息量等于 由事件xi提供的有关事件yi的信息量。
2）当事件xi ,yi统计独立时，互信息量为零， 即 I(xi; yi)=0 （1-6）
证明: 由于xi ;yi统计独立，故有p(xi yi)=p(xi )p(yi)于是
p( xi | yi ) p( xi yi ) I ( xi ; yi ) log log log1 0 p( xi ) p( xi ) p( yi )
由对概率的递降性和可加性可以导出这类函数应是概率的对数函数：
•1.1.1自信息量
1)自信息量定义:
• 任意随机事件的自信息量定义为该事件发生概率的对数的负值。设该事 件Xi的概率为p(xi)，则它的自信息量定义式为
I(xi)=-logP(xi)
（1-1）
数学含义:某事件发生所含有的信息量=该事件发生的先验概率的函数 物理含义：随机事件的不确定性在数量上等于它的自信息量
这里说明----自信息量I(xi) 是为了确定事件xi的出现所必须提 供的信息量，也是任何其它事件所能提供的关于事件xi的最大信 息量。
例.
• 某人A预先知道他的三位朋友B，C，D中必定会有一人于某晚要到 他家来，并且这三人来的可能性均相同，其先验概率为 p(B)=p(C)=p(D)=1/3。但是这天上午A接到D的电话，说因故不能 来了。我们把上午这次电话作为事件E，那么有后验概率 p(D|E)=0 ， p(B|E)=p(C|E)=1/2。这天下午A又接到C的电话， 说他今晚要出席一个重要会议不能来A家。把下午这次电话作为 事件F ，p(C|EF)=p(D|EF)=0，而p(B|EF)=1。 • 在接到上午的电话后，1、对于单个消息信源U，发送某个消息 u i U ，对应概率 为 p i ，这时信源输出的信息量为I，则有：
pi , I (ui ) ; pi 0, I (ui ) pi , I (ui ) ; pi 1, I (ui ) 0 I是pi的递降函数
2、从直观概念上讲，由两个不同的消息（相对独立）所提供的信息应等于它 们分别提供的信息之和，即满足可加性：I (A B) = I (A) + I (B)
当r等于2时，信息熵的单位为二进制单位(binary unit)，简称比特 (bit)。当以自然对数为底时，信息熵的单位为自然单位(natural unit)，简称奈特(nat)。以10为对数底时，信息熵的单位为哈脱来。
由热力学第二定律可以发现，一个系统 在孤立的封闭状态下，总是由有序走向 无序，进而使熵增加，它不需要附加任 何条件。若要由无序走向有序，则需要 在一定的附加条件下才能实现。 例：在分子运动论的实验
H 1 ( X ) p ( xi ) log p ( xi ) log 10
i 1
n
3105
4）任何两事件之间的互信息量不可能大于其中任一事件的自信息量
• 证明:由于互信息量为
p( xi | yi ) I ( xi ; yi ) log p( xi )
一般， P(xi| yi) ≤1，所以
I(xi; yi) ≤log1/ P(xi)= I(xi)
同理，因P(yi| xi) ≤1，所以 I(yi; xi) ≤ log1/ P(yi)= I(yi)
其中Xi，(i=1,2,…)为集合X中各个消息的取值Xi， P(xi)为对应的概率 ------常称为先验概率。 其中Yi，（j=1,2,…）是集合Y中各个消息符号的取值， P(Yi)，（j=1,2,…） 为消息符号Yi，j=1,2,…出现的概率。 当信宿收到集合Yi后，接受者重新估计关于信源各个消息Xi发生的概率，就成 为条件概率P（Xi|Yi）－－－这种条件概率又称为后验概率。
1.3离散集的平均自信息量－－－熵
• 1.3.1平均自信息量（信息熵）
平均自信息量定义：
集X上，随机变量自信息I(xi) 的数学期望定义为平均自信息量
H ( X )def E[ I ( xi )] E[ log p( xi )] p( xi ) log p( xi )
i 1
n
集X的平均自信息量----表示集X中事件出现的平均不确定性， 即为了在观测之前，确定集X中出现一个事件平均所需的信息量； 或者说，在观测之后，集X中每出现一个事件平均给出的信息量。
1.2 互信息量和条件互信息量
1、 简化的通信系统模型
信源
X
信道
Y
信宿
... p ( y2 ) ... y2
X x1 P p( x ) 1
... p ( x2 ) ... x2
Y y1 P p( y ) 1
集X的平均自信息量----又称作是集X的信息熵,简称熵。 名称信息熵的来源-----平均自信息量的表示式和统计物 理学中热熵的表示式相似。在热力学中，热熵H（X） 描述了在某一给定时刻一个系统可能出现的有关状态 的不确定程度。故在含义上，信息熵与热熵也有相似 之处。
注意： 1） 如果一个事件的概率为0，显然它无法提供 任何信息，因此我们定义0· log0等于零，即0概率事件 的信息熵为零。 2）信息熵的单位---取决于对数选取的底r。 H r (X ) ,(r=2,e,10) r进制单位/符号
系统的紊乱程度
A B
A
B
+
-
熵值越小，意味着系统越“整齐”和“集中”，也就越有序； 熵值越大，意味着系统越“混乱”和“分散”，无序程度越高。
熵增加也就意味着系统有序性减少或本 身在退化，熵值极大意味着系统的平衡 破坏或死亡来临。 例如：熵病
第二类永动机
������ ������ ������ 热力学第二定率 封闭系统的熵可以自发减少吗？ 麦克斯韦妖 布里渊
P( B | EF ) 1 I ( B; EF ) log log 2 log 2 3 1.585比特 P( B) 1/ 3
• 因为其他两个条件概率p(C|EF)，p(D|EF)均为零，所以不考虑事 件C，D与EF事件之间的互信息量。 由此例看出，由于I(B;EF)=1.585比特， 而I(B;E)=0.585比特，因此事件EF的出现有助于肯定事件B的出现。
第二章
信息的度量
• 信息论是在信息可以度量的情况下，研究有效、可靠、 安全传递信息的科学。 • 信息的定性描述:信息蕴含在不肯定性中。 • 信息的定量描述：---如何度量？
1.1 自信息和条件自信息量
信息量的直观定义:收到某消息获得的信息量=不确定性减少的量=
收到某消息前关于某事件发生的不确定性-收到某消息后关于某事件发生的不确定性