信息的度量

解: 设P(1)=p，则P(0)=1-p。
由(2.4)式，有
H(X) = - p lbp - (1-p) lb(1-p)
(2.5)
➢ 上式又称为二进制熵函数，也常用Hb(p)表示
➢ p = 0或p =1时，H(X) = 0；p = 1/2时，H(X) =1。
东南大学移动通信国家重点实验室
21
H ( p) 1.0
2.1.2度量信息的基本思路
➢ 考虑一个单符号离散信源，它的输出被传送给对此感 兴趣的一方。
➢ 设x1为最大可能的输出，xN为最小可能的输出。 ✓ 例气如，x，N为假冰设雹信或源其输它出强代对表流天天气气情。况，x1为晴或多云天 ✓ 哪个输出包含更多的信息，x1还是xN？ ✓ 直观地，传递xN 给出了更多的信息。 ➢ 由此可以合理地推算信源输出的信息量应该是输出事
I ( y j | xi ) lbP( y j | xi ) (2.7)
➢上述条件概率仅仅由信道特性决定，可以看作
是由信道给出的信息量。
东南大学移动通信国家重点实验室
25
信息论与编码课件
2.2 信源熵和条件熵
2.2.3条件熵
➢ 为寻求在给定y条件下X集合的总体信息量度， 有
H (X | y) P(x | y) I (x | y) P(x | y)lbP(x / y)
(2.4)
称为信源的信息熵，简称信源熵。其中，
定义0lb0 = 0。
东南大学移动通信国家重点实验室
19
信息论与编码课件
2.2 信源熵和条件熵
2.2.1信源熵
➢对于单符号离散信源，信源熵是信源每 发一个符号所提供的平均信息量，其量 纲为信息单位/信源符号。
➢信源熵只与信源符号的概率分布有关， 是一种先验熵。
信息论与编码课件
2.2 信源熵和条件熵
2.2.2条件自信息量
➢ 定义2.5 设在yj条件下，随机事件xi的条件概率 为P(xi/yj)，则xi的出现所带来的信息量被称为 它的条件自信息量，表示为
I (xi | y j ) lbP(xi | y j ) (2.6)
类似地，在xi条件下，随机事件yj出现所带来 的信息量亦是条件自信息量：
2.2.2条件自信息量
➢ 若信源的输出为X，信宿的输入为Y，即考虑了信道的 作用，如图2.2所示，这时经常是某一事件在某种条件 下才出现，它的出现所带来的信息量就必须要在联合
符号集合X、Y中进行考虑，且需用条件概率来描述。
X
Y
信源
信道
信宿
图2.2 最简单的通信系统模型
东南大学移动通信国家重点实验室
24
信息论与编码课件
2.2 信源熵和条件熵
2.2.1信源熵
0.8
0.6 0.4
0.2
0
0.2
0.4
0.6
0.8
1.0
p
图2.1二进制熵函数
东南大学移动通信国家重点实验室
22
信息论与编码课件
2.2 信源熵和条件熵
2.2.1信源熵
➢ 信息熵借用热力学中的熵给出了平均信息量的 概念，不但可以表征信源的信息统计测度，也 可以表征任何集合的信息统计测度。
➢ 因此，信源又可以看作是具有一定概率分布的 某一符号集合。
东南大学移动通信国家重点实验室
6
信息论与编码课件
2.1 度量信息的基本思路
2.1.1单符号离散信源
• 定义2.2
若信源的输出是随机事件X，其出现概率为P(X),，则它 们所构成的集合，称为信源的概率空间或简称为信源空 间。
➢ 信源空间通常用如下方式来描述：
➢对于任何给定概率分布的信源，H(X)是 一个确定的数，其大小代表了信源每发 出一个符号给出的平均信息量。
东南大学移动通信国家重点实验室
20
信息论与编码课件
2.2 信源熵和条件熵
2.2.1信源熵
➢ 例2.3 二进制通信系统的信源空间为
求该信[X源 的P] :熵X。P:(X) :
1 P(1)
0 P(0)
X中出现xi、Y中出现yj的联合信息量 I (xi ,yj) = I (x i) + I (yj)
➢ 只有对数函数能够同时满足以上条件。
东南大学移动通信国家重点实验室
11
信息论与编码课件
2.1 度量信息的基本思路
2.1.2度量信息的基本思路
➢定义2.3
事件xi的出现所带来的信息量
I (xi
)
lb
1 P( xi
X: [X P]: P(X) :
x1 , P( x1 ),
x2 , , xi , , P(x2 ), , P(xi ),
,
➢显然，信源空间必定是一个完备集，即
N
P(xi ) 1 i 1
xN
P(xN ) (2.1) (2.2)
东南大学移动通信国家重点实验室
7
信息论与编码课件
2.1 度量信息的基本思路
➢对于随机出现的事件，它的出现会给人 们带来多大的信息量？
➢考虑到通信系统或很多实际的信息传输 系统，对于所传输的消息如何用信息量 的方法来描述？
➢本章将围绕这些问题展开讨论。
东南大学移动通信国家重点实验室
3
信息论与编码课件
2.1 度量信息的基本思路
2.1.1单符号离散信源
➢ 从讨论信源的特征入手，给出定量度量信息 的方法。
✓不确定度只与事件的概率有关，是一个 统计量，在静态状态下也存在；
✓自信息量只有该随机事件出现时才给出， 不出现时不给出，因此它是一个动态的 概念。
东南大学移动通信国家重点实验室
17
信息论与编码课件
2.2 信源熵和条件熵
2.2.1信源熵
➢ 自号x信i的息自量信I(息xi)量只。能表示信源发出的某一具体符 ➢ 很多信源的符号集合具有多个元素且其概率并
4
信息论与编码课件
2.1 度量信息的基本思路
2.1.1单符号离散信源
➢由此给出如下定义： • 定义2.1
如果信源发出的消息是离散的、有限 或无限可列的符号或数字，且一个符号 代表一条完整的消息，则称这种信源为 单符号离散信源。
东南大学移动通信国家重点实验室
5
信息论与编码课件
2.1 度量信息的基本思路
)
lb P( xi
)
为事件xi的自信息量。
(2.3)
东南大学移动通信国家重点实验室
12
信息论与编码课件
2.1 度量信息的基本思路
2.1.2度量信息的基本思路
➢ I(xi)实质上是无量纲的 ➢ 为研究问题的方便，根据对数的底定义信息量的量纲
✓ 对数的底取2，则信息量的单位为比特（bit）； ✓ 取e（自然对数），则单位为奈特（nat）； ✓ 取10（常用对数），则单位为哈特。 ✓ 利用换底公式容易求得：
东南大学移动通信国家重点实验室
15
信息论与编码课件
2.1 度量信息的基本思路
2.1.3自信息量和不确定度的关系
➢ 信宿端收到某一消息后所得到的信息量，可以 等效为接收者在通信前后“不确定”因素的减 少或消除。
➢ 事件的不确定性可用不确定度描述，它同样是 事件概率的函数，在数值和量纲上和自信息量 相等，因此都可以用(2.3)式来计算。
信息论与编码课件
第二章 信息的度量
东南大学移动通信国家重点实验室
1
信息论与编码课件
本章内容提要
➢度量信息的基本思路 ➢信源熵和条件熵 ➢互信息量和平均互信息量 ➢多维随机变量的熵
东南大学移动通信国家重点实验室
2
信息论与编码课件
第2章 信息的度量
➢信息论的发展是以信息可以度量为基础 的，度量信息的量称为信息量。
➢ 某一随机事件的出现所给出的信息量（自信息 量），在数值上与该随机事件的不确定度不但 相关而且相等，即事件的出现等效成事件不确 定集合的元素的减少，或简称为事件不确定度 的减少。
东南大学移动通信国家重点实验室
16
信息论与编码课件
2.1 度量信息的基本思路
2.1.3自信息量和不确定度的关系
➢自信息量和该事件的不确定度的含义有 本质的区别。
X
X
(2.8)
➢考虑到整个Y集合，有
H(X | Y) P(y)H(x | y)
件的概率的减函数。 ➢ 信息量的另一个直观属性是，某一输出事件的概率的
微小变化不会很大地改变所传递的信息量，即信息量 应该是信源输出事件概率的连续减函数。
东南大学移动通信国家重点实验室
8
信息论与编码课件
2.1 度量信息的基本思路
2.1.2度量信息的基本思路
➢ 假设与输出xi相关的信息能被分成独立的两部 分，比如xi1与xi2，即xi = { xi1，xi2 }。
不信相 源等 的， 总即 体信P(x息i)≠测P度(xj。)，因此I(xi)不能作为整个
➢ 能作为信源总体信息测度的量应是信源各个不
同符号xi (i (i =1, 2, …,
=N1) ,在2,信…源, N空) 所间包P含(X的) =自{信P息(x1量), I(xi)
P(x2), …, P(xi), …, P(xN )}中的统计平均值。
1nat1.44bit
1Hart3.32bit
➢ 在通信及目前的绝大多数信息传输系统中，都是以二 进制为基础的，因此信息量单位以比特最为常用
wk.baidu.com
➢ 在没有特别说明的情况下，通常(2.3)式的量纲即为比 特，且底数2被省略。
东南大学移动通信国家重点实验室
13
信息论与编码课件
2.1 度量信息的基本思路
2.1.2度量信息的基本思路
2.1.1单符号离散信源
➢ 单符号离散信源的实例 ✓ 掷骰子每次只能是1,2,3,4,5,6中的某一个； ✓ 天气预报可能是晴、阴、雨、雪、风、冰雹…
中的一种或其组合以及温度、污染等；
✓ 二进制通信中传输的只是1、0两个数字；等等。
➢ 这种符号或数字都可以看作某一集合中的事件， 每个符号或数字（事件）都是信源中的元素， 它们的出现往往具有一定的概率。
➢ 若信源中事件xi的出现所带来的信息量用 I(xi)来表示并称之为事件xi的自信息量，
➢ 则概率为p(xi)的信源输出xi所包含的信息 量I(xi)必须满足以下几个条件：
东南大学移动通信国家重点实验室
10
信息论与编码课件
2.1 度量信息的基本思路
2.1.2度量信息的基本思路
1. 信的源取输值出无x关i所。包含的信息量仅依赖于它的概率，而与它 2. I (xi)是P(xi)的连续函数。 3. I (xi)是P(xi)的减函数，即： ✓ 如果P(xi) > P(xj)，则I(xi) < I(xj)。 ✓ 极限情况，若P(xi) = 0, 则 I(xi) → ∞； ✓ 若 P(xi) = 1, 则I(xi) = 0。 4.若两个单符号离散信源（符号集合X, Y ）统计独立, 则
➢ 例如，若信宿的符号yj 的出现概率为P(yj)，自 信息量为I (yj) (j=1, 2, …, M)，则信宿熵为
M
H (Y) P( y j ) I ( y j ) P( y) I ( y) P( y)lbP( y)
j 1
Y
Y
东南大学移动通信国家重点实验室
23
信息论与编码课件
2.2 信源熵和条件熵
➢例2.1 一个1, 0等概的二进制随机序列，求任一 码元的自信息量。
解：任一码元不是为0就是为1 因为 P(0) = P(1) = 1/2 所以 I (0) = I (1) = – lb (1/2) = 1(bit)
东南大学移动通信国家重点实验室
14
信息论与编码课件
2.1 度量信息的基本思路
2.1.2度量信息的基本思路
➢ 以天文学范畴的事件为例。
✓ 小行星撞击地球、月食、日食、流星雨、星系的产生 与消亡等等，都是天文学内一个个离散的事件
✓ 如果将一个事件用一个符号来表示，则一个符号代表 一个完整的消息
✓ 如果把都是天文学内的事件看作是天文学这个“信源” 输出的符号，则这个信源可以看作是单符号离散信源。
东南大学移动通信国家重点实验室
✓ 例如，假设天气预报中的天气及温度变化是与污染程 度相关性很小甚至几乎完全独立的，则信源的每一个 输出就能分成独立的两部分。
➢ 直观地，传递xi所包含的信息量是分别传递xi1 和xi2所得到的信息量的和。
东南大学移动通信国家重点实验室
9
信息论与编码课件
2.1 度量信息的基本思路
2.1.2度量信息的基本思路
➢ 例2.2 对于2n进制的数字序列, 假设每一符号的出现 完全随机且概率相等，求任一符号的自信息量。 解：设2n进制数字序列任一码元xi的出现概率 为P (xi)，根据题意， P(xi) = 1/2n I (xi ) = – lb(1/2n) = n (bit)
➢ 事件的自信息量只与其概率有关，而与它的取 值无关。
东南大学移动通信国家重点实验室
18
信息论与编码课件
2.2 信源熵和条件熵
2.2.1信源熵
定自义信2.息4 若量信为源I (符xi)号(ix=i1的, 2出, …现,概N率)，为则P(xi)，
N
H (X) P(xi ) I(xi ) i1
X
P(x) I(xi )
X
P(x)lbP(x)