2.1 单符号离散信源

xi信息论课程考试满分Fra bibliotek11信息量

自信息量 联合自信息量 条件自信息量 互信息量
12
xi y j

公务员录取通知 硕士录取通知
联合自信息量

def：两个事件同时发生时对外提供的信息量。

定义为：二维联合集XY上的联合概率的对数负值。 记作：I ( xi y j ) log 2 p( xi y j )
p ( xi / y j ) p ( xi ) I ( xi ; y j ) log 2 log 2 0 p ( xi ) p ( xi )
25
p ( xi / y j ) p ( xi )
xi

信源X
.
信道
信宿Y
yj
xi y j , 则I ( xi ; y j ) I ( xi ) x 实际意义： i y j ，说明收到的消息 y j 就是发送的信源消
15

三种自信息量之间的关系：
I ( xi y j ) log 2 p ( xi y j ) log 2 ( p ( xi ) p ( y j / xi )) log 2 p ( xi ) log 2 p ( y j / xi ) I ( xi ) I ( y j / xi ) 同理：I ( xi y j ) I ( y j ) I ( xi / y j )
7
I的单位取决于底数a
自信息量


1 nat=log2e=1.433bit
1 Hart=log210=3.322bit
证明： ln p( xi )nat log 2 p( xi )bit log 2 p( xi ) 1nat bit ln p( xi ) log 2 p ( xi ) log 2 p ( xi ) 又 ln p( xi ) (1) ln p ( xi ) log 2 e log 2 e 熟记： 1nat log 2 ebit log 2 p ( xi ) (2) log10 p ( xi ) 1.433bit log 2 10 同理： 1Hart log 2 10bit bit 8

用随机矢量表示。

（3）连续信源：信源输出的消息是连续消息。

用随机过程表示。
3
单符号离散信源的数学模型 —离散型的概率空间

设信源输出集合为X, X x1 , x2 , xn 每个符号出现的概率记作：p ( xi ) p ( X xi ) 则其数学模型可以表示为
x 2， X x1， P( X ) p( x )， p ( x )， 1 2

互信息量的各种表达形式及物理意义
I ( xi ; y j ) I ( xi ) I ( xi / y j )
收到y j 前，发xi的不确定度

从输出端观察
收到y j 后，发xi的不确定度
二者一减，得到I( xi ; y j )。 相减，表示收到y j 后，xi的不确定度被消除了一部分， 这部分不确定度是通过信道传递过来的信息量消除的， 它以y j的消息形式体现出来。
证明 : xi y j p( xi / y j ) 1 I ( xi ; y j ) log 2 p( xi / y j ) p( xi ) 1 log 2 p ( xi )
I ( xi ; y j )
y j中包含的有关xi 信息量
I ( xi / y j )
I ( xi )
I(yj)
19

例：
xi
信源X
信道
信宿Y
yj
540分：考河南理工大学
二本的录取分数线是 500
20
互信息量

同理
xi 对y j的互信息量为： I ( y j ; xi ) log 2 p ( y j / xi ) p( y j )

def：联合集XY中，事件 xi 在 y j已经发生的情 况下再发生时对外提供的自信息量。

定义为：条件概率的对数负值。
即： I ( xi / y j ) log 2 p( xi / y j )

注意： X，Y独立，I ( xi / y j ) I ( xi ), p( xi / y j ) 独立 p( xi ) X，Y相等，I ( xi / y j ) 0, p( xi / y j ) 相等 1
互信息量的其他表达形式及各自的物理意义 从整体通信系统观察
通信前，xi，y j 都出现的不确定度 通信后，发xi且收端收到y j的不确定度
I ( xi ; y j )
I(yj)
I ( xi )
I(yj)
I ( xi )
I ( xi ) I ( y j )
I ( xi y j )
24
xi

信源X
焦作某旅行团中秋节推出一元环游全球的活动
9
自信息量

自信息量是事件发生概率的单调递减函数
p ( xi )
10
自信息量

不确定度和自信息量的关系 def：随机事件 x i 发生以前具有不确定度，发 生以后或者收到以后不确定度消失，但是对外 提供了自信息量。 所以自信息量 I ( xi ) 可以代表收到消息 x 后获得 i 信息量。 这是因为消除了不确定性，才获得了这么多 的信息量。 所以自信息量是用来消除不确定度的。 二者等量。 与概率都是反比关系。 但一个处于接收前，另一个处于接收后。
i j 即：两个随机事件相互独立时，同时发生得到的信息量，等于 13 各自单独发生时得到的信息量之和。
I ( x ) I ( y )
信息量

自信息量 联合自信息量 条件自信息量 互信息量
14
xi / y j

努力学习，全面提高 事业有成
条件自信息量

每种选择出现的概率记作 p( xi ) p( X xi ) 该信源的数学模型为：
x 2， X x1， P( X ) p( x1 )， p ( x 2 )，
x i，

p( xi )，
xn p( x n )
5
信息量

自信息量 联合自信息量 条件自信息量 互信息量
自信息量

自信息量的性质

非负性
0 p ( x i ) 1 I ( x i ) 0

说明：任何随机事件发生后，总能对接收者 提供一些信息量，最少是零。
p( xi ) 0，则I , 注意：计算时定义： 2 0 0 log
今年是龙年

： p ( xi ) 1, 则I 0;
X、Y相互独立时 I ( xi y j ) I ( xi ) I ( y j ) 证明： 独立

p ( xi y j ) p ( xi）p ( y j ) I ( xi y j ) log 2 p ( xi y j ) log 2 ( p ( xi）p ( y j )) log 2 p ( xi） log 2 p ( y j )

一个是快要临死的老人，他需要马上去医院。 一个是医生，他曾救过你的命，你做梦都想报答他。 还有一个女人/男人，她/他是你做梦都想嫁/娶的人，也许错过就没 有了。

但你的车只能在坐下一个人，你会如何选择？ 所有的选择形成一个信源集合，记作X， X x1 , x2 , xn 请构造该信源的数学模型：

同理
p ( y j / xi ) p( y j ) p ( y j xi ) / p ( xi ) p( y j ) p ( y j xi ) / p ( y j ) p ( xi ) p ( xi / y j ) p ( xi )
xi 对y j的互信息量为： I ( y j ; xi ) log 2 log 2 log 2 log 2
I ( y j ; xi ) I ( xi ) I ( y j ) I ( xi y j )
I ( xi ; y j )
即 I ( y j ; xi ) I ( xi ; y j )
由此可见：互信息量具有对称性。
23

I ( xi ; y j ) I ( xi ) I ( y j ) I ( xi y j )
6
自信息量

自信息量

def：离散信源符号集合X中某一符号 xi作为一 条消息发出时，对外提供的信息量。

自信息量的计算：某事件发生概率的对数的负 值。
I ( xi ) log a p( xi ) log a

1 其中，p( xi )为xi出现的概率 p( xi )
2，单位为bit a e，单位为nat 10， Hart ( Det ) 单位
21

互信息量的其他表达形式及各自的物理意义
I ( xi ; y j ) I ( y j ) I ( y j / xi )
发xi 前，收到y j的不确定度

从输入端观察
发xi 后，收到y j的不确定度
I ( xi ; y j )
I ( y j / xi )
I(yj)
I ( xi )
22
互信息量
第2章 信源熵
并不是我们注意到的每一件事都重要，也 不是每一件重要的事我们都注意到了。
爱因斯坦（1879-1955）
1
第2章 信 源 熵

主要内容

2.1 单符号离散信源
2.2 多符号离散平稳信源及熵 2.3 连续信源及熵 2.4 离散无失真信源编码定理

基本要求

掌握信源的分类及对应的数学模型
信道
信宿Y
yj
互信息量的基本性质

（1）对称性 （2）xi , y j 独立, 则I ( xi ; y j ) 0
实际意义： xi , y j 独立，说明收到的消息 y j 中不 x 包含任何有关i 的信息，所以信道上没有传递任何 x 有关信源i 的信息。 证明 : xi , y j 独立
注： 当y j的发生能促进xi的发生时，即p( xi / y j ) p( xi )，此时I ( xi / y j ) I ( xi ) 当y j的发生不利于xi的发生时，即p( xi / y j ) p( xi )，此时I ( xi / y j ) I ( xi )
掌握熵和互信息量/平均互信息量的定义、性质 掌握离散无失真信源编码定理
2
2.1 单符号离散信源

单符号离散信源定义——Def:

（1）单符号离散信源：信源输出的消息是离散消 息，且每个符号表示一条消息。

用离散随机变量表示。
记作：大写字母。

（2）多符号离散信源：信源输出的消息是离散消 息序列，即多个符号表示一条消息。
16
信息量

自信息量 联合自信息量 条件自信息量 互信息量
17
互信息量

互信息量

def：信源发 xi X ，信宿收 y j Y
p ( xi )：先验概率。是信源发出消息xi的概率 p ( xi / y j )：后验概率。根据信宿收到的y j 推测发端发的是xi的概率
则定义：y j 对xi的互信息量为：
且满足 0 p( xi ) 1， p( xi ) 1
i 1 n

x i，

p( xi )，
xn p( x n )

注：大写字母：表示随机变量，指信源整体

小写字母加下标：表示随机事件的某一结果，即 信源的某个元素。
4
单符号离散信源数学模型举例

你开着一辆车。在一个暴风雨的晚上。你经过一个车站。有三个 人正在焦急的等公共汽车。
I ( xi ; y j ) log 2 p ( xi / y j ) p ( xi )
log 2 p ( xi ) log 2 p ( xi / y j ) I ( xi ) I ( xi / y j )
18
互信息量