第2章 离散信源及其信息测度

X (a, b) p ( x) p ( x)

b
a
p( x)dx 1
每次只输出一个消息，但消息的可能数目是无穷多个。
例：电压、温度等。
第二节 离散信源的信息熵
在信息传输的一般情况下，直观地把信息量定义为： 收到某消息获得的信息量 ＝不确定性减少的量 ＝（收到此信息前关于某事件发生的不确定性） －（收到此信息后关于某事件发生的不确定性） 事件发生的不确定性与事件发生的概率有关。
量单位； 计算机术语中“比特”是代表二元 数字； 这两种定义之间的关系是：每个二 元数字所能提供的最大平均信息量 为1比特。
第二节 离散信源的信息熵
例：设天气预报有两种消息，晴天和雨天，出现的概率 分别为1/4和3/4，我们分别用a1来表示晴天，以a2 来表 a2 示雨天，则我们的信源模型如下：
信息量I(xi/yj)定义为 I ( x / y ) log i j 2
1 p( xi / y j )
表示在特定条件下（yj已定）随机事件xi 所带来的信息量
1 同理，xi已知时发生yj的条件自信息量为 I ( y / x ) log j i 2 p( y j / xi )
自信息量、条件自信息量和联合自信息量之间的关系
X a1, p( x) 1/ 4,
a2 3/ 4
I (a1 ) log 4 2 4 I ( a2 ) log 0.415 3
联合自信息量
信源模型为
x2 y1 ,, x2 ym ,, xn y1 ,, xn y m XY x1 y1 ,, x1 ym , P( XY ) p( x y ),, p( x y ), p( x y ),, p( x y ),, p( x y ),, p( x y ) 1 m 2 1 2 m n 1 n m 1 1
I ( xi y j ) log2
1 p( xi ) p( y j )
log2
1 p( y j )
I ( xi ) I ( y j )
两个随机事件相互独立时，同时发生得到的信息量，等于
各自自信息量之和。
条件自信息量
设yj条件下，发生xi的条件概率为p(xi /yj)，那么它的条件自
其中0≤p(xiyj)≤1 (i=1,2,…,n; j=1,2, …,m) 则联合自信息量为
I ( xi y j ) log 2
log2
1 p( xi )
1 p ( xi y j )
p( x y ) 1
i j i 1 j 1
n
m
当X和Y相互独立时，p(xiyj)=p(xi)p(yj)

1奈特＝1.44比特 1哈特＝3.32比特
一般都采用以“2”为底的对数，为了书写简洁，有
时把底数2略去不写。
如果p(xi)=1/2，则I(xi)=1比特。所以
信息论中 “比特”与 计算机术语 中“比特” 区别

1比特信息量就是两个互不相容的等 可能事件之一发生时所提供的信息 量。
信息论中“比特”是指抽象的信息
I (ai ) f [ P(ai )]
P (ai ) 是事件的发生的先验概率。
根据客观事实和人们的习惯概念，应满足以下条件：
第二节 离散信源的信息熵
（1）f ( pi ) 应是先验概率的单调递减函数，即
当 P 时 1 (a1 ) P 2 (a 2) （2）当 P(ai ) 1 时
f (P 1 ) f (P 2)
a2 p2
... ...
aq pn

p
i 1
q
i
1
集合X中，包含该信源包含的所有可能输出的消 息，集合P中包含对应消息的概率密度，各个消 息的输出概率总和应该为1。 例：天气预报
第一节 信源的数学模型及分类
2、连续信源指发出在时间和幅度上都是连续分布的连 续消息（模拟消息）的信源。 数学模型如下：
随机变量x描述 信源输出的消息 离散信源 连续信源
随机序列x描述 信源输出的消息
非平稳信源
平稳信源
离散平稳信源 连续平稳信源
第一节 信源的数学模型及分类
1、离散信源: 指发出在时间和幅度上都是离散分布 的离散消息的信源，如文字、数字、数据等符号都 是离散消息。 数学模型如下：
X a1 P p 1
第二节 离散信源的信息熵
事件发生的概率越小，我们猜测它有没有发生的困难程度就
越大，不确定性就越大。概率等于1的必然事件，就不存在 不确定性。 某事件发生所含有的信息量应该是该事件发生的先验概率的 函数。
第二节 离散信源的信息熵
1、自信息 某事件发生所携带的信息量是和该事件出现的概率有 关，概率可以表征自信息量的大小
I ( Байду номын сангаасi y j ) log2 log2
1 p ( xi ) p ( y j / xi ) 1 p ( y j ) p ( xi / y j )
1、当事件发生前，表示该事件发生的不确定性； 2、当事件发生后，表示该事件所提供的信息量。
第二节 离散信源的信息熵
自信息的测度单位及其换算关系
如果取以2为底，则信息量单位称为比特(binary unit) 如果取以e为底，则信息量单位称为奈特(nature unit) 如果取以10为底，则信息量单位称为哈特(Hart unit,以 纪念哈特莱首先提出用对数来度量消息)
第一节 信源的数学模型及分类
在通信系统中，收信者在未收到信息以前， 对信源发出什么样的消息是不确定的，是随机的， 所以可以用随机变量、随机矢量或随机过程来描 述信源输出的消息，或者说用一个样本空间及其 概率测度来描述信源。 不同的信源根据其输出消息的不同的随机性 质进行分类。
第一节 信源的数学模型及分类
f (P i) 0
（3）当 P(ai ) 0 时 f ( P i) （4）两个独立事件的联合信息量应等于它们分别的信息量 之和。
第二节 离散信源的信息熵
根据上述条件可以从数学上证明这种函数形式是 对数函数，即： 1 I (ai ) log P(ai )
I (ai ) 有两个含义：