信源及信源熵

• 符号 xi 的先验概率
一个离散信源发出的各个符号消息的集合为
X {x1, x2, , xn} ，它们的概率分别为
P {p(x1), p(x2 ), , p(xn )} ， p(xi ) 为符号 xi 的先验概率。通常把它们写
到一起，称为概率空间：
www.niuwk.com 牛牛文库文档分享
• 什么叫噪声熵（或散布度）？
• 数据处理定理是如何描述的？
• 熵的性质有哪些？
www.niuwk.com 牛牛文库文档分享
8
2.2.1 自信息量
1. 自信息量
定义：一个随机事件的自信息量定义为其出现概率对 数的负值。即:
I (xi ) log p(xi )
说明：
a. 因出为现概，率所获p(得xi )的越信小息，量x也i 的就出较现大就。越由稀于罕xi，是一随旦机
www.niuwk.com 牛牛文库文档分享
13
2.2.1 自信息量
两个消息xi，yj同时出现的联合自信息量
I (xi y j ) log p(xi y j )
• 注意:
a. 当xi,yj相互独立时，有P(xiyj)=P(xi)P(yj)，那么就 有 I(xiyj)=I(xi)+I(yj)。
• 发出符号序列的马尔可夫信源 发出符号序列的马尔可夫信源是指某一个符号出 现的概率只与前面一个或有限个符号有关，而不 依赖更前面的那些符号，这样的信源可以用信源 发出符号序列内各个符号之间的条件概率来反映 记忆特征。
www.niuwk.com 牛牛文库文档分享
4
第一节 信源的描述和分类
三、先验概率及概率空间的形式
• 发出单个符号的信源
发出单个符号的信源是指信源每次只发出一个符号
代表一个消息；
• 发出符号序列的信源
发出符号序列的信源是指信源每次发出一组含二个
以上符号的符号序w列ww.代niuw表k.co一m 牛个牛消文库息文档。分享
3
第一节 信源的描述和分类
• 发出符号序列的有记忆信源 发出符号序列的有记忆信源是指用信源发出的一个 符号序列的整体概率（即联合概率）反映有记忆信 源的特征。
第一节 信源的描述和分类
一、香农信息论的基本点
用随机变量或随机矢量来表示信源，运用概率论和 随机过程的理论来研究信息。
二、信源的分类
按照信源发出的消息在时间上和幅度上的分布情况 可将信源分成离散信源和连续信源两大类
{ 离散信源
信源 连续信源
www.niuwk.com 牛牛文库文档分享
1
第一节 信源的描述和分类
• 什么叫自信息量？
• 什么叫平均不确定度？
• 什么叫信源熵？
• 什么叫平均自信息量？
• 什么叫条件熵？
• 什么叫联合熵？
• 联合熵、条件熵和熵的关系是什么？
www.niuwk.com 牛牛文库文档分享
7
第二节 离散信源熵和互信息
• 什么叫后验概率？
• 什么叫互信息量？
• 什么叫平均互信息量？
• 什么叫疑义度？
5
第一节 信源的描述和分类
,

X P



x1 p( x1
)
x2 p( x2 )

xn p(xn )
n
显然有 p(xi ) 0, p(xi ) 1
i 1
www.niuwk.com 牛牛文库文档分享
6
第二节 离散信源熵和互信息
问题：
• 什么叫不确定度？
离散有记忆信源 www.niuwk.com 牛牛发文库出文档符分号享 序列的马尔可夫信2 源
第一节 信源的描述和分类
• 离散无记忆信源 离散无记忆信源所发出的各个符号是相互独立的， 发出的符号序列中的各个符号之间没有统计关联性 ，各个符号的出现概率是它自身的先验概率。
• 离散有记忆信源 离散有记忆信源所发出的各个符号的概率是有关联 的。
这三个信息量单位之间的转换关系如下：
1 nat＝log2e l.433 bit， l det＝log210 3.322 bit
www.niuwk.com 牛牛文库文档分享
10
2.2.1 自信息量
几个例子
i. 一个以等概率出现的二进制码元（0，1）所 包含的自信息量为： I（0）= I（1）= - log2 （1/2）=log22=1 bit
说明:
a. 两者的单位相同，但含义却不相同。 b. 具有某种概率分布的随机事件不管发生与
否，都存在不确定度，不确定度表征了该 事件的特性，而自信息量是在该事件发生 后给予观察者的信息量。
www.niuwk.com 牛牛文库文档分享
12
2.2.1 自信息量
c. 一个出现概率接近于1的随机事件，发生的可能性 很大，所以它包含的不确定度就很小； 反之，一个出现概率很小的随机事件，很难猜测 在某个时刻它能否发生，所以它包含的不确定度 就很大； 若是确定性事件，出现概率为1，则它包含的不确 定度为0。
1. 连续信源 连续信源是指发出在时间和幅度上都是连续分布的 连续消息（模拟消息）的信源，如语言、图像、图 形等都是连续消息。
2. 离散信源
离散信源是指发出在时间和幅度上都是离散分布的
离散消息的信源，如文字、数字、数据等符号都是
离散消息。
发出单个符号的无记忆信源
{ {{ 离散信源
离散无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源Байду номын сангаас
b. xiyj所包含的不确定度在数值上也等于它们的自信 息量。
www.niuwk.com 牛牛文库文档分享
14
2.2.1 自信息量
3. 条件自信息量
ii. 若是一个m位的二进制数，因为该数的每一 位可从0, 1两个数字中任取一个，因此有2m个 等概率的可能组合。所以I= -log2(1/2m)=m bit， 就是需要m比特的信息来指明这样的二进制 数。
www.niuwk.com 牛牛文库文档分享
11
2.2.1 自信息量
2. 不确定度
定义：随机事件的不确定度在数量上等于它的 自信息量．
出现的，它是X的一个样值，所以是一个随机量。
而 I (xi ) 是 xi 的函数，它必须也是一个随机量。
www.niuwk.com 牛牛文库文档分享
9
2.2.1 自信息量
b. 自信息量的单位的确定 • 在信息论中常用的对数底是2，信息量的单位为比特 （bit）； • 若取自然对数，则信息量的单位为奈特（nat）； • 若以10为对数底，则信息量的单位为笛特（det）。