信源及信源熵介绍
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 发出符号序列的马尔可夫信源 发出符号序列的马尔可夫信源是指某一个符号出 现的概率只与前面一个或有限个符号有关，而不 依赖更前面的那些符号，这样的信源可以用信源 发出符号序列内各个符号之间的条件概率来反映 记忆特征。
7
第一节 信源的描述和分类
三、先验概率及概率空间的形式
x • 符号 i 的先验概率
x1 p( x1
)
x2 p( x2 )
xn p(xn )
n
显然有 p(xi ) 0, p(xi ) 1
i 1
9
第二节 离散信源熵和互信息
问题：
什么叫不确定度？ 什么叫自信息量？ 什么叫平均不确定度？ 什么叫信源熵？ 什么叫平均自信息量？ 什么叫条件熵？ 什么叫联合熵？ 联合熵、条件熵和熵的关系是什么？
2
p(xi ) log 2 p(xi ) i 1
= 0.72比特/次 说明：
1) 自信息量I（x1）和I（x2）只是表征信源中各个 符号的不确定度，一个信源总是包含着多个符 号消息，各个符号消息又按概率空间的先验概 率分布，因而各个符号的自信息量就不同。所 以自信息量不能作为信源总体的信息量。
j
i, j
p(xi y j )I31 (xi / y j )
i, j
相应地，在给定X（即各个xi）的条件下，Y集合的条件
熵H(Y/X)定义为
H(Y/X)= p(xi yj )I(yj / xi ) p(xi yj )log p(yj / xi )
为零。
24
例 2－2－3
电视屏上约有 500 × 600= 3 × 105个格点，按每 点有 10个不同的灰度等级考虑，则共能组成 n=103x10个不同的画面。按等概率1/103x10计算，平 均每个画面可提供的信息量为
n
H ( X ) p(xi ) log2 p(xi ) log2 103105 i 1
一个离散信源发出的各个符号消息的集合为
X {x1, x2,, xn} ，它们的概率分别为
P {p(x1), p(x2 ),, p(xn )} ， p(xi ) 为符号 xi 的先验概率。通常把它们写
到一起，称为概率空间：
8
第一节 信源的描述和分类
,
X P
解：“e”的自信息量 I（e）= - log2 0.105=3.25 bit “c”的自信息量 I（c）= -log2 0.023=5.44 bit “o”的自信息量 I（o）= -log2 0.001＝9.97 bit
19
2.2.2 离散信源熵
例2-2-2
一个布袋内放100个球，其中80个球是红色的， 20个球是白色的，若随机摸取一个球，猜测其 颜色，求平均摸取一次所能获得的自信息量。
0 0.2 0.4 0.6 0.8 1
p
29
说明：
信源信息熵H（X）是概率p的函数，通常用H（p）表 示。p取值于[0，1]区间。H（p）函数曲线如图所示。 从图中看出，如果二元信源的输出符号是确定的，即 p=1或q=1，则该信源不提供任何信息。反之，当二元信 源符号0和1以等概率发生时，信源熵达到极大值，等 于1比特信息量。
10
第二节 离散信源熵和互信息
什么叫后验概率？ 什么叫互信息量？ 什么叫平均互信息量？ 什么叫疑义度？ 什么叫噪声熵（或散布度）？ 数据处理定理是如何描述的？ 熵的性质有哪些？
11
2.2.1 自信息量
1. 自信息量
定义：一个随机事件的自信息量定义为其出现概率对 数的负值。即:
5) 信息量则只有当信源输出符号而被接收者收到后，才有 意义，这就是给予接收者的信息度量，这值本身也可以 是随机量，也可以与接收者的情况有关。
6) 当无只含某意一一义个符，符号为号此xi规的定x时概这，率时必p的定i 为有零pi 时log，pp(pix也i)，lo为此g1零p时在i。信熵当源公信熵式源H中（X中X）
I (xi y j ) log p(xi y j )
注意:
a. 当xi,yj相互独立时，有P(xiyj)=P(xi)P(yj)，那么就有 I(xiyj)=I(xi)+I(yj)。
b. xiyj所包含的不确定度在数值上也等于它们的自信 息量。
17
2.2.1 自信息量
3. 条件自信息量
定义：在事件yj出现的条件下，随机事件xi发生的
22
2) 因为X中各符号xi的不确定度I（xi）为非负值，p（xi）也 是非负值，且0 p（xi）1，故信源的平均不确定度H（X） 也是非负量。
3) 平均不确定度H（X）的定义公式与热力学中熵的表示形 式相同，所以又把H（X）称为信源X的熵。熵是在平均意 义上来表征信源的总体特性的，可以表征信源的平均不确 定度。
离散消息的信源，如文字、数字、数据等符号都是
离散消息。
{ 离散信源
离散无记忆信源 离散有记忆信源
{ {
5
发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源
第一节 信源的描述和分类
• 离散无记忆信源 离散无记忆信源所发出的各个符号是相互独立的， 发出的符号序列中的各个符号之间没有统计关联性， 各个符号的出现概率是它自身的先验概率。
解: 依据题意 这一随机事件的概率空间为
X P
x1 0.8
x2 0.2
20
其中：x1表示摸出的球为红球事件，x2表示摸出的 球是白球事件 .
1) 如果摸出的是红球，则获得的信息量是 I（x1）= -log2p（x1）= - log20.8 bit
2) 如果摸出的是白球，则获得的信息量是 I（x2）= -log2p（x2）= -log20.2 bit
14
2.2.1 自信息量
2. 不确定度 定义：随机事件的不确定度在数量上等于它的 自信息量．
说明:
a. 两者的单位相同，但含义却不相同。 b. 具有某种概率分布的随机事件不管发生与否，都存在
不确定度，不确定度表征了该事件的特性，而自信息 量是在该事件发生后给予观察者的信息量。
15
2.2.1 自信息量
信源及信源熵介绍
内容
第一节 信源的描述和分类
第二节 离散信源熵和互信息 第三节 连续信源的熵和互信息 第四节 离散序列信源的熵 第五节 冗余度
2
第二章 信源及信源熵
本章重点
离散/连续信源熵和互信息
本章难点
• 离散序列有记忆信源的熵
3
第一节 信源的描述和分类
一、香农信息论的基本点
用随机变量或随机矢量来表示信源，运用概率论和 随机过程的理论来研究信息。
c. 一个出现概率接近于1的随机事件，发生的可能性很大，所以它包 含的不确定度就很小；
反之，一个出现概率很小的随机事件，很难猜测在某个时刻它能否 发生，所以它包含的不确定度就很大；
若是确定性事件，出现概率为1，则它包含的不确定度为0。
16
2.2.1 自信息量
两个消息xi，yj同时出现的联合自信息量
13
2.2.1 自信息量
几个例子 i. 一个以等概率出现的二进制码元（0，1）所
包含的自信息量为： I（0）= I（1）= - log2 （1/2）=log22=1 bit
ii. 若是一个m位的二进制数，因为该数的每一位 可从0, 1两个数字中任取一个，因此有2m个等 概率的可能组合。所以I= -log2(1/2m)=m bit， 就是需要m比特的信息来指明这样的二进制数。
比较：
• “一个电视画面”平均提供的信息量远远超过 “一篇千字文”提供的信息量。
26
例2－2－4
设信源符号集X={x1,x2,x3}，每个符号发生的概率分别为p （x1）=1/2，p（x2）＝l／4，p（x3）＝1／4。 则信源熵为 H（X）=1/2log22+1/4log24+1/4log24 =1.5 比特/符号
• 离散有记忆信源 离散有记忆信源所发出的各个符号的概率是有关联 的。
• 发出单个符号的信源 发出单个符号的信源是指信源每次只发出一个符号 代表一个消息；
• 发出符号序列的信源 发出符号序列的信源是指信源每次发出一组含二个 以上符号的符号序列代表一个6 消息。
第一节 信源的描述和分类
• 发出符号序列的有记忆信源 发出符号序列的有记忆信源是指用信源发出的一个 符号序列的整体概率（即联合概率）反映有记忆信 源的特征。
二、信源的分类
按照信源发出的消息在时间上和幅度上的分布情况 可将信源分成离散信源和连续信源两大类
{ 信源
离散信源 连续信源
4
第一节 信源的描述和分类
1. 连续信源 连续信源是指发出在时间和幅度上都是连续分布的 连续消息（模拟消息）的信源，如语言、图像、图 形等都是连续消息。
2. 离散信源
离散信源是指发出在时间和幅度上都是离散分布的
3) 如果每次摸出一个球后又放回袋中，再进行 下一次摸取。则如此摸取n次，红球出现的 次数为np（x1）次，白球出现的次数为 np（x2）次。随机摸取n次后总共所获得的 信息量为
np（x1）I（x1）+np（2x1 2）I（x2）
4) 则平均随机摸取一次所获得的信息量为
H（X）= 1/n[np（x1）I（x1）+np（x2）I（x2）] = -[p（x1）log2p（x1）+p（x2）log2p（x2）]
在信息论中常用的对数底是2，信息量的单位为比特（bit）； 若取自然对数，则信息量的单位为奈特（nat）； 若以10为对数底，则信息量的单位为笛特（det）。
这三个信息量单位之间的转换关系如下： 1 nat＝log2e l.433 bit，
l det＝log210 3.322 bit
=3 × 105 × 3.32 比特/画面
25
有一篇千字文章，假定每字可从万字表中任选， 则共有不同的千字文 N=100001000=104000 篇 仍按等概率1/100001000计算，平均每篇千字文 可提供的信息量为 H（X）＝log2N ＝4 × 103 × 3．32
1．3 × 104 比特／千字文
I (xi ) log p(xi )
说明：
x a.
因息量为也概就率较大p。越(由x小i 于)，
的出现就越稀罕，一旦出现，所获得的信 是随机出i现的，它是X的一个样值，所以是
xi
一个随机量。而 是 的函数，它必须也是一个随机量。
I (xi ) xi
12
2.2.1 自信息量
b. 自信息量的单位的确定
条件概率为 p(xi / y，j )则它的条件自信息量
定义为条件概率对数的负值：
I (xi / y j ) log p(xi / y j )
注意:
在给定yj条件下，随机事件xi所包含的不确定度在数值上与条件自信息量 相同，但两者含义不同。
18
2.2.1 自信息量
例2－2－1 英文字母中“e” 出现的概率为0.105，“c”出现的 概率为0.023，“o”出现的概率为0.001。分别计算 它们的自信息量。
27
例2－2－5
该信源X输出符号只有两个，设为0和1。输出符号发 生的概率分别为p和q，p＋q=l。即信源的概率空间 为
X P
0 p
1 q
则二元信源熵为பைடு நூலகம்
H（X）= -plogp-qlogq
= -plogp-(1-p)log(1-p)
=H(p)
28
H(p)
1 0.8 0.6 0.4 0.2
定义：离散信源熵H(X)(平均不确定度/平均信 息量/平均自信息量)
定义信源的平均不确定度H(X)为信源中各个符号不 确定度的数学期望，即：
H (X ) p(xi )I (xi ) p(xi ) log p(xi )
i
i
• 单位为比特/符号或比特/符号序2列3
4) 某一信源，不管它是否输出符号，只要这些符号具有某 些概率特性，必有信源的熵值；这熵值是在总体平均上 才有意义，因而是一个确定值，一般写成H（X），X是 指随机变量的整体（包括概率分布）。
30
几个概念
1. 条件熵
定义：在给定yj条件下，xi的条件自信息量为I(xi/yj)，X 集 合的条件熵H（X/yj）为
H（X/yj）=
p(xi / y j )I (xi / y j )
i
在给定Y（即各个yj）条件下，X集合的条件熵 H(X/Y)定义为
H（X/Y）= =
p(yj )H(X / yj ) p(yj ) p(xi / yj )I(xi / yj )
7
第一节 信源的描述和分类
三、先验概率及概率空间的形式
x • 符号 i 的先验概率
x1 p( x1
)
x2 p( x2 )
xn p(xn )
n
显然有 p(xi ) 0, p(xi ) 1
i 1
9
第二节 离散信源熵和互信息
问题：
什么叫不确定度？ 什么叫自信息量？ 什么叫平均不确定度？ 什么叫信源熵？ 什么叫平均自信息量？ 什么叫条件熵？ 什么叫联合熵？ 联合熵、条件熵和熵的关系是什么？
2
p(xi ) log 2 p(xi ) i 1
= 0.72比特/次 说明：
1) 自信息量I（x1）和I（x2）只是表征信源中各个 符号的不确定度，一个信源总是包含着多个符 号消息，各个符号消息又按概率空间的先验概 率分布，因而各个符号的自信息量就不同。所 以自信息量不能作为信源总体的信息量。
j
i, j
p(xi y j )I31 (xi / y j )
i, j
相应地，在给定X（即各个xi）的条件下，Y集合的条件
熵H(Y/X)定义为
H(Y/X)= p(xi yj )I(yj / xi ) p(xi yj )log p(yj / xi )
为零。
24
例 2－2－3
电视屏上约有 500 × 600= 3 × 105个格点，按每 点有 10个不同的灰度等级考虑，则共能组成 n=103x10个不同的画面。按等概率1/103x10计算，平 均每个画面可提供的信息量为
n
H ( X ) p(xi ) log2 p(xi ) log2 103105 i 1
一个离散信源发出的各个符号消息的集合为
X {x1, x2,, xn} ，它们的概率分别为
P {p(x1), p(x2 ),, p(xn )} ， p(xi ) 为符号 xi 的先验概率。通常把它们写
到一起，称为概率空间：
8
第一节 信源的描述和分类
,
X P
解：“e”的自信息量 I（e）= - log2 0.105=3.25 bit “c”的自信息量 I（c）= -log2 0.023=5.44 bit “o”的自信息量 I（o）= -log2 0.001＝9.97 bit
19
2.2.2 离散信源熵
例2-2-2
一个布袋内放100个球，其中80个球是红色的， 20个球是白色的，若随机摸取一个球，猜测其 颜色，求平均摸取一次所能获得的自信息量。
0 0.2 0.4 0.6 0.8 1
p
29
说明：
信源信息熵H（X）是概率p的函数，通常用H（p）表 示。p取值于[0，1]区间。H（p）函数曲线如图所示。 从图中看出，如果二元信源的输出符号是确定的，即 p=1或q=1，则该信源不提供任何信息。反之，当二元信 源符号0和1以等概率发生时，信源熵达到极大值，等 于1比特信息量。
10
第二节 离散信源熵和互信息
什么叫后验概率？ 什么叫互信息量？ 什么叫平均互信息量？ 什么叫疑义度？ 什么叫噪声熵（或散布度）？ 数据处理定理是如何描述的？ 熵的性质有哪些？
11
2.2.1 自信息量
1. 自信息量
定义：一个随机事件的自信息量定义为其出现概率对 数的负值。即:
5) 信息量则只有当信源输出符号而被接收者收到后，才有 意义，这就是给予接收者的信息度量，这值本身也可以 是随机量，也可以与接收者的情况有关。
6) 当无只含某意一一义个符，符号为号此xi规的定x时概这，率时必p的定i 为有零pi 时log，pp(pix也i)，lo为此g1零p时在i。信熵当源公信熵式源H中（X中X）
I (xi y j ) log p(xi y j )
注意:
a. 当xi,yj相互独立时，有P(xiyj)=P(xi)P(yj)，那么就有 I(xiyj)=I(xi)+I(yj)。
b. xiyj所包含的不确定度在数值上也等于它们的自信 息量。
17
2.2.1 自信息量
3. 条件自信息量
定义：在事件yj出现的条件下，随机事件xi发生的
22
2) 因为X中各符号xi的不确定度I（xi）为非负值，p（xi）也 是非负值，且0 p（xi）1，故信源的平均不确定度H（X） 也是非负量。
3) 平均不确定度H（X）的定义公式与热力学中熵的表示形 式相同，所以又把H（X）称为信源X的熵。熵是在平均意 义上来表征信源的总体特性的，可以表征信源的平均不确 定度。
离散消息的信源，如文字、数字、数据等符号都是
离散消息。
{ 离散信源
离散无记忆信源 离散有记忆信源
{ {
5
发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源
第一节 信源的描述和分类
• 离散无记忆信源 离散无记忆信源所发出的各个符号是相互独立的， 发出的符号序列中的各个符号之间没有统计关联性， 各个符号的出现概率是它自身的先验概率。
解: 依据题意 这一随机事件的概率空间为
X P
x1 0.8
x2 0.2
20
其中：x1表示摸出的球为红球事件，x2表示摸出的 球是白球事件 .
1) 如果摸出的是红球，则获得的信息量是 I（x1）= -log2p（x1）= - log20.8 bit
2) 如果摸出的是白球，则获得的信息量是 I（x2）= -log2p（x2）= -log20.2 bit
14
2.2.1 自信息量
2. 不确定度 定义：随机事件的不确定度在数量上等于它的 自信息量．
说明:
a. 两者的单位相同，但含义却不相同。 b. 具有某种概率分布的随机事件不管发生与否，都存在
不确定度，不确定度表征了该事件的特性，而自信息 量是在该事件发生后给予观察者的信息量。
15
2.2.1 自信息量
信源及信源熵介绍
内容
第一节 信源的描述和分类
第二节 离散信源熵和互信息 第三节 连续信源的熵和互信息 第四节 离散序列信源的熵 第五节 冗余度
2
第二章 信源及信源熵
本章重点
离散/连续信源熵和互信息
本章难点
• 离散序列有记忆信源的熵
3
第一节 信源的描述和分类
一、香农信息论的基本点
用随机变量或随机矢量来表示信源，运用概率论和 随机过程的理论来研究信息。
c. 一个出现概率接近于1的随机事件，发生的可能性很大，所以它包 含的不确定度就很小；
反之，一个出现概率很小的随机事件，很难猜测在某个时刻它能否 发生，所以它包含的不确定度就很大；
若是确定性事件，出现概率为1，则它包含的不确定度为0。
16
2.2.1 自信息量
两个消息xi，yj同时出现的联合自信息量
13
2.2.1 自信息量
几个例子 i. 一个以等概率出现的二进制码元（0，1）所
包含的自信息量为： I（0）= I（1）= - log2 （1/2）=log22=1 bit
ii. 若是一个m位的二进制数，因为该数的每一位 可从0, 1两个数字中任取一个，因此有2m个等 概率的可能组合。所以I= -log2(1/2m)=m bit， 就是需要m比特的信息来指明这样的二进制数。
比较：
• “一个电视画面”平均提供的信息量远远超过 “一篇千字文”提供的信息量。
26
例2－2－4
设信源符号集X={x1,x2,x3}，每个符号发生的概率分别为p （x1）=1/2，p（x2）＝l／4，p（x3）＝1／4。 则信源熵为 H（X）=1/2log22+1/4log24+1/4log24 =1.5 比特/符号
• 离散有记忆信源 离散有记忆信源所发出的各个符号的概率是有关联 的。
• 发出单个符号的信源 发出单个符号的信源是指信源每次只发出一个符号 代表一个消息；
• 发出符号序列的信源 发出符号序列的信源是指信源每次发出一组含二个 以上符号的符号序列代表一个6 消息。
第一节 信源的描述和分类
• 发出符号序列的有记忆信源 发出符号序列的有记忆信源是指用信源发出的一个 符号序列的整体概率（即联合概率）反映有记忆信 源的特征。
二、信源的分类
按照信源发出的消息在时间上和幅度上的分布情况 可将信源分成离散信源和连续信源两大类
{ 信源
离散信源 连续信源
4
第一节 信源的描述和分类
1. 连续信源 连续信源是指发出在时间和幅度上都是连续分布的 连续消息（模拟消息）的信源，如语言、图像、图 形等都是连续消息。
2. 离散信源
离散信源是指发出在时间和幅度上都是离散分布的
3) 如果每次摸出一个球后又放回袋中，再进行 下一次摸取。则如此摸取n次，红球出现的 次数为np（x1）次，白球出现的次数为 np（x2）次。随机摸取n次后总共所获得的 信息量为
np（x1）I（x1）+np（2x1 2）I（x2）
4) 则平均随机摸取一次所获得的信息量为
H（X）= 1/n[np（x1）I（x1）+np（x2）I（x2）] = -[p（x1）log2p（x1）+p（x2）log2p（x2）]
在信息论中常用的对数底是2，信息量的单位为比特（bit）； 若取自然对数，则信息量的单位为奈特（nat）； 若以10为对数底，则信息量的单位为笛特（det）。
这三个信息量单位之间的转换关系如下： 1 nat＝log2e l.433 bit，
l det＝log210 3.322 bit
=3 × 105 × 3.32 比特/画面
25
有一篇千字文章，假定每字可从万字表中任选， 则共有不同的千字文 N=100001000=104000 篇 仍按等概率1/100001000计算，平均每篇千字文 可提供的信息量为 H（X）＝log2N ＝4 × 103 × 3．32
1．3 × 104 比特／千字文
I (xi ) log p(xi )
说明：
x a.
因息量为也概就率较大p。越(由x小i 于)，
的出现就越稀罕，一旦出现，所获得的信 是随机出i现的，它是X的一个样值，所以是
xi
一个随机量。而 是 的函数，它必须也是一个随机量。
I (xi ) xi
12
2.2.1 自信息量
b. 自信息量的单位的确定
条件概率为 p(xi / y，j )则它的条件自信息量
定义为条件概率对数的负值：
I (xi / y j ) log p(xi / y j )
注意:
在给定yj条件下，随机事件xi所包含的不确定度在数值上与条件自信息量 相同，但两者含义不同。
18
2.2.1 自信息量
例2－2－1 英文字母中“e” 出现的概率为0.105，“c”出现的 概率为0.023，“o”出现的概率为0.001。分别计算 它们的自信息量。
27
例2－2－5
该信源X输出符号只有两个，设为0和1。输出符号发 生的概率分别为p和q，p＋q=l。即信源的概率空间 为
X P
0 p
1 q
则二元信源熵为பைடு நூலகம்
H（X）= -plogp-qlogq
= -plogp-(1-p)log(1-p)
=H(p)
28
H(p)
1 0.8 0.6 0.4 0.2
定义：离散信源熵H(X)(平均不确定度/平均信 息量/平均自信息量)
定义信源的平均不确定度H(X)为信源中各个符号不 确定度的数学期望，即：
H (X ) p(xi )I (xi ) p(xi ) log p(xi )
i
i
• 单位为比特/符号或比特/符号序2列3
4) 某一信源，不管它是否输出符号，只要这些符号具有某 些概率特性，必有信源的熵值；这熵值是在总体平均上 才有意义，因而是一个确定值，一般写成H（X），X是 指随机变量的整体（包括概率分布）。
30
几个概念
1. 条件熵
定义：在给定yj条件下，xi的条件自信息量为I(xi/yj)，X 集 合的条件熵H（X/yj）为
H（X/yj）=
p(xi / y j )I (xi / y j )
i
在给定Y（即各个yj）条件下，X集合的条件熵 H(X/Y)定义为
H（X/Y）= =
p(yj )H(X / yj ) p(yj ) p(xi / yj )I(xi / yj )