北京邮电大学通信原理第七章信源与信源编码II
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
知道了消息xi的情况下，消息yi新带来的信息量：
I P yi | xi log P yi | xi
知道了消息yi的情况下，消息xi新带来的信息量：
I P xi | yi log P xi | yi
两个消息xi，yi一共带来的信息量：
I P xi , yi log P xi , yi
联合熵和条件熵的一些性质
1HX,YHXHY| XHYHX|Y
理解为两符号先后到达的过程：两个符号的总信息熵 ＝一个符号的信息熵＋知道这个符号的条件下另一个符号带来的信息熵
2Shannon不等式：HXHX|Y；HYHY| X
理解：一个消息没有任何前兆时带来的信息肯定大于等于有前兆带来的信息 当X,Y独立时，等号成立；否则都是大于号成立
连续/模拟信源 离散/数字信源
重点研究
P3
7.2 信源分类及其统计特性描 述
单消息（符号）离散信源
只输出一个离散符号
统计特性描述
用符号可能取值范围X和符号取值xi的概率Pxi 描述
PXxi Pxx1,1,
L, L,
xi,
Pxi ,
L, L,
xn
Pxn
n
其中，0Pxi 1，i 1,2,L ,n，且Pxi 1 i1
信息熵也可以理解为对信源的不确定性的平均度量 在各种可能性等概时，信源的信息熵最大（图7.3.1）
P 10
7.3 信息熵H(X)
信息量和信息熵的单位
对数以2为底时，单位为比特(bit) 对数以e为底时，单位为奈特(Nat) 对数以10为底时，单位为笛特(Det) 1bit=0.693Nat=0.301Det
P 11
7.3 信息熵H(X)
两个单消息离散信源的联合熵和条件熵
联合熵两个符号X,Y带来的总信息熵/平均信息量
nm
HX,YE I P xi,yj ElogP xi,yj
P xi, yj logP xi, yj
i1 j1
条件熵知道一个符号条件下，另一个符号带来的信息熵/平均信息量
离散有记忆序列信源：序列中前后符号不是 相互统计独立的
可用马尔可夫链表示
P6
7.3 信息熵H(X)
信息的基本特征：不确定性。因此信息应该是 概率P的函数
信息的两个特点
随概率P的递减性：概率越大，信息量越小
Px， IPx
可加性：两个独立消息的总信息量应是两个消息的 信息量的和
I P x P y I P x I P y
nm
HY| XE I P yj | xi ElogP yj | xi
P xi, yj logP yj | xi
i1 j1
nm
HX|YE I P xi | yj ElogP xi | yj
P xi, yj logP xi | yj
i1 j1
P 12
7.3 信息熵H(X)
P4
7.2 信源分类及其统计特性描 述
离散消息（符号）序列信源
输出一个离散消息（符号）序列 统计特性描述
离散消息序列由L个符号组成，则消息序列可表示成L维随机矢量
X X1,L ,Xi,L , XL， 其可能取值xx1,L ,xi,L ,xL有nL种可能性，构成取值集合XL PxPx1,L ,xi,L ,xLPx1Px2 | x1Px3 | x2,x1L PxL | xL1,L ,x1
P9
7.3 信息熵H(X)
单消息离散信源的信息熵
前面定义的是一个具体消息的信息量，因为信源输 出的消息有多种可能性，所以可以把信息熵理解为 这个输出消息（考虑多种可能性）的平均信息量
n
H X E I P x i E lo g P x i P x ilo g P x i i 1
其中：H0 X是具有N种取值可能的单消息信源的最大信息熵等概时 符号所含的信息熵依次递减，平均符号信息熵自然越来越小
4编码时如果有以下假设：消息序列的各符号统计独立；各取值等概出现
则实际是没有对信源进行仔细的研究，利用其统计特性，
认为其平均符号信息熵为H0 X。如实际中的文字编码
这必然会产生大量冗余，这正是进行压缩编码的前提
则离散消息序列的统计特性表示为取值集合及其取值概率
P 5
XL a1,
Px Pa1,
L, L,
ai,
Pai ,
L, L,
anL
P anL
7.2 信源分类及其统计特性描 述
离散消息（符号）序列信源
离散无记忆序列信源：序列中前后符号相互 统计独立
L
PxPx1,L,xl,L,xL Pwenku.baidu.coml l 1
满足这两个条件的表示信息量的函数只有一种 可能：对数函数
P7
7.3 信息熵H(X)
单消息离散信源的信息度量
自信息量：出现某个消息时的信息量
IPxilogP1xilogPxi
理解：消息出现概率越小，信息量越大
P8
7.3 信息熵H(X)
单消息离散信源的信息度量
两个单消息离散信源X,Y的联合信息量
其中，每发一个符号具有不同的信息熵依次递减：
0HXL | X1,L , XL1 L HX2 | X1 HX1 2定义平均符号信息熵为：总信息熵除以符号个数
HL
X
1 L
HX1,L
,
XL
，H
X
lLim L1 HX1,L
,
XL
P 14
7.3 信息熵H(X)
离散消息序列信源的信息熵、剩余度
3容易看出： 0 H X L H2 X H1X H0 X log2 N
信源效率： H X；信源剩余度：R 1 H0 X
P 15
7.4 互信息I(X;Y)
互信息的定义I(X;Y)及理解
3X,Y统计独立时，其联合熵取最大值两符号信息熵之和
HX,Y HXHY max
P 13
7.3 信息熵H(X)
离散消息序列信源的信息熵、剩余度
离散平稳有记忆信源输出的消息序列为X X1,L , Xi,L , XL 1其总信息熵为
HX HX1,L ,XL HX1HX2 | X1L HXL | X1,L ,XL1
第七章 信源与信源编码
7.1 引言
信源编码：去掉信源输出中的冗余信息，提高 有效性
内容
信源分类及其统计特性 信息熵，信源剩余度 互信息，各类熵与互信息的关系 Huffman编码 无失真/限失真信源编码定理 率失真函数 矢量量化、变换编码
P2
7.2 信源分类及其统计特性描 述
信源分类
I P yi | xi log P yi | xi
知道了消息yi的情况下，消息xi新带来的信息量：
I P xi | yi log P xi | yi
两个消息xi，yi一共带来的信息量：
I P xi , yi log P xi , yi
联合熵和条件熵的一些性质
1HX,YHXHY| XHYHX|Y
理解为两符号先后到达的过程：两个符号的总信息熵 ＝一个符号的信息熵＋知道这个符号的条件下另一个符号带来的信息熵
2Shannon不等式：HXHX|Y；HYHY| X
理解：一个消息没有任何前兆时带来的信息肯定大于等于有前兆带来的信息 当X,Y独立时，等号成立；否则都是大于号成立
连续/模拟信源 离散/数字信源
重点研究
P3
7.2 信源分类及其统计特性描 述
单消息（符号）离散信源
只输出一个离散符号
统计特性描述
用符号可能取值范围X和符号取值xi的概率Pxi 描述
PXxi Pxx1,1,
L, L,
xi,
Pxi ,
L, L,
xn
Pxn
n
其中，0Pxi 1，i 1,2,L ,n，且Pxi 1 i1
信息熵也可以理解为对信源的不确定性的平均度量 在各种可能性等概时，信源的信息熵最大（图7.3.1）
P 10
7.3 信息熵H(X)
信息量和信息熵的单位
对数以2为底时，单位为比特(bit) 对数以e为底时，单位为奈特(Nat) 对数以10为底时，单位为笛特(Det) 1bit=0.693Nat=0.301Det
P 11
7.3 信息熵H(X)
两个单消息离散信源的联合熵和条件熵
联合熵两个符号X,Y带来的总信息熵/平均信息量
nm
HX,YE I P xi,yj ElogP xi,yj
P xi, yj logP xi, yj
i1 j1
条件熵知道一个符号条件下，另一个符号带来的信息熵/平均信息量
离散有记忆序列信源：序列中前后符号不是 相互统计独立的
可用马尔可夫链表示
P6
7.3 信息熵H(X)
信息的基本特征：不确定性。因此信息应该是 概率P的函数
信息的两个特点
随概率P的递减性：概率越大，信息量越小
Px， IPx
可加性：两个独立消息的总信息量应是两个消息的 信息量的和
I P x P y I P x I P y
nm
HY| XE I P yj | xi ElogP yj | xi
P xi, yj logP yj | xi
i1 j1
nm
HX|YE I P xi | yj ElogP xi | yj
P xi, yj logP xi | yj
i1 j1
P 12
7.3 信息熵H(X)
P4
7.2 信源分类及其统计特性描 述
离散消息（符号）序列信源
输出一个离散消息（符号）序列 统计特性描述
离散消息序列由L个符号组成，则消息序列可表示成L维随机矢量
X X1,L ,Xi,L , XL， 其可能取值xx1,L ,xi,L ,xL有nL种可能性，构成取值集合XL PxPx1,L ,xi,L ,xLPx1Px2 | x1Px3 | x2,x1L PxL | xL1,L ,x1
P9
7.3 信息熵H(X)
单消息离散信源的信息熵
前面定义的是一个具体消息的信息量，因为信源输 出的消息有多种可能性，所以可以把信息熵理解为 这个输出消息（考虑多种可能性）的平均信息量
n
H X E I P x i E lo g P x i P x ilo g P x i i 1
其中：H0 X是具有N种取值可能的单消息信源的最大信息熵等概时 符号所含的信息熵依次递减，平均符号信息熵自然越来越小
4编码时如果有以下假设：消息序列的各符号统计独立；各取值等概出现
则实际是没有对信源进行仔细的研究，利用其统计特性，
认为其平均符号信息熵为H0 X。如实际中的文字编码
这必然会产生大量冗余，这正是进行压缩编码的前提
则离散消息序列的统计特性表示为取值集合及其取值概率
P 5
XL a1,
Px Pa1,
L, L,
ai,
Pai ,
L, L,
anL
P anL
7.2 信源分类及其统计特性描 述
离散消息（符号）序列信源
离散无记忆序列信源：序列中前后符号相互 统计独立
L
PxPx1,L,xl,L,xL Pwenku.baidu.coml l 1
满足这两个条件的表示信息量的函数只有一种 可能：对数函数
P7
7.3 信息熵H(X)
单消息离散信源的信息度量
自信息量：出现某个消息时的信息量
IPxilogP1xilogPxi
理解：消息出现概率越小，信息量越大
P8
7.3 信息熵H(X)
单消息离散信源的信息度量
两个单消息离散信源X,Y的联合信息量
其中，每发一个符号具有不同的信息熵依次递减：
0HXL | X1,L , XL1 L HX2 | X1 HX1 2定义平均符号信息熵为：总信息熵除以符号个数
HL
X
1 L
HX1,L
,
XL
，H
X
lLim L1 HX1,L
,
XL
P 14
7.3 信息熵H(X)
离散消息序列信源的信息熵、剩余度
3容易看出： 0 H X L H2 X H1X H0 X log2 N
信源效率： H X；信源剩余度：R 1 H0 X
P 15
7.4 互信息I(X;Y)
互信息的定义I(X;Y)及理解
3X,Y统计独立时，其联合熵取最大值两符号信息熵之和
HX,Y HXHY max
P 13
7.3 信息熵H(X)
离散消息序列信源的信息熵、剩余度
离散平稳有记忆信源输出的消息序列为X X1,L , Xi,L , XL 1其总信息熵为
HX HX1,L ,XL HX1HX2 | X1L HXL | X1,L ,XL1
第七章 信源与信源编码
7.1 引言
信源编码：去掉信源输出中的冗余信息，提高 有效性
内容
信源分类及其统计特性 信息熵，信源剩余度 互信息，各类熵与互信息的关系 Huffman编码 无失真/限失真信源编码定理 率失真函数 矢量量化、变换编码
P2
7.2 信源分类及其统计特性描 述
信源分类