信息论基础与应用-李梅-第五章 无失真信源编码解析
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
p(s2)=1/4 p(s3)=1/8 p(s4)=1/8
00
01 10 11
0
01 001 111
第五章：无失真信源编码
一、信源编码的相关概念
3. N次扩展码
S s1 , s2 ,, sq
si
C {w1 , w2 ,
, wq }
wi
S s1 , s2 ,
N
, sqN
s jN
6. 唯一可译性（续6）
5) 唯一可译码
s1 s2 s3 s4
计匹配编码，根据信源的不同概率分布而选用与之相 匹配的码。
第五章：无失真信源编码
一、信源编码的相关概念
1. 信源编码概述（续2）
信源的统计剩余度主要决定于以下两个因素 ： 1）无记忆信源中，符号概率分布的非均匀性； 2）有记忆信源中，符号间的相关性及符号概率分布 的非均匀性。
怎样压缩信源的冗余度？
s1 s1s1 s 2 s1s2 s3 s1s3 s16 s4 s4
二次扩展码码字 w j ( j 1, 2,...,16)
w1 w1w1 00 w 2 w1w2 001 w3 w1w3 0001 w16 w4 w4 111111
第五章：无失真信源编码
C N {w1 , w 2 ,, w q N }
w j w j1 w j2 w jN
s j s j1 s j2
j 1,2,, q N
j1 , j2 ,, jN 1,2,, q
第五章：无失真信源编码
一、信源编码的相关概念
3. N次扩展码（续1）
二次扩展信源符号 s j ( j 1, 2,...,16)
图1 信源编码器模型
第五章：无失真信源编码
一、信源编码的相关概念
2. 信源编码器模型（续1）
S s1 , s2 ,, sq
编码器
C {w1 , w2 ,
, wq }
X : {x1 , x2 ,..., xr }
码字
wi xi1 xi2
xil
i
将信源符号集中的符号 s（或者长为 N的信源符号序 i 列）映射成由码符号 xi 组成的长度为 li 的一一对应的码 符号序列 wi 。
第五章：无失真信源编码
一、信源编码的相关概念
2. 信源编码器模型（续2）
例: 5.1
S s1 P p( s ) 1
p(si)
s2 p( s2 )
码1
s3 p ( s3 )
s4 p ( s4 )
码2
信源符号si
s1
s2 s3 s4
p(s1)=1/2
2) 非奇异码
s1 0 s2 10 s3 s4 00 01
译码 0 10 00 01 0 译码
s1s2 s3 s4 s1
01 00
00 10
s4 s3 s3 s2
第五章：无失真信源编码
一、信源编码的相关概念
6. 唯一可译性（续4）
3)
等长码
非奇异码
唯一可译码
s1 s2
00 01
s3 10 s4 11
第五章：无失真信源编码
一、信源编码的相关概念 二、定长码及定长信源编码定理
三、变长码及变长信源编码定理 四、变长码的编码方法
五、实用的无失真信源编码方法
第五章：无失真信源编码
一、信源编码的相关概念
1. 信源编码概述
信源编码的作用：
使信源适合于信道的传输，用信道能传输的符号来代
表信源发出的消息； 在不失真或允许一定失真的条件下，用尽可能少的符 号来传递信源消息，提高信息传输率。
码字与信源符号一一对应
2) 不同的信源符号序列对应不同的码字序列
第五章：无失真信源编码
一、信源编码的相关概念
6. 唯一可译性（续2）
例1：
1) 奇异码
s1 s2 s3 s4
0 11 00 11
译码 11
s2 s4
奇异码一定不是唯一可译码
第五章：无失真信源编码
一、信源编码的相关概念
6. 唯一可译性（续3）
以提高通信有效性为目的。通常通过压缩信源的冗余 度来实现。采用的一般方法是压缩每个信源符号的平 均码长。
第五章：无失真信源编码
一、信源编码的相关概念
1. 信源编码概述（续1）
信源编码理论是信息论的一个重要分支，其理论基础 是信源编码的两个定理：
无失真信源编码定理 限失真信源编码定理
本章主要介绍无失真信源编码，它实质上是一种统
6. 唯一可译性
若任意一串有限长的码符号序列只能被唯一地译为 对应的信源符号序列，则称此码为唯一可译码。
信源符号si s1 s2 s3 s4
码1 0 11 00 11
码2 0 10 00 01
码3 0 10 110 111
第五章：无失真信源编码
一、信源编码的相关概念
6. 唯一可译性（续1）
唯一可译码应当满足的条件 1) wi (i 1, 2,..., q) si (i 1, 2,..., q)
1) 去除码符号间的相关性。
2) 使码符号等概分布。
第五章：无失真信源wenku.baidu.com码
一、信源编码的相关概念
2. 信源编码器模型
信源编码：将信源符号序列按一定的数学规律映射成 码符号序列的过程。
S
信源
X 编码器
信道
Y 译码器
S’
信宿
S s1 , s2 ,, sq
X {x1 , x2 , , xr }
译码 0 0 0 1 1 0 1 1
s1s2 s3 s4
第五章：无失真信源编码
一、信源编码的相关概念
6. 唯一可译性（续5）
4)
唯一可译码 1 1 0 1 0 0 1 0 0 0 0
s1 s2
1 10
1 0
1
s2 / s3 ?
s3 100 s4 1000
为非即时码
第五章：无失真信源编码
一、信源编码的相关概念
一、信源编码的相关概念
4. 关于编码的一些术语
编码器输出的码符号序列 wi称为码字；长度 li 称为码 字长度，简称码长；全体码字的集合C称为码。 若码符号集合为X={0,1}，则所得的码字都是二元序 列，称为二元码。
将信源符号集中的每个信源符号
si 固定的映射成某
一个码字 wi ，这样的码称为分组码。
若一个码中所有码字的码长都相等，则称为定长码；
否则为变长码。
第五章：无失真信源编码
一、信源编码的相关概念
5. 奇异性
若一个码中所有码字互不相同，则称为非奇异码； 否则为奇异码。
信源符号si 码1 码2
s1 s2 s3 s4
0 11 00 11
0 10 00 01
第五章：无失真信源编码
一、信源编码的相关概念
00
01 10 11
0
01 001 111
第五章：无失真信源编码
一、信源编码的相关概念
3. N次扩展码
S s1 , s2 ,, sq
si
C {w1 , w2 ,
, wq }
wi
S s1 , s2 ,
N
, sqN
s jN
6. 唯一可译性（续6）
5) 唯一可译码
s1 s2 s3 s4
计匹配编码，根据信源的不同概率分布而选用与之相 匹配的码。
第五章：无失真信源编码
一、信源编码的相关概念
1. 信源编码概述（续2）
信源的统计剩余度主要决定于以下两个因素 ： 1）无记忆信源中，符号概率分布的非均匀性； 2）有记忆信源中，符号间的相关性及符号概率分布 的非均匀性。
怎样压缩信源的冗余度？
s1 s1s1 s 2 s1s2 s3 s1s3 s16 s4 s4
二次扩展码码字 w j ( j 1, 2,...,16)
w1 w1w1 00 w 2 w1w2 001 w3 w1w3 0001 w16 w4 w4 111111
第五章：无失真信源编码
C N {w1 , w 2 ,, w q N }
w j w j1 w j2 w jN
s j s j1 s j2
j 1,2,, q N
j1 , j2 ,, jN 1,2,, q
第五章：无失真信源编码
一、信源编码的相关概念
3. N次扩展码（续1）
二次扩展信源符号 s j ( j 1, 2,...,16)
图1 信源编码器模型
第五章：无失真信源编码
一、信源编码的相关概念
2. 信源编码器模型（续1）
S s1 , s2 ,, sq
编码器
C {w1 , w2 ,
, wq }
X : {x1 , x2 ,..., xr }
码字
wi xi1 xi2
xil
i
将信源符号集中的符号 s（或者长为 N的信源符号序 i 列）映射成由码符号 xi 组成的长度为 li 的一一对应的码 符号序列 wi 。
第五章：无失真信源编码
一、信源编码的相关概念
2. 信源编码器模型（续2）
例: 5.1
S s1 P p( s ) 1
p(si)
s2 p( s2 )
码1
s3 p ( s3 )
s4 p ( s4 )
码2
信源符号si
s1
s2 s3 s4
p(s1)=1/2
2) 非奇异码
s1 0 s2 10 s3 s4 00 01
译码 0 10 00 01 0 译码
s1s2 s3 s4 s1
01 00
00 10
s4 s3 s3 s2
第五章：无失真信源编码
一、信源编码的相关概念
6. 唯一可译性（续4）
3)
等长码
非奇异码
唯一可译码
s1 s2
00 01
s3 10 s4 11
第五章：无失真信源编码
一、信源编码的相关概念 二、定长码及定长信源编码定理
三、变长码及变长信源编码定理 四、变长码的编码方法
五、实用的无失真信源编码方法
第五章：无失真信源编码
一、信源编码的相关概念
1. 信源编码概述
信源编码的作用：
使信源适合于信道的传输，用信道能传输的符号来代
表信源发出的消息； 在不失真或允许一定失真的条件下，用尽可能少的符 号来传递信源消息，提高信息传输率。
码字与信源符号一一对应
2) 不同的信源符号序列对应不同的码字序列
第五章：无失真信源编码
一、信源编码的相关概念
6. 唯一可译性（续2）
例1：
1) 奇异码
s1 s2 s3 s4
0 11 00 11
译码 11
s2 s4
奇异码一定不是唯一可译码
第五章：无失真信源编码
一、信源编码的相关概念
6. 唯一可译性（续3）
以提高通信有效性为目的。通常通过压缩信源的冗余 度来实现。采用的一般方法是压缩每个信源符号的平 均码长。
第五章：无失真信源编码
一、信源编码的相关概念
1. 信源编码概述（续1）
信源编码理论是信息论的一个重要分支，其理论基础 是信源编码的两个定理：
无失真信源编码定理 限失真信源编码定理
本章主要介绍无失真信源编码，它实质上是一种统
6. 唯一可译性
若任意一串有限长的码符号序列只能被唯一地译为 对应的信源符号序列，则称此码为唯一可译码。
信源符号si s1 s2 s3 s4
码1 0 11 00 11
码2 0 10 00 01
码3 0 10 110 111
第五章：无失真信源编码
一、信源编码的相关概念
6. 唯一可译性（续1）
唯一可译码应当满足的条件 1) wi (i 1, 2,..., q) si (i 1, 2,..., q)
1) 去除码符号间的相关性。
2) 使码符号等概分布。
第五章：无失真信源wenku.baidu.com码
一、信源编码的相关概念
2. 信源编码器模型
信源编码：将信源符号序列按一定的数学规律映射成 码符号序列的过程。
S
信源
X 编码器
信道
Y 译码器
S’
信宿
S s1 , s2 ,, sq
X {x1 , x2 , , xr }
译码 0 0 0 1 1 0 1 1
s1s2 s3 s4
第五章：无失真信源编码
一、信源编码的相关概念
6. 唯一可译性（续5）
4)
唯一可译码 1 1 0 1 0 0 1 0 0 0 0
s1 s2
1 10
1 0
1
s2 / s3 ?
s3 100 s4 1000
为非即时码
第五章：无失真信源编码
一、信源编码的相关概念
一、信源编码的相关概念
4. 关于编码的一些术语
编码器输出的码符号序列 wi称为码字；长度 li 称为码 字长度，简称码长；全体码字的集合C称为码。 若码符号集合为X={0,1}，则所得的码字都是二元序 列，称为二元码。
将信源符号集中的每个信源符号
si 固定的映射成某
一个码字 wi ，这样的码称为分组码。
若一个码中所有码字的码长都相等，则称为定长码；
否则为变长码。
第五章：无失真信源编码
一、信源编码的相关概念
5. 奇异性
若一个码中所有码字互不相同，则称为非奇异码； 否则为奇异码。
信源符号si 码1 码2
s1 s2 s3 s4
0 11 00 11
0 10 00 01
第五章：无失真信源编码
一、信源编码的相关概念