信息论与编码Chapter 5
合集下载
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
15
5.2 无失真信源编码
更一般的弱大数定理
C SWUST 2011 - All rights reserved
16
5.2 无失真信源编码
AEP( Asymptotic Equipartition Property) 渐进等同分割原理
n→∞
等同分割-> 等概率-> 最大熵定理-> 定长编码定理
C SWUST 2011 - All rights reserved
信源编码
source coding
C SWUST 2011 - All rights reserved
西南科大信息工程学院—马强
引子
信源熵:H∞ (X)是理论上传输信源所需的最少比 特数;实际中存在信息冗余,如何减少或消除这 些冗余? 信息率失真函数:在一定失真允许下,所需要的 传输信源的最小比特数;如何来实现这一过程? 信源编码:无失真信源编码(第一极限定理)、限 失真信源编码(第三极限定理)、信道编码定理(第 二极限定理)
C SWUST 2011 - All rights reserved
27
5.2 无失真信源编码
香农编码方法 Fano编码方法 Huffman编码方法
Huffman编码注意: Huffman编码注意:
1. 如何使得码方差变得很小? 1. 如何使得码方差变得很小? 2. 初始编码时,符号数目的个数应该满足什么条件? 2. 初始编码时,符号数目的个数应该满足什么条件? 28 3. 长序列编码,可以使平均码长降低 SWUST 2011 - All rights reserved 3. 长序列编码,可以使平均码长降低
17
5.2 无失真信源编码
AEP的另外一种描述
C SWUST 2011 - All rights reserved
18
5.2 无失真信源编码
典型序列
C SWUST 2011 - All rights reserved
19
5.2 无失真信源编码
典型序列
P(x)一般不是均匀分布,AEP可以分组得到均匀分布
思考 1、怎样从单个符号定长编码到序列定长编码? 2、变长编码的编码效率如何? 通过一个例子来说明变长编码和定长编码的特点? 通过一个例子来说明变长编码和定长编码的特点?
C SWUST 2011 - All rights reserved
26
5.2 无失真信源编码
最佳变长编码 码字的平均长度最短,可分离的变长码字 集合成为最佳变长码。
3
5.1 编码定义
信源编码:信源符号进行分组xi,按照固定 的码表映射成yi。 这种编码也叫分组码,或块码
信道信源码表C SWUST 2011 - All rights reserved
4
5.1 编码定义
固定长度编码VS可变长度编码
固定长度编码:码字(codeword)中所有码长的长度都 相同; 可变长编码:码字中码长长短不一; 如P86页 表5-1所示。
C SWUST 2011 - All rights reserved
11
5.1 编码定义
思考: 4、如果有q个信源符号,在码树上需要选择 多少个终端节点?q个。 5、对信源构造即时码,怎样通过构造码树实 现?示例
C SWUST 2011 - All rights reserved
12
5.1 编码定义
6
5.1 编码定义
唯一可译码(uniquely decodable code) VS 非唯一可译码
唯一可译码:任何有限长的码元序列,只能够被唯一 唯一可译码:任何有限长的码元序列,只能够被唯一 的分割成一个个的码字; 的分割成一个个的码字; 即:没有码字是码字的组合! 即:没有码字是码字的组合! {0,10,11}是唯一可译码,如对于序列100111000; {0,10,11}是唯一可译码,如对于序列100111000; 非奇异码不一定是唯一可译码:如表5-2中码2; SWUST 2011 - All rights reserved 非奇异码不一定是唯一可译码:如表5-2中码2;
C SWUST 2011 - All rights reserved
14
5.2 无失真信源编码
古典概率论中大数定理
博雷尔(Borel)强大数定律 (Strong Law of Large Number)
依概率收敛到X ☺ 几乎处处收敛到X
C SWUST 2011 - All rights reserved
10
5.1 编码定义
思考: 1、将根节点视为0级,根节点分成的m个分 支,得到的m个节点视为1级,以此定义2 级,3级,则r级可能构成多少个节点? mr个 2、码树的分支都延伸到最后一级,该树称为 满树;满树构成的码字是不是定长码? 3、按照码树的构成方法,得到的码字是不是 即时码?没有码字是其它码字的前缀
8
5.1 编码定义
⎧非 分 组 码 ⎪ ⎧奇 异 码 ⎪ ⎪ ⎪ 码 ⎨ ⎧非 唯 一 可 译 码 ⎪ ⎪分 组 码 ⎨非 奇 异 码 ⎪ ⎧非 即 时 码 ⎨ ⎪ ⎪ ⎪ 唯 一 可 译 码 ⎨即 时 码 ⎪ ⎪ ⎩ ⎩ ⎩ ⎩
C SWUST 2011 - All rights reserved
9
5.1 编码定义
通常采用码树来表示各码字的构成。 所谓码树:对于m进制的码字,从根节点出发, 分为m个分支,各个分支上标以0,1,…,m-1;而 各个分支节点继续分为m个分支,并在分支上加 上标号,以此类推。终端节点表示信源符号,从 根节点到该终端节点所走的分支上的标号构成了 该码字
C SWUST 2011 - All rights reserved
定长编码
C SWUST 2011 - All rights reserved
23
5.2 无失真信源编码
思考: KL 1、在该定理中, log m 与 H L ( X )分别是什么? L 2、该定理中说的定长编码怎么实现? 3、定理中说到了译码差错是指什么? 4、无失真,与译码差错? 5、为什么要L趋近于无穷? 6、该定理所说的定长编码编码效率怎么样?η = 7、分组长度L,出错概率 Pe ,ε 之间的关系? 8、定长编码定理在实际中很少使用!
为什么叫做极限定理?
C SWUST 2011 - All rights reserved
2
本章目的
掌握编码的定义,以及常见码的定义; 掌握Kraft不等式 无失真信源编码:定长编码定理+变长编码 定理 掌握最佳变长编码:香农编码、Huffman
编码
限失真编码定理
C SWUST 2011 - All rights reserved
C
5.3 限失真信源编码定理
C SWUST 2011 - All rights reserved
29
5.4 常用信源编码方法
游程编码 Run-length coding 算术编码 Arithmetic coding 矢量量化 Vector quantization 预测编码 Predictive coding 变化编码 Transform coding
C SWUST 2011 - All rights reserved
H
L
(X )
_
K
24
5.2 无失真信源编码
变长编码 出现概率大的符号采用较短的码进行编码
两者之间的联系是什么? 两者之间的联系是什么?
C SWUST 2011 - All rights reserved
25
5.2 无失真信源编码
C SWUST 2011 - All rights reserved
5
5.1 编码定义
奇异码(singular code )VS非奇异码(nonsingular code)
非奇异码:信源符号与码字存在一一对应的关系; 反之,则成为非奇异码。 如P86页表5-2中所示!
C SWUST 2011 - All rights reserved
C SWUST 2011 - All rights reserved
21
5.2 无失真信源编码
KL 1 KL K log m = log m 信源编码的目的: = L L 最小
_
传输一个信源符号所需 信息率的平均
C SWUST 2011 - All rights reserved
22
5.2 无失真信源编码
Kraft 不等式
证明的过程就是构造码树的过程
C SWUST 2011 - All rights reserved
13
5.2 无失真信源编码
古典概率论中大数定理
伯努利在1713年首先给出了频率稳定性的一种数学表述方法, 并证明了结论。 该结论是一系列大数定理 (Law of Large Number) 的第一个 伯努利大数定律说的是
可以根据典型序列和非典型序列进行定长编码
C SWUST 2011 - All rights reserved
20
5.2 无失真信源编码
信源输出符号序列 X 1 X 编码输出的码序列
2
Xl
,Yk,
XL
,YKL
Y 1, Y 2 ,
每个xi有n种取值,每个 yk有m种取值
无失真信源编码:能够从Y中正确的进行反 变换,得到X
C
7
5.1 编码定义
即时码(又叫前缀码,prefix code/ instantaneous code )VS非即时码
唯一可译码按照译码时是否需要回溯,分为即时码和 非即时码; 即时码:没有码字是其它码字的前缀 如表5-2中码4是即时码;码3是非即时码;
C SWUST 2011 - All rights reserved
C SWUST 2011 - All rights reserved
30
小结
掌握编码的定义,以及常见码的定义; 掌握Kraft不等式 着重掌握Huffman编码、平均码长、编码效 率
C SWUST 2011 - All rights reserved
31