信源编码类型与基本要求

信源编码的类型和基本要求
1. 香农编码 2. 费诺编码 3. 哈夫曼编码
11/21/2020
1
本章节教学内容、基本要求、重点与难点
1. 教学内容： 信源编码的概念。
三种最佳的信源编码。
2. 教学基本要求： 掌握香农编码。
掌握费诺编码。 掌握哈夫曼编码。
3. 重点与难点： 信息率，平均码长和编码效率的计算。 多进制哈夫曼编码。
码字 00 01 100 101 1100 4 4 4
14
码树图如图
信源熵为 H(X)=2.75(比特/符号) 平均码长为 信息率
编码效率为η=100%。因为每次所分两组的概率恰好相等。
11/21/2020
15
哈夫曼编5.4码.1 编码步骤
– 信源编码：提高信息传输的有效性。通常通 过压缩信息的冗余度来实现。
– 信道编码：提高信息传输的可靠性。通常通 过增加信息的冗余度来实现。与信源编码正 好相反。
– 加密编码：提高通信系统的安全性。通常通
过加密和解密来实现。从信息论的观点出发，
“加密”可视为增熵的过程，“解密”可视为减熵
的过程。
11/21/2020
11/21/2020
13
[例] 有一单符号离散无记忆信源
对该信源编二进制费诺码，编码过程如表。
二进制费诺编码
信源符号 概率
编码
x1
0.25 0 0
x2
0.25
1
x3
0.125
x4
0.125
0
0
1
x5
0.0625 1
0
0
x6
0.0625
1
1
x7
0.0625
1
0
x8
0.0625
1
11/21/2020
– 变长编码定理：(K/L)log2m≥H(X)+ε，其中K为平均码长。 • 限失真信源编码定理：对于给定的失真D，总可以找到一种信源编码方
法，只要传输速率R大于R(D)，就可以在平均失真任意接近D的条件下 实现波形重建。
– 说明1：R(D)称为率失真函数，它是单调非增函数，速率越高，平 均失真越小。
xi p(xi) pa(xj) ki 码字
x1 0.25 0.000 2 00 0.000 =(0.000)2
x2 0.25 0.250 2 01 0.250 =(0.010)2
x3 0.20 0.500 3 100 0.500 =(0.100)2
x4 0.15 0.700 3 101 0.700 =(0.101)2
4
信源编码
• 信源编码理论是信息论的一个重要分支， 其理论基础是信源编码的两个定理。
– 香农第一定理（无失真信源编码定理）：是 离散信源/数字信号编码的基础；
– 香农第三定理（限失真信源编码定理）：是 连续信源/模拟信号编码的基础。
• 信源编码的分类：
– 离散信源编码：可做到无失真编码； – 连续信源编码：只能做到限失真信源编码；
由离散无记忆信源熵定义，可计算出：
对上述信源采用香农编码的信息率为
编码效率为信源熵和信息率之比。则
可以看出，编码效率并不是很高。
11/21/2020
9
费诺编码
费诺编码也是一种常见的信源编码方法。编码步骤如下：
• 将概率按从大到小的顺序排列，令 p(x1)≥ p(x2)≥…≥ p(xn)
• 按编码进制数将概率分组，使每组概率尽可能接近或相等。 如编二进制码就分成两组，编m进制码就分成m组。
0.10
1
0
1
x6
0.05
1
11/21/2020
码字 00 01 10 110 1110 1111
码长 2 2 2 3 4 4
11
• 上述码字还可用码树来表示，如图所示。
11/21/2020
12
该信源的熵为 平均码长为 编码效率为
费诺编码有较高的编码效率。费诺码比较适合于每次分组概率都很 接近的信源。特别是对每次分组概率都相等的信源进行编码时，可 达到理想的编码效率。
x5 0.10 0.85 4 1101 0.85 =(0.1101)2
x6 0.05 0.95 5 11110 0.95 =(0.11110)2
11/21/2020
8
• 香农码的平均码长
若对上述信源采用等长编码，要做到无失真译码，每个符号至少要用3 个比特表示。相比较，香农编码对信源的等长编码而言有0.3比特/符号 的压缩。
▪ 确定满足下列不等式的整数ki ，并令ki为第i个码字的长度
－log2 p(xn)≤ki<1－ log2 p(xn)
– 将pa(xj) 用二进制表示，并取小数点后ki 位作为符号xi的编 码。
11/21/2020
7
[例]有一单符号离散无记忆信源
对该信源编二进制香农码。其编码过程如表所示。
二进制香农编码
– 说明2：为了保证在一定速率下的失真，必需采用信源编码，因而 会引入编码延时。
11/21/2020
6
香农编码
• 设离散无记忆信源
• 二进制香农码的编码步骤如下(4步)： – 将信源符号按概率从大到小的顺序排列
p(x1)≥ p(x2)≥…≥ p(xn) – 令p(x0)=0，用pa(xj)，j=i+1表示第i个码字的累加概率
11/21/2020
5
编码理论
• 无失真信源编码定理：
– 定长编码定理：一个熵为H(X)的离散无记忆信源X1X2…Xl…XL，对信源 长为L的符号序列进行定长编码，设码字是从m个信源符号集内选取K 个码元组成Y1Y2…Yk…YK。对于任意ε>0，δ>0只要满足 (K/L)log2m≥H(X)+ε 则当L足够大时，必可使译码差错小于δ，即译码错误概率能为任意小。
• 给每一组分配一位码元。
• 将每一分组再按同样原则划分，重复步骤2和3，直至概率 不再可分为止。
11/21/2020
10
[例] 与香农编码一样的单符号离散信源
对该信源编二进制费诺码。编码过程如表。
信源符号 概率
二进制费诺编码 编码
x1
0.25
0
0
x2
0.25
1
x3
0.20
0
x4
0.15 1
0
x5
11/21/2020
2
引言
• 香农编码定理虽然指出了理想编码器的存在性,但是并 没有给出实用码的结构及构造方法；
• 编码理论正是为了解决这一问题而发展起来的科学理论； • 编码的目的是为了优化通信系统，使通信系统的性能指
标有效性、可靠性、安全性和经济性达到最佳；
11/21/2020
3
• 按不同的编码目的，编码分为三类：信源 编码、信道编码和安全编码（加密编码）。
哈夫曼(Huffman)编码是一种效率比较高的变长无失真信源编码方法。