信源编码

8 01110，9 10011 中（0022） 01101 01101 1101 1101 国（0948） 01101 10011 11010 01110
2 信源编码：又称数据（语音、图象、文本）压缩，目的在于 减少数字信息中的冗余度，提高通信或存储的有效性

连续信源编码： （A）A/D转换（不讨论）； （B）去冗余度。 离散信源的统计特性： 离散消息-在有限符号集中选取若干个符号组成的随机序列； 形成消息时，各符号出现的概率不同；
5
0.96875 1
存在即时码
例 设wi表示码长为i的码字数目, 且w1=0, w2=3, w3=0, w4=5, 求：能编成即时码的D的最小值。 解： 3 D 2 5 D 4 1
令x D 2 , 得 3
5 x 2 3x 1 0,
9 20 即 x , D 2 4.192872 10 即 D 2.05, 故取D 3时可编成即时码 .
n
H(X )
(2) 对于L次扩展信源, 则有以下关系
n
H(X ) log 2 D
L
可见, 当L 时, lim
n
H(X ) log 2 D
[注]:(1) 该定理只是一个极限定理，必须在L为无穷时才能达 到理论情况； (2)某些信源（如语音、图象等）在实际应用中往往允许 一定的失真（不研究）。
W4=111
用码树图编码的步骤： • 从顶点（树根）出发，画出两条（D=2）分枝，一条代表 “0”，另一条代表“1”。选取其中的一个终点作为码字，如 w1=0; • 从未被选用的终点再画出两枝，选其中的一个终点作为码字 w2; • 继续下去，直至W中所有的码字都有一个终点来表示为止； • 从树根出发到各个终点，依次读出各枝代表的符号（0，1）， 便得到相应的码字。
第3篇(戴书第8章,p.114）
信源编码
Source Coding
Efficiency vs. Reliability
Coding Information source Source coding Channel coding Information channel Destination Source decoding Channel decoding Decoding
(2)即时码的译码 例 在上例中，若收到一串码字100110010，试用码树进行译 码。 解： 译码方法：顺着码树走， 遇到一个终点便得到一个 码字，然后再回到树根， 从头开始走，直至全部码 序列都译完为止。 译码结果： W2 W1 W3 W1 W2，即
10，0，110，0，10
4 紧致即时码：平均码长刚好等于信源熵的即时码，其编
• H(X)最大化包含两个步骤：
(1)符号独立化，除符号之间的相关性；
(2)各符号概率均匀化。
本章只考虑无记忆离散信源的编码，不考虑步骤 （1）。
§ 3 编码效率及变长编码定理
1 最小平均码长与编码效率 平均码长:
n pi ( xi ) ni
i 1
m
可以证明，码字的平均长度
H(X ) n log 2 D
（3）即时码与唯一可译码（单义码）之间的关系： 即时码一定是唯一可译码（单义码），但唯一可译码（单 义码）不一定是即时码。
2 即时码存在的充要条件
（1）即时码存在的充要条件（从结构上）：即时码中任何一 个码字都不能是另一个码字的开头（前缀），或者说任何 一个码字都不能是另一个码字的延续（延长），因而这种 码又称为非续长码。 （2）即时码存在的充要条件（从码长上）：存在N个码长为ni （i=1,2,…,n）的即时码的充要条件是
=R/C
对于无干扰（无噪声）信道，
=实际信源熵/最大信源熵= H (X)/max H(X)
0
问： 能达到多大？
2 [仙农第一定理]：设离散无记忆信源熵为H(X)，经容量为 C（bit/符号）的无干扰信道传输，则总可以找到某种编码方 法对信源的输出进行编码，使其在信道中的传信率任意地接 近于信道容量C（正定理）。（证明略）
码（2）：等长码，唯一可译，效率较低；
码（3）：每码字均以0结尾，称为逗点码，唯一可 译，且可随收随译；
码（4）：以0开头，须等待下一个0到来时才能开始 译； 码（5）：立即可译。
编码的一般原则: (1) 须唯一可译; (2) 概率大的用短码, 概率小的用长码;
(3) 码字之间不用空格符就能区分;
编码-等长码，变长码 等长码：效率低，简单、方便 变长码：效率高，但码字区分困难
要求：• 唯一可译；
• 即时性-可边收边译，不必等待。 （1）唯一可译码（单义码）：只能译出一种结果 例 C1={1，01，00}
接收序列10001101（唯一译成）1，00，01，10，1
（唯一可译码，单义码）
C2={0，10，01} 接收序列01001（既可译成）01，0，01 （也可译成）0，10，01 （不唯一可译，非单义码）
（2）即时码（非续长码）：收到一个码字就能译出，不必等 待与观察后面接收的是什么符号。
例 （1）C1={S1，S2，S3，S4}={0，01，011，111}
接收序列：0111101101
• 若边收边译：0，111，1 译不下去了 • 若收完后再译（从后往前）：01，111，011，01 唯一可译，但需要等待 （2）C2={S1，S2，S3， S4，S5}={00，01，10，110，111} 接收序列：110101110100 110，10，111，01，00 （唯一可译 码）
( )
27 1 n2 nipi n n 2 0.842 16 2 H(S) 0.811 96.1% n log D 0.842 (3)三次扩展( L 3) :

98.5%
(过程略)
§ 4 即时码（非续长码、非延长码）
1 唯一可译码（单义码）与即时码
码效率为100%。
1963年Abramson 发现，若符号出现的概率为 ，取码字长度为ni, 便能编出紧致即时码。
1 pi 2
( )
ni
例 设信源四个符号出现的概率分别为1/2，1/4，1/8，1/8
，试编成紧致即时码，并将其平均码长与信源熵进行比较。 解：由
• Efficiency
– Average code length as small as possible
• Reliability
– The ability to recover from errors in the transmission
提要
1 基本概念 2 基本定理：变长编码定理 3 即时码（非续长码） 4 仙农-费诺（Shannon-Fano）法
Ry 1 0.125
• 信源编码的必要性:
实际信源往往含有大量冗余, 比如,英文字母表(含空格 符)共27个符号, 若等概出现,则每个符号的信息量为4.76bit, 而在无记忆情况下实际信源熵只有4.076bit/符号, 若考虑两 个字母之间的相关性，则实际熵只有3.32bit/符号;若考虑 100个字母之间的相关性,则实际信源熵只有1bit/符号,此时 编码剩余度为79%!
Morse 码 ----- -
3 编码方法
例 一个离散信源由4个符号S1, S2, S3, S4组成,其出现的概率分 别为0.6, 0.2, 0.2, 0.1和0.1, 试用不同的方法编码,并加以比较.
码（1）：若发S4S1=（110），接收时既可译成11， 0=S4S1，
也可译成110=S3， 不唯一可译；
5 霍夫曼（Huffman）法
*6 数据压缩的分类与国际标准简介
§1
1
基本概念
编码：利用编码符号集对消息符号集进行的某种变换。
例 汉字电报 汉字符号标准电码五单元电码， 即 {汉字} {0，1，2，…，9} {0，1}（5位0、1表示一个数字）
0 01101，1 01011，2 11001，…，4 11010，…，
D
i 1
N
1
ni
1
(D是编码符号集中符号的数 目，即编码采用的进制）
例 已知：信源X={x1,x2,…,x7}，采用2进制编码，编出的码长 分 别为， ni={2,2,3,3,3,4,5}, 试判断是否存在这样的即时码。 解：

2
i 1
7
1
ni

2 2
2

3 2
3

1 2
4

1 2
组成消息的符号之间有一定的相关性。
3 信源的最佳编码：在保证信息量不变（或在允许一定的失真 度）条件下，使各码字的平均长度最短，即每个码元所含的 平均信息量最大。
§ 2 无干扰离散信道的信源编码定理
（仙农第一定理，仙农无失真信源编码定理）
1 传输效率：实际传信率（R）与信道Hale Waihona Puke 量之比，即信道容量 的利用率。
逆定理：不存在任何编码方法，使传信率R大于等于C。
使 1， 1的过程就是使信源最佳化的过程。 3 信源编码器的作用：改造信源，使H（X）最大化，从而 信源编码又称为使信源与信道匹配的最佳编码。 类比：
信源又分为有记忆信源与无记忆信源： 有记忆信源-信源发出的符号前后有关连，一个符号 的出现会影响另一个符号的出现。 无记忆信源-符号之间是独立的，一个符号出现的概 率与前面出现的符号有关。
3 即时码的编译码
编码器的描述
（1）即时码的编码（码树法） 例 设A={0，1}，将X={x1,x2,x3,x4}编成码长分别为1，2，3，3 的即时码。 解：D=2
1 1 2 2 3 1 2 2 2
存在这样的即时码
原则：任何一个码字不能作为另一个码字的开头
w1=0 W2=10 W3=110