第4章 离散无记忆信源无失真编码 4.5.1
第四章：无失真信源编码
ε
ε
ε
ε
L[ H (S )+ε ] GL ε ξ= L <2 n nL
=2
−L[ logn−H (S )−ε ]
logn−H (S )−ε >0
① Lim p( A ) =1 ε L→ ∞
信源序列集合S
② H(P , P ,LPL ) →H(P LP ε ) 1 2 1 M n
信源熵
Aε
③ P = L= P ε = 1/ Mε 1 M
大概率事件熵
Aε
• 对于 A 有性质: 有性质 ε Lim p( A ) = 0 ε L→ ∞
由此可见， 由此可见，信源编码只需对信源中少数落入典型大概率事件的集合的符 号进行编码即可。 号进行编码即可。而对大多数属于非典型小概率事件集合中的信源符号 无需编码. 无需编码
H∞ ≅ 1.4bit
§4.2定长编码定理－4-进一步理解 4.2定长编码定理 定长编码定理－
解决方法： 解决方法：
考察： 字母个数为n 字母之间相关长度为L的英文信源， 考察： 字母个数为n，字母之间相关长度为L的英文信源，其可能的字母序列 但其中大部分字母序列是无意义的字母组合，而且随着L 总数为 L ；但其中大部分字母序列是无意义的字母组合，而且随着L n 的增加，这种无意义序列的总数越来越大。 的增加，这种无意义序列的总数越来越大。 进行联合编码，即对字母序列编码， 进行联合编码，即对字母序列编码，且只对哪些有意义的字母序列 方法： 方法： 编码，即需编码的字母序列的总数<< nL ,则平均每个信源符号所 编码，即需编码的字母序列的总数 则平均每个信源符号所 需的码符号个数可以大大减少，从而提高了传输效率。 需的码符号个数可以大大减少，从而提高了传输效率。 ！！但当 足够长后， 问题： 会引入一定的误差！！但当L足够长后 误差可以任意小。 问题： 会引入一定的误差！！但当 足够长后，误差可以任意小。
信息论基础第四章 离散信源的无失真编码
信源编码有关概念 （1）平均码长
L p(a i )l i
i 1
q
单位：码符号/信源符号 意义：每个源符号平均需要的码符号数。 编码后每个信源符号平均用 L个码符号表示。 （2）信息传输率（平均每个码符号携带的信息量）
R
H(X ) L
16
L 越短，信息传输率就越高。
（3）最佳码（紧致码） 最佳码：对于某一信源和某一码符号集，若有一唯一可 译码，其平均码长小于所有其他唯一可译码的 平均码长，则该码称为最佳码。（最短唯一可 译码） 无失真信源编码的基本问题就是找到最佳码，最 佳码的平均码长为理论极限。
i 1 i 1
证明：
q
i 1
q
r li p i log pi
i 1
q
r li pi ( 1) pi
r
i 1
q
li
pi 1 1 0
i 1
q
H(S) H ( S ) L log r 0 L log r
18i l i log r
等长非奇异码一定是唯一可译码 ak a1 a2 a3 a4 p(ak) 0.5 0.25 0.125 0.125 码A 00 01 10 11 码B 00 01 00 10
5
等长编码及其定理
对信源S的N次扩展信源SN进行等长编码 若S = { s1, s2,…, sq}，则N次扩展信源S N= { a1, a2,…, aqN}， 共有qN个符号序列。 设码符号集为X = { x1, x2,…, xr}，长度为l 的码符号序列Wi = (xi1 xi2 … xil), xi1, xi2,…, xil∈X。
异前缀码等价于即时码
信息论.第4章无失真信源编码
S N
1
P
p(1 )
2 ... p(2 ) ...
qN
p(qN )
扩展信源熵为H(SN)，
5
用码符号集X=(x1,…,xr)对SN 编码，则总可以找到
一种编码方法，构成唯一可译码，使信源S中的一
个信源符号所需要的码字平均长度满足
H (S) 1 LN H (S) log r N N log r
N log r 则当N足够大时，译码错误概率趋于1。
3
信源编码效率 编码速率：对于定长编码，编码速率定义为
R L log r N
编码效率：
H(S)
R
4
变长无失真信源编码定理（香农第一定理）
设离散无记忆信源
S
P
s1 p( s1 )
s2 p(s2 )
... ...
sq
p(
sq
)
其信源熵为H(S)，它的N次扩展信源SN为
l log q log r
2
定长信源编码定理
设有离散无记忆信源，熵为H(S) ，若对信源的长为N 的符号序列进行定长编码，设码字是从r个码符号集中选 取L个码元构成，对于 > 0 只要满足
L H(S)
N log r 则当N足够大时，可实现译码错误概率任意小的等长编
码，近似无失真编码。
反之，若 满足 L H (s) 2
i 1
克拉夫特证明不等式为即时码存在的充要条件； 麦克米伦证明不等式为唯一可译码存在的充要条件。
1
简单信源S存在唯一可译定长码的条件为：
q r l l log q
log r
N次扩展信源SN存在唯一可译定长码的条件为：
qN rL
L log r N log q来自L log q N log r
信息理论与编码 第四章 离散无记忆信源无失真编码
7
63
H (U ) i1 P(ui ) log P(ui ) 32 bit/符号
l l 3 码元/符号
c
H (U ) l log r
63 32
3 log 2
65.625%
提高编码效率的方法：对符号串进行编码，同时
引入一定的失真。
20
4、引入失真，提高编码效率
lN H (U )
N log r
4
11 11
l
P(ui )li
i 1
1 2 3 3 24 88
1.75 码元/符号
编码策略： 出现概率大的符
编码策略：采用等长
号采用较短的码字，出现概
的码字
率小的符号采用较长的码字7
3、信息率
信
U
源 {u1,u2 , ,uq}
编码器 f
W
X
{w1,w2 , ,wq} {x1,x2 , ,xr }
限定定长编码码长的最小值，因此最佳的定长编码效率为：
c
H (U ) l log r
H (U ) lN log r
H (U )
H (U )
(1c )H (U ) c
(4-3-9)
N
可以证明，差错率满足关系：Pe
2 (U N 2
)
信源自信息量的方差
2 (U ) E I (ui ) H (U )2 P(ui )log P(ui )2 H (U )2
f 是一 一对应 的映射
P(wi ) P(ui ) i 1,2, ,q
X
{x1,x2 , ,xr }
H(W ) H(U) bit/码字或 bit/符号
新信源X ：H (X ) H (W ) H (U ) bit/码元
第4章 离散无记忆信源无失真编码
第4章离散无记忆信源无失真编码主要内容1、基本概念2、码的唯一可译性3、定长编码定理和定长编码方法4、变长编码定理5 变长编码方法6 几种实用的无失真信源编码1、基本概念信源发出的消息序列通常不能直接送给信道传输，需要经过信源编码和信道编码。
信道编码的目的是降低差错率，提高传送的可靠性。
信源编码的目的是为了降低冗余度，提高通信的有效性。
编码是一种映射，是将输入符号映射成码字。
无失真编码，映射一一对应，可逆。
编码器模型：码长：码字所含码元的个数定长编码：所有码字均有相同的码长，对应的码叫做定长码(FLC ，Fixed Length code)；否则为变长编码。
编码器12{,,,}q u u u 12{,,,}r x x x WU12{,,,}q w w w X信源平均码长：码中所有码字码长的统计平均，即码元/符号编码效率：编码后的实际信息率与编码后的最大信息率之比冗余度：l l l2、码的唯一可译性（1）基本概念奇异码：一组码中含相同码字。
非奇异码：所有的码字都不相同。
唯一可译性：码字组成的任意有限长码字序列都能恢复成唯一的信源序列。
续长码：有些码字是在另一些码字后面添加码元得来的。
及时码：码字的最后一个码元出现时，译码器能立即判断一个码字已经结束，可以立即译码。
非续长码：任一码字都不是其它码字的延长。
唯一可译码定长非奇异码非续长码非奇异码5种不同的码35124121142183184()00001000100001001101001110011111110111111i P u W W W W W U u u u u（2）码树和Kraft不等式从树根开始，生长r个树枝，在节点处再各自生长r个树枝。
节点：树枝与树枝的交点。
l阶节点：经过l根树枝到达的节点。
整树：节点长出的树枝数等于r定理：对于任一r进制非续长码，各码字的码长必须满足Kraft不等式：反过来，若上式成立，就一定能构造一个r 进制非续长码。
第4章无失真信源编码
x1 p( x1
)
x2 ... p(x2 ) ...
xN p(xN
)
对单个信源符号 x1，x2，，xN 编码，码字分别为W1，W2，，WN ，各码字对应的码 长分别为 n1，n2，nN 。
因为信源符号与码字一一对应，所以
由此，码的平均码长可以写为：
p(Wi ) p(xi )
L p(ni )ni
则可以使传输几乎无失真。反之，当 L H N (X ) 时，不可能构成无失真的编码，也就是不可能做 一种编码器，能使接收端译码时差错概率趋于零。 L H N (X ) ：某信源有 8 种等概率符号， N 1，则信源序列的最大熵为：
H1 (X ) log 2 8 3 比特
设 X i (X1, X 2 ,, X l ,, X N ) 是信源序列的样本矢量， X l {a1, a2 ,, ai ,, an} ，则共有 n N 种样本，我们把它分为两个互补的集 Aε 和 AεC，集 Aε 中的元素（样本矢量）有与之对应的不 同码字，而集 AεC 中的元素没有与之对应的输出码字，因而会在译码时发生差错。
可以用 LN 个符号 Y1,Y2 ,,Yk ,,YN L ，(每个符号有 m 种可能值)进行定长编码。对任意 ε>0，δ>0，只要
LN N
log r
≥ HN (X) + ε
则当 N 足够大时，必可使译码差错小于 δ；反之，当
(4-2)
LN N
log r ≤ H N (X ) + 2ε
(4-3)
时，译码差错一定是有限值，而当 N 足够大时，译码几乎必定出错。
其中： H 2 ——二元代码的码元熵；
H 2max——二元代码的码元最大熵，且 H 2max=1 比特/符号。
信息理论与编码_ 离散无记忆信源无失真编码_
3、编码器的输出f 是一一对应的映射i i P w P u i q()()1,2,, H W H U ()()bit/码字或bit/符号H W H U H X l l()()()bit/码元新信源X ：编码后的信息率R ：平均一个码元携带的信息量。
H W H U H X l l()()()bit/码元平均码长越小，每个码元携带的信息量就越多，传输一个码元就传输了较多的信息。
R X{,,,}12r x x x 编码器f12{,,,}q u u u 12{,,,}r x x x WU12{,,,}q w w w X信源4、编码效率为了衡量编码效果，定义编码效率：编码后的实际信息率与编码后的最大信息率之比。
max max ()()()()log log c R H X H U l H U R H X r l r注：编码效率实际上也是新信源X 的信息含量效率或熵的相对率。
新信源的冗余度也是码的冗余度：1c c X{,,,}12rx x x 编码器f12{,,,}q u u u 12{,,,}r x x x WU12{,,,}q w w w X信源5种不同的码i P u W W W W W U u u u u 351241234()1200001001401000010011810100111001118111110111111W 1: 定长码。
W 3: 变长码。
奇异码。
定长非奇异码肯定是UDC u u u u u u u u u u u u u12434321121211,00,10,010110,01,00,11,00,1,00,1W 2: 定长码。
W 4: 变长码。
W 5: 变长码。
非奇异码。
非奇异码。
非奇异码。
非奇异码。
续长码。
非续长码。
续长码。
及时码。
非及时码。
奇异码肯定不是UDC不是UDC非续长码肯定是UDC 是UDC非及时码。
非续长码。
W 3：1001001唯一可译码定长非奇异码非续长码非奇异码码奇异码非奇异码非唯一可译码唯一可译码定长非奇异码变长非续长码（部分）变长续长码4.3 定长编码定理和定长编码方法1、对信源输出的符号序列进行编码DMS编码器f12{,,,}q u u u 12{,,,}r x x x WU 12{,,,}q w w w XX12{,,,}r x x x DMS编码器f 12{,,,}N q 12{,,,}r x x x WNU 12{,,,}Nq w w w XX12{,,,}r x x x 对信源U 的单个符号进行编码对信源U 的N 长符号串进行编码对扩展信源U N 的单个符号进行编码12i i i iNu u u 1212,,,{,,,}i i iN q u u u u u u2、定长编码定理r 进制定长编码,码长为l N , 可用的码字数目：Nl r Nl Nrq唯一可译max max ()log ()log log N r H U l q H U N r r信息传输率编码效率()()/N H U R H X l Nmax ()()()log c NH X H U l H X r Nbit/码元DMS编码器f 12{,,,}Nq 12{,,,}r x x x W NU 12{,,,}N q w w w XX12{,,,}r x x x定长无失真编码定理：用r 元符号表对离散无记忆信源U 的N 长符号序列进行定长编码，N 长符号序列对应的码长为l N ，若对于任意小的正数ε，有不等式:就几乎能做到无失真编码，且随着序列长度N 的增大，译码差错率趋于0。
第4章 离散无记忆信源无失真编码 4.6
2014/6/30
2014/6/30
信息理论与编码
6
6
4.6 几种实用的无失真信源编码
截断处理的方法： （1）选取一个适当的n值，将游程长度定为 1,2，…，2n-1，2n 。对于游程大于 2n 的， 都要游程为2n 的码字来处理。 （2）将2n 个游程按概率大小进行huffman编 码，设游程为2n 的码字为C。 （3） 对大于2n 以上的游程编码。
010011001
010011010 011000 010011011 000000000001
0000001011010
0000001011011 0000001100100 0000001100101 000000000001
2014/6/30
2014/6/30
信息理论与编码
15
15
4.6 几种实用的无失真信源编码
2014/6/30
2014/6/30
信息理论与编码
5
5
4.6 几种实用的无失真信源编码
理论上游程长度从0至无穷大，实际中 建立一个一一对应的码表很困难。 一般来讲，很长的游程出现的概率很 小，当游程趋近于无穷时，出现的概率趋近 于 0。 实际应用中，对长游程不严格按照 huffman编码进行，而采用截断处理。将大 于一定长度的游程统一用定长码编码。
B #10 X #9 A#6U #13
字符数量由38个减少为14个。游程编码 可以缩短数据。
2014/6/30
2014/6/30
信息理论与编码
3
3
4.6 几种实用的无失真信源编码
对于二元信源，输出只有“0”和“1” 两个符号。 例：序列00010011111100000001… 由于只有两种信源符号，若规定序列从 “0”游程开始，则可以省掉标识符。 编码后：31267…（自然数） 一般传输信道为二元信道，假设 max[L(0),L(1)]=7，则变换后输出码字序列： 011 001 010 110 111…
2015秋.信息论.第4节无失真信源编码
00001 001 0000001 0000000 01 0000000 0001 000001 0001 0000001 5 3 7 7 2 7 4 6 4 71 01 001 0001 00001 000001 0000001 0000000S1 s2 s3 s4 s5 s6 s7 s8000 001 010 011 100 101 110 111第四章无失真信源编码将信源产生的全部信息无损地发送给信宿，这种信源编码称无失真信源编码。
编码过程由编码器实现。
§4.1 编码器r编码器数学模型1、编码器构成：输入：信源符号集S =(s 1,s 2, …s q )，由q 个符号组成码符号集X =(x 1,x 2…x r )，由r 个符号组成输出：代码组C =(w 1, w 2,…w q )，由q 个码字组成其中，称为码字，l i 称为码字长度)...(21il i i i i x x x w =2、编码器的作用：将信源符号集S 中的符号s i ，i=1,2…,q→ 变换成由码符号集X 中的码元x j ，j=1,2…,r 组成的长度为l i 的一一对应的码字码字的集合称为代码组C 。
)...(21i l i i i i x x x w =3、码分类：根据代码组C 中码字的长度固定长度码：（定长码）代码组C 中所有码字的长度相同。
可变长度码：（变长码）代码组C 中码字的长度不相同。
10晴阴雨雪0.40.30.20.11*0.4+2*0.3+3*0.2+3*0.1=1.94、码奇异性：非奇异码：代码组C中所有码字都不相同。
奇异码：代码组C中有相同的码字。
§4.2 即时码与唯一可译码1、分组码定义：信源符号集S中的每一个符号si 都映射成一个固定的码字wi，这种码称为分组码。
2、分组码性质：(1) 奇异性：•非奇异性是分组码正确译码的必要条件。
(2) 唯一可译性：•如果一个分组码对于任意有限的整数N，其N次扩展码均为非奇异码，则称之为唯一可译码。
第4章无失真信源编码
是信源编码
码的分类-I
(1) 定长码：码中所有码字的长度都相同， 变长 码：码中的码字长短不一
信源 信源符号出
码表
符号ai 现概率p(ai) 码1 码2
a1
p(a1)
00 0
a2
p(a2)
01 01
a3
p(a3)
10 001
a4
p(a4)
11 111
表4-1 变长码与定长码
码的分类-II
(2)非奇异码:若信源符号和码字一一对应的 奇异码:反之。下表码1是奇异码，码2是非奇异码。
将这两个概率相加作为一个新字母的概率，与未分 配的二进符号的字母重新排队。 3. 对重排后的两个概率最小符号重复(2)的过程。 4. 重复上述过程，直到最后两个符号配以0和1为止。 5. 从最后一级开始，向前返回得到各个信源符号所对 应的码元序列，即相应的码字。
例 对以下信源进行哈夫曼编码
信源符号ai 概率p(ai) 码字Wi
H(S) L H(S) 1
log r
log r
离散平稳无记忆序列变长编码定理：对于平均符号 熵为H(S)的离散平稳无记忆信源，必存在一种无失真 编码方法，使平均信息率满足不等式
H (S) LN H (S) 1 log r N log r N
将定理进行改写：
H (S )
LN N
log r
H(S)
通常可用码树来表示各码字的构成
0
1
0
1
0
1
01
01
01
01
0 1 0 10 10 1 0 10 10 1 0 1
二进制码树(满树)
即时码的码树表示(2)
0
1
第四章 常用无失真信源编码方法
$4.2 费诺编码
§4.2 费诺编码
* (1) 将信源符号按概率从大到小依次排列。设排序后的
编码步骤如下： 消息分别记为x1, x2, …, xn。 (2) 将信源符号按概率分成若干组，使每组的概率的 和尽量接近或相等。若编二元码就分两组，编m 元码 就分成m 组。 (3) 给每组分配一位码元，码元的分配是任意的。
0 log p( x j ) 1 1 log p( x j ) 2 2 log p( x j ) 3 3 log p( x j ) 4 4 log p( x j ) 5
kj 1 kj 2 kj 3 kj 4 kj 5
$4.1 香农编码
' ' ' ' ' ' x1 , x2 , x3 , x4 , x5 , x6 例4.1.1 对信源 0.2, 0.15, 0.1, 0.25, 0.25, 0.05 编香农码。
解: (1) 按概率从大到小依次排列
x2 , x3 , x4 , x5 , x6 x1 , 0.25, 0.25, 0.2, 0.15, 0.1, 0.05
计算编码效率
要求平均每个信源 符号传递的信息量 折算后，平均每个信源
符号的最大可能载信量
H (X ) L log m N
x1 , X 1 P , 码字 2 0
x2 ,
x5 , 1 1 1 1 , , , , 4 8 16 16 10 110 1110 1111 x3 , x4 ,
(5) 计算编码效率
log log log log H (X ) 1 1 1 1 log 2 L log m ( 1 2 3 2 4) 2 4 8 16 1 N
第四章 离散信源的无失真编码
Wuhan University
码B 0 1 00 11
码C 0 10 110 111
码D 0 01 011 0111
0.5 0.25 0.125 0.125
0 0 1 10
唯一可译:C, D 逗点码：D 异字头码：C
7
离散无记忆信源的不等长编码
D元码
构造方法一：Shannon-Fano编码法
a 'K 1 p 'K 1
其中， ak’= ak , Pk’= Pk , 当k<K-1 aK-1’= aK-1 ∪ aK , PK-1’= PK-1+ PK
Huffman编码的最佳性
Wuhan University
定理3.4.2 对辅助集U ’为最佳的码，对 原始消息集U也是最佳的。 若C’1，C’2，…，C’K-1是对辅助集U ' 的最佳码，相应码长为n’1，n’2，…， n’K-1，则对U的码字C1，C2,…, CK的 码长为 nk= n’k k≤K–2 nk= n’K-1+1 k=K, K–1
ceada 共40个字母 频度 –a - 16，b - 7，c - 6，d - 6，e - 5 1) 将给定符号按照其频率从大到小排序。 –a - 16，b - 7，c - 6，d - 6，e - 5 2) 将序列分成左右两部分，使得左部频 率总和尽可能接近右部频率总和。有： –(a, b), (c, d, e)
3
离散无记忆信源的不等长编码
Wuhan University
不等长编码的特殊问题 ②平均码字长度。设信源随机变量U的概 率分布为{ak, p(ak), k=1~K}，事件ak对 应的码字长度为nk，则平均码字长度为
离散信源无失真编码课件
唯一解码
解码过程应能够从编码后的消息中 唯一确定原始消息，不存在多个原 始消息对应同一编码输出的情况。
码字互斥
在无失真编码中，不同的输入消息 应映射到不同的码字上，即码字之 间应互斥，避免产生混淆和误差。
无失真编码的分类
唯一可解编码
唯一可解编码是指对于任意输入消息，其对应的码字是唯一的，不存在其他码 字与之对应。这种编码方式简单明了，但可能存在码字数量过多的情况。
02
无失真编码原理
无失真编码的定义
无失真编码是指通过编码方式将信源发出的离散消息转换成另一种形式的代码， 使得在传输过程中能够完全恢复原始消息，不产生任何失真或误差。
无失真编码是一种理想化的编码方式，其目标是实现原始消息与解码后的消息完 全一致，没有任何信息损失。
无失真编码的条件
输入输出独立
无失真编码过程中，输入的消息 与输出的编码之间应保持独立， 即输入消息的统计特性不应对输
冗余
信源输出符号中超出传递 信息所必需的部分。
压缩编码
去除信源输出符号中的冗 余，从而减少符号数目。
信源编码的分类
无失真编码
编码和解码过程中，输出符号与 输入符号完全一致，无任何失真。
有失真编码
编码和解码过程中，输出符号与 输入符号存在一定程度的失真， 但满足一定的失真限制。
离散信源编码定理
1 2 3
编码安全性
研究数据加密和安全传输等方面的理论和方法， 提高无失真编码在信息安全领域的应用价值。
THANKS
感谢观看
无失真编码通常采用先进的数据压缩技术， 能够在保证信息完整性的同时，有效地减 少数据存储和传输所需的带宽。
缺点
编码效率相对较低
信息论与编码第4章无失真信源编码
THANKS
感谢观看
编码性能的评价指标
压缩比
压缩比是指编码后数据量与原始数据量之比，是衡量 编码效率的重要指标。
编码复杂度
编码复杂度是指实现编码算法所需的计算量和存储量 ，是衡量编码性能的重要指标。
重建精度
重建精度是指解码后数据的准确度，是衡量编码性能 的重要指标。
编码效率与性能的关系
01
编码效率与压缩比成正比，压缩比越高，编码效率越高。
游程编码
对连续出现的相同符号进 行编码，如哈夫曼编码等 。
算术编码
将输入信号映射到一个实 数轴上的区间，通过该区 间的起始和长度表示码字 ，如格雷码等。
编码的数学模型
信源
产生随机变量的集合 ，表示各种可能的信 息符号。
编码器
将输入信号映射到码 字的转换设备，其输 出为码字序列。
解码器
将接收到的码字还原 成原始信号的设备。
拓展应用领域
无失真信源编码技术的应用领域正在不断拓 展，未来研究将致力于将其应用于更多领域 ，如多媒体处理、物联网、云计算等。
融合其他技术
将无失真信源编码技术与其他相关技术进行 融合，以实现更高效、更实用的信息处理系 统。例如，将无失真信源编码与图像处理、 语音处理等技术相结合，提高信息传输和处
理的效率和质量。
03
行程编码的缺点包 括
压缩比有限、对于离散无记忆信 源效果不佳。
03
CATALOGUE
无失真信源编码的效率与性能
编码效率的定义与计算
定义
编码效率是指编码后信息量与原始信 息量之比，通常用比特率（bit per symbol）或比特率（bit per source symbol）来表示。
计算
本_信息论与编码A_第4章无失真信源编码
13
4.2 等长编码
无失真编码 假设信道无干扰 译码错误概率: Pe=P{MM’} 无失真编码: 译码错误概率Pe可以任意小.
M W W M’
信源
信源编码
信 道
信源解码
信宿
14
4.2 等长编码
等长信源编码定理 定理4-1(Shannon信源编码定理) 设离散无记忆信源X的熵为H(X), 若对长为N的信源符号序 列进行等长编码,码长为L , 码元符号个数为m. 则对任意的 >0, >0, 只要
s4 备注
平均码长
0.125
11 2
2
11 非唯一可译
1.5
01
1000
0001 及时码
1.875
非唯一可译 唯一可译
1.5 1.875
24
4.3
变长编码
码树编码方法 三元树码：C={w1, w2,…,w11} w1=0, w2=11, w3=12, w4=20, w5=22, w6=100, w7=101, w8=102, w9=210, w10=211, w11=212. 树码一定是即时码
H(X ) R R H(X )
2.55 2.83 0.90
即每个符号用2.83bit进行定长二元编码，最多有7.11 (= 22.83)个码字。但信源符号共有8个，其中一个无码字， 取概率最小的s8不编码, 则译码错误概率为0.04.太大！
18
4.2 等长编码
例4-3(续)
H(X ) =0.90 0.28 H(X )
0级节点
0 1 1 2 2
1级节点
2 0 1 2
w1
0
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
H (U ) 1.518 bit/符号
符号 概率 u1 0.45
1
1
0
码字 码长
(1.00)
1 01 00 1 2 2
u2
u3
3 i 1
0.35
0.20
(0.55) 0
l P ( ui )li 0.45 1 0.35 2 0.20 2 1.55 码元/符号
c
H (U ) 1.518 97.9% l log r 1.55 log 2
11
对二元符号串进行编码
符号 概率
u1 u1 u1 u2 u2 u1 u2 u2
0.2025 0.1575 0.1575 0.1225
1 1 1
0
0.28
0.4025 1 0.3175 1
码字
11
码长
2 3 3 3
4.5 变长编码方法
变长编码采用非续长码； •力求平均码长最小，此时编码效率最高，信 源的冗余得到最大程度的压缩； •对给定的信源，使平均码长达到最小的编码 方法称为最佳编码，编出的码称为最佳码； •三种变长编码方法：霍夫曼编码、费诺编码 以及香农编码； •霍夫曼编码是真正意义下的最佳编码。
1
4.5.1 霍夫曼编码
定长编码：{001，010，011，100，101，110，111} 变长编码：{1，01，001，0001，00001，000001，000000} 定长编码
l l 3 码元/符号
H(X ) H (U ) 63 32 0.65625 bit/码元 l 3
变长编码
l 63 32 码元/符号
2 2 i 1 q
12 ( l ) 1.4259
2 2 ( l ) 0.3059
8
r 进制霍夫曼编码
• 每次求缩减信源时，求r个最小概率之和，即 将r个概率最小的符号缩减为一个新符号，并 分别用 1,2,…r-1 码元表示，直到最后一次缩 减时，r 个概率之和为1终止。 • 新问题：缩减到最后时剩下不到 r 个符号了。 • 为保证平均码长最小，希望缩减到最后刚好 还剩下 r 个符号。为达到此目的，可给信源 添加几个无用的符号（概率为0的符号），使 得添加符号后的信源符号数 q 满足： q = (r-1)θ+ r
1.00 011
001 000
0.5975
0 0
u1 u3
u3 u1 u2 u3 u3 u2 u3 u3
9
0.09
0.09 0.07 0.07 0.04
1
0.16 0
0.20
1 1
0 0
101
0
0101 0100 1001 1000
0.11
0
3 4 4 4 4
H (U 2 ) 2 1.518 99.0% l2 P ( u j )l j 3.0675 码元/符号 c l2 log r 3.0675 log 2 j 1
P (ui )
0.35 0.30 0.20 0.10 0.04
0.005 0.005
1 1 1
1
0.65 1
码长 li 2
2 2 3 4 5 5
7
0
0.35
10 01 001 0001 00001 00000
1
0.15
0 0
0.05 0.01 0
0
0
l 0.35 2 0.30 2 0.20 2 0.10 3 0.04 4 0.005 5 0.005 5 2.21 码元/符号
5
码子不唯一（1）
u2 u3 u4 u5 u6 u7 U u1 P 0.35 0.30 0.20 0.10 0.04 0.005 0.005 U
2进制霍夫曼编码。 码元集：X={0, 1}
码字 Wi
符号 概率
ui u1 u2 u3 u4 u5 u6
P (ui )
12
1
1.00
1 1 1 1 1
2 23 24 25 26
2
1
01
1
1 1 1
0
12
12 1 23
0
2
0 0
001
0001 00001
3
4 5
1 24
0
1 26
1 25 0
000001
000000
H (U ) c l log r
63 32 63 32
6
6
100%
3
1 1 1 1 1 1 1 63 l 1 2 2 3 3 4 4 5 5 6 6 6 6 2 2 2 2 2 2 2 32
12
码元/符号
log 2
霍夫曼编码的基本特点
• 编出的码是非续长码：霍夫曼编码实际上构造了 一个码树，码树从最上层的端点开始构造，直到 树根结束，最后得到一个横放的码树，而且码字 在终端节点上。 • 平均码长最小：霍夫曼编码采用概率匹配方法来 决定各码字的码长，概率大的符号对应于短码， 概率小的符号对应于长码。 • 码字不唯一：每次对概率最小的两个符号求概率 之和形成缩减信源时，就构造出两个树枝，由于 给两个树枝赋码元是任意的，码字不唯一。 4
2
u U 1 P 1 U 2
u2 1 22
u3 1 23
u4 1 24
u5 1 25
u6 1 26
u7 1 6 2
2进制霍夫曼编码。 码元集：X={0, 1}
码字 Wi
1
符号 概率
ui
P (ui )
码长 li 1 2
u1 u2 u3 u4 u5 u6 u7
码字 码长 Wi li
2
P (ui )
l log r
2.35 93.8% 1.58 log 3
2 1
u1 u2 u3 u4 u5 u6 u7
0.32 0.22 0.18 0.16 0.08 0.04 0.00
2 2
1 1 2 2 3 3
(1.00)
1 02
(0.46)
1
0
01 002
(0.12)
1
0
001
0
10
l 0.32 1 0.22 1 0.18 2 0.16 2 0.08 3 0.04 3 1.58 码元/符号
符号串的霍夫曼编码
例：对如下DMS进行2进制霍夫曼编码，分别 对单个符号和二元符号串进行编码。
对 单 个 符 号 进 行 编 码
信源缩减的次数
9
u2 u3 u4 u5 u6 U u1 P U 0.32 0.22 0.18 0.16 0.08 0.04
q ( r 1) r 2 3
符号 概率 H (U ) c u
i
3进制霍夫曼编码。 码元集：X={0, 1, 2} ∴q=7
H(X ) H (U ) 63 32 1 bit/码元 l 63 32
c
H(X ) 0.65625 65.625% H max ( X ) log 2
c
H(X ) 1 100% H max ( X ) log 2
c 1 c 0.34375
c 1 c 0
码元/符号
码子不唯一（2）
u2 u3 u4 u5 u6 u7 U u1 P U 0.35 0.30 0.20 0.10 0.04 0.005 0.005
2进制霍夫曼编码。 码元集：X={0, 1}
码字 Wi 11
1.00
符号 概率
ui u1 u2 u3 u4 u5 u6 u7
0.35ቤተ መጻሕፍቲ ባይዱ
0.30 0.20
1 1 1 1
0
1 1
0.65
1
1.00
码长 li 1 2 3
01 001
0.10
0.04
0.005 0.005
0.05
0.01 0
0.35 0.15
0 0
0
0001
00001 000001
4
5 6
0
u7
000000
6
6
l 0.35 1 0.30 2 0.20 3 0.10 4 0.04 5 0.005 6 0.005 6 2.21
定长编码与变长编码冗余压缩效果比较
u U 1 P 1 U 2 u2 1 22 u3 1 23 u4 1 24 u5 1 25 u6 1 26 u7 1 6 2
H (U ) 63 32 bit/符号
1
H (U ) 63 32 1 0.3 H max (U ) log 7
二进制霍夫曼编码过程如下： (1)将信源符号按概率大小排序；
(2)对概率最小的两个符号求其概率之和，同 时给两符号分别赋予码元“0”和“1”；
(3)将“概率之和”当作一个新符号的概率， 与剩下符号的概率一起，形成一个缩减信 源，再重复上述步骤，直到“概率之和” 为1为止；
(4)按上述步骤实际上构造了一个码树，从树 根到端点经过的树枝即为码字。
码字 Wi 1
码长 li 1
码字 Wi 11
码长 li 2
01 001 0001 00001 000001 000000
2 3 4 5 6 6
10 01 001 0001 00001 00000
2 2 3 4 5 5
码字不同，码长也不 同，但平均码长相同， 因此编码效率相同。 码方差：