《信息论》(电子科大)第3章 离散信源无失真编码
2.4 离散信源的无失真编码
信源编码的分类
无失真信源编码：把所有的信息丝毫不差地编码， 无失真信源编码：把所有的信息丝毫不差地编码，然后传送 信源编码 到接收端。 到接收端。 离散无失真信源编码：原始消息是多符号离散信源消息 无失真信源编码 是多符号离散信源消息， 离散无失真信源编码：原始消息是多符号离散信源消息， 按无失真编码的方法，编成对应的码序列。 按无失真编码的方法，编成对应的码序列。 限失真信源编码 允许不对所有的信息进行编码， 信源编码： 限失真信源编码：允许不对所有的信息进行编码，只对重要 信息进行编码，对其它不影响视听的信息进行压缩、丢弃， 信息进行编码，对其它不影响视听的信息进行压缩、丢弃， 但这种压缩失真必须在一定的限度以内 压缩失真必须在一定的限度以内， 但这种压缩失真必须在一定的限度以内，因此称为限失真信 源编码。 源编码。 离散限失真信源编码 离散限失真信源编码 连续限失真信源编码 连续限失真信源编码
本章主要内容
2.1单符号离散信源 2.1单符号离散信源 2.2多符号离散平稳信源及熵 2.2多符号离散平稳信源及熵 2.3连续信源及熵 2.3连续信源及熵 2.4离散无失真信源编码定理 2.4离散无失真信源编码定理
2
2.4 离散无失真信源编码定理
信源涉及的重要问题： 信源涉及的重要问题：
信源输出的信息量有多少：即信源信息量的计算问题。 信源输出的信息量有多少：即信源信息量的计算问题。 如何更有效地表示信源输出的消息： 如何更有效地表示信源输出的消息：在尽量提高通信 效率的前提下，对信源所发送的消息进行变换， 效率的前提下，对信源所发送的消息进行变换，即信 源编码。 源编码。
已知：定长无失真离散信源编码定理： 已知：定长无失真离散信源编码定理：
原始信源长为L 原始信源长为L的平稳无记忆离散序列信源 每个符号的熵为H(X), H(X),即 XL=(X1X2……XL) ，每个符号的熵为H(X),即平均 X 符号熵为H(X),要想进行无失真的信源编码，需 符号熵为H(X),要想进行无失真的信源编码， H(X),要想进行无失真的信源编码 满足 令 →0, ε
2.4 离散无失真信源编码定理
一、 信源的符号集和符号序列
1. 信源符号集: 信源发出的符号消息的集合，记为X，
设 X 有n个符号：X ={ a1 , a2 , … , an }. 2. 信源符号序列:由信源符号集合 X 中的符号组成长度 为L的符号序列， 记为 X ( X1 X 2 X l X L ) L为信源符号序列长 , 不同的符号序列共有 nL。 若L=1，则信源符号序列为信源符号集合中的符号。
单符号对应变长码的平均码长为
K p(ai ) Ki
i 1 n
码符/信源符号
K 是每个信源符号平均需用的码元数。
②符号序列信源空间XL
X L X 1L L L p( X i ) p( X 1 ) X 2L p( X 2L )
L X nL L p( X n L )
码字Yi 的码元个数 Ki 称为码字Yi的码长。
所有码字Yi 的码长 Ki 均相等称为定长码。 码字Yi 的码长 Ki 不全相等称为变长码。
三、编码与译码
1. 信源编码：将信源符号 xi 或符号序列 Xi 按一种规则
映像成码字Yi的过程。 2. 无失真编码：信源符号到码字的映射必须一一对应。
3. 译码：从码符号到信源符号的映射。
变换的要求: (1)能够无失真或无差错地从Y恢复X，也就是能正确地进行 反变换或译码(惟一可译码)。 (2)传送Y时所需要的信息率最小 。
由于Yk可取m种可能值，即平均每个符号输出的最大信息量为
log2m，K长码字的最大信息量为Klog2m。用该码字表示L长的 信源序列，则送出一个信源符号所需要的信息率平均值为
★香农信息论三大定理 :
1. 第一极限定理: 无失真信源编码定理。
信息论导论-第3章_2012
无失真编码定理又叫香农第一定理，该 定理从理论上阐明了编码效率
η
H N ( X1 X 2 X N ) → 1 的理想无失真编码的 Klbm / N 存在性.
23
二、无失真编码定理
无失真编码的代价是取无限长的符号序 列进行组编码，即只有N→∞时
H∞ = η = 1 K lim lbm N →∞ N
21
1 ≤ P(ai )即m ≥ P(ai )
ki
【无失真编码定理】的证明
lbP(ai ) lbP(ai ) 取− ≤ ki < − +1 lbm lbm
n lbP(ai ) n lbP(ai ) −∑ P(ai ) ≤ ∑ P(ai )ki < −∑ P(ai ) +1 lbm lbm = i 1 i 1= i 1 n
27
K H m +1 ≤ lbm < H m +1 + ε N
二、无失真编码定理
平稳无记忆信源的香农界H(X)大于m阶 马尔科夫信源的香农界Hm+1，而m阶马尔 科夫信源的香农界Hm+1又大于一般平稳 信源的香农界H∞。 因此，对离散平稳信源进行无失真编码， 每个信源符号所对应码字的平均比特数 平稳无记忆信源最多， m阶马尔科夫信 源次之，一般平稳信源最少。
与第一种编码相比，码字压缩了0.3个比特， 编码效率提高了14.5%。
9
一、无失真编码的基本思路 进一步，如果对该信源的二次扩展信源
X 2 x1 x1 x1 x2 x1 x3 x1 x4 = 2 P( X ) 0.25 0.15 0.075 0.025 x3 x1 x3 x2 x3 x3 x3 x4 x4 x1 0.075 0.045 0.0225 0.0075 0.025 x2 x1 x2 x2 x2 x3 x2 x4 0.15 0.09 0.045 0.015 x4 x2 x4 x3 x4 x4 0.015 0.0075 0.0025
第三章-无失真信源编码(1-1)
p(a2)
p(a3) p(a4)
01
10 11
01
001 111
2 码的类型
码
{
非分组码
分组码
{
奇异码 非奇异码
{
非唯一可译码 非即时码 唯一可译码 即时码（非延长码）
{
2.1 码符号集中符号数r＝2称为二元码，r＝3称为三元码 2.2 若分组码中的码长都相同则称为等长码，否则称为变长码
1 信源编码： 信源消息U=(u1,u2,…, uq) 码符号集X=(x1,x2,…, xr)
将 ui
Wi ＝（ w1,w2,…,wq）其中某一码字 wi∈{x1,x2,…xr}
这种一一对应变换称为信源编码。
若Li为码字Wi中的码元个数，则 Li称为码字Wi的长度， 简称码长。
分组码定义：
将信源消息分成若干组，即符号序列ui， ui=(ui1,ui2,…,uil,…,uiL) 序列中的每个符号取自于同一个符号集A， uil∈(a1,a2,…,an)。 而每个符号序列ui依照固定的码表映射成一个码字Wi，这 样的码称为分组码。只有分组码有对应的码表。
－Ki -1 -2 -3 -3 2 =2 +2 +2 +2 =1 i＝1 4
存在这种Ki的唯一可译码。
0 0 1 1
a1 a2
0
1
a1: 1 a2: 01 a3: 000 a4: 001
a3
a4
注意：克劳夫特（Kraft）不等式只是用来说明唯一可译码是否 存在，并不能作为判断哪些码是唯一可译码的依据。 如码字（0，10，010，111）满足克劳夫特不等式，但它不是 唯一可译码
如果每次只传送一个符号，即序列长度L＝1 ui=ui1∈(a1,a2,…,an) 要将这样 的符号进行传输，常采用二元信道，码符号集X为
第三章 信源编码(一)离散信源无失真编码
离散无记忆源的等长编码
在无错编码的前提下，编码的最低代价 当R≥logK时，能够实现无错编码。 当R<H(U1)时，无论怎样编码都是有错编码。这是 因为R<H(U1)≤logK。 （如果H(U1)=logK，则以上两种情形已经概括了全部情 形。但如果H(U1)<logK，则还有一种情形） 当logK>R>H(U1)时，虽然无论怎样编码都是有错编 码，但可以适当地编码和译码使译码错误的概率pe 任意小。这就是所谓“渐进无错编码”。
如何证明？
弱、强e典型序列集
定义3.2.1：令H(U)是集{U, p(ak)}的熵，e是正数，集合
TU ( L, e ) {uL : H (U ) e I L H (U ) e }
定义为给定源U输出的长为L的典型序列集。 ——弱e-典型序列集 定义3.2.2：令H(U)是集{U, p(ak)}的熵，e是正数，集合 定义为给定源输出的长为L的e－典型序列集，其中Lk 是在L长序列中符号ak出现的次数 ——强e-典型序列集
3.2 离散无记忆源的等长 编码
离散无记忆源
字母表A={a1,…,aK},概率分别为p1,…,pK,长为L 的源输出序列uL={u1,…,uL}，共有KL种序列 码符号字母表B={b1,…,bD},以码符号表示源输 出序列，D元码 等长D元码，能够选择的不同码字的个数为DN， 不等长D元码的个数,能够选择的不同码字的
设给定编码设备的编码速率R0=0.5。则 R0>0.037587148=H(U)。 希望： ①2元编码的实际编码速率R≤R0； ②译码错误的概率不超过ε。其中取 ε=0.1； ε=0.05； ε=0.01。
DMS的等长编码
离散无失真信源编码
离散无失真信源编码
5.1 离散信源编码 5.2 离散无失真信源编码定理 5.3 香农编码 5.4 费诺编码 5.5 哈夫曼编码
5.1
2.1.1 2.1.2离来自信源编码信源编码概述 码字唯一可译的条件
2
信源编码概述(续)
两类信源编码 无失真信源编码：编码运算能够完全恢复原来的数据 信息，保证信源产生的全部信息无失真地传送给信 宿，适用于离散信源 限失真信源编码：编码运算允许有一定的误差，在允 许误差的条件下，寻找信源的最小“消息体积”；适 用于连续信源 无失真信源编码只对信源的冗余度进行压缩，不改变信 源熵；而限失真信源编码是通过压缩信源熵来减小消息 的“体积” 无失真信源编码由于信源符号与码字一一对应，编码器 的输出概率分布与输入概率分布完全相同，因此编码前 后的熵保持不变
信源编码概述(续)
用树图法可以方便地构造即时码。从树根开始，树中每个中间 节点都伸出 1 至 r 个树枝，不同的树枝标记不同的码元。 将所有的码字都安排在终端节点上就可以得到即时码 每个中间节点都正好有 r 个分枝的树称为整树(满树) 所有终端节点的阶数都相等的树为完全树，对应于定长码
r=2
8
信源编码概述(续)
码1 00 01 10 11
码2 0 10 110 111
平均码长越小，则平 均一个码元所携带的 信息量越大，信息的 冗余度越小。使平均 码长最小的编码称为 最佳编码 采用变长编码能使平 均码长缩短
4
l1 = 2 × (0.5 + 0.25 + 0.125 + 0.125) = 2 码元/单信源符号 l2 = 1 × 0.5 + 2 × 0.25 + 3 × 0.125 + 3 × 0.125 = 1.375 码元/单信源符号
第3章 离散信源无失真编码
xi x1 x2 x3 x4
4
P(xi) 0.5 0.3 0.15 0.05
ki 1 2 3 5
Pa(xi) 0 0.5 0.8 0.95
ci 0 10 110 11110
K P( x i )k i 0.5 1 0.3 2 0.15 3 0.05 5
i 1
1.8(bit / symbol )
的一种无失真不等长编码
x1x1 00, x1x 2 100, x1x 3 1100, x1x 4 11100 x 2 x1 101, x 2 x 2 010, x 2 x 3 0110, x 2 x 4 111100 x 3 x1 1101, x 3 x 2 0111, x 3 x 3 111110, x 3 x 4 1111110 x 4 x1 11101, x 4 x 2 111101, x 4 x 3 11111110, x 4 x 4 11111111
log P(x1 ) log 2 1
k1 1
取k 2 2
log P(x 2 ) log 0.3 1.74
log P(x 3 ) log 0.15 2.74 log P(x 4 ) log 0.05 4.32
xi x1 x2 x3 x4 P(xi) 0.5 0.3 0.15 0.05 ki 1 2 3 5
H(X) P( x i ) log P( x i )
i 1
4
0.5 log 0.5 0.3 log 0.3 0.15 log 0.15 0.05 log 0.05
1.648(bit / symbol )
H(X) 1.648 91.56% K 1.8
2014.信息论.第3章离散信源
设信源输出符号集合，每次信源输
9
是⼀一个离散⽆无记忆信源，其概率空间为
其中
信源X的符号集合为
N次扩展信源X N符号集合为
15
的有记忆平稳信源（⼆二维平稳信源）输
23
当且仅当X 1和X 2统计独⽴立时等号成⽴立，此时信源相当于⼆二次⽆无记忆扩展；
当X 1和X 2之间相关时，联合熵⼩小于信息熵之和，即⼩小于单个消息符号X 熵的 2 倍。
由于
25
例：设某⼆二维离散信源X =的原始信源X 的信源模型为
中前后两个符号的条件概率
7/92/901/83/41/80
2/11
9/11
(1)若该信源为⼆二维⽆无记忆扩展信源，求信源的熵。
(2)若该信源为⼆二维平稳信源，如表，求信源的熵。
26
原始信源的熵为：
由条件概率确定的条件熵为：
由于符号之间的依赖性，条件熵⽐比信源熵减少了0.672bit
⼆二维离散⽆无记忆扩展信源的熵为：2H(X)=2*1.542=3.084(bit ）7/92/901/83/4
1/8
2/119/11
27
信源X=
平均每发⼀一个消息所能提供的信息量，即联合熵
则每⼀一个信源符号所提供的平均信息量
⼩小于信源X所提供的平均信息量H(X)=1.542bit，这是
由于符号之间的统计相关性所引起的。
28
维平稳信源输出序列每N个符号⼀一组；各
30
则有：
时：
随N的增加是⾮非递增的；
给定时，平均符号熵≥条件熵；
–平均符号熵随N增加是⾮非递增的；
34
解：
35
1,2,......,J 某时刻随机
……
43
44。
信息理论与编码_ 离散无记忆信源无失真编码_
3、编码器的输出f 是一一对应的映射i i P w P u i q()()1,2,, H W H U ()()bit/码字或bit/符号H W H U H X l l()()()bit/码元新信源X ：编码后的信息率R ：平均一个码元携带的信息量。
H W H U H X l l()()()bit/码元平均码长越小，每个码元携带的信息量就越多，传输一个码元就传输了较多的信息。
R X{,,,}12r x x x 编码器f12{,,,}q u u u 12{,,,}r x x x WU12{,,,}q w w w X信源4、编码效率为了衡量编码效果，定义编码效率：编码后的实际信息率与编码后的最大信息率之比。
max max ()()()()log log c R H X H U l H U R H X r l r注：编码效率实际上也是新信源X 的信息含量效率或熵的相对率。
新信源的冗余度也是码的冗余度：1c c X{,,,}12rx x x 编码器f12{,,,}q u u u 12{,,,}r x x x WU12{,,,}q w w w X信源5种不同的码i P u W W W W W U u u u u 351241234()1200001001401000010011810100111001118111110111111W 1: 定长码。
W 3: 变长码。
奇异码。
定长非奇异码肯定是UDC u u u u u u u u u u u u u12434321121211,00,10,010110,01,00,11,00,1,00,1W 2: 定长码。
W 4: 变长码。
W 5: 变长码。
非奇异码。
非奇异码。
非奇异码。
非奇异码。
续长码。
非续长码。
续长码。
及时码。
非及时码。
奇异码肯定不是UDC不是UDC非续长码肯定是UDC 是UDC非及时码。
非续长码。
W 3：1001001唯一可译码定长非奇异码非续长码非奇异码码奇异码非奇异码非唯一可译码唯一可译码定长非奇异码变长非续长码（部分）变长续长码4.3 定长编码定理和定长编码方法1、对信源输出的符号序列进行编码DMS编码器f12{,,,}q u u u 12{,,,}r x x x WU 12{,,,}q w w w XX12{,,,}r x x x DMS编码器f 12{,,,}N q 12{,,,}r x x x WNU 12{,,,}Nq w w w XX12{,,,}r x x x 对信源U 的单个符号进行编码对信源U 的N 长符号串进行编码对扩展信源U N 的单个符号进行编码12i i i iNu u u 1212,,,{,,,}i i iN q u u u u u u2、定长编码定理r 进制定长编码,码长为l N , 可用的码字数目：Nl r Nl Nrq唯一可译max max ()log ()log log N r H U l q H U N r r信息传输率编码效率()()/N H U R H X l Nmax ()()()log c NH X H U l H X r Nbit/码元DMS编码器f 12{,,,}Nq 12{,,,}r x x x W NU 12{,,,}N q w w w XX12{,,,}r x x x定长无失真编码定理：用r 元符号表对离散无记忆信源U 的N 长符号序列进行定长编码，N 长符号序列对应的码长为l N ，若对于任意小的正数ε，有不等式:就几乎能做到无失真编码，且随着序列长度N 的增大，译码差错率趋于0。
离散信源无失真编码课件
唯一解码
解码过程应能够从编码后的消息中 唯一确定原始消息，不存在多个原 始消息对应同一编码输出的情况。
码字互斥
在无失真编码中，不同的输入消息 应映射到不同的码字上，即码字之 间应互斥，避免产生混淆和误差。
无失真编码的分类
唯一可解编码
唯一可解编码是指对于任意输入消息，其对应的码字是唯一的，不存在其他码 字与之对应。这种编码方式简单明了，但可能存在码字数量过多的情况。
02
无失真编码原理
无失真编码的定义
无失真编码是指通过编码方式将信源发出的离散消息转换成另一种形式的代码， 使得在传输过程中能够完全恢复原始消息，不产生任何失真或误差。
无失真编码是一种理想化的编码方式，其目标是实现原始消息与解码后的消息完 全一致，没有任何信息损失。
无失真编码的条件
输入输出独立
无失真编码过程中，输入的消息 与输出的编码之间应保持独立， 即输入消息的统计特性不应对输
冗余
信源输出符号中超出传递 信息所必需的部分。
压缩编码
去除信源输出符号中的冗 余，从而减少符号数目。
信源编码的分类
无失真编码
编码和解码过程中，输出符号与 输入符号完全一致，无任何失真。
有失真编码
编码和解码过程中，输出符号与 输入符号存在一定程度的失真， 但满足一定的失真限制。
离散信源编码定理
1 2 3
编码安全性
研究数据加密和安全传输等方面的理论和方法， 提高无失真编码在信息安全领域的应用价值。
THANKS
感谢观看
无失真编码通常采用先进的数据压缩技术， 能够在保证信息完整性的同时，有效地减 少数据存储和传输所需的带宽。
缺点
编码效率相对较低
信息论无失真信源编码
即时码
ABCD 1 10 100 1000
ABCD 1 01 001 0001
10110 010 →BACB
10110 0 01→ABAD
无需知道下一个码字的码符号，即可译码， 这样的唯一可译码成为即时码。
命题5.2.1 一个唯一可译码成为即时码的充 要条件是其中任何一个码字都不是其他码 字的前缀。
信源 信源编码器 纠错编码器 调制器
干扰源
信 道
信宿 信源译码器 纠错译码器 解调器
无失真信源编码：解码之后可以得到原始 信息，例如霍夫曼编码。它相对简单，是 本章的重点。
有失真信源编码：解码之后的信息与原始 信息有一定的差别，例如JPEG、MPEG
5.1 编码器
S=(s1,s2,…,sq) 编码器 C=编码，编码器的映射必须是一一对 应、可逆的。
码的分类
根据码长
固定长度码（定长码）：所有码字的长度相同。 可变长度码（变长码）：码字长短不一。
码字是否相同
非奇异码：所有码字都不相同。 奇异码：存在相同的码字。
5.2 分组码
s1,…,si-1 si si+1,…,sq
无关
无关
5.3 定长码
编码速率：R
l
log N
r
，其中l是码字长度，r是码符号的个
数，N代表N次扩展信源。
编码效率：η=H(S)/R，其中H(S)是扩展之前信源的熵。
例如：S={A,B,C}, 等概率出现，N=2, SN={AA,…,CC}，对 SN进行二元编码，则r=2，编码方式如下，则l=4。
AA AB AC BA BB BC CA CB CC
第三章 无失真信源编码
8.唯一可译码 若码的任意一串有限长的码符号序列只能被 唯一的译成所对应的信源符号序列，则此码 称为唯一可译码。也称单义可译码。 注意：定长码是非奇异的就是唯一可译码，因 为它能固定长度分组。 变长码则不一定，主要是不能固定长度分组。 唯一可译码还有判定准则，后面将介绍。
唯一可译码(续)
信源符号si 信源符号出现概率p（si）码1 码2
• 编码：信源编码、信道编码。 • 信源编码：无失真信源编码、限失真信源 编码。 • 无失真信源编码：适用于离散信源或数字 信号。 • 限失真信源编码：适用于连续信源或模拟 信号，如语音、图像等信号的数字处理。
信源编码目的与方法
信源编码：将信源输出的消息符号进行有效 变换，使其成为适合信道传输的符号序列， 且使该序列组成的新信源的冗余度尽可能 地减少。
码字集合
X { x , x , x } 1 2 r
一些基本概念
• • • • • • • • • • • 二元码 定长码 变长码 非奇异码 奇异码 同价码 分组码 唯一可译码 即时码 码的前缀 码树
1.二元码 若码符号集为X={0,1}，所有码字都是二元 符号序列，则称为二元码。 2.定长码 若一组码中所有码字的码长都相同，即 l =l（i=1,2…,n）,则称为定长码。
i
3.变长码 若一组码中所有码字的码长各不相同，即任意码字
由不同长度li的码符号序列组成，则称为变长码。
信源符号si 信源符号出现概率p（si） 码1 码2 0 01 00p（s1） p（s2） p（s3） p（s4）
00 01 10 11
2
3
4
4.非奇异码 若一组码中所有码字都不相同，即所有信源 符号映射到不同的码符号序列，则称码为 非奇异码。
离散无记忆信源无失真编码-信息理论与编码4
信息理论与编码主要内容⏹第1章绪论⏹第2章信息的度量⏹第3章信道模型和信道容量⏹第4章离散无记忆信源无失真编码⏹第5章有噪信道编码⏹第6章限失真信源编码⏹第7章网络信息论基础⏹第8章信息安全与密码学基础第4章离散无记忆信源无失真编码信息传输系统编码和译码示意图噪声信道U X信源编码信源信宿等效无噪信道信源译码信道编码信道译码Y ˆW WˆU信源编（译）码和信道编（译）码无失真编码和有失真编码无失真信源编码的作用本章主要内容⏹4.1 信源编码概论⏹4.2 码的唯一可译性⏹4.3 定长编码定理和定长编码方法⏹4.4 变长编码定理⏹4.5 变长编码方法⏹4.6 几种实用的无失真信源编码4.1 信源编码概论信源编码器示意图定长编码和变长编码平均码长编码效率信源编码器示意图——信源符号集合；——码元组成的集合；——信道能够传送的符号，称为码元；——信源编码，一一对应映射，——把信源输出的符号变换成的码元序列，称为码字；——所有码字组成的集合，称为码或码字集。
——所含码元的个数，称为该码字的码长，单位“码元/符号”或编码器12{,,,}q u u u L 12{,,,}r x x x L WU12{,,,}q w w w L X信源12{,,,}q U u u u =L 12{,,,}rX x x x =L i x fi i w u −→−1,2,,i q=L i w i u 12{,,,}q W w w w =L U i l iw定长编码和变长编码平均码长小说明平均一个码元所携带的信息量大，信l 12r l l l l ====L l11()()qqiiiii i l P w lP u l====∑∑11()()q qi i i i l P u l l P u l=====∑∑ll例123412141818UU u u u uP⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦{0,1}X=1111122213331444()00,2()01,2()10,2()11,2f u w lf u w lf u w lf u w l============ 411111()222222488i iil P u l===⨯+⨯+⨯+⨯=∑2111222223332444()0,1()10,2()110,3()111,4f u w lf u w lf u w lf u w l============ 411111()1233 1.752488i iil P u l===⨯+⨯+⨯+⨯=∑编码效率X编码器12{,,,}qu u uL12{,,,}rx x xLWU12{,,,}qw w wLX信源X12{,,,}rx x xLiuiw()()i iP w P u=1,2,,i q=L()()H W H U=cη()()()H W H UH Xl l==()()H UR H Xl==max max()()()()log log cR H X H U l H UR H X r l r η====1c cγη=-4.2 码的唯一可译性⏹4.2.1 常见码及其唯一可译性⏹4.2.2 码树和Kraft 不等式4.2.1 常见码及其唯一可译性唯一可译码和非唯一可译码码W 是唯一可译码的充分必要条件奇异码和非奇异码非续长码和续长码及时码或立即码各种码的关系唯一可译码和非唯一可译码码是唯一可译码的充分必要条件35124121142183184()0000100010*******101001110011111110111111 iP u W WW W WUuuuu奇异码和非奇异码非续长码和续长码及时码或立即码各种码的关系唯一可译码定长非奇异码非续长码非奇异码4.2.2 码树和Kraft 不等式码树节点l 阶节点终端节点端点114w3w2w1w1()a1114w3w2w1()b一阶节点1114111w=1w=113011w=201w=()c二阶节点三阶节点il1,2,,i q=L11iqlir-=≤∑il1,2,,i q=L11iqlir-=≤∑4.3 定长编码定理和定长编码方法定长编码惟一可译条件定长无失真编码定理定长编码惟一可译条件[,][,()|1,2,,]U i iU P u P u i q==L UN NU N qNlNl Nl N l rNUNl Nr q≥Nqmaxmax()log()log logNrl H UqH UN r r≥==Nl Nmax()rH U UUUUNl Nmax()rH UN定长无失真编码定理UNN NNNl ε()logNl H UN rε+≥()2logNl H UN rε-≤()()log logcNH U H Ull r rNη==Ul ()rH U例1解{0,1}X=UU123456723456611111112222222 Uu u u u u u u UP⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦log log72.8log log2Nl qlN r=≥=≈X U1234567 ::001010011100101110111 U u u u u u u u W7163 ()()log()32i iiH U P u P u==-=∑3l l==6332()65.625%log3log2cH Ul rη===⨯U()()()log ()log c N H U H U H U l l r H U r Nηε===+e P 22()e U P N σε≤2()U σU[]{}[][]22221()()()()log ()()q i i i i U E I u H U P u P u H U σ==-=-∑δ22()U N σεδ>eP δ<[]2222()(1)()cc U N H U ησηδ>-例2解()6332H U=[][]2221()()log()() 5.0625 qi iiU P u P u H Uσ==-=∑[][]2228 222226() 5.0625(0.9)10(1)(10.9)10()6332ccUNH Uησηδ->=≈--⨯810N>90%cη=610δ-<4.4 变长编码定理无失真变长编码定理（香农第一定理）()NrlH UNNl1()NrlH UN N<+lim lim()NrN Nll H UN→∞→∞==()()lim lim lim100%logrcN N NH UH Ul r lη→∞→∞→∞===4.5 变长编码方法最佳码最佳编码最佳码本节主要内容⏹4.5.1 霍夫曼编码⏹4.5.2 费诺编码⏹4.5.3 香农编码4.5.1 霍夫曼编码二进制霍夫曼编码编码效果分析r进制霍夫曼编码符号序列的霍夫曼编码二进制霍夫曼编码iu 符号概率)(i u P 码字i w 码长il 1u 212u 2213u 3214u 4215u 5216u 6217u 621110120013000140000150000016000000652111 11111.0042132122121234566 11111111234566 2222222l=⨯+⨯+⨯+⨯+⨯+⨯+⨯6332=63326332()100%log log2cH UN rη===⨯编码效果分析max()6332110.3()log7H UH Uγ=-=-≈110.656250.34375cγ=-=210.90.1cγ=-=3110 cγ=-=1234567 ::001010011100101110111 U u u u u u u u W⎥⎦⎤⎢⎣⎡===⎥⎦⎤⎢⎣⎡)1()0(1XPXPPXX分别为和(0)l(1)l2345661111111115(0)2212110222222264l=⨯+⨯+⨯+⨯+⨯+⨯+⨯=11577(1)(0)36464l l l=-=-=(0)11564(1)7764(0)0.6(1)0.433l lP X P Xl l===≈===≈12612234566111111163 (0)0123456222222264 l=⨯+⨯+⨯+⨯+⨯+⨯+⨯=636363(1)(0)326464l l l=-=-=(0)6364(0)0.5(1)1(0)0.56332lP X P X P Xl======-==例1解12345670.350.300.200.100.040.0050.005UU u u u u u u uP⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦iu 符号概率)(i u P 码字i w 码长il 1u 2u 3u 4u 5u 6u 7u 0.35110.300120.2000130.10000140.040000150.00500000160.005000000611 111101.000.010.050.150.350.65iu 符号概率)(i u P 码字i w 码长il 1u 2u 3u 4u 5u 6u 7u 0.351120.301020.200120.1000130.04000140.0050000150.00500000511111100 0 1.000.010.050.150.350.65。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1、异前置码 如果所采用的不等长编码使接收端能从 码序列中唯一地分割出对应与每一个符 号元的码字，则称该不等长编码为单义 可译码。 单义可译码中，如果能在对应与每一个 符号元的码字结束时立即译出的称为即 时码，如果要等到对应与下一个符号元 的码字才能译出的称为延时码。
码A x1 x2 x3 x4 0.5 0.3 0.15 0.05 0 1 00 01
④将pa(xj)用二进制表示，取小数点后ki 位作为符号元xi的码字。
例1，对单符号离散信源
X x1 P( X) 0.5 x2 0.3 x3 0.15 x4 0.05
电子科技大学
编二进制香农码，并计算其编码效率。 解：①将xi按概率进行降序排列
xi p(xi) pa(xj) ki 码字
电子科技大学
m
i 1
n
Nki
m
N
从而 m
i 1
n
ki
1
电子科技大学
2、无失真编码定理 如果L维离散平稳信源的平均符号熵为 HL(X1X2…XL)，对信源符号进行m元不 等长组编码，一定存在一种无失真编码 方法，当L足够大时，使得每个信源符号 所对应码字的平均比特数
H L (X1X 2 X L ) K L lbm H L (X1X 2 X L )
k i lbm lbP (a i ) 即k i lbP (a i ) lbm
电子科技大学
取
lbP (a i ) lbm
ki
lbP (a i ) lbm
1
其平均码长
P (a i )
i 1 n
lbP (a i ) lbm
P(a i )k i P(a i )
lbm 电子科技大学 L
只要
lbm L
H L (X1X 2 X L )
K L
lbm H L (X1X 2 X L )
无失真编码定理又叫香农第一定理，该 定理从理论上阐明了编码效率
H L (X1X 2 X L ) K L lbm 1
的理想无失真编码的存在性，代价是取 无限长的符号序列进行组编码，即只有 L→∞时
与第一种编码相比，码字压缩了0.3个比 特，编码效率提高了14.5%。
进一步，如果对该信源的二次扩展信源
X 2 x1x1 2 P(X ) 0.25 x 3 x1 x 3x 2 x1x 2 0.15 x 3x 3 x1x 3 x1x 4 x 2 x1 x 2x 2 0.09 x 2x3 0.075 0.025 0.15 x 3x 4 x 4 x1 x 4x 2
②由于码长不等，如何保证接收端从码 序列中唯一地分割出对应与每一个符号 元的码字，以实现无失真译码？ ③对符号序列进行组(block)编码有助于 使平均码长接近离散熵，但平均码长能 否无限接近离散熵，从而使编码效率趋 近1？如果能，对序列长度有什么要求？
电子科技大学
二、无失真编码定理
电子科技大学
码B 0 01 011 0111
码C 0 10 110 111
电子科技大学
表中，码A不是单义可译码，它有二义性， 码B和码C才是单义可译码；码B是延时 码，它需等到对应与下一个符号元的码 字开头0才能确定本码字的结束，存在译 码延时，只有码C才是即时码。
码C的特点是：任何一个码字都不是其他 码字的前缀，因此将该码称为异前置码。 异前置码可以用树图来构造： 0 一个三元码树图 1 0 从树根开始到每一个 1 2 0 终节点的联枝代表一 1 2 个码字，故相应的异 2 前置码
000,001,002,01,02,1,2
电子科技大学
码C所对应的二元码树图
电子科技大学
0 0
1
1
0
1
m元长度为ki , i=1,2, …,n的异前置码存在 的充分必要条件是：
m
i 1
n
ki
1
该充要条件称为克拉夫特(Kraft)不等式。
设m元异前置码第i个码字的长度为ki , i=1,2, …,n 考虑一个N级满树，在第N级共有mN个节 点，在第ki级共有mki个节点。 根据异前置码的定义，第i个码字后的节 点不能再用，故不能用的节点数为mN-ki 构造异前置码的码树图上总共不用的节 点总数
x1
x2 x3 x4
0.5
0.3 0.15 0.05
电子科技大学
②令p(x0)=0，计算第j-1个码字的累加概
j 1
率 pa ( x j ) p( xi )
i0
j 1,2,, n
pa(x1)=0 pa(x2)=0+0.5=0.5 pa(x3)=0.5+0.3=0.8 pa(x4)=0.8+0.15=0.95 ③确定第i个码字的码长ki：
电子科技大学
lbp ( x4 ) lb 0.05 4.32, lbp ( x 4 ) 1 5.32 取k 4 5
④将pa(xj)用二进制表示，取小数点后ki 位作为xi的码字 pa(x1)=0.0=(0.0)2→0 pa(x2)=0.5=(0.10)2→10 pa(x3)=0.8=(0.110…)2→110 pa(x4)=0.95=(0.11110…)2→11110
电子科技大学
H(X) K
1.648 2
82.4%
码字的比特数中约有17.6%未携带信息， 属于冗余比特，传输这种码序列效率不 高。 为了压缩比特数，可以考虑对信源符号 进行不等长编码，如
x1 0, x 2 1, x 3 00, x4 01
但该编码不能实现无失真译码，即不能 保证符号元与码字的一一对应。
H( X) K L lbm H(X)
电子科技大学
式中，ε为任意给定的小正数。 此时香农界为H(X)。
对于m阶马尔科夫信源(m<L) ，当L足够 大时，由于其平均符号熵HL(X1X2…XL) =Hm+1，故对信源符号进行m元不等长组 编码，一定存在一种无失真编码方法， 使得每个信源符号所对应码字的平均比 特数
i 1 i 1
n
n
lbP (a i ) lbm
1
即
H(X1X 2 X L ) lbm
K
K L
H(X1X 2 X L ) lbm
1
lbm L
H(X1X 2 X L ) L
lbm
H(X1X 2 X L ) L
H L (X1X 2 X L )
K L
lbm H L (X1X 2 X L )
式中，ε为任意给定的小正数。
设不等长组编码对应于符号元ai=xi1xi2… xiL的码字长度为ki
取k i使之满足m
由于 m
i 1 n ki n
电子科技大学
k i
P(a i )
P (a i ) 1
i 1
说明该编码是异前置码
m
ki
P(a i )即m
ki
1 P (a i )
H m 1 K L lbm H m 1
电子科技大学
式中，ε为任意给定的小正数。 此时香农界为Hm+1。
平稳无记忆信源的香农界H(X)大于m阶 马尔科夫信源的香农界Hm+1，而m阶马尔 科夫信源的香农界Hm+1又大于一般平稳 信源的香农界H∞。
电子科技大学
因此，对离散平稳信源进行无失真编码， 每个信源符号所对应码字的平均比特数 平稳无记忆信源最多， m阶马尔科夫信 源次之，一般平稳信源最少。
一种能保证符号元与码字一一对应的不 等长编码为
x1 0, x 2 10, x 3 110, x 4 111
电子科技大学
其平均码长
K 0.5 1 0.3 2 0.15 3 0.05 3 1.7
编码效率
H(X) K 1.648 1.7 96.9%
K P(a i )k i 0.25 2 0.15 3
i 1 16
0.0075 8 0.0025 8 3.328
编码效率
H( X ) K
2
2H ( X ) K
3.296 3.3
与第二种编码相比，码字又压缩了约0.04 个比特，编码效率提高了2.1%。 总结该例子，有以下几点结论与问题： ①一般采用不等长编码，使平均码长接 近离散熵，从而在无失真前提下提高编 码效率；编码的基本原则是大概率符号 元编成短码，小概率符号元编成长码。
i 1
二进制香农码的编码步骤如下： ①将符号元xi按概率进行降序排列； ②令p(x0)=0，计算第j-1个码字的累加概
j 1
电子科技大学
率 pa ( x j ) p( xi )
i0
j 1,2,, n
③确定第i个码字的码长ki， ki为满足下 列不等式的整数：
lbp (xi ) k i lbp (xi ) 1
三、香农编码
电子科技大学
香农编码是一种采用异前置码的m进制 编码方法。 设离散信源
X x1 P( X) p( x1 ) x2 p( x 2 ) xn p( x n )
不失一般性，设p(x1)>p(x2)>…>p(xn)， n
且 p( x i ) 1
电子科技大学
一、无失真编码的基本思路
电子科技大学
先看一个单符号离散信源无失真编码的 例子：
X x1 P(X) 0.5 x2 0.3 x3 0.15 x4 0.05
其离散熵
H(X) P( x i )lbP ( x i )
i 1 4
0.5lb 0.5 0.3lb 0.3 0.15lb 0.15 0.05lb 0.05