第5章_无失真信源编码 题与答案
信息论基础与应用-李梅-第五章 无失真信源编码解析
二次扩展码码字 w j ( j 1, 2,...,16)
w1 w1w1 00 w 2 w1w2 001 w3 w1w3 0001 w16 w4 w4 111111
第五章：无失真信源编码
一、信源编码的相关概念
4. 关于编码的一些术语
编码器输出的码符号序列 wi称为码字；长度 li 称为码 字长度，简称码长；全体码字的集合C称为码。 若码符号集合为X={0,1}，则所得的码字都是二元序 列，称为二元码。
将信源符号集中的每个信源符号
si 固定的映射成某
一个码字 wi ，这样的码称为分组码。
码字与信源符号一一对应
2) 不同的信源符号序列对应不同的码字序列
第五章：无失真信源编码
一、信源编码的相关概念
6. 唯一可译性（续2）
例1：
1) 奇异码
s1 s2 s3 s4
0 11 00 Байду номын сангаас1
译码 11
s2 s4
奇异码一定不是唯一可译码
第五章：无失真信源编码
一、信源编码的相关概念
6. 唯一可译性（续3）
译码 0 0 0 1 1 0 1 1
s1s2 s3 s4
第五章：无失真信源编码
一、信源编码的相关概念
6. 唯一可译性（续5）
4)
唯一可译码 1 1 0 1 0 0 1 0 0 0 0
s1 s2
1 10
1 0
1
s2 / s3 ?
s3 100 s4 1000
为非即时码
第五章：无失真信源编码
一、信源编码的相关概念
第5章限失真信源编码.
第5章 限失真信源编码
例 题：
0 1 1/2 删除信道 X {0 ， 1} ， Y {0 ， 1， 2} ， D ，求 Dmin 1 0 1/2
5.2 信息率失真函数
第5章 限失真信源编码
5.2.1 信息率失真函数的一般概念
如果信源和失真度给定，则根据式（ 5-3） ， D 就只与信道特性有关，把所有满足保真度 准则 D ≤ D 的信道集中起来，构成一个所谓 D 失真允许的试验信道集合，记为 PD ，即：
PD = p( y j | xi ); D ≤ D ; i = 1 , 2 , , m ; j = 1 , 2 , ，n
yn p( y 2 ) p( y n ) y2
对于每一对 ( xi , y j ) ，指定一个非负的函数 d ( xi , y j ) ≥ 0, i 1 , 2 , , m ; j 1 , 2 , , n ， 称 d ( xi , y j ) 为单位符号的失真度或失真函数，用它来表示信源发出一个符号 x i ，而在接收端再 现为 y j 所引起的误差或失真的大小。通常较小的 d 值代表较小的失真，而 d ( xi , y j ) 0 表示没 有失真。由于信源 X 有 m 个符号，信道传输 Y 有 n 个符号，所以 d ( xi , y j ) 有 m n 个，这 m n 个非负的函数可以排列成矩阵形式，即：
第5章 限失真信源编码
汉明失真矩阵 D 通常为方阵，且对角线上的元素为 0。即：
0 1 D 1
D 是 m m 阶方阵。
例 题：
1 1 1 0 1 1 1 1 0
设信道输入 X {0 , 1} ，输出 Y {0 , 1 , 2} ，规定失真函数 d (0 , 0) d (1 , 1) 0 ， d (0 , 1) d (1 , 0) 1 ， d (0 , 2) d (2 , 0) 0.5 ，求 D 。 解：由失真函数和失真矩阵可得出：
第5章 信源编码 第1讲 无失真信源编码 定长编码定理 2016
00 01 10 11
0 01 001 111
12/62
余 映 云南大学
5.1 编码的定义
• 采用分组编码方法，需要分组码具有某些属性， 以保证在接收端能够迅速准确地将码译出。 • 下面讨论分组码的属性：
余 映 云南大学
13/62
5.1 编码的定义
• (1) 奇异码和非奇异码
– 若信源符号和码字是一一对应的，则该码为非奇异码； 反之为奇异码。 – 例如表中码1是奇异码，其他是非奇异码。
信源符号 出现概率 码1 码2 码3 码4
A B C D
1/2 1/4 1/8 1/8
0 11 00 11
余 映 云南大学
0 10 00 01
1 10 100 1000
1 01 001 0001
18/62
5.1 编码的定义
• (3) 即时码和非即时码
– 唯一可译码又分为非即时码和即时码。 – 即时码是一种没有一个码字构成另一码字前缀的码。 在译码时没有延迟，收到一个完整码字后就能立即译 码。 – 如果收到一个完整码字后，不能立即译码，还需等下 一个码字开始接收后才能判断是否可以译码，这样的 码叫做非即时码。
信源符号
出现概率
码1
码2
码3
码4
a1 a2 a3 a4
1/2 1/4 1/8 1/8
0 11 00 11
余 映 云南大学
0 10 00 01
1 10 100 1000
1 01 001 0001
14/62
5.1 编码的定义
• (2) 唯一可译码和非唯一可译码
– 若任意有限长的码元序列，只能被唯一地分割成一个 个的码字，则称为唯一可译码。 – 例如{0, 10, 11}是一种唯一可译码。 – 因为任意一串有限长码序列， – 如100111000
信息论与编码第5章
信息论与编码第5章第五章信源编码（第⼗讲）（2课时）主要内容：（1）编码的定义（2）⽆失真信源编码重点：定长编码定理、变长编码定理、最佳变长编码。
难点：定长编码定理、哈夫曼编码⽅法。
作业：5。
2，5。
4，5。
6；说明：本堂课推导内容较多，枯燥平淡，不易激发学⽣兴趣，要注意多讨论⽤途。
另外，注意，解题⽅法。
多加⼀些内容丰富知识和理解。
通信的实质是信息的传输。
⽽⾼速度、⾼质量地传送信息是信息传输的基本问题。
将信源信息通过信道传送给信宿，怎样才能做到尽可能不失真⽽⼜快速呢？这就需要解决两个问题：第⼀，在不失真或允许⼀定失真的条件下，如何⽤尽可能少的符号来传送信源信息；第⼆，在信道受⼲扰的情况下，如何增加信号的抗⼲扰能⼒，同时⼜使得信息传输率最⼤。
为了解决这两个问题，就要引⼊信源编码和信道编码。
⼀般来说，提⾼抗⼲扰能⼒（降低失真或错误概率）往往是以降低信息传输率为代价的；反之，要提⾼信息传输率常常⼜会使抗⼲扰能⼒减弱。
⼆者是有⽭盾的。
然⽽在信息论的编码定理中，已从理论上证明，⾄少存在某种最佳的编码或信息处理⽅法，能够解决上述⽭盾，做到既可靠⼜有效地传输信息。
这些结论对各种通信系统的设计和估价具有重⼤的理论指导意义。
§3.1 编码的定义编码实质上是对信源的原始符号按⼀定的数学规则进⾏的⼀种变换。
讨论⽆失真信源编码，可以不考虑⼲扰问题，所以它的数学描述⽐较简单。
图 3.1是⼀个信源编码器，它的输⼊是信源符号},,, {21q s s s S =，同时存在另⼀符号},,,{21r x x x X =，⼀般来说，元素xj 是适合信道传输的，称为码符号（或者码元）。
编码器的功能就是将信源符号集中的符号s i （或者长为N 的信源符号序列）变换成由x j (j=1,2,3,…r)组成的长度为l i 的⼀⼀对应的序列。
输出的码符号序列称为码字，长度l i 称为码字长度或简称码长。
可见，编码就是从信源符号到码符号的⼀种映射。
第5章 无失真信源编码定理
5.1 编码器
编码器可以看作这样一个系统，它的输入端为原始信 源S，其符号集为 S {S1, S2 ,..., Sq }；而信道所能传输的符号集 为 X {x1, x2 ,..., xr } 编码器的功能是用符号集X中的元素，将 原始信源的符号 S i 变换为相应的码字符号 wi ，所以编码器 输出端的符号集为 C :{W1,W2 ,...,Wq }
0
0 0
01
001 0001
树枝数——码的数
节数——码长 端点——码字 满树——等长码 非满树——变长码
码4的树图
码3的树图
在每个节点上都有r个分枝的树称为整树，否则称为非 整树。即时码的树图还可以用来译码。
5.5.3 克拉夫特（Kraft）不等式
定理5.4 对于码符号为 X {x1 , x2 ,..., xr } 的任意即时码，其 码字为 W1 ,W2 ,...,Wq 所对应的码长为 l1 , l2 ,..., lq ，则必定满
第5章 无失真信源编码定理
◆ 编码器 ◆ 等长码 ◆ 等长信源编码定理 ◆ 变长码
◆ 变长信源编码定理
引 言
1、信源编码：以提高通信有效性为目的的编码。通常通 过压缩信源的冗余度来实现。采用的一般方法是压缩每
个信源符号的平均比特数或信源的码率。即同样多的信
息用较少的码率传送，使单位时间内传送的平均信息量 增加，从而提高通信的有效性。
但码3和码4也不太一样，码4称作逗点码，只要收到1，就
可以立即作出译码；而码3不同，当收到一个或几个码时，
必须参考后面的码才能作出判断。 定义 在唯一可译码中，有一类码，它在译码是无须参考 后面的码字就可以作出判断，这种码称为即时码。 定义 如果一个码组中的任一个码字都不是另一个码字 的续长，或者说，任何一个码字后加上若干码元后都不是
第5章-无失真信源编码-题与答案
码字中有3个“1”，错误概率：
5.9设有离散无记忆信源
码符号集 ，现对该信源 进行三元哈夫曼编码，试求信源熵 ，码平均长度 和编码效率 。
解：
满树叶子节点的个数： ， ，不能构成满树。
11
222
212
202
022
012
0003
0013
5.1有一信源，它有6个可能的输出，其概率分布如题5.1表所示，表中给出了对应的码 和 。
题表 5.1
消息
p(ai)
A
B
C
D
E
F
a1
1/2
000
0
0
0
0
0
a2
1/4
001
01
10
10
10
100
a3
1/16
010
011
110
110
1100
101
a4
1/16
011
0Hale Waihona Puke 1111101110
1101
110
a5
(1) 求码字所需要的长度；
(2) 考虑没有给予编码的信源序列出现的概率，该等长码引起的错误概率 是多少？
解：
(1)
码字中有0个“1”，码字的个数：
码字中有1个“1”，码字的个数：
码字中有2个“1”，码字的个数：
码字中有3个“1”，码字的个数：
(2)
码字中有0个“1”，错误概率：
码字中有1个“1”，错误概率：
1/16
100
01111
11110
1011
1100
111
a6
1/16
信息论基础第5章无失真信源编码
r 元霍夫曼编码步骤：
1) 验证所给 q 是否满足 q (r 1) r ，若不满足该式，
可以人为地增加 t 个概率为零的符号，满足式
n (r 1) r ，以使最后一步有 r 个信源符号；
2) 取概率最小的 r 个符号合并成一个新符号，并分别用 0， 1，…，(r 1) 给各分支赋值，把这些符号的概率相加作为该新 符号的概率；
上述不等式只是即时码存在的充要条件，而不能作为判别的依据。
需要注意的是，克拉夫特不等式是即时码存在的充要条件，而 不能作为判别的依据。后来麦克米伦（B. McMillan）证明唯一可译 码也满足克拉夫特不等式。这说明在码长选择的条件上，即时码与 唯一可译码是一致的。
【例】 对于二元码，即 r 2 ，如果 q 4 ， L1 2 ， L2 2 ，
原始信源普遍存在剩余度，香农信息论认为信源的剩余度主 要来自两个方面：一是信源符号间的相关性，二是信源符号概率 分布的不均匀性。为了去除信源剩余度，提高信源的信息传输率， 必须对信源进行压缩编码。
目前去除信源符号间相关性的主要方法是预测编码和变换编 码，而去除信源符号概率分布不均匀性的主要方法是统计编码。
《信息论基础》
第5章 无失真信源编码
第 2 章已经讨论了离散信源的信息度量—信源熵， 本章将讨论信源的另一个重要问题：如何对信源的输出 进行适当的编码，才能用尽可能少的码元来表示信源信 息，做到以最大的信息传输率无差错地传输信息呢？即 无失真信源编码，它解决的是通信的有效性问题。
本章将首先介绍信源编码器；然后从理论上阐述无 失真信源编码定理，得出“平均码长的理论极限值就是
第五章无失真信源编码分析
s jN
C N {w 1 , w 2 , , w q N }
w j w j1 w j2 w jN
s j s j1 s j2
j 1, 2 , , q N
j1 , j 2 , , j N 1, 2 , , q
第五章：无失真信源编码
一、信源编码的相关概念
3. N次扩展码（续1）
2 2.5 3 3
s1= s1 s1 s2= s1 s2 s3= s1 s3 s4= s1 s4 s5= s2 s1 s6= s2 s2 s7= s2 s3 s8= s2 s4
1/4 1/8 1/16 1/16
1/8
1/16 1/32
1.5
2 2.5
1/32
2.5
s9 = s3 s 1 s10= s3 s2 s11= s3 s3 s12= s3 s4 s13= s4 s1 s14= s4 s2 s15= s4 s3 s16= s4 s4
2) 非奇异码
s1 0 s2 10 s3 s4 00 01
译码 0 10 00 01 0 译码
s1 s 2 s 3 s 4 s1
01 00
00 10
s 4 s3 s3 s 2
第五章：无失真信源编码
一、信源编码的相关概念
6. 唯一可译性（续4）
3)
等长码
非奇异码
唯一可译码
s1 s2
00 01
s3 10 s4 11
第五章：无失真信源编码
一、信源编码的相关概念
8. 即时码的构造方法（续4）
非分组码 奇异码 非唯一可译码 码 分组码 非奇异码 即时码 唯一可译码 非即时码
第五章 信源编码LVRH1010
解：将信源通过一个二元信道传输，就必须把信源符号si变换 成由0，1符号组成的码符号序列，即进行编码。可以用不同 的二元码符号序列与信源符号 一一对应，就得到不同的码。
信源符号 P(si) s1 s2 s3 s4 P(s1) P(s2) P(s3) P(s4) 码1 00 01 10 11 码2 0 01 001 111 5.1 编码的定义 定长码 变长码 二次扩展信源符号 二次扩展码字 S1=S1S1 s2=S1S2 …… s4=S4S4 00 001 …… 111111
l ≥ log r q = 5
分析：考虑到符号出现的概率以及符号之间的相关性后，实际平均每 分析 个英文电报符号所提供的信息量约1.4bit，远小于5bit，因此定长编码 后，每个码字只载1.5bit信息，5个二进制符号最大能载5bit信息 ，因 此，定长编码的信息传输效率低。 解决方案: 解决方案 (1)对于不会出现的符号序列不予编码，这样不会造成误差； (2)对于概率非常小的信源符号序列不予编码，这样可能会造成一 定误差，但当信源符号序列N足够大，误差概率非常小
第五章 信源编码 五
问题
• 对信源有两个重要问题 1. 信源输出的信息量的度量问题 度量问题； 度量问题 2. 如何更有效地 有效地表示信源输出的问题 输出的问题； 有效地 输出的问题
信源输出的符号序列，经过信源编码，变换成 适合信道传输的符号序列，同时，在不失真或允许 一定失真的条件下，用尽可能少的码符号来传递信 源消息，提高信息传输的效率。
i =1 8
a7 0.05
a8 , 0.04
HL (X ) 2 .55 得K = = 2.83bit / 符号 90 % K 即每个符号用 2.83bit 进行定长二元编码，共 有 2 2.83 = 7.11种可能性 若取 L = 1，据 η = 根据 η = H( X ) = 0.9 ⇒ ε = 0 .28 H (X ) + ε
第5章无失真信源编码定理12
第5章无失真信源编码定理●通信的实质是信息的传输。
高效率、高质量地传送信息又是信息传输的基本问题。
●信源信息通过信道传送给信宿，需要解决两个问题：第一，在不失真或允许一定失真条件下，如何用尽可能少的符号来传送信源信息，以提高信息传输率。
第二，在信道受干扰的情况下，如何增强信号的抗干扰能力，提高信息传输的可靠性同时又使得信息传输率最大。
●为了解决以上两个问题，引入了信源编码和信道编码。
●提高抗干扰能力（降低失真或错误概率）往往是增加剩余度以降低信息传输率为代价的；反之，要提高信息传输率往往通过压缩信源的剩余度来实现，常常又会使抗干扰能力减弱。
●上面两者是有矛盾的，然而在信息论的编码定理中，已从理论上证明，至少存在某种最佳的编码或信息处理方法，能够解决上述矛盾，做到既可靠又有效地传输信息。
●第5章着重讨论对离散信源进行无失真信源编码的要求、方法及理论极限，得出极为重要的极限定理——香农第一定理。
5.1编码器●编码实质上是对信源的原始符号按一定的数学规则进行的一种变换。
●图5.1就是一个编码器，它的输入是信源符号集S={s 1,s 2,…,s q }。
同时存在另一符号集X={x 1,x 2, …,x r }，一般元素x j 是适合信道传输的，称为码符号（或称为码元）。
编码器是将信源符号集中的符号s i （或者长为N 的信源符号序列a i ）变换成由x j（j=1,2, …,r ）组成的长度为l i的一一对应序列。
●这种码符号序列W i 称为码字。
长度l i称为码字长度或简称码长。
所有这些码字的集合C 称为码。
●编码就是从信源符号到码符号的一种映射，若要实现无失真编码，必须这种映射是一一对应的、可逆的。
编码器S ：{s 1,s 2,…s q }X ：{x 1,x 2,…x r }C ：{w 1,w 2,…w q }（w i 是由l i 个x j （x j 属于X ））组成的序列，并于s i 一一对应一些码的定义●二元码：若码符号集为X={0,1}，所得码字都是一些二元序列，则称为二元码。
信息论基础与编码(第五章)
5-1 有一信源，它有六种可能的输出，其概率分布如下表所示，表中给出了对应的六种编码12345C C C C C 、、、、和6C 。
（1） 求这些码中哪些是唯一可译码； （2） 求哪些是非延长码（即时码）；（3） 对所有唯一可译码求出其平均码长。
解：（1(2)1,3,6是即时码。
5-2证明若存在一个码长为12,,,q l l l ⋅⋅⋅的唯一可译码，则一定存在具有相同码长的即时码。
证明：由定理可知若存在一个码长为Lq L L ,,2,1 的唯一可译码，则必定满足kraft 不等式∑=-qi l ir1≤1。
由定理44⋅可知若码长满足kraft 不等式，则一定存在这样码长的即时码。
所以若存在码长Lq L L ,,2,1 的唯一可译码，则一定存在具有相同码长P （y=0）的即时码。
5-3设信源126126()s s s S p p p P s ⋅⋅⋅⎡⎤⎡⎤=⎢⎥⎢⎥⋅⋅⋅⎣⎦⎣⎦，611i i p ==∑。
将此信源编码成为r 元唯一可译变长码（即码符号集12{,,,}r X x x x =⋅⋅⋅），其对应的码长为（126,,,l l l ⋅⋅⋅）=（1，1，2，3，2，3），求r 值的最小下限。
解：要将此信源编码成为 r 元唯一可译变长码，其码字对应的码长（l 1 ,l 2 ,l 3, l 4,l 5, l 6）=(1,1,2,3,2,3) 必须满足克拉夫特不等式，即132321161≤+++++=------=-∑r r r r r r ri li所以要满足122232≤++r r r ，其中 r 是大于或等于1的正整数。
可见，当r=1时，不能满足Kraft 不等式。
当r=2, 1824222>++，不能满足Kraft 。
当r=3,127262729232<=++，满足Kraft 。
所以，求得r 的最大值下限值等于3。
5-4设某城市有805门公务和60000门居民。
作为系统工程师，你需要为这些用户分配。
信息论与编码第五章课后习题答案
第五章课后习题【5.1】某信源按43)0(=P ，41)1(=P 的概率产生统计独立的二元序列。
（1）试求0N ，使当0N N >时有01.005.0)()(≤≥−S H N I P i α 式中，)(S H 是信源的熵。
（2）试求当0N N =时典型序列集N G ε中含有的信源序列个数。
解：（1）该信源的信源熵为811.0)(log )()(=−=∑i i s p s p S H 比特/符号自信息的方差为4715.0811.04log 4134log 43)()]([)]([22222=−+=−=S H s I E s I D i i 根据等长码编码定理，我们知道δεα−≤≥−1)()(S H N I P i 根据给定条件可知，05.0=ε，99.0=δ。
而[]2)(εδN s I D i =因此[]5.19099.0*05.04715.0)(220==≥δεi s I D N 取1910=N 。
（2）ε典型序列中信源序列个数取值范围为：])([])([22)1(εεεδ+−<<−S H N N S H N G代入上述数值得451.164351.1452201.0<<×N G ε【5.2】有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对应的码A 、B 、C 、D 、E 和F 。
表5.2消息 )(i a P A B C D E F 1a 1/2 000 0 0 0 0 0 2a 1/4 001 01 10 10 10 100 3a 1/16 010 011 110 110 1100 101 4a 1/16 011 0111 1110 1110 1101 110 5a 1/16 100 01111 11110 1011 1110 111 6a1/1610101111111111011011111011（1） 求这些码中哪些是惟一可译码； （2） 求哪些码是非延长码（即时码）； （3） 求对所有惟一可译码求出其平均码长L 。
第5章 无失真信源编码定理
编码定理不但证明了必然存在一种编码方法， 编码定理不但证明了必然存在一种编码方法， 使代码的平均长度可任意接近但不能低于符号 而且还阐明了达到这目标的途径， 熵，而且还阐明了达到这目标的途径，就是使 概率与码长匹配。 概率与码长匹配。 无失真编码或可逆编码只适用于离散信源。离 散信源的无失真信源编码实质上是一种概率匹 配编码。 配编码。它还可以进一步分为无记忆与有记忆 两类信源的概率匹配编码。 两类信源的概率匹配编码。而从编码本身的构 造可以分为等长码、不等长码、 造可以分为等长码、不等长码、分组码和非分 组码。 组码。
限失真编码
对连续信源而言， 对连续信源而言，信源输出的信息量是无限 大，编成代码后就无法无失真地恢复原来的连续 因为取值可有无限多个， 值，因为取值可有无限多个， 因此是不可能实现 无失真信源编码的。此时只能根据限失真编码 限失真编码定 无失真信源编码的。此时只能根据限失真编码定 理进行限失真编码。 理进行限失真编码。 有时， 有时，接收端并不要求完全精确地恢复信源输 出的信息，比如允许产生一定程度的失真， 出的信息，比如允许产生一定程度的失真，这是 符合大多数实际情况的。因为在很多实际问题中， 符合大多数实际情况的。因为在很多实际问题中， 既无可能， 精确复制既无可能，也无必要。连续信源就属这 一类，而且由于实际信道总是存在干扰， 一类，而且由于实际信道总是存在干扰，同时信 宿不论是人还是机器都存在一定的灵敏度和分辨 力。
si , s j ∈ S Wi , W j ∈ C
信源符号
概率
编码1
编码2
编码3
编码4
编码5
p (a i )
a1 a2 a3 a4
1/2
00
0
0
0
1
信息论与编码试题集与答案(新)
1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。
4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。
5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 31x x ++ 。
6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。
输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤⎢⎥⎣⎦；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤⎢⎥⎣⎦。
7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。
若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。
二、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。
（√ ）2. 线性码一定包含全零码。
（√ ）3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。
信息论与编码技术第五章课后习题答案
码，并求出其编码效率。
解：
信源符号 概率 编码
码字 码长
X1
3/8 0
0
1
X2
1/6 1
0
10 2
X3
1/8
1
11 2
X4
1/8 2
0
20 2
X5
1/8
1
21 2
X6
1/12
2
22 2
H(X)=-((3/8)*log(3/8)+(1/6)*log(1/6)+(1/8)*log(1/8)+(1/8)*log(1/8)+(1/8)*log(1/8)+(1/12)*log(1/12))
=2.3852 （三进制单位/信源符号）
H3(X)= H(X)/ 1.5850=2.3852/1.5850= 1.5049（三进制单位/信源符号）
L ＝(3/8)*1+ (1/6)*2+ (1/8)*2+ (1/8)*2+ (1/8)*2+ (1/12)*2＝1.625（码符号/信源符号）
η= H3(X)/ L =1.5049/1.625= 92.61 ％
5.8 已知符号集合 {x1, x2 , x3,"} 为无限离散消息集合，它们出现的概率分别为 p(x1) = 1/ 2 ， p(x2 ) = 1/ 4 ， p(x3 ) = 1/ 8 ， p(xi ) = 1/ 2i ，……。
(1) 用香农编码方法写出各个符号消息的码字。 (2) 计算码字的平均信息传输速率。
L =4*（1/4）*1=1（码符号/信源符号）
Rt= H(X)/(t* L )=1/(1*10*10-2)=10(比特/秒)
第5章_信源—信道编码定理
这种编码方法，可以看成是一种特殊的试验信道
1 P (v j / ui ) 0
d (C )
v j C , v j f (ui ) v j f (ui )
1 N
P (U ) d [ u , f ( u )]
U
1 1 1 [0 1 1 1 0 1 1 1] 3 8 4
要使信源在此二元信道中传输，必须对X进行二元编码：
x1 C1 C2 000 0000
x2 001 0001
x3 010 0010
H (X ) 3
H (X ) 4
x4 011 0011
x5 100 0100
x6 101 0101
对于码 对于码
C1
R1
0 .6 4 6
(比特／信道符号) (比特／信道符号)
第5章
信道—信源编码定理
通用通信系统
其中：编码器包括信源编码和信道编码两个部分； 译码器包括信道译码和信源译码两个部分； 信道为有噪信道。
•信道编码 •给定信道输入符号集AX； •给定信道输出符号集AY； •对每个输入符号x，存在一个非负实数b(x)，为传输x的 代价。 定义n阶容量—代价函数：
信息率为1/3，而平均失真为1/4，根据香农第三定理， 若允许失真D=1/4时，总可以找到一种编码，使信息输出 率达到极限R(1/4)
1 1 R ( ) 1 H ( ) 0 .1 8 9 4 4
信源—信道匹配
• 当信源与信道相连接时，其信息传输率并未 达到最大. • 希望能使信息传输率越大越好，能达到或尽 可能接近于信道容量, 信息传输率接近于信道 容量只有在信源取最佳分布时才能实现。 • 由此可见，当信道确定后，信道的信息传输 率与信源分布是密切相关的。当达到信道容 量时，我们称信源与信道达到匹配，否则认 为信道有剩余。
无失真信源编码题与
有一信源，它有 6 个可能的输出，其概率散布如题表所示，表中给出了对应的码A,B,C, D ,E和 F 。
题表信息p(a i )A B C D E Fa11/200000000a1/4001011010101002a1/1601001111011011001013a1/1601101111110111011011104a1/161000111111110101111001115a61/1610101111111111011011111011(1)求这些码中哪些是独一可译码；(2)求哪些是非延伸码（即时码）；(3)对全部独一可译码求出其均匀码长 L 。
解：(1)独一可译码： A， B， CA 是等长码，码长3，每个码字各不同样，所以是独一可译码。
B是非即时码，前缀码，是独一可译码。
C是即时码，是独一可译码。
D 是变长码，码长{1,2,3,4,4,4} ，不是独一可译码，由于不知足Kraft 不等式。
1234r l i111112222iE 是变长码，码长{1, 2, 4, 4,4,4} ，知足Kraft不等式，可是有同样的码字， W3 W51100 ，不是独一可译码。
124r l i111411222iF 是变长码，码长{1,3,3,3,3,3} ，不知足Kraft不等式，不是独一可译码。
13r l i115122i(2)非延伸码： A， C(3)L A3L B L C p i l i111213141512416161616i设失散信源的概率空间为S s1s2s3s4s5s6P对其采纳香农编码，并求出均匀码长和编码效率。
解：x i p(x i)a i)k i 码字p (xx103000x23001x33011x43100x53101x641110x771111110L p i l i 3 0.15 30.1 40.05 5iH (S)p i log p i bitiH (S)89.7%L设无记忆二元信源，其概率p10.005, p20.995 。
信息论与编码理论-习题答案-姜楠-王健-编著-清华大学
可得 ，3种状态等概率分布。
一阶马尔可夫信源熵为
信源剩余度为
（2）二阶马尔可夫信源有9种状态（状态转移图略），同样列方程组求得状态的平稳分布为
二阶马尔可夫信源熵为
信源剩余度为
由于在上述两种情况下，3个符号均为等概率分布，所以信源剩余度都等于0。
总的概率
所需要的信息量
2.6设 表示“大学生”这一事件， 表示“身高1.60m以上”这一事件，则
故
2.7四进制波形所含的信息量为 ，八进制波形所含信息量为 ，故四进制波形所含信息量为二进制的2倍，八进制波形所含信息量为二进制的3倍。
2.8
故以3为底的信息单位是比特的1.585倍。
2.9（1）J、Z（2）E（3）X
(2)三元对称强噪声信道模型如图所示。
4.7由图可知信道1、2的信道矩阵分别为
它们串联后构成一个马尔科夫链，根据马氏链的性质，串联后总的信道矩阵为
4.8传递矩阵为
输入信源符号的概率分布可以写成行向量形式，即
由信道传递矩阵和输入信源符号概率向量，求得输出符号概率分布为
输入符号和输出符号的联合概率分布为
由冗余度计算公式得
3.18（1）由一步转移概率矩阵与二步转移概率矩阵的公式 得
（2）设平稳状态 ，马尔可夫信源性质知 ，即
求解得稳态后的概率分布
3.19设状态空间S= ，符号空间
且
一步转移概率矩阵
状态转移图
设平稳状态 ，由马尔可夫信源性质有
即
可得
马尔可夫链只与前一个符号有关，则有
3.20消息元的联合概率是
平均信息传输速率
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
有一信源，它有6个可能的输出，其概率分布如题表所示，表中给出了对应的码E D C B A ,,,, 和 F 。
(1) 求这些码中哪些是唯一可译码； (2) 求哪些是非延长码（即时码）； (3) 对所有唯一可译码求出其平均码长L 。
解：
(1) 唯一可译码：A ，B ，C
A 是等长码，码长3，每个码字各不相同，因此是唯一可译码。
B 是非即时码，前缀码，是唯一可译码。
C 是即时码，是唯一可译码。
D 是变长码，码长}4 ,4 ,4 ,3 ,2 ,1{，不是唯一可译码，因为不满足Kraft 不等式。
10625.132********
321≥=⨯⎪⎭
⎫
⎝⎛+⎪⎭⎫ ⎝⎛+⎪⎭⎫ ⎝⎛+⎪⎭⎫ ⎝⎛=∑-i
l i
r
E 是变长码，码长}4 ,4 ,4 ,4 ,2 ,1{，满足Kraft 不等式，但是有相同的码字，110053==W W ，不是唯一可译码。
1142121214
21≤=⨯⎪⎭
⎫
⎝⎛+⎪⎭⎫ ⎝⎛+⎪⎭⎫ ⎝⎛=∑-i
l i
r
F 是变长码，码长}3 ,3 ,3 ,3 ,3 ,1{，不满足Kraft 不等式，不是唯一可译码。
1125.1521213
1≥=⨯⎪⎭
⎫
⎝⎛+⎪⎭⎫ ⎝⎛=∑-i
l i
r
(2) 非延长码：A ，C (3)
3125
.16161
5161416131612411213
=⨯+⨯+⨯+⨯+⨯+⨯=⋅===∑i
i i C B A l p L L L 设离散信源的概率空间为
⎭⎬⎫⎩
⎨⎧=⎥⎦⎤⎢⎣⎡05.010.015.020.025.025.0654321
s s s s s s P S
对其采用香农编码，并求出平均码长和编码效率。
解：
()%7.897
.2423
.2)( 423.205.0log 05.0...25.0log 25.0log )(7
.2505.041.0315.032.0225.0225.0===
=⨯++⨯-=-==⨯+⨯+⨯+⨯+⨯+⨯=⋅=∑∑L S H bit p p S H l p L i
i i i
i i η
设无记忆二元信源，其概率995.0 ,005.021==p p 。
信源输出100=N 的二元序列。
在长为
100=N 的信源序列中只对含有3个或小于3个“1”的各信源序列构成一一对应的一组等长
码。
(1) 求码字所需要的长度；
(2) 考虑没有给予编码的信源序列出现的概率，该等长码引起的错误概率E p 是多少
解： (1)
码字中有0个“1”，码字的个数：10
100=C 码字中有1个“1”，码字的个数：1001100=C 码字中有2个“1”，码字的个数：49502100=C 码字中有3个“1”，码字的个数：1617003100=C
1835.17166751log log 166751
161700495010013100210011000100===≥≥=+++=+++=i r i l l q l q
r C C C C q i
(2)
码字中有0个“1”，错误概率：()100
995.01=a p
码字中有1个“1”，错误概率：()005.0995.099
2⨯=a p
码字中有2个“1”，错误概率：()()2
98
500.0995.03⨯=a p
码字中有3个“1”，错误概率：()()3
97
500.0995.04⨯=a p
()()0017
.09983.0119983
.0 161700005.0995.04950005.0 995.0100005.0995.01995.0 397298991003100
2100110001004321=-=-==⨯⨯+⨯⨯+⨯⨯+⨯=+++=N E a a a a N G p p C p C p C p C p G p εε
设有离散无记忆信源
⎭⎬
⎫⎩
⎨⎧=⎥⎦⎤⎢⎣⎡02.005.008.010.015.018.020.022.087654321
s s s s s s s s P S 码符号集}2 ,1 ,0{=X ，现对该信源S 进行三元哈夫曼编码，试求信源熵)(S H ，码平均长度L
和编码效率η。
解：
满树叶子节点的个数：(){}... ,9 ,7 ,5 ,3231=+=-+k r k r ，8=q ，不能构成满树。
i i i l w s
1s 1 1
2s 22 2 3s 21 2
4s 20 2 5s 02 2 6s 01 2 7s 000 3 8s 001 3
85.1315.0218.022.0122.0=⨯+⨯+⨯+⨯=⋅=∑i
i i l p L
()%
9.933log 85.175.2log )( 75.202.0log 02.0...22.0log 22.0log )(=⨯===⨯++⨯-=-=∑r L S H bit
p p S H i
i i η
设有离散无记忆信源，其概率空间为
⎭⎬
⎫⎩
⎨⎧=⎥⎦⎤⎢⎣⎡04.008.016.018.022.032.0654321
s s s s s s P S 进行费诺编码，并求其信源熵)(S H ，码平均长度L 和编码效率η。
解：
s7
s6
()%984
.2352
.2)( 352.204.0log 04.0...32.0log 32.0log )(4
.2404.0408.0316.0218.0222.0232.0===
=⨯++⨯-=-==⨯+⨯+⨯+⨯+⨯+⨯=⋅=∑∑L S H bit
p p S H l p L i
i i i
i i η
设有离散无记忆信源
⎭⎬
⎫⎩
⎨⎧=⎥⎦⎤⎢⎣⎡01.010.015.017.018.019.020.07654321
s s s s s s s P S (1) 求该信源符号熵)(S H ；
(2) 用霍夫曼编码编成二元变长码，计算其编码效率； (3) 用霍夫曼编码编成三元变长码，计算其编码效率；
(3) 当译码错误小于310-的定长二元码要达到(2)中霍夫曼码的效率时，估计要多少个信源符号一起编才能办到。
解： (1)
()bit p p S H i
i i 609.201.0log 01.0...2.0log 2.0log )(=⨯++⨯-=-=∑
(2)
i i i l w s
1s 10 2 2s 11 2 3s 010 3
4s 011 3 5s 001 3 6s 0000 4 7s 0001 4
s7
s6
s5
s2s3s4
%
9.9572.2609.2)(72
.2401.041.0315.0317.0318.0219.022.0====⨯+⨯+⨯+⨯+⨯+⨯+⨯=⋅=∑L S H l p L i
i i η
(3)
满树叶子节点的个数：(){}... ,9 ,7 ,5 ,3231=+=-+k r k r ，7=q ，能构成满树。
i i i l w s
1s 1 1
2s 20 2 3s 21 2
4s 22 2 5s 00 2 6s 01 2 7s 02 2
%
4.913
log 8.1609.2log )(8
.1201.17.0218.0219.012.0=⨯===⨯+⨯+⨯+⨯=⋅=∑r L S H l p L i
i i η
若某一信源有N 个符号，并且每个符号均已等概率出现，对此信源用最佳霍夫曼二元编码，问当i N 2=和12+=i N （i 为正整数）时，每个码字的长度等于多少平均码长是多少
解：
()1
22
11
21log 1log log 21211211
2 )2(21log 1log log 21212 )1(1
1
+++=
=+=⎪
⎭
⎫ ⎝⎛=+-≤≤-<<+=+====⎪⎭⎫ ⎝⎛=+-≤≤-⎪
⎭
⎫ ⎝⎛===∑∑++i i
i
i i i i i i i i i i i
i i i
i i i
i i i i i
i i i
i i l p L i l p l p p p N when i
l p L i
l p l p p N when。