第5章_无失真信源编码题与答案
信息论与编码第5章限失真信源编码
第一节 失真测度
• 以上所举的三个例子说明了具体失真度的定义. 一般情况下根据实际信源的失真, 可以定义不同 的失真和误差的度量.
• 另外还可按照其他标准, 如引起的损失、风险、 主观感受上的差别大小等来定义失真度d(ui,vj).
• 从实用意义上说, 研究符号实际信源主观要求的、 合理的失真函数是很重要的.
第一节 失真测度
设信源变量为U={u1,…,ur}, 接收端变量为 V={v1,…,vs}, 对于每一对(u,v), 指定一个非负 函数
d(ui,vj)≥0 称为单个符号的失真度(或称失真函数). 失真函数用来表征信源发出符号ui, 而接收端再现 成符号vj所引起的误差或失真. d越小表示失真越小, 等于0表示没有失真.
➢ 应该指出, 研究R(D)时, 条件概率p(v|u)并没有 实际信道的含义. 只是为了求互信息的最小值而引 用的、假想的可变试验信道. ➢ 实际上这些信道反映的仅是不同的有失真信源编 码或信源压缩. 所以改变试验信道求平均互信息最 小值, 实质上是选择编码方式使信息传输率为最小.
率失真理论与信息传输理论的对偶关系
– 接收端获得的平均信息量可用平均互信息量I(U;V)表示;
– 这就变成了在满足保真度准则的条件下 D D 找平均互信息量I(U;V)的最小值.
,寻
– 因为BD是所有满足保真度准则的试验信道集合, 即可以 在D失真许可的试验信道集合BD中寻找某一个信道 p(vj|ui), 使I(U;V)取最小值.
本章所讨论的内容是量化、数模转换、频带 压缩和数据压缩的理论基础.
前言
本章主要介绍信息率失真理论的基本内容, 侧 重讨论离散无记忆信源.
首先给出信源的失真度和信息率失真函数的定 义与性质, 然后讨论离散信源的信息率失真函数计 算. 在这个基础上论述保真度准则下的信源编码定 理.
信息论与编码第5章(2)
2.48
3
011
a4
0.17
0.57
2.56
3
100
a5
0.15
0.74
2.743101 Nhomakorabeaa6
0.10
0.89
3.34
4
1110
a7
0.01
0.99
6.66
7
1111110
10
香农编码
• 由上表可以看出，一共有5个三位的代码组，各代 码组之间至少有一位数字不相同，故是唯一可译码。 还可以判断出，这7个代码组都属于即时码。
相等。如编二进制码就分成两组,编m进制码就分成 m组。 给每一组分配一位码元。 将每一分组再按同样原则划分,重复步骤2和3,直至概 率不再可分为止。
13
费诺编码
xi
符号概 率
x1
0.32
0
编码 0
码字 00
码长 2
x2
0.22
1
01
2
x3
0.18
0
10
2
x4
0.16
1
0
110
3
x5
0.08
1
0
的码字总是0、00、000、0…0的式样； ✓ 码字集合是唯一的，且为即时码； ✓ 先有码长再有码字； ✓ 对于一些信源，编码效率不高，冗余度稍大，因此
其实用性受到较大限制。
12
费诺编码
费诺编码属于概率匹配编码 。
编码步骤如下： 将概率按从大到小的顺序排列,令
p(x1)≥ p(x2)≥…≥ p(xn) 按编码进制数将概率分组,使每组概率尽可能接近或
15
哈夫曼编码
哈夫曼编码也是用码树来分配各符号的码字。 哈夫曼(Huffman)编码是一种效率比较高的变长无失
信息理论与编码课后答案第5章
第5章 有噪信道编码5.1 基本要求通过本章学习，了解信道编码的目的，了解译码规则对错误概率的影响，掌握两种典型的译码规则：最佳译码规则和极大似然译码规则。
掌握信息率与平均差错率的关系，掌握最小汉明距离译码规则，掌握有噪信道编码定理（香农第二定理）的基本思想，了解典型序列的概念，了解定理的证明方法，掌握线性分组码的生成和校验。
5.2 学习要点5.2.1 信道译码函数与平均差错率5.2.1.1 信道译码模型从数学角度讲，信道译码是一个变换或函数，称为译码函数，记为F 。
信道译码模型如图5.1所示。
5.2.1.2 信道译码函数信道译码函数F 是从输出符号集合B 到输入符号集合A 的映射：*()j j F b a A =∈，1,2,...j s =其含义是：将接收符号j b B ∈译为某个输入符号*j a A ∈。
译码函数又称译码规则。
5.2.1.3 平均差错率在信道输出端接收到符号j b 时，按译码规则*()j j F b a A =∈将j b 译为*j a ，若此时信道输入刚好是*j a ，则称为译码正确，否则称为译码错误。
j b 的译码正确概率是后验概率：*(|)()|j j j j P X a Y b P F b b ⎡⎤===⎣⎦ （5.1）j b 的译码错误概率：(|)()|1()|j j j j j P e b P X F b Y b P F b b ⎡⎤⎡⎤=≠==-⎣⎦⎣⎦ （5.2）平均差错率是译码错误概率的统计平均，记为e P ：{}1111()(|)()1()|1(),1()|()s se j j j j j j j ssj j j j j j j P P b P e b P b P F b b P F b b P F b P b F b ====⎡⎤==-⎣⎦⎡⎤⎡⎤⎡⎤=-=-⎣⎦⎣⎦⎣⎦∑∑∑∑ （5.3）5.2.2 两种典型的译码规则两种典型的译码规则是最佳译码规则和极大似然译码规则。
第5章 信源编码 第1讲 无失真信源编码 定长编码定理 2016
00 01 10 11
0 01 001 111
12/62
余 映 云南大学
5.1 编码的定义
• 采用分组编码方法，需要分组码具有某些属性， 以保证在接收端能够迅速准确地将码译出。 • 下面讨论分组码的属性：
余 映 云南大学
13/62
5.1 编码的定义
• (1) 奇异码和非奇异码
– 若信源符号和码字是一一对应的，则该码为非奇异码； 反之为奇异码。 – 例如表中码1是奇异码，其他是非奇异码。
信源符号 出现概率 码1 码2 码3 码4
A B C D
1/2 1/4 1/8 1/8
0 11 00 11
余 映 云南大学
0 10 00 01
1 10 100 1000
1 01 001 0001
18/62
5.1 编码的定义
• (3) 即时码和非即时码
– 唯一可译码又分为非即时码和即时码。 – 即时码是一种没有一个码字构成另一码字前缀的码。 在译码时没有延迟，收到一个完整码字后就能立即译 码。 – 如果收到一个完整码字后，不能立即译码，还需等下 一个码字开始接收后才能判断是否可以译码，这样的 码叫做非即时码。
信源符号
出现概率
码1
码2
码3
码4
a1 a2 a3 a4
1/2 1/4 1/8 1/8
0 11 00 11
余 映 云南大学
0 10 00 01
1 10 100 1000
1 01 001 0001
14/62
5.1 编码的定义
• (2) 唯一可译码和非唯一可译码
– 若任意有限长的码元序列，只能被唯一地分割成一个 个的码字，则称为唯一可译码。 – 例如{0, 10, 11}是一种唯一可译码。 – 因为任意一串有限长码序列， – 如100111000
信息论与编码第5章
信息论与编码第5章第五章信源编码（第⼗讲）（2课时）主要内容：（1）编码的定义（2）⽆失真信源编码重点：定长编码定理、变长编码定理、最佳变长编码。
难点：定长编码定理、哈夫曼编码⽅法。
作业：5。
2，5。
4，5。
6；说明：本堂课推导内容较多，枯燥平淡，不易激发学⽣兴趣，要注意多讨论⽤途。
另外，注意，解题⽅法。
多加⼀些内容丰富知识和理解。
通信的实质是信息的传输。
⽽⾼速度、⾼质量地传送信息是信息传输的基本问题。
将信源信息通过信道传送给信宿，怎样才能做到尽可能不失真⽽⼜快速呢？这就需要解决两个问题：第⼀，在不失真或允许⼀定失真的条件下，如何⽤尽可能少的符号来传送信源信息；第⼆，在信道受⼲扰的情况下，如何增加信号的抗⼲扰能⼒，同时⼜使得信息传输率最⼤。
为了解决这两个问题，就要引⼊信源编码和信道编码。
⼀般来说，提⾼抗⼲扰能⼒（降低失真或错误概率）往往是以降低信息传输率为代价的；反之，要提⾼信息传输率常常⼜会使抗⼲扰能⼒减弱。
⼆者是有⽭盾的。
然⽽在信息论的编码定理中，已从理论上证明，⾄少存在某种最佳的编码或信息处理⽅法，能够解决上述⽭盾，做到既可靠⼜有效地传输信息。
这些结论对各种通信系统的设计和估价具有重⼤的理论指导意义。
§3.1 编码的定义编码实质上是对信源的原始符号按⼀定的数学规则进⾏的⼀种变换。
讨论⽆失真信源编码，可以不考虑⼲扰问题，所以它的数学描述⽐较简单。
图 3.1是⼀个信源编码器，它的输⼊是信源符号},,, {21q s s s S =，同时存在另⼀符号},,,{21r x x x X =，⼀般来说，元素xj 是适合信道传输的，称为码符号（或者码元）。
编码器的功能就是将信源符号集中的符号s i （或者长为N 的信源符号序列）变换成由x j (j=1,2,3,…r)组成的长度为l i 的⼀⼀对应的序列。
输出的码符号序列称为码字，长度l i 称为码字长度或简称码长。
可见，编码就是从信源符号到码符号的⼀种映射。
第5章无失真信源编码定理12
第5章无失真信源编码定理●通信的实质是信息的传输。
高效率、高质量地传送信息又是信息传输的基本问题。
●信源信息通过信道传送给信宿，需要解决两个问题：第一，在不失真或允许一定失真条件下，如何用尽可能少的符号来传送信源信息，以提高信息传输率。
第二，在信道受干扰的情况下，如何增强信号的抗干扰能力，提高信息传输的可靠性同时又使得信息传输率最大。
●为了解决以上两个问题，引入了信源编码和信道编码。
●提高抗干扰能力（降低失真或错误概率）往往是增加剩余度以降低信息传输率为代价的；反之，要提高信息传输率往往通过压缩信源的剩余度来实现，常常又会使抗干扰能力减弱。
●上面两者是有矛盾的，然而在信息论的编码定理中，已从理论上证明，至少存在某种最佳的编码或信息处理方法，能够解决上述矛盾，做到既可靠又有效地传输信息。
●第5章着重讨论对离散信源进行无失真信源编码的要求、方法及理论极限，得出极为重要的极限定理——香农第一定理。
5.1编码器●编码实质上是对信源的原始符号按一定的数学规则进行的一种变换。
●图5.1就是一个编码器，它的输入是信源符号集S={s 1,s 2,…,s q }。
同时存在另一符号集X={x 1,x 2, …,x r }，一般元素x j 是适合信道传输的，称为码符号（或称为码元）。
编码器是将信源符号集中的符号s i （或者长为N 的信源符号序列a i ）变换成由x j（j=1,2, …,r ）组成的长度为l i的一一对应序列。
●这种码符号序列W i 称为码字。
长度l i称为码字长度或简称码长。
所有这些码字的集合C 称为码。
●编码就是从信源符号到码符号的一种映射，若要实现无失真编码，必须这种映射是一一对应的、可逆的。
编码器S ：{s 1,s 2,…s q }X ：{x 1,x 2,…x r }C ：{w 1,w 2,…w q }（w i 是由l i 个x j （x j 属于X ））组成的序列，并于s i 一一对应一些码的定义●二元码：若码符号集为X={0,1}，所得码字都是一些二元序列，则称为二元码。
第五章 信道编码 习题解答
第五章 信道编码 习题解答1．写出与10011的汉明距离为3的所有码字。
解：共有10个：01111，00101，00000，01010，01001，00110，11101，10100，11000，11110。
2． 已知码字集合的最小码距为d ，问利用该组码字可以纠正几个错误？可以发现几个错误？请写出一般关系式。
解：根据公式：(1)1d e ≥+ 可发现e 个错。
(2)21d t ≥+ 可纠正t 个错。
得出规律：（1）1d = ，则不能发现错及纠错。
（2）d 为奇数：可纠12d -个码元错或发现1d -个码元错。
（3）d 为偶数：可纠12d-个码元错，或最多发现1d -个码元错。
（4）码距越大，纠、检错能力越强。
3．试计算（8，7）奇偶校验码漏检概率和编码效率。
已知码元错误概率为410e p -=。
解：由于410e p -=较小，可只计算错两个码元（忽略错4或6个码元）的情况：228788!10 2.8106!2!e p C p --==⨯=⨯⨯ 787.5%8η==4．已知信道的误码率410e p -=，若采用“五三”定比码，问这时系统的等效（实际）误码率为多少？ 解：由于410e p -=较小，可只计算错两个码元的情况1125211283232(1)610e e e p C C p p C C p --=-≈=⨯5．求000000，110110，011101，101011四个汉明码字的汉明距离，并据此求出校正错误用的校验表。
解：先求出码字间距离：000000 110110 011101 101011000000 4 4 4 110110 4 4 4 011101 4 4 4 101011 4 4 4汉明距离为4，可纠一位错。
由于一个码字共有6个码元，根据公式：21617rn ≥+=+= 得 3r = 即每个码字应有3位监督码元，6-3=3位信息码元。
直观地写出各码字：123456000000110110011101101011x x x x x x 令456x x x 为监督码元，观察规律则可写出监督方程：413523612x x x x x x x x x=⊕⎧⎪=⊕⎨⎪=⊕⎩从而写出校验子方程：113422353126s x x x s x x x s x x x *********⎧=⊕⊕⎪=⊕⊕⎨⎪=⊕⊕⎩列出校验表：6．写出信息位6k =，且能纠正1个错的汉明码。
信息论基础与编码(第五章)
5-1 有一信源，它有六种可能的输出，其概率分布如下表所示，表中给出了对应的六种编码12345C C C C C 、、、、和6C 。
（1） 求这些码中哪些是唯一可译码； （2） 求哪些是非延长码（即时码）；（3） 对所有唯一可译码求出其平均码长。
解：（1(2)1,3,6是即时码。
5-2证明若存在一个码长为12,,,q l l l ⋅⋅⋅的唯一可译码，则一定存在具有相同码长的即时码。
证明：由定理可知若存在一个码长为Lq L L ,,2,1 的唯一可译码，则必定满足kraft 不等式∑=-qi l ir1≤1。
由定理44⋅可知若码长满足kraft 不等式，则一定存在这样码长的即时码。
所以若存在码长Lq L L ,,2,1 的唯一可译码，则一定存在具有相同码长P （y=0）的即时码。
5-3设信源126126()s s s S p p p P s ⋅⋅⋅⎡⎤⎡⎤=⎢⎥⎢⎥⋅⋅⋅⎣⎦⎣⎦，611i i p ==∑。
将此信源编码成为r 元唯一可译变长码（即码符号集12{,,,}r X x x x =⋅⋅⋅），其对应的码长为（126,,,l l l ⋅⋅⋅）=（1，1，2，3，2，3），求r 值的最小下限。
解：要将此信源编码成为 r 元唯一可译变长码，其码字对应的码长（l 1 ,l 2 ,l 3, l 4,l 5, l 6）=(1,1,2,3,2,3) 必须满足克拉夫特不等式，即132321161≤+++++=------=-∑r r r r r r ri li所以要满足122232≤++r r r ，其中 r 是大于或等于1的正整数。
可见，当r=1时，不能满足Kraft 不等式。
当r=2, 1824222>++，不能满足Kraft 。
当r=3,127262729232<=++，满足Kraft 。
所以，求得r 的最大值下限值等于3。
5-4设某城市有805门公务和60000门居民。
作为系统工程师，你需要为这些用户分配。
信息论与编码-曹雪虹-第五章-课后习题答案
信息论与编码-曹雪虹-第五章-课后习题答案第五章(2) 哪些码是⾮延长码？(3) 对所有唯⼀可译码求出其平均码长和编译效率。
解：⾸先，根据克劳夫特不等式，找出⾮唯⼀可译码31123456231244135236:62163:22222216463:164:22421:2521:2521C C C C C C --------------?<+++++=<<++?=+?>+?<5C ∴不是唯⼀可译码，⽽4C ：⼜根据码树构造码字的⽅法1C ，3C ，6C 的码字均处于终端节点∴他们是即时码(1) 因为A,B,C,D四个字母,每个字母⽤两个码,每个码为0.5ms, 所以每个字母⽤10ms当信源等概率分布时,信源熵为H(X)=log(4)=2平均信息传递速率为bit/ms=200bit/s(2) 信源熵为H(X)==0.198bit/ms=198bit/s5-541811613216411281128H(U)=1 2Log2() 14Log4() +18Log8() +116Log16 ()+132Log32 ()Log64()+1128Log128()+1128Log128()+ 1.984= (2) 每个信源使⽤3个⼆进制符号,出现0的次数为出现1的次数为P(0)=P(1)=(3)相应的费诺码（5）⾹农码和费诺码相同平均码长为编码效率为：5-11（1）信源熵（2）⾹农编码：平均码长：编码效率为（3）平均码长为：编码效率：4平均码长为：编码效率：5.16 已知⼆元信源{0，1}，其p0=1/4,p1=3/4,试⽤式（4.129）对序列11111100编算术码，并计算此序列的平均码长。
解：根据算术编码的编码规则，可得：P(s=11111100) = P2(0)P6(1) = (3/4)6 (1/4)27)(1log =??=S P l根据（4.129）可得：F(S) = P(0) + P(10) + P(110) + P(1110) + P(11110) + P(111110) = 1–∑≥sy y P )(= 1 – P(11111111) – P(11111110) – P(11111101) – P(11111100)= 1– P(111111) = 1– (3/4)6 = 0.82202 = 0.110100100111⼜P(S) = A(S)= 0.0000001011011001，所以F(S) + P(S) = 0.1101010 即得C = 0.1101010 得S 的码字为1101010平均码长L 为 0.875。
信息论与编码 第5章(1)
信源编码
2015-1-13 1
数字通信系统的一般模型
干扰源
信源
编码器
调制器
物理信道 实际信道
解调器
译码器
信宿
编码信道
等效信道
2 2015-1-13
信息通过信道传输到信宿的过程即为通信。要做到 既不失真又快速地通信，需要解决两个问题： 在不失真或允许一定失真条件下，如何提高信息 传输速度----这是本章要讨论的信源编码问题.
17 2015-1-13
编码的定义
(2)唯一可译码 非即时码： 如果接收端收到一个完整的码字后不能立即译码,还 需等下一个码字开始接收后才能判断是否可以译码 即时码（非延长码，异前缀码）： 在译码时无需参考后续的码符号就能立即作出判断, 译成对应的信源符号。 任意一个码字都不是其它码字的前缀部分 在延长码中,有的码是唯一可译的,取决于码的总体结 构,如码3, “1,10,100,1000”.
减少冗余，提高编码效率。具体的说，就是针对信源输 出符号序列的统计特性，寻找一定的把信源输出符号序 列变换为最短码字序列的方法。 符号变换：使信源输出符号与信道的输入符号相匹配。
信源编码的基本途径有两个:
一是编码后使序列中的各个符号之间尽可能地互相独立， 即解除相关性----方法包括预测编码和变换编码. 二是使编码后各个符号出现的概率尽可能相等，即均匀 化分布----方法主要是统计编码.
首先观察是否是非奇异码。若是奇异码，肯定不是唯一可 译码 其次，计算是否满足Kraft不等式。若不满足一定不是唯 一可译码； 然后将码画成一棵树图，观察是否满足异前缀码的树图的 构造，若满足则是唯一可译码。 缺点：若是前缀码时，则无法判断是否是唯一可译码。
信息论与编码技术第五章课后习题答案
码，并求出其编码效率。
解：
信源符号 概率 编码
码字 码长
X1
3/8 0
0
1
X2
1/6 1
0
10 2
X3
1/8
1
11 2
X4
1/8 2
0
20 2
X5
1/8
1
21 2
X6
1/12
2
22 2
H(X)=-((3/8)*log(3/8)+(1/6)*log(1/6)+(1/8)*log(1/8)+(1/8)*log(1/8)+(1/8)*log(1/8)+(1/12)*log(1/12))
=2.3852 （三进制单位/信源符号）
H3(X)= H(X)/ 1.5850=2.3852/1.5850= 1.5049（三进制单位/信源符号）
L ＝(3/8)*1+ (1/6)*2+ (1/8)*2+ (1/8)*2+ (1/8)*2+ (1/12)*2＝1.625（码符号/信源符号）
η= H3(X)/ L =1.5049/1.625= 92.61 ％
5.8 已知符号集合 {x1, x2 , x3,"} 为无限离散消息集合，它们出现的概率分别为 p(x1) = 1/ 2 ， p(x2 ) = 1/ 4 ， p(x3 ) = 1/ 8 ， p(xi ) = 1/ 2i ，……。
(1) 用香农编码方法写出各个符号消息的码字。 (2) 计算码字的平均信息传输速率。
L =4*（1/4）*1=1（码符号/信源符号）
Rt= H(X)/(t* L )=1/(1*10*10-2)=10(比特/秒)
信息论与编码理论-习题答案-姜楠-王健-编著-清华大学
可得 ，3种状态等概率分布。
一阶马尔可夫信源熵为
信源剩余度为
（2）二阶马尔可夫信源有9种状态（状态转移图略），同样列方程组求得状态的平稳分布为
二阶马尔可夫信源熵为
信源剩余度为
由于在上述两种情况下，3个符号均为等概率分布，所以信源剩余度都等于0。
总的概率
所需要的信息量
2.6设 表示“大学生”这一事件， 表示“身高1.60m以上”这一事件，则
故
2.7四进制波形所含的信息量为 ，八进制波形所含信息量为 ，故四进制波形所含信息量为二进制的2倍，八进制波形所含信息量为二进制的3倍。
2.8
故以3为底的信息单位是比特的1.585倍。
2.9（1）J、Z（2）E（3）X
(2)三元对称强噪声信道模型如图所示。
4.7由图可知信道1、2的信道矩阵分别为
它们串联后构成一个马尔科夫链，根据马氏链的性质，串联后总的信道矩阵为
4.8传递矩阵为
输入信源符号的概率分布可以写成行向量形式，即
由信道传递矩阵和输入信源符号概率向量，求得输出符号概率分布为
输入符号和输出符号的联合概率分布为
由冗余度计算公式得
3.18（1）由一步转移概率矩阵与二步转移概率矩阵的公式 得
（2）设平稳状态 ，马尔可夫信源性质知 ，即
求解得稳态后的概率分布
3.19设状态空间S= ，符号空间
且
一步转移概率矩阵
状态转移图
设平稳状态 ，由马尔可夫信源性质有
即
可得
马尔可夫链只与前一个符号有关，则有
3.20消息元的联合概率是
平均信息传输速率
(完整版)信息论第五章答案
5.1 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X (1) 求信源熵H(X)； (2) 编二进制香农码；(3) 计算平均码长和编码效率。
解： (1)symbolbit x p x p X H i i i /609.2)01.0log 01.01.0log 1.015.0log 15.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0()(log )()(2222222712=⨯+⨯+⨯+⨯+⨯+⨯+⨯-=-=∑=%1.8314.3609.2)()(14.301.071.0415.0317.0318.0319.032.03)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η5.2 对信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X 编二进制费诺码，计算编码效率。
%2.9574.2609.2)()(74.201.041.0415.0317.0218.0319.032.02)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η5.3 对信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X 编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率。
解：%9.9572.2609.2)()(72.201.041.0415.0317.0318.0319.022.02)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η%4.913log 8.1609.2log )()(8.1)01.01.015.017.018.019.0(22.01)(22=⨯====+++++⨯+⨯==∑m LK X H R X H x p k K ii i η5.4 设信源⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡12811281641321161814121)(87654321x x x x x x x x X P X (1) 求信源熵H(X)；(2) 编二进制香农码和二进制费诺码；(3) 计算二进制香农码和二进制费诺码的平均码长和编码效率； (4) 编三进制费诺码；(5) 计算三进制费诺码的平均码长和编码效率；解： (1)symbolbit x p x p X H i i i /984.1128log 1281128log 128164log 64132log 32116log 1618log 814log 412log 21)(log )()(22222222812=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯=-=∑==127/64 bit/symbol (2)二进制费诺码：香农编码效率：%100984.1984.1)()(64/127984.17128171281664153214161381241121)(======⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η费诺编码效率：%100984.1984.1)()(984.17128171281664153214161381241121)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η(5)%3.943log 328.1984.1log )()(328.14128141281364133212161281141121)(22=⨯=⋅===⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑m K X H R X H x p k K ii i η5.5 设无记忆二进制信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡1.09.010)(X P X先把信源序列编成数字0，1，2，……，8，再替换成二进制变长码字，如下表所示。
第5章 限失真信源编码(续1)
) (1 p 2D
)
)
(1 p )(1
取 D Dmax p
可得：
(35)
) p ln p (1 p) ln(1 p) ln(1 D )
S max
R( D) D
p 1 p
ln D
1
D
ln(1
D
D H ( p) H ( )
代入
Sd ( x1 , y1 )
p( y2 )e p( y2 )e
Sd ( x1 , y2 )
1
1
1
(25)
Sd ( x2 , y1 )
Sd ( x2 , y2 )
1 和 d ( xi , y j ) 得：
S
2
(26)
p( y1 ) p( y2 )eS p(1 e S ) p( y2 ) (1 p)(1 e )
由（11）式得
p ( x ) p ( y )e
i 1 j 1 n i j
n
m
Sd ( xi , y j )
i 1
p ( x i ) d i
i
dS
D0
代入（16）式得
dR S dD
(18)
因此， S就是函数R(D)的斜率。
函数R(D)是严格递减和下凸的，
因此斜率
D
(33)
p ( y1 / x1 )
(1
D
)(p 2D
D
)
p (1
) ) 2D
p ( y1 / x2 )
第5章 无失真信源编码定理
5.1 编码器
编码器可以看作这样一个系统，它的输入端为原始信 源S，其符号集为 S {S1, S2 ,..., Sq }；而信道所能传输的符号集 为 X {x1, x2 ,..., xr } 编码器的功能是用符号集X中的元素，将 原始信源的符号 S i 变换为相应的码字符号 wi ，所以编码器 输出端的符号集为 C :{W1,W2 ,...,Wq }
0
0 0
01
001 0001
树枝数——码的数
节数——码长 端点——码字 满树——等长码 非满树——变长码
码4的树图
码3的树图
在每个节点上都有r个分枝的树称为整树，否则称为非 整树。即时码的树图还可以用来译码。
5.5.3 克拉夫特（Kraft）不等式
定理5.4 对于码符号为 X {x1 , x2 ,..., xr } 的任意即时码，其 码字为 W1 ,W2 ,...,Wq 所对应的码长为 l1 , l2 ,..., lq ，则必定满
第5章 无失真信源编码定理
◆ 编码器 ◆ 等长码 ◆ 等长信源编码定理 ◆ 变长码
◆ 变长信源编码定理
引 言
1、信源编码：以提高通信有效性为目的的编码。通常通 过压缩信源的冗余度来实现。采用的一般方法是压缩每
个信源符号的平均比特数或信源的码率。即同样多的信
息用较少的码率传送，使单位时间内传送的平均信息量 增加，从而提高通信的有效性。
但码3和码4也不太一样，码4称作逗点码，只要收到1，就
可以立即作出译码；而码3不同，当收到一个或几个码时，
必须参考后面的码才能作出判断。 定义 在唯一可译码中，有一类码，它在译码是无须参考 后面的码字就可以作出判断，这种码称为即时码。 定义 如果一个码组中的任一个码字都不是另一个码字 的续长，或者说，任何一个码字后加上若干码元后都不是
信息论与编码第五章习题参考答案
5.1某离散无记忆信源的概率空间为采用香农码和费诺码对该信源进行二进制变长编码，写出编码输出码字，并且求出平均码长和编码效率。
解：计算相应的自信息量1)()(11=-=a lbp a I 比特 2)()(22=-=a lbp a I 比特 3)()(313=-=a lbp a I 比特 4)()(44=-=a lbp a I 比特 5)()(55=-=a lbp a I 比特 6)()(66=-=a lbp a I 比特 7)()(77=-=a lbp a I 比特 7)()(77=-=a lbp a I 比特根据香农码编码方法确定码长1)()(+<≤i i i a I l a I平均码长984375.164/6317128/17128/1664/1532/1416/138/124/112/1L 1=+=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯=由于每个符号的码长等于自信息量，所以编码效率为1。
费罗马编码过程5.2某离散无记忆信源的概率空间为使用费罗码对该信源的扩展信源进行二进制变长编码，(1) 扩展信源长度，写出编码码字，计算平均码长和编码效率。
(2) 扩展信源长度，写出编码码字，计算平均码长和编码效率。
(3) 扩展信源长度，写出编码码字，计算平均码长和编码效率，并且与(1)的结果进行比较。
解：信息熵811.025.025.075.075.0)(=--=lb lb X H 比特/符号 （1）平均码长11=L 比特/符号编码效率为%1.81X)（H 11==L η（2）平均码长为84375.0）3161316321631169（212=⨯+⨯+⨯+⨯=L 比特/符号 编码效率%9684375.0811.0X)（H 22===L η（3）当N=4时，序列码长309.3725617256362563352569442569242562732562732256814=⨯+⨯+⨯⨯+⨯⨯+⨯⨯+⨯+⨯⨯+⨯=L平均码长827.04309.34==L %1.98827.0811.0X)（H 43===L η可见，随着信源扩展长度的增加，平均码长逐渐逼近熵，编码效率也逐渐提高。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第5章_无失真信源编
码题与答案
本页仅作为文档封面，使用时可以删除
This document is for reference only-rar21year.March
有一信源，它有6个可能的输出，其概率分布如题表所示，表中给出了对应的码
E D C B A ,,,, 和
F 。
(1) 求这些码中哪些是唯一可译码； (2) 求哪些是非延长码（即时码）； (3) 对所有唯一可译码求出其平均码长L 。
解：
(1) 唯一可译码：A ，B ，C
A 是等长码，码长3，每个码字各不相同，因此是唯一可译码。
B 是非即时码，前缀码，是唯一可译码。
C 是即时码，是唯一可译码。
D 是变长码，码长}4 ,4 ,4 ,3 ,2 ,1{，不是唯一可译码，因为不满足Kraft 不等式。
10625.132********
321≥=⨯⎪⎭
⎫
⎝⎛+⎪⎭⎫ ⎝⎛+⎪⎭⎫ ⎝⎛+⎪⎭⎫ ⎝⎛=∑-i
l i
r
E 是变长码，码长}4 ,4 ,4 ,4 ,2 ,1{，满足Kraft 不等式，但是有相同的码字，
110053==W W ，不是唯一可译码。
1142121214
21≤=⨯⎪⎭
⎫
⎝⎛+⎪⎭⎫ ⎝⎛+⎪⎭⎫ ⎝⎛=∑-i
l i
r
F 是变长码，码长}3 ,3 ,3 ,3 ,3 ,1{，不满足Kraft 不等式，不是唯一可译码。
1125.1521213
1≥=⨯⎪⎭
⎫
⎝⎛+⎪⎭⎫ ⎝⎛=∑-i
l i
r
(2) 非延长码：A ，C (3)
3125.1616
1
5161416131612411213
=⨯+⨯+⨯+⨯+⨯+⨯=
⋅===∑i
i i C B A l p L L L
设离散信源的概率空间为
⎭⎬⎫⎩
⎨⎧=⎥⎦⎤⎢⎣⎡05.010.015.020.025.025.0654321
s s s s s s P S
对其采用香农编码，并求出平均码长和编码效率。
解：
()%7.897
.2423
.2)( 423.205.0log 05.0...25.0log 25.0log )(7
.2505.041.0315.032.0225.0225.0====⨯++⨯-=-==⨯+⨯+⨯+⨯+⨯+⨯=⋅=∑∑L S H bit p p S H l p L i
i i i
i i η
设无记忆二元信源，其概率995.0 ,005.021==p p 。
信源输出100=N 的二元序列。
在长为
100=N 的信源序列中只对含有3个或小于3个“1”的各信源序列构成一一对应的一组等长码。
(1) 求码字所需要的长度；
(2) 考虑没有给予编码的信源序列出现的概率，该等长码引起的错误概率E p 是多少 解： (1)
码字中有0个“1”，码字的个数：10
100
=C 码字中有1个“1”，码字的个数：1001
100
=C 码字中有2个“1”，码字的个数：49502
100
=C 码字中有3个“1”，码字的个数：1617003
100
=C 1835.17166751log log 166751
161700495010013
100210011000100===≥≥=+++=+++=i r i l l q l q
r C C C C q i
(2)
码字中有0个“1”，错误概率：()100
995.01=a p
码字中有1个“1”，错误概率：()005.0995.099
2⨯=a p
码字中有2个“1”，错误概率：()()2
98
500.0995.03⨯=a p
码字中有3个“1”，错误概率：()()3
97
500.0995.04⨯=a p
()()0017
.09983.0119983
.0 161700005.0995.04950005.0 995.0100005.0995.01995.0 397298991003
100
2100110001004321=-=-==⨯⨯+⨯⨯+⨯⨯+⨯=+++=N E a a a a N G p p C p C p C p C p G p εε
设有离散无记忆信源
⎭⎬
⎫⎩
⎨⎧=⎥⎦⎤⎢⎣⎡02.005.008.010.015.018.020.022.087654321
s s s s s s s s P S 码符号集}2 ,1 ,0{=X ，现对该信源S 进行三元哈夫曼编码，试求信源熵)(S H ，码平均长度
L 和编码效率η。
解：
满树叶子节点的个数：(){}... ,9 ,7 ,5 ,3231=+=-+k r k r ，8=q ，不能构成满树。
i
i i l w s
1s 1 1 2s 22 2 3s 21 2
4s 20 2 5s 02 2 6s 01 2 7s 000 3 8s 001 3
85
.1302.0305.0208.021.0215.0218.022.0122.0=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯=⋅=∑i
i i l p L
()%
9.933log 85.175.2log )( 75.202.0log 02.0...22.0log 22.0log )(=⨯===⨯++⨯-=-=∑r L S H bit
p p S H i
i i η
设有离散无记忆信源，其概率空间为
⎭⎬
⎫⎩
⎨⎧=⎥⎦⎤⎢⎣⎡04.008.016.018.022.032.0654321
s s s s s s P S 进行费诺编码，并求其信源熵)(S H ，码平均长度L 和编码效率η。
解：
()%984
.2352
.2)( 352.204.0log 04.0...32.0log 32.0log )(4.2404.0408.0316.0218.0222.0232.0===
=⨯++⨯-=-==⨯+⨯+⨯+⨯+⨯+⨯=⋅=∑∑L S H bit
p p S H l p L i
i i i
i i η
设有离散无记忆信源
⎭⎬
⎫⎩
⎨⎧=⎥⎦⎤⎢⎣⎡01.010.015.017.018.019.020.07654321
s s s s s s s P S (1) 求该信源符号熵)(S H ；
(2) 用霍夫曼编码编成二元变长码，计算其编码效率；
(3) 用霍夫曼编码编成三元变长码，计算其编码效率；
(3) 当译码错误小于310-的定长二元码要达到(2)中霍夫曼码的效率时，估计要多少个信源符号一起编才能办到。
解： (1)
()bit p p S H i
i i 609.201.0log 01.0...2.0log 2.0log )(=⨯++⨯-=-=∑
(2)
s7
s6
s7
s6s5
s2
s3s4
i
i i l w s
1s 10 2 2s 11 2 3s 010 3
4s 011 3 5s 001 3 6s 0000 4 7s 0001 4
%
9.9572.2609.2)(72
.2401.041.0315.0317.0318.0219.022.0====⨯+⨯+⨯+⨯+⨯+⨯+⨯=⋅=∑L S H l p L i
i i η
(3)
满树叶子节点的个数：(){}... ,9 ,7 ,5 ,3231=+=-+k r k r ，7=q ，能构成满树。
i
i i l w s
1s 1 1 2s 20 2 3s 21 2
4s 22 2 5s 00 2 6s 01 2 7s 02 2
%
4.913
log 8.1609.2log )(8
.1201.021.0215.0217.0218.0219.012.0=⨯===⨯+⨯+⨯+⨯+⨯+⨯+⨯=⋅=∑r L S H l p L i
i i η
若某一信源有N 个符号，并且每个符号均已等概率出现，对此信源用最佳霍夫曼二元编码，问当i N 2=和12+=i N （i 为正整数）时，每个码字的长度等于多少平均码长是多少 解：
()1
22
11
21log 1log log 2121
1
211
2 )2(21log 1log log 21212 )1(1
1+++=
=+=⎪
⎭
⎫ ⎝⎛=+-≤≤-<<+=+====⎪⎭⎫ ⎝⎛=+-≤≤-⎪
⎭
⎫ ⎝⎛===∑∑++i i
i
i i i i i i i i i
i
i
i i i
i i i
i i i i i
i i i
i i l p L i l p l p p p N when i
l p L i
l p l p p N when。