第五章 习题课

2020/6/2
13
习题1
第五章 信源编码
1.已知某信源的符号集合{ x1 , x2 , x3, … }为无限离散消息集合，
它们的出现概率分别为P(x1) = 1/2，P(x2) = 1/4，P(x3) = 1/8，…， P(xi) = 1/2i，…。（1）用香农编码方法给出各个符号消息的代码 组；（2）计算该信源编码的效率。
设离散无记忆信源
第五章 信源编码
二进制香农码的编码步骤如下：
将信源符号按概率从大到小的顺序排列，为方便起见，
令
p(x1)≥ p(x2)≥…≥ p(xn)
令p(x0)=0，用pa(xj)，j=i+1表示第i个码字的累加概率， 则
2020/6/2
3
香农编码
第五章 信源编码
➢ 确定满足下列不等式的整数ki ，并令ki为第i个码字的 长度
11
L-D译码
寻找某一值K 若 再找某一值L
2020/6/2
第五章 信源编码
12
编码总结
第五章 信源编码
我们学习了6种信源编码：香农编码、费诺编码、哈 夫曼编码、冗余编码、游程编码。
游程编码是非分组编码；
本章介绍的都是离散信源变长编码。
优点：提高编码效率；
缺点：需要大量缓冲设备来存储这些变长码，然后再 以恒定的码率进行传送；在传输的过程中如果出现了 误码，容易引起错误扩散，所以要求有优质的信道。
以后每次就可以取m个符号，分别配以0,1,…,m－1；…；如此 下去，直至所有概率相加得1为止，即得到各符号的m进制码字。
2020/6/2
7
第五章 信源编码
香农码、费诺码、哈夫曼码都考虑了信源的统计特性，使经常出 现的信源符号对应较短的码字，使信源的平均码长缩短，从而实 现了对信源的压缩；
香农码有系统的、惟一的编码方法，但在很多情况下编码效率不 是很高；
解 （1）信源消息的概率分布呈等比级数，按香农编码方法，其 码长集合为自然数数列1, 2, 3, ···, i, ···；对应的编码分别为：0, 10, 110, ···, 111…110 ( i – 1个1), ···。
或相等。如编二进制码就分成两组，编m进制码就 分成m组。 给每一组分配一位码元。
将每一分组再按同样原则划分，重复步骤2和3，直 至概率不再可分为止。
2020/6/2
5
二元哈夫曼编码
第五章 信源编码
将信源符号按概率从大到小的顺序排列，令
p(x1)≥ p(x2)≥…≥ p(xn) 给两个概率最小的信源符号p(xn-1)和p(xn)各分配一个码位“0”和
－log2 p(xi)≤ki<1－ log2 p(xi)
将pa(xj) 用二进制表示，并取小数点后ki 位作为符号xi 的编码。
2020/6/2
4
费诺编码
第五章 信源编码
费诺编码也是一种常见的信源编码方法。编码步骤如下：
将概率按从大到小的顺序排列，令
p(x1)≥ p(x2)≥…≥ p(xn) 按编码进制数将概率分组，使每组概率尽可能接近
L－D编码方法是一种分帧传送的方式； 编码方法
在冗余位序列中取N个符号作为一帧，编成一个码字，码 字中含有信息位的数量和位置信息，在接收端依据这些 信息进行译码；
每个码字传送两个数：Q和T，由下式计算
2020/6/2
10
L-D编码
Q的位数： T的位数：
总位数：
2020/6/2
第五章 信源编码
信道编码：是以提高信息传输的可靠性为目的的编码。
通常通过增加信源的冗余度来实现。采用的一般方法是增大码 率/带宽。与信源编码正好相反。
密码：
是以提高通信系统的安全性为目的的编码。通常通
过加密和解密来实现。从信息论的观点出发，“加密”可视为
增熵的过程，“解密”可视为减熵的过程。
2020/6/2
2Leabharlann Baidu
香农编码
多元序列也可以变换成游程序列，如m元序列可有m种游程。但是 变换成游程序列时，需要增加标志位才能区分游程序列中的“长度” 是m种游程中的哪一个的长度，否则，变换就不可逆。这样，增加 的标志位可能会抵消压缩编码得到的好处。所以，对多元序列进行 游程变换的意义不大。
2020/6/2
9
L-D编码
第五章 信源编码
费诺码和哈夫曼码的编码方法都不惟一； 费诺码比较适合于对分组概率相等或接近的信源编码，费诺码也
可以编m进制码，但m越大，信源的符号数越多，可能的编码方 案就越多，编码过程就越复杂，有时短码未必能得到充分利用； 哈夫曼码对信源的统计特性没有特殊要求，编码效率比较高，对 编码设备的要求也比较简单，因此综合性能优于香农码和费诺码。
2020/6/2
6
M元哈夫曼编码
第五章 信源编码
在编m进制哈夫曼码时为了使平均码长最短，必须使最后一步 缩减信源有m个信源符号。非全树时，有s个码字不用：
第一次对最小概率符号分配码元时就只取(m－s)个，分别配以 0,1,…,m－s－1，把这些符号的概率相加作为一个新符号的概率， 与其它符号一起重新排列。
第五章 信源编码
当你为错过太阳而 流泪时，你也将错过 群星了。
－泰戈尔
2020/6/2
1
第五章 总结
第五章 信源编码
信源编码：以提高通信有效性为目的的编码。通常通过
压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符 号的平均比特数或信源的码率。即同样多的信息用较少的码率 传送，使单位时间内传送的平均信息量增加，从而提高通信的 有效性。
“1”，将这两个信源符号合并成一个新符号，并用这两个最小的
概率之和作为新符号的概率，结果得到一个只包含(n－1)个信源
符号的新信源。称为信源的第一次缩减信源，用S1表示。 将缩减信源S1的符号仍按概率从大到小顺序排列，重复步骤2，
得到只含(n－2)个符号的缩减信源S2。
重复上述步骤，直至缩减信源只剩两个符号为止，此时所剩两个 符号的概率之和必为1。然后从最后一级缩减信源开始，依编码 路径向前返回，就得到各信源符号所对应的码字。
2020/6/2
8
二元游程编码
第五章 信源编码
游程变换减弱了原序列符号间的相关性。
游程变换将二元序列变换成了多元序列；这样就适合于用其他方法， 如哈夫曼编码，进一步压缩信源，提高通信效率。
编码方法：
首先测定“0”游程长度和“1”游程长度的概率分布，即以游 程长度为元素，构造一个新的信源；
对新的信源（游程序列）进行哈夫曼编码。