数字通信中的信源编码和信道编码

数字通信中的信源编码和信道编码

摘要：如今社会已经步入信息时代，在各种信息技术中，信息的传输及通信起着支撑作用。而对于信息的传输，数字通信已经成为重要的手段。本论文根据当今现代通信技术的发展，对信源编码和信道编码进行了概述性的介绍.

关键词：数字通信；通信系统；信源编码；信道编码

Abstract：Now it is an information society. In the all of information technologies, transmission and communication of information take an important effect. For the transmission of information, Digital communication has been an important means. In this thesis we will present an overview of source coding and channel coding depending on the development of today’s communication technologies.

Key Words：digital communication; communication system; source coding; channel coding

1.前言

通常所谓的“编码”包括信源编码和信道编码。编码是数字通信的必要手段。使用数字信号进行传输有许多优点, 如不易受噪声干扰, 容易进行各种复杂处理, 便于存贮, 易集成化等。编码的目的就是为了优化通信系统。一般通信系统的性能指标主要是有效性和可靠性。所谓优化，就是使这些指标达到最佳。除了经济性外，这些指标正是信息论研究的对象。按照不同的编码目的，编码可主要分为信源编码和信道编码。在本文中对此做一个简单的介绍。

2.数字通信系统

通信的任务是由一整套技术设备和传输媒介所构成的总体——通信系统来完成的。电子通信根据信道上传输信号的种类可分为模拟通信和数字通信。最简单的数字通信系统模型由信源、信道和信宿三个基本部分组成。实际的数字通信系统模型要比简单的数字通信系统模型复杂得多。数字通信系统设备多种多样，综合各种数字通信系统，其构成如图2-l所示。

图2-1 数字通信系统模型

信源编码是以提高通信有效性为目的的编码。通常通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平均比特数或信源的码率。

信道，通俗地说是指以传输媒质为基础的信号通路。具体地说，信道是指由有线或无线电线路提供的信号通路。信道的作用是传输信号，它提供一段频带让信号通过，同时又给信号加以限制和损害。

信道编码是以提高信息传输的可靠性为目的的编码。通常通过增加信源的冗余度来实现。采用的一般方法是增大码率或带宽。与信源编码正好相反。在计算机科学领域，信道编码

（channel code ）被广泛用作表示编码错误监测和纠正的术语，有时候也可以在通信和存储领域用作表示数字调制方式。信道编码用来在数据传输的时候保护数据，还可以在出现错误的时候来恢复数据。

3. 信源编码

一般情况下，信源编码可分为离散信源编码、连续信源编码和相关信源编码。离散信源编码可做到无失真编码；而连续信源编码则只能做到限失真编码。

3.1 信源编码的一般模型

图3-1

信源编码的一般模型如图3-1所示。如果将编码器看作是一个网络，则它有2个输入和1个输出，分别是消息集合X 、信道基本符号集合A 和代码集合C 。

设消息集合共有N 个元素，信道基本符号共有2种，代码组集合的元素个数为N ，则 X={x 1，x 2，…，x N }

A={0，1 }

C={c 1，c 2，…，c N }

由信源编码器的数学模型可将信源编码器的作用归纳为

(1)用信道的基本符号按照规定的编码方法把信源发出的消息变换成相应的代码组；

(2)建立消息集合X 与代码组集合C 之间的一一对应关系。

通常称具有上述映射规则的信源编码器为正规编码器，编出来的码称为非奇异码。 由于正规编码器一一对应的规则确保了编码过程不会造成信息量的损失，故等效信源的熵必定与初始信源的熵相等。

3.2 最佳编码

通常称具有最短的代码组平均长度或编码效率接近于1的信源编码为最佳信源编码，亦简称为最佳编码。最佳编码的目的是提高信道传输消息的有效性。

最佳编码的实质：减小每个符号所占用的时间长度，即让每个码元所携带的信息量最大。 最佳编码的原则：①把信源符号集合中出现概率大的符号编成长度较短的代码组，而把出现概率小的符号编成长度较长的代码组；②信源编码器输出的代码组为单义可译码组，即序列中不必使用间隔就能把序列逐个分成代码组（因为间隔不携带信息量，使用了间隔自然降低了编码效率）

3.3 常见信源编码

3.3.1 香农编码

在信源编码方面，1951年香农证明，当信源输出有冗余的消息时可通过编码改变信源的输出，使信息传输速率接近信道容量。1948年香农就提出能使信源与信道匹配的香农编码。香农编码编码步骤如下：

(1) 将符号序列a i i=1,2,…,N n 按概率降序排列;

(2) 确定第i 个码字的码长log ()i i l p a =-⎡⎤⎢⎥ i=1,2,…,N n ；

(3) 令P(a 0

)=0，计算第i-1个符号序列的累加概率 1

110()()()()i a i j a i i j p a p a p a p a ==-===+∑ i= i=1,2,…,N n ；

(4) 将P a (a i )用二进制表示，取小数点后l i 位作为符号序列a i 的码字c i i=1,2,…,N n ； 香农编码方法特点：由于b i 总是进一取整，香农编码方法不一定是最佳的；由于第一个消息符号的累加概率总是为0，故它对应的码字总是0、00、000、0…0的式样；码字集合是唯一的，且为即时码；先有码长再有码字；对于一些信源，编码效率不高，多余度稍大，因此其实用性受到较大限制。

3.3.2 费诺编码

费诺编码是一种基于一组符号及及其或然率（估量或测量所得），从而构建前缀码的技术。在理想意义上， 它与哈夫曼编码一样，并未实现码词（code word ）长度的最低预期。然而，与哈夫曼编码不同的是，它确保了所有的码词长度在一个理想的理论范围

之内。这项技术是香农于1948年，在他介绍信息理论的文章“通信数学理论”中被提出的。这个方法归功于范诺，他在不久以后以技术报告发布了它。费诺编码不应该与香农编码混淆，后者的编码方法用于证明Shannon's noiseless coding theorem ，或与Shannon –Fano –Elias coding （又被称作Elias coding ）一起，被看做算术编码的先驱。

费诺编码也是一种常见的信源编码方法。其步骤：

(1) 将信源消息符号按其出现的概率大小依次排列，即p (x 1) ≥ p (x 2) ≥ … p (x n )；

(2) 将依次排列的信源符号按概率值分为两大组，使两个组的概率之和接近于相同，并

对各组赋予一个二进制码元“0”和“1”；

(3) 将每一大组的信源符号进一步再分成两个组，使分解后的两个组的概率之和接近于

相同，并又赋予两个组一个二进制符号“0”和“1”；

(4) 如此重复，直至每个组只剩下一个信源符号为止；

信源符号所对应的码字即为费诺编码。

费诺编码特点为：概率大，则分解的次数小；概率小，则分解的次数多。这符合最佳编码原则。码字集合是唯一的。分解完了，码字出来了，码长也有了。因此，费诺编码方法又称为子集分解法。

3.3.3 赫夫曼编码

香农编码算法并非总能得到最优编码。1952年, David A. Huffman 提出了一个不同的算法，这个算法可以为任何的可能性提供出一个理想的树。香农编码是从树的根节点到叶子节点所进行的的编码，赫夫曼编码算法却是从相反的方向，即从叶子节点到根节点的方向编码的。编码步骤如下：

(1) 将符号序列a i i=1,2,…,N n 按概率降序排列；

(2) 为概率最小的两个符号序列各自分配一个二进制码元；

(3) 将概率最小的两个符号序列合并成一个新的符号序列，用两者概率之和作为新符号

序列的概率；

重复（1）（2）（3）步骤，直到合并出一个以1为概率的新符号序列。分配给符号序列a i 的全部码元作为该符号序列的码字c i i=1,2,…,N n 。

赫夫曼码的特点：编码过程中先确定码字，后确定码长；用局部累加概率代替累加概率，多次重新排列合并累加的过程是优化过程；每次合并伴之分配码元保证大概率符号序列编为