20104618刘雪飞

青岛农业大学本科生课程论文论文题目香农理论与信道编码的发展学生专业班级信息与计算科学1班学生姓名（学号）刘雪飞（20104618）指导教师吴慧完成时间 2013.6.18目录中文摘要 (1)英文摘要 (2)一、引言 (3)二、信道编码的相关知识 (3)三、信道编码的类型 (4)3.1分组码 (4)3.2卷积码 (4)3.3在分组码与卷积码基础上的探索 (5)四、前景展望 (6)参考文献 (7)课程论文成绩评定表香农理论与信道编码的发展信息与计算科学2010级1班学生姓名：刘雪飞（20104618）指导教师：吴慧【摘要】本文通过对香编码农理论的产生背景介绍，从而引出了香农理论与信息论的关系。

全文以香农理论的基本原理为主要写作思路，在这一基础上详细介绍了信道编码定义、信道编码的发展历程、信道编码的分类、信道分类下每种编码的特点等，通过这些基本信息的具体说明，归纳了香农理论与信道编码的主要发展历程，并且对未来的通信技术的发展做了进一步展望。

【关键词】信道编码香农极限码字编码类型通信技术The development of Shannon theory and channel codingInformation and Computing Sciences Grade2010 Class1 Name：Liu XuefeiTutor：Wu hui【Abstract】This paper introduces the background of Shannon’s theory，which leads to the relationship between Shannon theory and information theory . According to the basic principle of Shannon theory as the main of thought ,in this based development course ,channelcoding ,channel coding classification of each encoding characteristics , the specific description of the basic information , and sums up the development process of Shannon theory and channel coding , and further development of the communication technology in the future . 【keyword】channel coding Shannon limit codeword encoding type communication technology一、引言近年来，无线通信技术得到了广泛的发展，从移动的G3，到联通的沃3G业务，再到电信的WCDMA业务，再到韩国最近研究的4G领域，无不显示了无线通信的蓬勃发展。

而要实现信息的无线传输，满足信息传输的三个特性——有效性、可靠性和保密性，就要对通信技术提出了更高的要求，为了达到这个目的，现在世界各国的通信方面的专家都在积极研究这个领域，以实现更高速、更有效地信源、信道编码及传输要求。

说起通信，需要回溯到香农与信息论的关系。

香农在1948年发表了《通信的一个数学理论》完整地解决了通信速度上限的问题。

“信息论”从此诞生。

香农第二编码定理证明，用任意接近信道容量C的传输速率R传送并且传输的差错率可以任意小的编码方法是存在的，信道编码的任务就是寻找这种编码。

二、信道编码的相关知识为了与信道的统计特性相匹配，并区分通路和提高通信的可靠性，而在信源编码的基础上，按一定规律加入一些新的监督码元，以实现纠错的编码，这种编码即为信道编码。

信道编码的本质是增加通信的可靠性。

但信道编码会使有用的信息数据传输减少，信道编码的过程是在源数据码流中加插一些码元，从而达到在接收端进行判错和纠错的目的。

在带宽固定的信道中，总的传送码率也是固定的，由于信道编码增加了数据量，其结果只能是以降低传送有用信息码率为代价了。

利用信道编译码，可以显著改善信息在传输过程中的错误概率指标，有效增强系统抗干扰能力，提高数字通信系统的可靠性。

信道编码定理的证明，从离散信道发展到连续信道，从无记忆信道到有记忆信道，从单用户信道到多用户信道，从证明差错概率可接近于零到以指数规律逼近于零，正在不断完善。

编码方法，在离散信道中一般用代数码形式，其类型有较大发展，各种界限也不断有人提出，但尚未达到编码定理所启示的限度，尤其是关于多用户信道，更显得不足。

在连续信道中常采用正交函数系来代表消息，这在极限情况下可达到编码定理的限度。

不是所有信道的编码定理都已被证明。

只有无记忆单用户信道和多用户信道中的特殊情况的编码定理已有严格的证明；其他信道也有一些结果，但尚不完善。

香农在证明他的信道容量定理中，引进了“典型序列”的概念。

典型序列就是指序列中的符号出现的比例与符号的先验概率相同。

对于足够长的序列，所有出现机率不为零的序列都是典型序列。

通过选取一些典型序列作为码字，香农证明了最大传送速率。

但是这个概念实行起来有困难。

很长的序列在编码和解码两方面都会非常困难。

而如果序列不长的话，就无法利用“典型序列”的概念。

所以，香农给出的传输速率，在几十年中都不能达到。

三、信道编码的类型按照信道特性和设计的码字类型进行划分，信道编码可分为：纠独立随即差错码、纠突发差错码、纠混合差错码。

按照纠错的功能划分，可分为：检错码、纠错码。

按照监督码与信息码元的关系可分为：线性码、非线性码。

按照对信息码元处理方法的不同可分为：分组码（包括循环码和非循环码）、卷积码。

按照信息码元在编码后是否保持原来的形式不变可分为：系统码、非系统码。

信道编码一般分为两类：分组编码和卷积编码。

3.1分组码编码类型在近几十年中经历了几个不同的的阶段，最早的编码类型是分组码（block code）。

这也是最容易理解的一种码。

在分组编码中，二进制信源输入序列被划分为长度k的码字组。

每个长度k的码字被映射为长度n的码字，映射关系是相互独立的，编码器的输出仅仅与当前k个信源输入比特有关，而与以前的序列无关。

从而由长度n的码字组构成分组编码后的二进制信道输入序列，编码速率为k/n比特/次，记为（n,k）分组码。

分组码的性能是由编码率和最小距离决定的,编码率决定了同样调制方式下信息传输的速度。

最小距离决定了纠错的能力。

纠错能力越强，就能在越强的噪声下（也就是越低的信噪比下）保持很低的误码率（也就是每一比特信息出错的几率）。

所以，性能优越的码，就是要在同样的编码率下达到尽可能高的最小距离。

我们还记得，香农定理说，在给定的信噪比下有一个最大传送速率。

只要数据转送速率在此限度以下，就可以做到没有错误。

或者反过来说，给定传送速率时，有一个最小的信噪比，只要信噪比大于这个限度就可以做到没有错误。

而对于现实的编码来说，绝对没有错误是不可能的。

对于一个特定的码，它的传送速率是固定的。

在不同的信噪比下，它有不同的误码率。

我们可以在一个可以接受的误码率（如10的-7次方）下比较它所需要的信噪比与不编码情况下（同样的信息传送速率）的信噪比。

这两者的差称为编码增益（coding gain）。

编码增益越大，这个码的性能就越好。

而香农定理给出了编码增益的上限，这个上限同时也是研究者的努力目标。

3.2卷积码卷积码，1954年，Elias提出了卷积码的概念，它是完全不同于线性分组码的一个码类。

1961年，卷积码的序列译码方法被提出。

1963年，Massey提出了卷积码的代数译码方法——门限译码。

1967年，维特比提出了卷积码的最大似然译码方法，称为维特比算法，直到现在，维特比算法仍是应用最为广泛的译码算法。

在卷积编码中，也是把k个信息比特编成长度为n的信道输入，但该信道输入不但与当前k个信源输入比特有关，而且还与编码器前（L-1）k个输入有关。

译码算法的特点：当前码分组输出不仅与当前信息分组输入有关，还与前面m个信息分组有关；在相同码率、相同译码复杂性条件下，卷积码的性能要好于分组码；卷积码仍是线性码，满足线性叠加关系；通常情况下非系统码的性能好于系统码。

卷积码在低信噪比条件下解码增益高，而在高信噪比条件下表现就不那么好。

也就是说，在输入数据含有很多错误时，它可以把误码率降低。

但在低误码率的输入情况下，它的进一步的纠错能力就不高了。

于是，人们把两种编码方法合起来使用。

把分组码作为“外码”，即最先编码，最后解码。

而卷积码作为“内码”。

这样，在接收器中，收来的信号先经过维特比算法的解调/解码，产生较低误码率的比特序列。

这个序列再经过分组码解码，进一步降低误码率。

3.3在分组码与卷积码基础上的探索以上谈到的分组码和卷积码有一个共性，就是码字是经过精心设计的，使得码字之间的最小距离尽可能大，来增强纠错能力，降低误码率。

分组码有着种种特别的数学性质，以便使用巧妙的解码方法。

而卷积码通常用维特比算法来解码。

另外，还有把调制和卷积码编码结合在一起的“格状编码调制”（Trellis Coding Modulation, TCM），这里就不细谈了。

这些码的性能离开香农极限都有几个分贝。

在一段时间内，人们认为要达到香农极限即使可能也是非常困难的。

但是柳暗花明，九十年代初期人们走出了另一条路。

回到香农定理的证明，那里的“码字”就是“典型序列”。

而如果我们随机产生序列的话，只要足够长，绝大多数结果都是典型序列。

所以随机产生的码字就是好码字。

问题是，这样没有结构的码没有好的解码方法。

所以长的随机码是不现实的。

但是人们发现了具有一定结构的码也可以具有这样随机的特性。

而它们的结构可以帮助解码。

首先发现的是turbo码。

它也叫乘积码。

编码方法是把两个短码（分组码或卷积码），一个编码后把次序按一定规律打乱，再编一次码。

这样，最后的码长是两个短码长度的乘积。

解码时，也是对于两个短码分别解，但采用迭代的办法。

第一次解码，只是得到一个“可能”的结果。

把这个结果及其相关的概率再输入解码器一遍，就得到一个更加“可靠”一些的结果。

如此反复，就能提高解码增益。

从理论上讲这种方法不一定是最优的，但实际上最后性能非常接近香农极限。

Turbo码也是有结构的，但这个结构不是为了增加码字间的最小距离，而是为了给解码提供方便。

在Turbo 码的码字中，可能有距离很近（也就是很容易出错）的码字。

但这些码字只占总体的很小一部分，所以总的来说误码率还是很低。

而在分组码，卷积码中，不同码字出错的几率是差不多的。

可见，Turbo码的思路与以前的编码技术有很大区别，可以说是一场革命。