信息论

电信1201班梁佳琪 A19120164

信息论与编码论文

——香农理论与信道编码发展

前言

近年来，无线通信技术得到了广泛的发展，从移动的G3，到联通的沃3G业务，再到电信的WCDMA业务，再最近研究的4G领域，无不显示了无线通信的蓬勃发展。

而要实现信息的无线传输，满足信息传输的三个特性——有效性、可靠性和保密性，就要对通信技术提出了更高的要求，为了达到这个目的，现在世界各国的通信方面的专家都在积极研究这个领域，以实现更高速、更有效地信源、信道编码及传输要求。

香农理论的诞生

说起通信，需要回溯到香农与信息论的关系。香农在1948年发表了《通信的一个数学理论》完整地解决了通信速度上限的问题。“信息论”从此诞生。但是香农也留下了一个巨大挑战：怎样才能达到这个速度上限？这个挑战，就开辟了后来五十年来十分热门的研究领域。

信道编码

在数据传送时，我们不是直接把一个一个数码送去调制，而是只传送一些预先选定的序列。要传送的数据被对应到相应的码字来传送。在接收方，根据收到的码字就能恢复出原始数据。这种传送的方法就称为编码。编码的目的可以有多种。一个目的是保密，这里不讨论。另一个目的是加快数据传送速度。把不常用的数据编成长码，常用的编成短码，就能降低码的平均长度，而传送更多的数据。上文开始时介绍的摩斯码就是这个原理。我们现在常用zip程式来压缩文档，也是如此。在通信中，这种编码叫做源编码，有时也称数据压缩。香农在这方面也有开创性的工作，按下不表。第三个目的，就是纠正噪声引起的传送错误。这在上文中也有简单介绍。这种编码就叫信道编码,也叫纠错码。

香农在证明他的信道容量定理中，引进了“典型序列”的概念。典型序列就是指序列中的符号出现的比例与符号的先验概率相同。对于足够长的序列，所有出现机率不为零的序列都是典型序列。通过选取一些典型序列作为码字，香农证明了最大传送速率。但是这个概念实行起来有困难。很长的序列在编码和解码两方面都会非常困难。而如果序列不长的话，就无法利用“典型序列”的概念。所以，香农给出的传输速率，在几十年中都不能达到。

信道编码的类型

编码类型在近几十年中经历了几个不同的的阶段。最早的编码类型是分组码。这也是最容易理解的一种码。顾名思义，分组码这种编码方式就是把输入数据分为长度固定的组，对每一组分别编码。比如，最早的分组码是汉明码，写为（7，4，3）。它的意思是把数据分成4个比特一组，所以共有2的4次方，也就是16

种可能的序列。每个序列对应了一个7比特的码字。它的编码率是4/7，也就是说在每7比特传送的数据中，有4比特的有效信息，剩下3比特称为冗余。当然，一般说来我们并不能说7比特中哪个比特是信息哪个比特是冗余，它们是组合在一起的。

（7，4，3）中最后那个数字3，是码字间的最小距离。码字间的距离（称为汉明距离）是指它们之间不相同的比特数。比如，两个码字A（0010110）和B （0110011）的汉明距离是3，因为它们有三个比特不同（从左数起比特2，5，7）。如果我们收到了（0110110），我们可以知道传送的更可能是A，因为它与A只有一个比特不同（比特2），而与B有两个比特不同（比特5和7）。换句话说，如果传送的是A而接收时错了一位，我们能纠正这个错误。如果错了两个比特，那它就可能更接近B而导致我们的判断错误。但它还是不等于B，所以我们还是知道出了错。假如错三比特的话，那我们就可能认为发射的是B而无法纠正或检测到错误。所以如果码字间的最小汉明距离是3的话，这个码就可以纠正1比特的错误，检测2比特的错误。

由此可见，分组码的性能是由编码率和最小距离决定的。编码率决定了同样调制方式下信息传输的速度。最小距离决定了纠错的能力。纠错能力越强，就能在越强的噪声下（也就是越低的信噪比下）保持很低的误码率（也就是每一比特信息出错的几率）。所以，性能优越的码，就是要在同样的编码率下达到尽可能高的最小距离。我们还记得，香农定理说，在给定的信噪比下有一个最大传送速率。只要数据转送速率在此限度以下，就可以做到没有错误。或者反过来说，给定传送速率时，有一个最小的信噪比，只要信噪比大于这个限度就可以做到没有错误。而对于现实的编码来说，绝对没有错误是不可能的。对于一个特定的码，它的传送速率是固定的。在不同的信噪比下，它有不同的误码率。我们可以在一个可以接受的误码率下比较它所需要的信噪比与不编码情况下的信噪比。这两者的差称为编码增益编码增益越大，这个码的性能就越好。而香农定理给出了编码增益的上限，这个上限同时也是研究者的努力目标。

对实际应用来说，除了纠错性能外，一个码要求的运算复杂度也是很重要的。我们上面其实已经给出了一个最直接的，也是最优的解码方法（称为最大似然法）把收到的数据序列与所有码字比较，找出汉明距离最短的那个作为解码结果。这样，运算量就与码长成指数关系。这对于稍长的码来说就很难实现了。而实用的分组码是基于种种数学结构而产生的，编码和解码都使用某些数学运算而不是硬性搜寻。这样运算的复杂度就会低很多。人们为此发展了种种技术。目前通用的也只是普遍认为最好的几个系列。一般来说，码越长，纠错能力就越强，但需要的运算量也就越大。

除了分组码以外，另一类编码是卷积码。它是基于卷积运算，。图中输入数据进入移位寄存器。在每一个时钟点，移位寄存器里储存的比特依次向前移一位，也就是得到一位（比特）新的输入数据，同时丢掉一位最老的数据。同时，寄存器里的数据与两个系数序列（图上标为码1和码2）逐位相乘，结果相加后成为输出比特。在输出端，两个码产生的两个输出比特被依次输出。注意，以上说的加法是以2为模的。即0+0=0，0+1=1，1+1=0，没有进位。

在这种情况下，每个输入比特产生两个输出比特。所以编码率是1/2。对于一个传送序列，开始的一段和最后的一段是收，发双方约定的，用来帮助解码。我们也可以说卷积码是一种很长的分组码：一个传送序列就是一个码组。当然，由于卷积结构的限制，卷积码的性能并不是同样长度分组码中的最优。卷积码没有