第5章 有噪信道编码

如{000，001，010，100}、{000，011，100，110}和{000， 010，100，110}，每一种选择均可计算出相应的最小错误 概率。在信道输入符号集分布未知的情况下，我们假设等 概率分布是合理的。对应码字集合{000，001，010，100} 的最小错误概率约为2.28×10－2， 对应码字集合{000， 011，100，110}的最小错误概率约为2×10－2
10，11}
第5章 有噪信道编码
信道输出端可以有32 00000，00001，00010，00100，01000，10000， 10001，00011 译码成 00000 01101，01100，01111，01001，00101，11101，11100， 01110 译码成 01101 10111，10110，10101，10011，11111，00111，00110， 10100 译码成 10111 11010，11011，11000，11110，10010，01010，01011， 11001 译码成 11010
R log M n
比特/码符号 (5.2)
其中, M为使用的码字的个数，信源符号的个数不会超过M。 由于在信源输出和信道之间增加了信道编码器，导致信源
符号和信道输入符号集不一致，因此码元符号集和信道输
入符号集必须保持一致，以保证码元符号在信道中能顺利
第5章 有噪信道编码
在例5.1中，取n=3的重复码，相当于在集合{000，
001，010，011，100，101，110，111}中取出了两个串
000和111作为与信源符号0和1对应的码字，故M=2
一般地，信道输入符号集有r个符号，编码长度为n
时，可以组成的可用码字个数为rn个。从中选取M(M<rn)
个作为与信源符号对应的码字，则选择种类为
CM rn
。
同样的个数M，选择不同的码字集合，对应的最小
错误概率可能就不一样。若信源符号集的符号个数为m，
则应有m≤M。例5.1中， m=2，信源符号集为{0, 1}。若
取该信源符号集的离散无记忆二次扩展信源：
第5章 有噪信道编码
X2={00, 01, 10, 11} m=4, 仍在{000，001，010，011，100，101，110，111}中
选取M=m=4个码字，则可以有 C84 7种0选择方法。例

1 5
比特/ 比特/秒
第5章 有噪信道编码
n=7:
R1 7
Rt

1 7
比特/ 比特/秒
可见，对于重复扩展编码方法而言， Pe下降时，编 码信息传输率R也随之下降。
在实际的通信系统中，我们并不希望R下降太多， 而是希望在保证R为一定值的前提下，使错误概率下降。
第5章 有噪信道编码
【例5.2】 信源符号集为{0，1}，离散无记忆二次扩展
第5章 有噪信道编码
(1) n=3，（3，1）重复码，两个码字是（000）和 （111），可能接收到的向量为{000，001，010，011，100， 101，110，111}。当发送000
没有出现错误，接收到000，判定为0： 出现1比特错误，即可能接收到001、010、100时，仍可 以判定为0，可以纠正1比特错误： 出现2比特错误，即接收到110、101、011时，判定为1， 此时就判错了： 出现3比特错误，即接收到111时，只能判定为1，此时也 判错了： 那么就译错了。此时译码错误概率为 Pe=1－P(0)－P(1)=1－(1－p)3－3p(1－p)2=2.8×10－2
第5章 有噪信道编码
【例5.1】 重复码是信息长度k=1的(n, 1)码， 其中, n是重复发送的长度，称为码长。经过编码后， 码字集合中只有两个长度为n的码字（000…0）和 （111…1）。设它们通过二进制对称信道传输，信 道的转移概率为P=10－1，码长n可能取不同的值，进 一步简化情况，只考虑n=3、5、7、…，下面分别讨
第5章 有噪信道编码
若传输每个码元的平均时间为t秒，则编码后每秒钟传 输的信息量为
R log M 比特/秒
(5.3)
nt
在简单重复编码方法中，有以下结论（设t=1 n=1: R=1 比特/ Rt=1 比特/秒
第5章 有噪信道编码
n=3:
R1 3
比特/
Rt

1 3
比特/秒
n=5:
R1 5
Rt
第5章 有噪信道编码
(2) n=5，（5，1）重复码，两个码字是 （00000）和（11111），可以纠正2个错，译码错误
P C53 p3 (1 p)2 C54 p4 (1 p) p5 8.1103
第5章 有噪信道编码
(3) n=7，（7，1）重复码，两个码字是（0000000） 和（1111111），可以纠正3个错，译码错误概率为
P C74 p4 (1 p)3 C75 p5 (1 p)2 C76 p6 (1 p) p7 2.6 103
对于信源［X, P］，每个符号的平均信息量为H(X)，
H ' H(X)
(5.1)
n
第5章 有噪信道编码
其单位为信息单位/码符号。例如，当信息单位为比特时， 每个码符号的平均信息量的单位为比特/码符号。由例5.1可 知，每个信源符号所需要的码元越多，传输效率越低。我 们把编码后的信息传输率定义为
第5章 有噪信道编码
第5章 有噪信道编码
5.1 最简单的编码方法 5.2 联合ε典型序列 5.3 有噪信道编码与Shannon第二编码定理 5.4 Shannon理论对信道编码的指导意义 5.5 线性分组码 5.6 卷积码 5.7 Turbo码 习题5
第5章 有噪信道编码
5.1
本节从最简单的编码方法入手，了解噪声通信中传输 的基本原理和方法。由于噪声的存在，当发送方发送信息 比特0时，接收方收到的不一定是0。一个最简单的想法是， 当发送比特mi时，重复发送n遍，接收方根据接收序列中0 和1的个数多少来判定发送方发送的比特，这种编码方式称
信源为{00，01，10，11}，信道为前述的二进制离散无记忆
对称信道， P(0|1)=P(1|0)=p<1/2。取码长为5，且与输入
பைடு நூலகம்
输入信源符号：
对应码字：
ab a, b∈{0, 1}
Abcde
c=a b
d=a
e=a b 故使用码字{00000，01101，10111，11010}分别与{00，01，