编码理论第七章

编码理论——信道译码
12
纠错能力：如果我们采用最佳译码或最大似然译码，那么 当接收到的码字偏离其在N维空间中原来的位置时，只要偏离得 不太远，就可以根据最大似然译码规则（或最佳译码规则）经 过译码得到正确的结果。但如果偏离得太远，以至于离另外一 个码字的空间点更近一些，则经过最大似然译码，就会译成另 一个码字，也就是不能纠正误码，或者说超出了该种编码的最 大纠错范围。那么纠错范围是多大呢？ 我们可以设想以 2 k 个码字空间点为球心，分别做一个超维 的球体，且各个球体互不相交，那么，如果由于误码使空间点的 偏移没有超出所对应的球体，则可以由最大似然译码纠正其错误， d min 也就是可以纠错。对于最小码距为 的码子字集，球体半径 的最小值为 ，考虑到纠错能力为整数位，所以纠 (d min 1) / 2 错能力应该写为 (d 1)。 /2
cij ≠ r j时 p p (r j / cij ) = 1 p cij = r j时
编码理论——信道译码
8
如果R中有d个码元与 Ci 不同，我们称R和 Ci 之间的 距离为d，这样定义的距离称为汉明距离。接收码字R和发送 码字 Ci 之间的汉明距离，就是二者模2加后的重量，即
d = dis ( R, Ci ) = W ( R ⊕ Ci ) =
min
编码理论——信道译码
13
联合检错、纠错能力：对于最小码距为d 的码字，其 min 单独的检错能力为 d min 1，单独的纠错能力为 ( d 1) / 2 但如果联合考虑检错和纠错，则情况会有所变化，因为如 果单独考虑检错，只要不会偏移到另一个码字空间点上，都可 以检测出来，但当加了纠错以后，如果偏移值过大，以至于偏 移后更接近于另一个码字空间点（即进入另一个超球体），则 由于纠错的原因，就会把它当成另一个码字，从而进行错误的 纠正（纠错后就认为没有错误了），以至于不能检测出来其错 误。
min
编码理论——信道译码
14
联合检错、纠错能力：对于最小码距为d 的码字，其 min 单独的检错能力为 d min 1，单独的纠错能力为 (d 1) / 2 但如果联合考虑检错和纠错，则情况会有所变化，因为如 果单独考虑检错，只要不会偏移到另一个码字空间点上，都可 以检测出来，但当加了纠错以后，如果偏移值过大，以至于偏 移后更接近于另一个码字空间点（即进入另一个超球体），则 由于纠错的原因，就会把它当成另一个码字，从而进行错误的 纠正（纠错后就认为没有错误了），以至于不能检测出来其错 误。
{M {M } (m0 , m1 , , mk )
{C {C } (c 0 , c1 , , c N 1 )
纠错编码器
{R {R} ( r0 , r1 , , rN 1 )
{M } (m 0 , m1 , , m k )
信道
纠错译码器 至信宿
信源编码器输出
干扰源
编码理论——信道译码
3
由于M与码字C之间存在一一对应关系，所以这等价于译码其根 据R产生一个C的估值序列 C ，显然 当且仅当C = C 时， = M 这时译码器正确译码。 M
即在已知r的情况下使先验概率最大，则这种译码规则称为 最大似然译码（MLD：Maximum Likelihood)， p( R / Ci ) 称 为似然函数。相应的译码器称为最大似然译码器。 由于logx与x是单调关系，因此最大似然规则也可以写成
i =1, 2,, 2
max k log p( R / Ci ) = max k ∑ log p(rj / cij )
编码理论——信道译码
16
此时的似然函数是
∑r
j =1
N d
N
j
⊕ cij
p(R / Ci ) =
∏ p(r / c ) = p
j ij j =1
N
d
(1 p)
p (1 p) N = 1 p
d
因为上述似然函数中 (1
p) N 是常数， p /(1 p ) << 1
可以看出，d越大，则似然函数越小，因此，求最大似然函数问题 就变成了求最小汉明距离问题。
第七章 信道译码
张长森 河南理工大学计算机学院
1
第7章
信道译码 7.1 最优译码和最大似然译码 7.2 码距与检错、纠错能力的关系
编码理论——信道译码
2
7.1
最优译码和最大似然译码
信道的输入是一个二（或q）进制序列，而译码器的输出时一 个信息序列M的估值序列 M 。如下图所示。 译码器的基本任务就是根据一套译码规则，由接收序列R给出 与发送的信息序列最接近（最好是相同）的估值序列 M 分组码数字通信模型
则这种译码规则一定能使译码器输出错误概率最小，称这种 译码规则为最大后验概率译码MAP (maximum aposteriori),也叫做 最佳译码。是一种通过经验与归纳又收码推测发码的方法，是最 优的译码方法。
Ci = max p (Ci / R )
编码理论——信道百度文库码
5
由贝叶斯公式
p(Ci ) p( R / Ci ) p(Ci / R) = p( R)
编码理论——信道译码
9
汉明距离译码是一种硬判决译码。只要在接收端将接收码R 与所有可能的发码逐比特进行比较，选择其中汉明距离最小的 码字作为译码结果就可以了。当发送的码字互相统计独立且等 概时，汉明距离译码就是最佳译码。
编码理论——信道译码
10
7.2
码距与检错、纠错能力的关系
码距：在随机编码中，我们曾说过，一个码字可以看作是N维矢 量空间的一个点，全部码字所对应的点集合构成矢量空间的一个 子集。子集的任意两点之间都存在一定的距离，这个距离叫做码 字之间的码距。子集任意两点之间的码距的最小值记为 d 。 min 欧氏距、汉明距 检错能力：如果信道传输无误，接收到的N重矢量一定是码字， 在矢量空间中一定对应到码字子集中的一个点上。当传输有误时， 可能会发生两种情况：一是不再对应码子字集上的一点，而是对 应到码字子集点相邻的的另一个空间点上；第二种可能是仍然对 应到码子字集中的一个点上，但却是一个错误的点上。第一种情 况下，译码的时候一定可以判断出发生了误码；而第二种情况却 不能判断出发生了误码。
编码理论——信道译码
11
对于一个最小码距为 d min 的码字子集，如果传输中发生 误码后使得空间点的位置偏移小于 d min ，则一定可以判断出 发生了误码，因为这时候由于误码不可能从一个空间点偏移到 另一个空间点。换句话说，可以检测到错误。而当由于误码使 空间偏移大于d min 时，则有可能偏移到另外的码字点上，也就 有可能检不出该错误来。因此，对于最小码距为 d min 的码子 字集，其检错能力为 d min 1 。
可知，如果发送端发送每一个码字的概率 p(Ci ) 均相同,且由于 p(R)与译码方法无关，所以
i =1, 2,, 2 k
max
p (Ci / R )
i =1, 2,, 2 k
max
p ( R / Ci )
编码理论——信道译码
6
一个译码器如果能选择
Ci = max p( R / Ci )
i =1, 2,, 2 k
min PE = min P( E / R) = min P(C ≠ C / R)
编码理论——信道译码
4
而
min P(C ≠ C / R) max P(C = C / R)
因此，如果译码器对输入的R，能在
2
k个码字中选择一个使
P(Ci = C / R)(i = 1,2, ,2 k )
最大的码字 Ci 作为C的估值序列 C ，即
如果 C ≠ C 则译码器产生错误译码。 当给定接收序列R时，译码器的条件译码错误概率定义为
P ( E / R ) = P(C ≠ C / R)
所以译码器的错误译码概率为
PE =
∑ P(E / R) p(R)
R
其中， p (R ) 是接收R的概率，与译码方法无关， 译码错误概率最小的最佳译码规则是使 PE 最小，即
i =1, 2,, 2 j =1
N
称logp(R/C)为对数似然函数。
编码理论——信道译码
7
对于DMC信道，如果发送端发送每一个码字的概率 p(Ci ) 相等， 则MLD就是译码错误概率最小的一种最佳译码规则。由于最佳译 码要求知道后验概率p(R/C)，这在很多时候是很困难的，所以经常 使用的是最大似然译码，在很多情况下，可以认为最大似然译码就 是最佳译码。 对于BSC信道，在译码的时候，如果我们逐比特地比较发码和 收码，就只有两种可能性：相同或者不同，其概率分别是：
min
对于一个最小码距为 d min 的码字子集，一般性的结论是： 其中， ec 是纠错能力， d 是检错能力。 e
编码理论——信道译码
e d + e c ≤ d min 1
ec ≤ ed
15
例如：最小码距为7的码字子集，单独检错可以检测6个码元的 错误，单独纠错可以纠正3个码元的错误。但如果想纠正3个码元的 错误，其检错能力减小为3，因为如果错误大于3，就会因为进入另 一个超球体的范围而被错误地纠错。如果想检测4个错误，则纠错 能力要降低为2，也就是说，要把纠错的超球半径降低为2。如果想 检测5个错误，则纠错的能力要降低为1。 从上面对纠错检错能力的分析可以看出，码字子集的纠错 检错能力的大小，取决于该码字子集的最小码距。对于 2 k 个 码字，共有 2 k (2 k 1) / 2 个码字距离，这些距离有大有小， 而码的总体性能取决其中的最小者，因此，当各码字在N为矢 量空间中均匀分布时，也就是当各个码字之间的距离相等时， 有最好的码性能。这和各符号等概时有最大熵的道理一样。