第14讲信道编码与译码2014

以分组码为例讨论信道编码的译码问题。 长为K的二元信息序列总数为 M ? 2 K 个 ，而长为N的二元数 字序列总数为 2 N 个。
分组编码就是从 2 N 个N长数字序列中选出 M ? 2 K 个码字，分 别用于代表M个不同的信息序列。
任何一种指定方案就给定了一种编码方案。
令 y ? ( y1 , y2 ,? , yN )是 xm ? (x1, x2,? , xN ) 信道输入相应的信道输出。
? ? Ym' ? Y: ln Q(m') ? ln pN (y xm') ? ln Q(m) ? ln pN (y xm ) ? m ? m'
最大似然译码
? ? Ym' ? Y: ln pN (y xm') ? ln pN (y xm) ? m ? m'
M ?1
? 其中 Yi ? Yk ? ? , ? k ? i, Yi ? YN i?1
? H (Z) ? H (X ZY) ? H ( pe) ? H ( X ZY)
H ( X ZY) ? (1? pe)H ( X Z ? 0,Y) ? peH (X Z ? 1,Y)
? 0 ? pe log(M ? 1) ? pe log(M ? 1) H ( XZY) ? H ( pe ) ? pe log(M ? 1)
H ( XZY) ? H ( X Y) ? H (Z XY) ? H (Z XY) ? 0 ? H( X Y)
? H (X Y) ? H( pe ) ? pe log(M ? 1)
Fano不等式
(u1,u2,? ,uL )
(x1, x2 ,? , xN ) ( y1, y2 ,? , yN )
(v1,v2 ,? ,vL )
例题
设有一个离散信道，其转移概率矩阵为
?0.5 0.3 0.2? Py/ x ? ??0.2 0.3 0.5??
??0.3 0.3 0.4??
并设
p(x1 ) ?
1 4
，p(x2 )
?
1 4
，p ( x3 )
?
1 2
，试分别按最小错
误概率准则与最大似然译码准则确定译码规则，并计
算相应的译码错误概率？
第十四讲 信道编码与译码
? 第三章讨论无失真信源编码，给出无失真编码所 需最小速率 R≥ H(U)/logD.
? 信道给定，以任意小的错误概率实现可靠通信的 最大传输速率为多少？
? Shannon 于1948年提出并证明了信道编码定理，揭 示了在什么条件下可以实现可靠通信，在什么情 况下不能实现。
?1
1
1
Pe
?
p(x)p(y/
( y,x? X?a*)
x)
?
(0.2 ? 4
0.3) ?
(0.3? 4
0.3) ?
(0.2 ? 2
0.4)]?
0.6
在输入分布为（0.25,0.25,0.5）时的采用最大似然译
码准则的平均错误概率：
?1
1
1
Pe
?
p(x) p(y/
(y,x? X?a*)
x)
?
(0.5? 4
（N,K)分组码：每 K个信息数字为一组，计算出 N 个编 码数字构成一个分组，一个分组又称为一个码字。 码字之间是不相关的。
格状码：输出的码段不仅依赖于当前的K0位信息数字， 还依赖于前m个信息段的信息数字，即总共与（m+1)K0 个信息数字有关。
称（m+1)K0为编码约束长度。
称 R ? K / N 或 R ? k0 / n0 为纠错码的编码速率或简称码率
N
? d H ( x , y ) ? ? ( xm , ym ) m?1
其中
?0
?
( xm ,
ym )
?
? ?
1
xm ? ym xm ? ym
当所有码字为等概时，信道为BSC，最大似然译码为
[N ? d H (y, xm ')](1 ? p) ? pdH (y, xm ' ) ? [N ? d H (y , x m )](1? p) ? pd H (y, xm )
l?1
L
L
? ? H (U L V L ) ? H (U l Vl ) ? ?pel log(M ? 1) ? H ( pel )?
l?1
l?1
L
?1 L
pe ? L l?1 pel
? ? Lpe log(M ? 1) ? H ( pel ) l ?1
?1 L
pe ? L l?1 pel
L
? H (U L V L ) ? Lpe log(M ? 1) ? H ( pel ) l?1
分组码的译码准则
纠错译码器的作用就是根据接收到的y和编码规则，对发 送的是M个可能序列中的哪一个做出判决。
设译码器在收到y后将它译为 x m'。若m ? m' ，就出现
了错误。这种事件出现的概率是误组率 pe 。
一个码字发生错误意味着N长二元数字序列中至少有一 位错。
误比特率是译码后错误比特数与总比特数之比
器
编码器通常对信息数字进行分段，称为信息段，设其长度为 k0 . 每个信息数字持续时间为? s ? 1/ Rs 秒
在 k0? s 时间段内，编码器计算出n 0个编码数字送入信道，称为码段。
编码数字持续时间为? c秒,
n0? c =k0? s , n0 ? k0 ? ?c ? ? s
信道编码分类
通常纠错码被分为两类，分组码和格状码。
对特定接收序列y译码时要求最小yep最小错误概率译码准则maxyupympnun跑遍所有码字?最大后验概率准则1yyymmpmmppnne?????若有一个以上的m使取同样的最大值时我们可从其中任选一个而不会影响平均错误概率使取同样的最大值时我们可从其中任选一个而不会影响平均错误概率ympn最小错误概率译码准则分组码的译码准则yxyywpmqmpmnn?最大后验概率若所有可能消息序列的先验概率相等则最大后验概率准则可进一步简化为maxuypmypnun跑遍所有码字?最大似然译码准则可进步简化为maxuypmypnun跑遍所有码字?最大后验概率译码译码准则的对数形式yxyywpmqmpmnn?后验概率lnlnlnlnmnmnpmqpmqxyxy???mm??最大似然译码当消息先验概率相等时lnlnmnmnppxyxy?mm??注2在消息先验等概条件下它等价于最大后验概率译码因而也是最佳的
若接收矢量 y ? Ym，就将y判为消息m。 若 y ? YM ?1，就将y作为删除或检错处理。
分组码的译码
令Ymc表示 Ym的补集，当发送消息为m，而接收y落入Ymc ? YM ?1 中就会产生译码错误。
给定m时的不可检测译码错误概率为
? pem ?
pN (y xm)
y? Ymc ?YM?1
若消息m的先验概率为Q(m)，则平均译码错误概率为
最大似然译码（当消息先验概率相等时）
ln pN ( y xm') ? ln pN ( y xm)
? m ? m'
最大似然译码准则
【注1】它并不要求消息的先验概率。 【注2】在消息先验等概条件下，它等价于最大后验概率
译码，因而也是最佳的。但若消息先验概率不确 知时，采用最大似然译码就不一定保证译码错误 概率最小。 【注3】实际系统中，信源发出的序列传送到信道之前都 已进行信源编码，经过有效的信源编码，输出码 元的概率分布会均匀化，所以信道的输入近似为 等概，因此在工程应用中采用最大似然译码尽管 不会使错误概率达到最小，但也接近最小。
根据最大似然译码准则，译码函数为
? D(b1 ) ? a1
B
:
? ?
D
(b2
)
?
a3
?? D(b3 ) ? a 2
根据最小错误概率译码准则，译码函数为
?0.125
Pxy
?
? ?
0.05
?? 0.15
0.075 0.075 0.15
0.05 ?
0.125
? ?
0.2 ??
? D (b1 ) ? a 3
00 00000
0
01 10101
10 11010
11 01111
1
r = 11110
1-p
0 假设p<0.5
p
p 1
1-p
11010 (10)
不编码，误码率pb=p 编码，pe=3p2+p3-6p4+3p5
信道编码器模型
输入
um ? U K0 L 级 移 存 器
纠 输出
错 xm ? X N0
?编 码?
M
? pe ? Q(m) pem m?1
若消息m的先验概率为Q(m)，则可检测译码错误概率为
M
? pu ? Q(m) pN (y ? YM ?1 xm ) m?1
1-p
二元对称信道（BSC） 0
p
的译码
p
0
假设p<0.5
1
1
1-p
定义： x ? (x1, x2 ,? xN ) 和 y ? ( y1 , y2 ,? yN ) 的汉明距离 d H ( x , y ) 为
要求纠错能力越强，所需多余度越大，码率就越低。
分组码(5,2) 00 10101 01 10010 10 01110 11 11111
卷积码(2,1,3)
实例
11 01
mj mj?1
编码
11111 10010
1 1 0 1 mj mj?1 mj?2
?
?
X j1
X j2
11 01 01 00
分组码的译码准则
足Fano不等式。
H(X/Y) ? H(Pe)? Pe log(M ?1)
Fano不等式
p e
log(M
? 1) ?
H ( pe )
?
H ( X Y)
证明：定义随机变量
Z
?
?0 ??1
y? x y? x
pr (z ? 0) ? 1? pe , pr (z ? 1) ? pe
H ( XZY) ? H (Z Y) ? H ( X ZY)
由引理2
H ( pel ) ? ? pel log pel ? (1? pel ) log pel ? ? pel log pe ? (1? pel ) log pe
两边对l求和，得
? ? L
L?
1
1?
l?1
H ( pel ) ?
? pel log l?1 ?
pe
?
(1?
pel ) log 1?
pe
C
:
? ?
D
(b2
)
?
a3
? ?
D
(
b3
)
?
a3
在输入等概分布时的采用最大似然译码准则的平均错误概
率：
? 1
1
Pe
?
3
( y,x?
p(y/
X? a*)
x)
?
[(0.2 ? 3
0.3) ?
(0.3 ?
0.3) ?
(0.2 ?
0.4)] ?
0.567
在输入分布为（0.25,0.25,0.5）时的采用最大似然译码准则 的平均错误概率：
? 1 K
pb
?
K
p ek
k?1
其中 pek 是第 k 位出现错误的概率
分组码的译码准则
译码准则就是猜测规则，即当信道的输出值为y时， 将其译为哪个码字m最合理？ 对特定接收序列y，译码时要求 pe ( y)最小
最小错误概率译码准则
pe ( y) ? pN (m'? m y) ? 1? pN (m'? m y)
pN ( y | m') ?
max
u跑遍所有码字
pN (y | u)
最大似然译码准则
pN ( y | m') ?
max
u跑遍所有码字
pN (y | u)
译码准则的对数形式
后验概率
pN (my)
?
Q(m) pN (y xm ) ;) ? ln pN (y xm') ? ln Q(m) ? ln pN (y xm) ? m ? m'
最大后验概率准则
p N (m'|
y)
?
max
u跑遍所有码字
pN (u | y)
若有一个以上的m，使 pN (m' y)取同样的最大值时， 我们可从其中任选一个，而不会影响平均错误概率
分组码的译码准则
最大后验概率
pN (m y) ?
Q(m) pN (y xm ) w(y)
若所有可能消息序列的先验概率相等，则最大后验概率准则 可进一步简化为
0.2) ?
(0.3? 4
0.3) ?
(0.2? 2
0.5)]?
0.5
可见，在输入不等概分布时的采用最大似然译码准则的平
均错误概率不是最小。
平均错误概率Pe 与译码规则有关，而译码规则又由信道特 性来决定。 由于信道存在噪声和干扰，使得接收到输出符号后，对发 送的是什么符号还存在不确定性。 可见，Pe与信道怀疑义度H(X/Y)是有一定关系，也即满
? 后来很多研究者给出了更严格、更一般化的证明， 指出了各种信道和编码条件下所能达到的编码定 理的上、下限。
? 这些理论的进展为合理设计实际通信系统提供了 理论依据。
什么条件？R<C
数字通信系统模型
信源 信源编码 信道编码
信宿 信源译码 信道译码
调制器
信道
解调器
干扰源
信道编码
信道编码（纠错编码）的任务是将输入的信息数字序列 变换成另一个数字序列送入有扰离散信道。人为的按一 定规则增加多余度，以便纠正传送过程中可能出现的错 误，以尽可能小的错误概率恢复原来的信源序列。
对于给定的信源、信道及编译码规则，即给定了联合
空间?UV, p(u, v)?，则信道的含糊度 H (U V) ? H (U ) ? I (U ;V)
就可被确定，这个值就给定了译码错误概率的下限。
分组码的译码
分组码编码：消息空间UL到输出空间YN的一种映射 译码规则可以看成是YN到UL的一种映射，即将空间YN 按译码准则划分成不相交的判决空间Y1,? ,YM ,YM?1 。 最大后验概率译码
信道编码
信道
信道译码
UL
XN
YN
VL
pb log( M
? 1) ?
H ( pb ) ?
1 H (U L VL ) L
证明： H (U L VL ) ? H (U1 VL ) ? H (U 2 VLU1) ? ?
L
? ? H (U L V LU1 ? U L?1 ) ? H (U l Vl )
由Fano不等式，可得
? ?
1
1
? Lpe log pe ? L(1? pe ) log 1? pe
? LH ( pe )
综上 H (U L V L ) ? Lpe log(M ? 1) ? LH ( pe )
即
pe log(M
? 1) ?
H ( pe ) ?
1 H (U L V L ) L
Fano不等式
pe log(M ? 1) ? H ( pe ) ? H (U V)