电子科大信息论与编码第6章 离散信道纠错编码

15
N重复码当N很大时，使错误概率Pe降得很低 的同时，信息传输率R也大大降低—如3重复 码的信息率为原信息率的1/3，即该编码的 编码效率仅为1/3 。 需要找这样的纠错码： 足够小的平均译码错误概率Pe 较高的编码效率。
16
1.基本概念：
纠错方式——主要有检错重发(ARQ)、 前向纠错(FEC)和混合纠错(HEC)等。 纠错码——主要有分组码和卷积码两大 类，此外还有1982年提出的将编码与调制 结合在一起的网格编码调制和1993年提出 的将卷积码与随机交织器相结合的Turbo 码、LDPC码等。
p( y j / x*)p( x*)
p( y j / x*)p( x*) p( y j / x i )p( x i )
i 1,2, j 1,2, x* x i
i 1,2, j 1,2, x* x i
6
当信源等概率时，
p(y j / x*) p( y j / x i )
平均译码错误概率:
2 2 2 j 1 2 j 1
i 1,2, j 1,2, x* x i
最小错误概率准则可转换为最大似然译码准 则。
Pe p( y j )p(e / y j ) p( y j )[1 p( x * / y j )]
2 2 j 1 2 j 1 i 1 j 1
7 L 1
i , j 1,2, ,2 , i j
k
例：c1 1011110
d ( c 1 , c 2 ) c 1L c 2 L 3
20
码重(汉明重量):长度为n的码字中非零码 元的个数；对于二元码，码重可表示为：
w (c i ) c i L
n L 1
i 1,2, ,2
2
一、纠错编码的基本思路
在信道中传输消息会发生错误，先分析错误 概率与哪些因素有关？ 二进制对称信道( BSC ) ：
0.99 0.01 P( X / Y ) 0.01 0.99
如果设计一个译码规则A：
f ( y 1 ) x1 , f ( y 2 ) x 2
3
则收到yj条件下译码的条件正确概率为
c i 5 c i 6 c i 7 为校验位，校验长度n-k=3
c i c i1 c i 2 c i3 c i 4 c i5 c i 6 c i 7
i 1,2, ,16
28
所有3维非零列向量构成校验矩阵H，如
0 0 0 1 1 1 1 H1 0 1 1 0 0 1 1 1 0 1 0 1 0 1
②构造k×n生成矩阵G
其中ci为第i个发送码字，以n列向量表示
校验矩阵H与生成矩阵G之间满足
HG 0
T
26
③编码
其中xi为第i个码字的信息，以k列向量表示
ci G Txi
27
以(7,4)汉明码为例： 设(7,4)汉明码的码字
其中 c i1 c i 2 c i 3 c i 4为信息位,消息长度k=4
k
例：c1 1011110
w ( c 1 ) c 1L 5
7 L 1
21
对于二元码，两个长度为n的码字之间的码距 可用码重表示：
d(c i , c j ) w(c i L c jL )
例：c1 1011110
i, j 1,2, ,2 , i j
k
d ( c 1 , c 2 ) w ( c 1L c 2 L ) 3
①构造秩为3的3×7校验矩阵H
1 0 0 1 1 0 1 H2 1 1 0 1 0 1 0 1 0 1 0 1 1 0
29
c i1 c i2 0 0 0 1 1 1 1 c i 3 c i 4 c i 5 c i 6 c i 7 0 H 1c i 0 1 1 0 0 1 1 c i 4 c i 2 c i 3 c i 6 c i 7 0 c c c c 0 i3 i5 i7 1 0 1 0 1 0 1 c i 5 i1 c i 6 c i7
9
此时信道成为BSC的三次扩展信道
0.0098 0.0098 0.000099 0.0098 0.000099 0.000099 0.000001 0.9703 P ( Y / X) 0.0098 0.9703 0.000001 0.000099 0.000099 0.0098 0.000099 0.0098
13
信道编码定理的证明要用到联合ε典型序列 等数学知识，不作证明。 信道编码定理又叫香农第二定理，该定理从 理论上证明了译码错误概率任意小的理想纠 错编码的存在性。 信道编码定理也指出，信道容量C是信息传 输率的上界——香农界，如果信息传输率 超过这个界限一定会出错。
14
三、线性分组码 汉明(R.W.Hamming), 美国数学家，被公认为 是纠错编码理论的开创 者，他在1950年提出汉 明码。
例：c1 1320120
c 2 1220310
d(c1 , c2 ) 3
例：c1 1011110
c 2 1111000
d(c1 , c 2 ) 3
19
对于二元码，码距还可表示为：
n L 1
d ( c i , c j ) c i L c jL
c 2 1111000
7
N 11时，Pe 5 10
10
11
当N很大时，可将使错误概率Pe降到 很小。 一般情况下是否有这样的结论？
12
二、信道编码定理
N 次扩展信道的信道容量为C，进行二进制 信道编码，只要信息传输率R<C，当N足够 大时，平均译码错误概率Pe<ε，其中ε为 任意给定的小正数。
如果信息传输率R>C，无论N多大，平均译 码错误概率Pe >ε
根据最大似然译码准则所设计的译码规则就 是规则A。
8
1 Pe p( x i )p( y j / x i ) (0.01 0.01) 0.01 2 i 1 j 1
其平均错误概率为
2 2
xi x *
通信系统中，通常要求错误概率在10-6～10-9 的范围内。 为了降低错误概率，可以考虑重复发送，如 重复三次，即将x1编码为a1=x1x1x1，x2编码为 a2=x2x2x2，称为3重复码。
p( y j ) p( y j )p( x * / y j ) p( x i y j ) p( x * y j )
2
p( x i y j ) p( x i )p( y j / x i ) , i 1,2, x i x *
2 2 2 i 1 j 1 i 1 j 1
p(f ( y j ) / y j ) p( x j / y j ) 0.99 p(e / y j ) 1 p( x j / y j ) 0.01
2
j 1,2
相应的条件错误概率为 平均错误概率为
j 1,2
如果设计另一个译码规则B：
1 Pe p( y j )p(e / y j ) (0.01 0.01) 0.01 2 j 1
24
2. 线性分组码的编码
①构造秩为m的m×n校验矩阵H 其中ri为第i个接收码字，以n列向量表示,si为 第i个接收码字的误码标志,以m列向量表示
编码步骤:
Hri s i
m
2 n 1
25
当ri c i时，Hri Hc i s i 0
使校验矩阵H满足
ri c i时，Hri s i 0
30
对H1 ,当ri c i时
当ri ci，只出现一位传输错误 时
2 3 4 5 6 7 2 3
ci1 c i2 0 0 0 1 1 1 1 c i 3 c i 4 c i 5 c i 6 c i 7 0 H 1ri 0 1 1 0 0 1 1 c i 4 c i 2 c i 3 c i 6 c i 7 0 c c c c 1 i3 i5 i7 1 0 1 0 1 0 1 c i 5 i1 c i 6 c i7
根据最大似然译码准则所设计的译码规则：
f (b1 ) a* a1 , f (b 2 ) a* a1
f (b 3 ) a* a1 , f (b 4 ) a* a 2 f (b 5 ) a* a1 , f (b 6 ) a* a 2 f (b 7 ) a* a 2 , f (b 8 ) a* a 2
p( x * / y j ) p( x i / y j )
p( x * / y j ) p( y j )
f (y j ) x *
j 1,2, x* { x1 , x 2 }
p( x i / y j )
i 1,2, j 1,2, x* x i
p( y j / x i )p( x i ) p( y j )
c1L c 2L 0100110
c 2 1111000
22
最小码距:在2k个码字构成的码表中，所有 码字之间码距的最小值。
d min min d(c i , c j )
i,j
i , j 1,2, ,2 , i j
k
23
线性分组码(n,k)能检e个错误并能纠t个 错误的充要条件是 dmin e t 1 因此，最简单的能检1个错误并能纠1个 错误的线性分组码(n,k)的 dmin 3
j 1
7
采用最大似然译码准则时，如何进一步降低 错误概率？ 仍然看BSC的例子：
0.99 0.01 P( Y / X ) 0.01 0.99
f ( y1 ) x* x1 , f ( y 2 ) x* x 2
p( y 1 / x* x1 ) p( y 1 / x 2 ), p( y 2 / x* x 2 ) p( y 2 / x1 )
i 1,2, j 1,2, i j
i 1,2, j 1,2 , i j
1 Pe p( y j )p(e / y j ) (0.99 0.99) 0.99 2 j 1 错误概率既与信道特性有关，也与译码规则有 关，故也称为译码错误概率。
5
译码规则的设计应该依据最小错误概率准则。
第6章 离散信道纠错编码
信源发出的消息经信源编码后在离散信道传 输，由于信道存在噪声，在信道中传输消息 会发生错误。 需要研究的问题是： ①怎样通过信道编码，使在信道中传输的消 息发生的错误减少到可以接受的程度，进而 能否实现无错误传输？
1
②无错误传输可达的最大信息传输率是 多少？ 解决了这些问题后，介绍一种具体的纠 错码(Error Correcting Code)。
10
1 Pe p(a i )p(b j / a i ) ( 2 0.000001 6 0.000099) 2 i 1 j 1
平均译码错误概率为
2 8
3 10 4
ai a *
如果重N次，即编为N重复码，可求出
当N 5时，Pe 10 5
N 7时，Pe 4 10 N 9时，Pe 10 8
f ( y 1 ) x 2 , f ( y 2 ) x1
4
p(f ( y j ) / y j ) p( x i / y j ) 0.01 p(e / y j ) 1 p( x i / y j ) 0.99
相应的条件错误概率为 平均错误概率为
2
则收到yj条件下译码的条件正确概率为
17
线性分组码:具有恒定码字长度和消息 长度，并且消息相加后的编码等于各自 编码相加的纠错码。
线性分组码通常采用前向纠错，可表示 为(n,k)，其中n为码字长度，k为信息位 长度，校验位长度为n-k。 汉明码属于线性分组码。
18
码距(汉明距离):在2k个码字构成的码 表中，两个长度为n的码字对应位置上不 同码元的个数