信息论与编码第六章

7
§ 6.1 信 道 编 码 的 概 念
四、检错与纠错方式和能力
⒈ 检纠错方式
❖ FEC（前向纠错）——纠错 ❖ ARQ （自动请求重发）——检错
⒉ 几个概念
❖ 汉明距离/距离：在线性码中，两个码字 U、V 之间对应 码元位上符号取值不同的个数，称为码字 U、V 之间的汉 明距离。
❖ 例如：(7,3) 码的两个码字 U=0011101,V=0100111，它们之间 第2、3、4和6位不同。因此，码字 U 和 V 的距离为4。
❖ 线性系统码的监督矩阵与生成矩阵正交。
四、(n,k)线性码的对偶码
对偶码：对一个(n,k)线性码 CI，由于Hr×nGTn×k=0Tr×k， 如果以G 作监督矩阵，而以H 作生成矩阵， 可构造另一个码CId，码CId是一个(n,n－k)线性 码，称码CId为原码的对偶码。
22
§ 6.2 线 性 分 组 码
第六章 信 道 编 码
信道编码的概念 线性分组码 循环码
1
§ 6.1 信 道 编 码 的 概 念
一、信道编码的作用与分类
❖ 信道编码的目的：提高系统的可靠性 ❖ 实现方法：增加冗余度 ❖ 信道编码的纠错原理
根据一定的规律在待发送的信息码元中人为的加入一些 冗余码元，这些冗余码元与信息码元之间以某种确定的规则相 互关联（约束）。
1 0 0 1 C C 1C 2C 3C 4 [0 1 0]0 1 0 1 0101
0 0 1 1 1 0 0 1 C C 1C 2C 3C 4 [1 1 0]0 1 0 1 1100 0 0 1 1
13
§ 6.2 线 性 分 组 码
二、线性分组码的性质及定理
❖ 当消息码为零向量0…0，所得的码字为零码字0…0。 ❖ 线性分组码的封闭性：线性分组码中任意两个码字
❖ 线性分组码的一个码字对应于 n 维线性空间中的一点，码字间
的距离即为空间中两对应点的距离。
8
§ 6.1 信 道 编 码 的 概 念
❖ 最小码距：在码集合中，任两个码字间的距离为最小 时，该码距即为码集合的最小码距。
dmin min d(c,c') cc'
❖ 码的重量：码字中非0码元符号的个数，称为该码字 的重量，又称为汉明重量。
C6 0 C4 C3 0 0 0 0
CC66
C5 C5
C4 00
0 C2 0 C1
0
0
0
0
0
0 C5 C4 0 0 0 C0 0
19
§ 6.2 线 性 分 组 码
❖ 推广到一般情况：对 (n,k) 线性分组码，每个码字 中的 r (r=n－k) 个监督元与信息元之间的关系可 由下面的线性方程组确定
e=(e0,e1,…,en-1)；ei∈{ 0,1}；当ei=1，则第i位上有错；反之，无错。
例： c = 0 0 1 0 1 1 0 1
e= 01001001
r = 01100100
有信道的对称性可知 p(0/1)=p(1/0)=p（e=1)=p
反之，若已知r ,e 则可求出c，这就是纠错码的原理，如：
生成矩阵为
1 0 0 1 G 0 1 0 1
0 0 1 1
求消息码010，110所对应的线性码。
解：
1 0 0 1 C C 1C 2C 3C 4 [m1 m 2 m 3 ]0 1 0 1
0 0 1 1
[m1 m 2 m 3 m 1 m 2 m 3]
12
§ 6.2 线 性 分 组 码
将消息码直接代入有：
14
§ 6.2 线 性 分 组 码
15
§ 6.2 线 性 分 组 码
三、线性分组码的监督阵
⒈ 线性分组码的监督阵 ❖ 编码就是给已知信息码组按预定规则添加监督码元，
以构成码字。 ❖ 在 k 个信息码元之后附加 r (r=n－k) 个监督码元，使
每个监督元是其中某些信息元的模2和。 ❖ 举例：k=3, r=4，构成 (7,3) 线性分组码。设码字为
H P
P11
I
k
P21
Pr1
P12 P1k P22 P2k Pr2 Prk
1 0 0
0
1
0
H
S
0 0 1
27
§ 6.2 线 性 分 组 码
⒋ 监督阵与生成阵的转换关系
由于系统码的监督阵与生成阵同样彼此正交，所以有：
GH T Ik
QP
Ir T Ik
QPIrT
Q PT
在接收端按照既定的规则检验信息码元与监督码元之间 的关系。如果传输过程出错，则信息码元与监督码元之间的关 系将受到破坏，从而可以发现错误乃至纠正错误。 ——纠错码
❖ 纠错码的分类
2
§ 6.1 信 道 编 码 的 概 念
❖ 按功能分：
检错码：仅能检测误码。 纠错码：可纠正误码。
❖ 按信息码元与监督码元之间的检验关系分：
e= 01001001
r = 01100100
c= 00101101
6
§ 6.1 信 道 编 码 的 概 念
三、检错与纠错的原理
⒈ 编码效率 设：信息码长度为k，经信道编码后长度为n，则我们定
义编码效率R为： R=k/n
⒉ 几种简单的检纠错码
❖ 奇/偶校验码——检错码 ❖ 重复码——纠错码 ❖ 等重码（定比码）——检错码
❖ 码的最小重量：线性分组码CI中，非0码字重量最小 值，叫做码CI的最小重量：
Wmin =min{W(V),V∈CI ,V≠0} ❖ 最小码距与最小重量的关系：线性分组码的最小码距
dmin wmin
等于它的最小重量。
9
§ 6.1 信 道 编 码 的 概 念
⒊ 线性码的检纠错能力与最小码距的关系
❖ 最小码距与纠错能力的关系：
令上式的系数矩阵为 H，码字行阵列为 C 同样有 CHT 0, HCT 0T 我们称H为一致监督阵/监督阵。
20
§ 6.2 线 性 分 组 码
21
§ 6.2 线 性 分 组 码
⒉ 监督阵与生成阵的关系
❖ 由于生成矩阵G的每一行都是一个码字，所以G 的每行 都满足Hr×nCTn×1=0Tr×1，则有 Hr×nGTn×k=0Tr×k 或 Gk×nHTn×r=0k×r
种信息数字在前校验数字在后的线性分组码称为线性系 统分组码。
Cn-1
Cn-k Cn-k-1
C0
信息码
监督码
25
§ 6.2 线 性 分 组 码
例：(7,4) 线性码的生成矩阵为
26
§ 6.2 线 性 分 组 码
⒊ 监督阵的标准形式
同样对监督阵的各行进行初等变换，将右边r列化为单位 阵即可得到监督阵的标准形式。
之和仍然是该码的码字。 ❖ G中每一行 gi=(gin-1,gin-2,…, gi0 ) 都是一个码字； ❖ 对每一个信息组m，由矩阵G都可以求得 (n,k) 线性
码对应的码字。信息码组长 k 位，有 2k 个不同的信 息码组，则有 2k 个码字与它们一一对应。 ❖ 在由 (n,k) 线性码构成的线性空间 Vn 的 k 维子空间 中，一定存在 k 个线性独立的码字：g0,g1,…, gk-1,码 Ci 中其它任何码字C都可以表为这 k 个码字的一种 线性组合，即
卷积码：本码组的监督码元不仅和本码组的信息元相 关，而且与前面码组的信息码元有关。
4
§ 6.1 信 道 编 码 的 概 念
二、编码信道
❖ 无线通信中的发射机、天线、自由空间、接收机等的全体； ❖ 有线通信中的如调制解调器、电缆等的全体； ❖ Internet 网的多个路由器、节点、电缆、底层协议等的全体； ❖ 计算机的存储器（如磁盘等）的全体。
意S列线性无关，而存在S+1列线性相关，则
码的最小距离为S+1。
即， dmin=S+1 定理 2 若码的最小距离为S+1，则该码的监督阵有
任意S列线性无关，而必存在线性相关的S+1
的集合。
C {c c mG}
式中：m 为消息矢量，G 是一个k行n列的秩为k（n﹥k)的矩
阵，我们称它为线性码的生成阵。
g0,0
G
g k 1,0
g 0,1
g k1,1
g0,n1
g k1,n1
gi,j {0,1}
11
§ 6.2 线 性 分 组 码
例：（4,3）偶校验码是一个（4,3）线性分组码，其
❖ 一致监督方程/一致校验方程：确定信息元得到监督元规则
的一组方程称为监督方程/校验方程。由于所有码字都按同
一规则确定，又称为一致监督方程/一致校验方程。
❖ 由于一致监督方程是线性的，即监督元和新信源之间是线 性运算关系，所以由线性监督方程所确定的分组码是线性 分组码。
17
§ 6.2 线 性 分 组 码
(C6,C5,C4,C3,C2,C1,C0) C6,C5,C4为信息元，C3,C2,C1,C0为监督元，每个
码元取“0”或“1” 监督元可按下面方程组计算
16
§ 6.2 线 性 分 组 码
C6 C4 C3 0
C6 C5 C4 C2 0
C6 C5 C1 0
C5 C4 C0 0
gij
I k Qk r
0
1
0
q21
q22
q2(nk )
Gs
0 0
1 qk1
qk 2
qK
(
N
K
)
23
§ 6.2 线 性 分 组 码
⒉ 线性系统分组码
用生成阵的标准形式产生的码集合 C mG 称为线性系统
分组码。
设： m mk1 mk2 m1 m0 则有：