信息论与编码纠错第7章
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
对于消息为k位，码长为n的线性分组码称（n，k）线性分组码。
信息论与编码
【例】一个原始数字消息u0
c0 u0 c1 u0 编码规则： c u 0 n 1
u0 0 , u0 1,
n c 00 0 c 111
k = 1，故为（n，1）码，称（n，1）重复码。码率：R = 1/n 【例】编码规则
信息论与编码
§7.1 纠错编码的基本概念
一．信道纠错编码
近年来，随着计算机、卫星通信及高速数据网的飞速发展，数据的交 换、处理和存储技术得到了广泛的应用，人们对数据传输和存储系统的可 靠性提出了越来越高的要求。因此，如何控制差错、提高数据传输和存储 的可靠性，成为现代数字通信系统设计工作者面临的重要课题。 香农第二定理指出，当信息传输速率低于信道容量时，通过某种编译 码方法，就能使错误概率为任意小。目前已有了许多有效的编译码方法， 并形成了一门新的技术——纠错编码技术。 这里所讲的纠错编码即信道编码，与信源编码一样都是一种编码，但 信源编码的目的是压缩冗余度，提高信息的传输速率。 两者的作用是完全不同的。 信道编码的目的是提高信息传输时的抗干扰能力以增加信息传输的可 靠性。
信息论与编码
优点：译码设备简单，在多余度一定的情况下，码的检错能力比纠错能力 要高得多，因而整个系统能获得极低的误码率。
缺点：应用ARQ方式必须有一条从收端至发端的反馈信道。并要求信源产 生信息的速率可以进行控制，收、发两端必须互相配合，其控制电 路比较复杂，传输信息的连贯性和实时性也较差。
⑶ 混合纠错(HEC)方式：
i 0 i 0 i 0 n2 n2 n 1
（奇）偶校验码：码字中1的个数为偶数。 在接收到一个字中1的个数不是偶数时，就可以确定接收的不是码 字。这种码能检出奇数个错误，但不能发现偶数个错误。 比较上面两例编码方案： ① 重复码：R = 1/n，编码效率最低，检纠错能力最高。
② 奇偶校验码：R = (n-1)/n，编码效率最高，检纠错能力最低。（两个极端） 3．纠错编码理论的中心任务：在重复码和奇偶校验码之间寻找一些性能良好 的码，使编码效率和检、纠错能力得到统一。
c0 u0 c u1 1 （加法为模2加） c un 2 n2 cn 1 u0 u2 un-2
构成一个（n，n - 1）线性分组码：R = (n-1)/n
信息论与编码
由最后一个方程： cn 1 ui cn 1 ui 0 ci 0
0
1 - pe pe pe 1 - pe
0
1
1
信息论与编码
有记忆信道中，各种干扰所造成的错误往往不是单个地，而是成群、 成串地出现，表现出错误之间有相关性，称为突发错误。下图就是这种信 道的一个模型。
q1 1 - q1
Байду номын сангаас
S1
1 - p1 p1 p1 1 - p1 好状态
q1 << q2
q2 0
p1 << p2
说明：
ci 之间的汉明距离，如 r 与某一 ① 收到接收字 r 后，通过计算 r 与各码字 码字 c j 的汉明距离最小，则 r 与码字 c j最像，译码器将 r 译成 c j 。 r
② 极大似然译码基础：收到的字是从一个码字经错传尽可能少的位而来的 可能性较从一个码字经错传较多的位而来的可能性要大。故通过判断汉 明距离来译码，符合极大似然译码规则。 如：pe＝10-5，则错一位的概率：pe＝10-5，错两位的概率：pe＝10-10
信息论与编码
按差错控制系统类型，可分为前向纠错、重传反馈和混合纠错等三种方式。
⑴ 前向纠错(FEC)方式 ： FEC (Forward Error Control) 方式是发端发送有纠错能力的码（纠错 码），接收端收到这些码后，通过纠错译码器自动地纠正传输中的错误。 优点：是不需要反馈信道；能进行一个用户对多个用户的同时通信，特 别适合于移动通信；译码实时性较好，控制电路也比较简单。
信息论与编码
在设计差错控制系统时，选择何种实现方式，应综合考虑各方面的因 素。主要有：
⑴ 满足用户对误码率的要求； ⑵ 有尽可能高的信息传输速率； ⑶ 有尽可能简单的编译码算法且易于实现； (4) 可接受的成本。
三．纠错码的分类
常用的纠错码按其码字结构形式和对信息序列处理方式的不同可分 成两大类：分组码和卷积码。
（1 1 1） （0 1 1） 能纠 （1 0 1） 1重错误 （1 1 0） 接收字不是码字，能检 （0 0 1） （0 1 0） 2重错误 不能纠 （1 0 0） 接收字是码字，不能检 （0 0 0） 3重错误
信息论与编码
作为按照极大似然准则译码的纠错码，可以 纠正该重错误图样的条件为： • 每个码字对应于该重错误图样的接收字集合中， 不可包含发送的码字。 • 每个码字对应于该重错误图样的接收字集合中， 不包含公共元素。 • 每个码字对应于该重错误图样的接收字集合，与 其它码字的错误重数低的接收字集合中，不包含 公共元素。
信息论与编码
第七章
线性分组码
信息论与编码
内容提要
目前，几乎所有得到实际应用的纠错码都是线性的。本 章首先介绍有关纠错码的基本概念，然后重点论述线性分组 码的定义及其编译码理论。在此基础上，介绍了一种典型的
线性分组码：汉明码。
掌握内容：线性分组码的概念，生成矩阵，校验矩阵， 最小距离，伴随式，标准阵列等。
信息论与编码
分组码：把信息序列以每k个码元分组，编码器将每个信息组按一定规律产 生r个多余的码元（称为校验元），形成一个长为n = k + r 的码字。 对于k个码元分组，共有2k个不同的信息组，编码器输出长n的2k个码 字，这2k个长为n的码字构成的集合称为一个（n，k）分组码。 n：码长；k：信息位的数目；R = k / n：分组码码率。 卷积码：把信息序列以每k个分组，通过编码器输出长为n（n k）的一个 子码。但是该子码的n－k个校验元不仅与本子码的信息元有关， 而且也与其前m个子码的信息元有关。
c0 f 0 u0，u1， ，uk-1 c1 f1 u0，u1， ，uk-1 c n 1 f n 1 u0，u1， ，uk-1
线性分组码：c0，c1， ，cn-1与 u0，u1， ，uk-1 呈线性关系（fi为 线性函数） 非线性分组码：c0，c1， ，cn-1 与 u0，u1， ，uk-1 不呈线性关系 （fi为非线性函数）
消息集： u0，u1， ，uk-1 ui F2
序列个数：2k
设长为n的二元码元序列集为：
c ，c ， ，c
0 1 n-1
nk
序列个数：2n ≥2k
信息论与编码
1．分组编码：
在长为n的二元序列集中 c0，c1， ，cn-1 选出与消息序列数2k相同 数目的码元序列，并使两者一一对应。
信息论与编码
二．分组码检、纠错能力的获得
【例】（2，1）重复码
0
00
00 01 10 11
能发现 根据最大似然译码， 不能判定是“00”还 是“11”，不能纠错
00
1 11 01 10 11
不能发现 能发现
（2，1）重复码可以检出一个错误，但错误不能纠正。
信息论与编码
（3，1）重复码
e 中“1”的个数表示产生错误的个数，称错误图样的错误重数（t）。
设 r 为码字在传输过程中发生错误而得到的接收字，则
r c e
信息论与编码
【例】（2，1）重复码 c r （0 0） （1 1） e （1 0） （1 0） （0 1） （0 1） （0 1） （1 0）
0
000
001 010 100 011 111 000
译码
000
能发现、纠正
111 能发现、不能纠正 111
1
111
010 011 101 011
（3，1）重复码可以检出最多不超过两个错误（作为检错码使用）， 能纠正一个错误（作为纠错码使用），但不能检出3个错误。
. . . . . .
不能发现 000
HEC (Hybrid Error Control) 方式是上述两种方式的结合。发端发送 的码既能检错、又有一定的纠错能力。收端译码时若发现错误个数在码的 纠错能力以内，则自动进行纠错；若错误个数超过了码的纠错能力，但能 检测出来，则通过反馈信道告知发方重发。这种方式在一定程度上避免了 FEC方式译码设备复杂和 ARQ方式信息连贯性差的缺点。
几个概念： 码字：对应于消息的长n的2k个码元序列，用
c 表示。
选出的2k个码元序列称为许用码组，另外的2n - 2k个为禁用码组。 码：所有码字的集合，用C表示。 字：所有长为n的二元序列。
消息：长为k的二元码元序列，用 u 表示。
信息论与编码
2．消息 u 与码字 c 的映射关系（函数关系）
d (a，b ) ai bi (ai bi )
n 1 n 1
称 d (a，b )为 a，b 之间的汉明距离，简称距离。
i 0
i 0
信息论与编码
a (01100) 例如： d (a，b ) 2 b (11101)
S2
1 - p2 p2 p2 1 1 - p2 坏状态
1 - q2
0
0
0
1
1
1
就实际信道而言，由于其干扰的复杂性，往往是两种错误并存。随 机错误与突发错误并存的信道，称为组合信道或复合信道。
信息论与编码
§7.2 分组码及检、纠错能力的获得
一．分组码定义
设消息或数据以二进制形式表示，并以F2 = { 0 , 1 }表示这个二元集。 设消息集是长为k的二元消息序列集，表示如下：
000 111
能发现、不能纠正
能发现、纠正
信息论与编码
三．错误图样
对应着n为码字，长为n的二元序列 e (e0，e1， , en1 )，ei F2
当ei =1时，表明码字中第i位ci发生错误； 当ei =0时，表明码字中第i位ci没有错误。
称 e (e0，e1， , en1 ) 为错误图样。
（1 1） （1 1） （0 0）
1重错误（接收字不是码字，能检）
2重错误（接收字是码字，不能检）
（3，1）重复码 c r （0 0 0） e
（1 0 0） （1 0 0） （0 1 0） （0 1 0） （0 0 1） （0 0 1） （1 1 0） （1 1 0） （1 0 1） （1 0 1） （0 1 1） （0 1 1） （1 1 1） （1 1 1）
信息论与编码
§7.3 汉明距离和分组码的检、纠错能力
一．汉明距离
1．定义：
设 a，b 是集合Vn（F2）（ n维向量空间）中的任意两个字，令
a＝ a0，a1， ，an 1
ai，bi取自G(F2) (0，1) b＝ b0，b1， ，bn1 规定 d (a，b ) 表示字 a，b 的各对应码元之间不相同的个数，则
信息论与编码
四．差错类型
讨论码字序列通过离散信道时发生的情况，信道分为无记忆信道和有 记忆信道。 在无记忆信道中，噪声对传输码元的影响是相互独立的，即每一 个差错的出现与其前后是否有错无关，如图所示。在无记忆信道中， 错误是随机产生的，因此被称作随机错误，无记忆信道也被称为随机 信道（random channel）。
信息论与编码
二．差错控制系统模型及分类
1．差错控制系统模型
信源
u
纠错码 编码器
c
编码信道
E
y
纠错码 译码器
ˆ u
信宿
噪声源
模型突出了以控制差错为目的的纠错码编、译码器，因此也称为 差错控制系统。 2．差错控制系统的分类 按其纠错能力的不同可分为两种：检错码和纠错码。 ⑴ 检错码：能发现错误但不能纠正错误的码； ⑵ 纠错码：不仅能发现错误而且还能纠正错误的码。
缺点：是译码设备较复杂；编码效率较低。
⑵ 重传反馈(ARQ)方式: ARQ (Automatic Repeat Request) 方式是：发端发出能够发现错误的 码（检错码），收端译码器收到后，判断在传输中有无错误产生，并通过 反馈信道把捡测结果告诉发端。发端把收端认为有错的消息再次传送，直 到收端认为正确接收为止。
信息论与编码
【例】一个原始数字消息u0
c0 u0 c1 u0 编码规则： c u 0 n 1
u0 0 , u0 1,
n c 00 0 c 111
k = 1，故为（n，1）码，称（n，1）重复码。码率：R = 1/n 【例】编码规则
信息论与编码
§7.1 纠错编码的基本概念
一．信道纠错编码
近年来，随着计算机、卫星通信及高速数据网的飞速发展，数据的交 换、处理和存储技术得到了广泛的应用，人们对数据传输和存储系统的可 靠性提出了越来越高的要求。因此，如何控制差错、提高数据传输和存储 的可靠性，成为现代数字通信系统设计工作者面临的重要课题。 香农第二定理指出，当信息传输速率低于信道容量时，通过某种编译 码方法，就能使错误概率为任意小。目前已有了许多有效的编译码方法， 并形成了一门新的技术——纠错编码技术。 这里所讲的纠错编码即信道编码，与信源编码一样都是一种编码，但 信源编码的目的是压缩冗余度，提高信息的传输速率。 两者的作用是完全不同的。 信道编码的目的是提高信息传输时的抗干扰能力以增加信息传输的可 靠性。
信息论与编码
优点：译码设备简单，在多余度一定的情况下，码的检错能力比纠错能力 要高得多，因而整个系统能获得极低的误码率。
缺点：应用ARQ方式必须有一条从收端至发端的反馈信道。并要求信源产 生信息的速率可以进行控制，收、发两端必须互相配合，其控制电 路比较复杂，传输信息的连贯性和实时性也较差。
⑶ 混合纠错(HEC)方式：
i 0 i 0 i 0 n2 n2 n 1
（奇）偶校验码：码字中1的个数为偶数。 在接收到一个字中1的个数不是偶数时，就可以确定接收的不是码 字。这种码能检出奇数个错误，但不能发现偶数个错误。 比较上面两例编码方案： ① 重复码：R = 1/n，编码效率最低，检纠错能力最高。
② 奇偶校验码：R = (n-1)/n，编码效率最高，检纠错能力最低。（两个极端） 3．纠错编码理论的中心任务：在重复码和奇偶校验码之间寻找一些性能良好 的码，使编码效率和检、纠错能力得到统一。
c0 u0 c u1 1 （加法为模2加） c un 2 n2 cn 1 u0 u2 un-2
构成一个（n，n - 1）线性分组码：R = (n-1)/n
信息论与编码
由最后一个方程： cn 1 ui cn 1 ui 0 ci 0
0
1 - pe pe pe 1 - pe
0
1
1
信息论与编码
有记忆信道中，各种干扰所造成的错误往往不是单个地，而是成群、 成串地出现，表现出错误之间有相关性，称为突发错误。下图就是这种信 道的一个模型。
q1 1 - q1
Байду номын сангаас
S1
1 - p1 p1 p1 1 - p1 好状态
q1 << q2
q2 0
p1 << p2
说明：
ci 之间的汉明距离，如 r 与某一 ① 收到接收字 r 后，通过计算 r 与各码字 码字 c j 的汉明距离最小，则 r 与码字 c j最像，译码器将 r 译成 c j 。 r
② 极大似然译码基础：收到的字是从一个码字经错传尽可能少的位而来的 可能性较从一个码字经错传较多的位而来的可能性要大。故通过判断汉 明距离来译码，符合极大似然译码规则。 如：pe＝10-5，则错一位的概率：pe＝10-5，错两位的概率：pe＝10-10
信息论与编码
按差错控制系统类型，可分为前向纠错、重传反馈和混合纠错等三种方式。
⑴ 前向纠错(FEC)方式 ： FEC (Forward Error Control) 方式是发端发送有纠错能力的码（纠错 码），接收端收到这些码后，通过纠错译码器自动地纠正传输中的错误。 优点：是不需要反馈信道；能进行一个用户对多个用户的同时通信，特 别适合于移动通信；译码实时性较好，控制电路也比较简单。
信息论与编码
在设计差错控制系统时，选择何种实现方式，应综合考虑各方面的因 素。主要有：
⑴ 满足用户对误码率的要求； ⑵ 有尽可能高的信息传输速率； ⑶ 有尽可能简单的编译码算法且易于实现； (4) 可接受的成本。
三．纠错码的分类
常用的纠错码按其码字结构形式和对信息序列处理方式的不同可分 成两大类：分组码和卷积码。
（1 1 1） （0 1 1） 能纠 （1 0 1） 1重错误 （1 1 0） 接收字不是码字，能检 （0 0 1） （0 1 0） 2重错误 不能纠 （1 0 0） 接收字是码字，不能检 （0 0 0） 3重错误
信息论与编码
作为按照极大似然准则译码的纠错码，可以 纠正该重错误图样的条件为： • 每个码字对应于该重错误图样的接收字集合中， 不可包含发送的码字。 • 每个码字对应于该重错误图样的接收字集合中， 不包含公共元素。 • 每个码字对应于该重错误图样的接收字集合，与 其它码字的错误重数低的接收字集合中，不包含 公共元素。
信息论与编码
第七章
线性分组码
信息论与编码
内容提要
目前，几乎所有得到实际应用的纠错码都是线性的。本 章首先介绍有关纠错码的基本概念，然后重点论述线性分组 码的定义及其编译码理论。在此基础上，介绍了一种典型的
线性分组码：汉明码。
掌握内容：线性分组码的概念，生成矩阵，校验矩阵， 最小距离，伴随式，标准阵列等。
信息论与编码
分组码：把信息序列以每k个码元分组，编码器将每个信息组按一定规律产 生r个多余的码元（称为校验元），形成一个长为n = k + r 的码字。 对于k个码元分组，共有2k个不同的信息组，编码器输出长n的2k个码 字，这2k个长为n的码字构成的集合称为一个（n，k）分组码。 n：码长；k：信息位的数目；R = k / n：分组码码率。 卷积码：把信息序列以每k个分组，通过编码器输出长为n（n k）的一个 子码。但是该子码的n－k个校验元不仅与本子码的信息元有关， 而且也与其前m个子码的信息元有关。
c0 f 0 u0，u1， ，uk-1 c1 f1 u0，u1， ，uk-1 c n 1 f n 1 u0，u1， ，uk-1
线性分组码：c0，c1， ，cn-1与 u0，u1， ，uk-1 呈线性关系（fi为 线性函数） 非线性分组码：c0，c1， ，cn-1 与 u0，u1， ，uk-1 不呈线性关系 （fi为非线性函数）
消息集： u0，u1， ，uk-1 ui F2
序列个数：2k
设长为n的二元码元序列集为：
c ，c ， ，c
0 1 n-1
nk
序列个数：2n ≥2k
信息论与编码
1．分组编码：
在长为n的二元序列集中 c0，c1， ，cn-1 选出与消息序列数2k相同 数目的码元序列，并使两者一一对应。
信息论与编码
二．分组码检、纠错能力的获得
【例】（2，1）重复码
0
00
00 01 10 11
能发现 根据最大似然译码， 不能判定是“00”还 是“11”，不能纠错
00
1 11 01 10 11
不能发现 能发现
（2，1）重复码可以检出一个错误，但错误不能纠正。
信息论与编码
（3，1）重复码
e 中“1”的个数表示产生错误的个数，称错误图样的错误重数（t）。
设 r 为码字在传输过程中发生错误而得到的接收字，则
r c e
信息论与编码
【例】（2，1）重复码 c r （0 0） （1 1） e （1 0） （1 0） （0 1） （0 1） （0 1） （1 0）
0
000
001 010 100 011 111 000
译码
000
能发现、纠正
111 能发现、不能纠正 111
1
111
010 011 101 011
（3，1）重复码可以检出最多不超过两个错误（作为检错码使用）， 能纠正一个错误（作为纠错码使用），但不能检出3个错误。
. . . . . .
不能发现 000
HEC (Hybrid Error Control) 方式是上述两种方式的结合。发端发送 的码既能检错、又有一定的纠错能力。收端译码时若发现错误个数在码的 纠错能力以内，则自动进行纠错；若错误个数超过了码的纠错能力，但能 检测出来，则通过反馈信道告知发方重发。这种方式在一定程度上避免了 FEC方式译码设备复杂和 ARQ方式信息连贯性差的缺点。
几个概念： 码字：对应于消息的长n的2k个码元序列，用
c 表示。
选出的2k个码元序列称为许用码组，另外的2n - 2k个为禁用码组。 码：所有码字的集合，用C表示。 字：所有长为n的二元序列。
消息：长为k的二元码元序列，用 u 表示。
信息论与编码
2．消息 u 与码字 c 的映射关系（函数关系）
d (a，b ) ai bi (ai bi )
n 1 n 1
称 d (a，b )为 a，b 之间的汉明距离，简称距离。
i 0
i 0
信息论与编码
a (01100) 例如： d (a，b ) 2 b (11101)
S2
1 - p2 p2 p2 1 1 - p2 坏状态
1 - q2
0
0
0
1
1
1
就实际信道而言，由于其干扰的复杂性，往往是两种错误并存。随 机错误与突发错误并存的信道，称为组合信道或复合信道。
信息论与编码
§7.2 分组码及检、纠错能力的获得
一．分组码定义
设消息或数据以二进制形式表示，并以F2 = { 0 , 1 }表示这个二元集。 设消息集是长为k的二元消息序列集，表示如下：
000 111
能发现、不能纠正
能发现、纠正
信息论与编码
三．错误图样
对应着n为码字，长为n的二元序列 e (e0，e1， , en1 )，ei F2
当ei =1时，表明码字中第i位ci发生错误； 当ei =0时，表明码字中第i位ci没有错误。
称 e (e0，e1， , en1 ) 为错误图样。
（1 1） （1 1） （0 0）
1重错误（接收字不是码字，能检）
2重错误（接收字是码字，不能检）
（3，1）重复码 c r （0 0 0） e
（1 0 0） （1 0 0） （0 1 0） （0 1 0） （0 0 1） （0 0 1） （1 1 0） （1 1 0） （1 0 1） （1 0 1） （0 1 1） （0 1 1） （1 1 1） （1 1 1）
信息论与编码
§7.3 汉明距离和分组码的检、纠错能力
一．汉明距离
1．定义：
设 a，b 是集合Vn（F2）（ n维向量空间）中的任意两个字，令
a＝ a0，a1， ，an 1
ai，bi取自G(F2) (0，1) b＝ b0，b1， ，bn1 规定 d (a，b ) 表示字 a，b 的各对应码元之间不相同的个数，则
信息论与编码
四．差错类型
讨论码字序列通过离散信道时发生的情况，信道分为无记忆信道和有 记忆信道。 在无记忆信道中，噪声对传输码元的影响是相互独立的，即每一 个差错的出现与其前后是否有错无关，如图所示。在无记忆信道中， 错误是随机产生的，因此被称作随机错误，无记忆信道也被称为随机 信道（random channel）。
信息论与编码
二．差错控制系统模型及分类
1．差错控制系统模型
信源
u
纠错码 编码器
c
编码信道
E
y
纠错码 译码器
ˆ u
信宿
噪声源
模型突出了以控制差错为目的的纠错码编、译码器，因此也称为 差错控制系统。 2．差错控制系统的分类 按其纠错能力的不同可分为两种：检错码和纠错码。 ⑴ 检错码：能发现错误但不能纠正错误的码； ⑵ 纠错码：不仅能发现错误而且还能纠正错误的码。
缺点：是译码设备较复杂；编码效率较低。
⑵ 重传反馈(ARQ)方式: ARQ (Automatic Repeat Request) 方式是：发端发出能够发现错误的 码（检错码），收端译码器收到后，判断在传输中有无错误产生，并通过 反馈信道把捡测结果告诉发端。发端把收端认为有错的消息再次传送，直 到收端认为正确接收为止。