第九章_纠错编码
信息论第9章 纠错编码资料
7
在通信中信源编码、信道编码与数据转换编码常常是同时使用的。
任何一位错误。
接收到序 列
译出序列
显然表中的译码方法不能同时 检测出二位错误。因为如果发生 二位错误，则译码器会错误的
000
0
001
0
把它作为一位错误而“纠正”了 所以r=2的重复码可以发现 二位错误或者纠正一位错误，
0
0
但二者不能兼得。
011
1
100
0
101
1
110
1
30
例2。如果用r=3的重复编码。该编码器实现 “0” “0000” ， “1” “1111”
12
13
其中分组码又可分循环码和非循环码： 循环码——该码书的特点是，若将其全部码字分成 若干组，则每组中任一码字中码元循环移位后仍是这 组的码字。 非循环码——任一码字中码元的循环移位后不一定 再是该码书中的码字 。 按照纠正错误类型可分为纠正随机错误码、纠正突发 错误码、纠正随机与突发错误码以及纠正同步错误码 等。
26
汉明重量
27
检错与纠错：
信道编码提供了对于信息传输发生差错的 控制能力。这种控制能力由编码器的纠错 能力与检错能力来表征。检错是指当信息 在信道上传输发生错误时，译码器能发现 传输有误，并及时的告诉接受者；而纠错 则是译码器能自动纠正这个错误的能力。 下面以重复码为例说明编码的纠错和检错 能力。
9信道的纠错编码详解
监督矩阵H 的标准形式：后面 r 列是一单位子阵的监督矩 阵 H。 H 阵的每一行都代表一个监督方程，它表示与该行中“1” 相对应的码元的模2和为0。
H 的标准形式还说明了相应的监督元是由哪些信息元决定 的。例如 (7,3) 码的H 阵的第一行为 (1011000)，说明此码的
第一个监督元等于第一个和第三个信息元的模2和，依此类 推。
线性分组码的生成矩阵: 在由 (n,k) 线性码构成的线性空间 Vn 的 k 维子空间中，一 定存在 k 个线性无关的码字：g1,g2,…, gk,。码 CI 中其它任 何码字C都可表示为这 k 个码字的线性组合，即
C mk 1g1 mk 2 g 2 m0 g k 其中：mi GF(2), i 0,1, k 1。写成矩阵形式得 C1n g1 g2 m G mk 1mk 2 m0 1k k n g k
h11 h 21 hr1 h12 h22 hr 2 h1n h2 n hrn C0
H r n
C1n Cn 1 Cn 2 则：
T H rn CT 0 n1 r 1
或
C1n HT nr 01r
称H为(n, k )线性分组码的一致监督 矩阵。
l缺点是译码设 备较复杂；编码 效率较低。
（２）反馈重发(ARQ)方式: ARQ (Automatic Repeat Request) 方式是：发端发出能 够发现错误的码（检错码），收端译码器收到后，判断在 传输中有无错误产生，并通过反馈信道把捡测结果告诉发 端。发端把收端认为有错的消息再次传送，直到收端认为 正确接收为止。 l优点是译码设备简单，在多余度一定的情 况下，码的检错能力比纠错能力要高得多，因 而整个系统能获得极低的误码率。 l应用ARQ方式必须有一条从收端至发端的反馈 信道。并要求信源产生信息的速率可以进行控制， 收、发两端必须互相配合，其控制电路比较复杂， 传输信息的连贯性和实时性也较差。
第9章 纠错编码
9.1 已知一个线性分组码的生成矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0111000110010010100101110001G 试求该码组的校验矩阵。
解：[]⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡==⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=1000111010110100110110111101011110111000110010010100101110001 I P H P G T9.2 已知某系统汉明码的校验矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=100101101011100010111H试求其生成矩阵。
当输入序列为110101101010时，求编码器编出的码序列。
解：[]⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡==⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=1101000011010011100101010001101111100111 100101101011100010111TIQ G Q H 将输入序列分三组分别是：1101 0110 1010 计算相应的码字：[][][][]1000110110100001101001110010101000101101001011110100001101001110010101000110112211=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡===⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡==G m C G m C[][]11001011101000011010011100101010001010133=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡==G m C 所以编出的码序列为：1101001 0110001 10100119.3 设线性分组码的校验矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=101110101100001110010010101011001001H 试求该矩阵的标准校验矩阵和生成矩阵。
解：[]⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡==⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡↔↔⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡↔↔⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡+=+=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=10101000011000100000110010010010001001010000111010010011010000111 100011010010001001001010100000100111 101011000100100100010010010011100001101110000100001010010010100011001001101110101100001110010010101011001001 74327432933511TIQ G Q c c c c c c c cc c c c c c H9.4 已知(6,3)线性分组码的全部码字为110100 110011 011010 011101 101001 000111 101110 000000问该码能纠正单个错误吗？构造该码组的生成矩阵和校验矩阵。
第九章_纠错编码
差错控制
●差错控制系统
■前向纠错方式( FEC)：发送端发送具有纠错功能的码 , 接 收端收到这些码后，通过译码器不仅能发现错误 , 而且能 自行纠正错误。
FEC 发送
可以纠正错误的码
接收
■重传反馈方式( ARQ)：发送端发送具有检错功能的码 , 接 收端收到这些码后，译码器对发送的码进行判决 ,接收端将 判决的结果通过反馈信道告诉发送端 , 发送端将接收端认 为有错的消息再次发送 , 直到接收端认为正确为止 .
近世代数学初步
● 群的概念 ■定义1：G是一个非空集合，*是G中的一个代数运算，若 ◆1、封闭性：a , b∈G , 有 a * b ∈G ； ◆2、结合律：a , b , c∈G , 有(a * b) * c = a * ( b * c )； ◆3、存在单位元素 e∈G , a∈ G , 有 e * a = a * e = a ； ◆4、a∈G , 存在逆元素 a-1∈G , 有a-1 * a = a-1 * a = e； ◆5、交换律：a , b∈G , 有 a * b = b * a。 ■如果这种运算 * 满足： ◆条件1, 2, 3, 4则 G 称对代数运算为一个群，或称G为一 个非交换群； ◆条件 1, 2, 3, 4 , 5则称G为一个交换群或Abel群。
基本概念
● 例：试构造 (5 , 2) 线性分组码 , 且dmin = 3 信息组 m： 00 01 10 11 00000 00001 00010 00011 00100 00101 00110 00111 01000 01001 01010 01011 01100 01101 01110 01111 10000 10001 10010 10011 10100 10101 10110 10111 11000 11001 11010 11011 11100 11101 11110 11111 1组 2组 3组 4组 5组 6组 7组 8组 9组 00000 00000 00000 00000 00000 00000 00000 00000 00000 01011 01011 01011 01101 01101 01101 01110 01110 01110 10101 10110 10111 10011 10110 10111 10011 10101 10111 11110 11101 11100 11110 11011 11010 11101 11001 11001
9第九章 纠错编码
H( 7 ,3 ) Q 43
I4
其中 Q 为 ( n k ) k 维矩阵， I 为 ( n k ) ( n k ) 维单 位矩阵。
23
9.2 线性分组码— 校验矩阵与生成矩阵
(2) 生成矩阵
由校验方程，得到
c1 c1 c c 2 2 c3 c3 c 4 c1 c 3 c c c c 1 2 3 5 c 6 c1 c 2 c7 c2 c3
c4 c1 c3 c c c c 5 1 2 3 c6 c1 c2 c7 c2 c3
(7,3)分组码编码表 信息组 000 001 010 011 对应码字 0000000 0011101 0100111 0111010 1001110 1010011 1101001 1 1 1 0 1 0 021
9.2 线性分组码— 校验矩阵与生成矩阵
用矩阵表示为：
1 1 1 0
0 1 1 0 0 1 1 0 1 0 1 0 0 0 1 1 1 0 0 0
c1 c3 c4 0 c c c c 0 1 2 3 5 c1 c2 c6 0 c1 c2 c3 c7 0 c 2 0 0 c3 0 0 c4 0 0 c5 1 0 c6 c7
20
9.2 线性分组码— 校验矩阵与生成矩阵
令
1 1 H 1 0
0 1 1 1
1 1 0 1
1 0 0 0
0 1 0 0
0 0 1 0
1 1 0 0 1 0 1 1 0 T H 1 0 1 0 1
9信道的纠错编码详解
线性分组码
线性分组码的编码过程分为两步： 把信息序列按一定长度分成若干信息码组，每组由 k 位 组成； 编码器按照预定的线性规则(可由线性方程组规定)，把信 息码组变换成 n 重 (n>k) 码字，其中 (n－k) 个附加码元是 由信息码元的线性运算产生的。 信息码组长 k 位，有 2k 个不同的信息码组，则应该有 2k 个 码字与它们一一对应。
⑴满足用户对误码率的要求；
⑵有尽可能高的信息传输速率；⑶有来自可能简单的编译码算法且易于实现；
(4)可接受的成本。
纠错码的分类
按信息位与校验位的关系，可将编码分成以下两大类： （1）线性码——校验位与信息位呈线性关系（即可用一次 方程描述）。 （2）非线性码——校验位与信息位不呈线性关系。
按信息位与校验位之间的约束关系，可分为： （1）分组码——将信息符号分成k位一组，每组增加r位校验位，这r 位校验位仅与本组的k位信息位有关，与其他的信息位无关。 ① 循环码——除全零码字外，其余码字都可由另一码字的码符循 环移位得到； ② 非循环码——某个码字的循环移位不一定还是该码的码字。 （2）卷积码——将信息符号分成k位一组，每组增加r位校验位，这r 位校验位不仅与本组的k位信息位有关，还与前面m组的信息位有关。
差错类型
讨论码字序列c通过离散信道时发生的情况，信道分为无记忆信 道和有记忆信道。 l在无记忆信道中，噪声对传输码元的影响是相互独立的，即每一 个差错的出现与其前后是否有错无关,如图。在无记忆信道中，错 误是随机产生的，因此被称作随机错误，无记忆信道也被称为随机 信道（random channel）。
（３）混合纠错(HEC)方式： HEC (Hybrid Error Control) 方式是上述两种方式的结 合。发端发送的码既能检错、又有一定的纠错能力。收端 译码时若发现错误个数在码的纠错能力以内，则自动进行 纠错；若错误个数超过了码的纠错能力，但能检测出来， 则通过反馈信道告知发方重发。这种方式在一定程度上避 免了 FEC方式译码设备复杂和 ARQ方式信息连贯性差的 缺点。 在设计差错控制系统时，选择何种实现方式，应综合考 虑各方面的因素。主要有：
纠错码
纠错编码又称信道编码，它与信源编码是信息传输的两个方面。
它们之间存在对偶的关系。
应用信道译码直接对一些自然信息进行处理，可以去掉剩余度，以达到压缩数据的目的。
为了使一种码具有检错或纠错能力，必须对原码字增加多余的码元，以扩大码字之间的差别，使一个码字在一定数目内的码元上发生错误时，不致错成另一个码字。
准确地说，即把原码字按某种规则变成有一定剩余度的码字，并使每个码字的码元间有一定的关系。
关系的建立称为编码。
码字到达收端后，用编码时所用的规则去检验。
如果没有错误，则原规则一定满足，否则就不满足。
由此可以根据编码规则是否满足以判定有无错误。
当不能满足时，在可纠能力之内按一定的规则确定错误所在的位置，并予以纠正。
纠错并恢复原码字的过程称为译码；码元间的关系为线性时，称为线性码；否则称为非线性码。
检错码与其他手段结合使用，可以纠错。
检错反馈重发系统（ARQ系统）就是一例。
在构造纠错码时，将输入信息分成k位一组以进行编码。
若编出的校验位仅与本组的信息位有关，则称这样的码为分组码。
若不仅与本组的k 个信息位有关，而且与前若干组的信息位有关，则称为格码。
这种码之所以称为格码，是因为用图形分析时它象篱笆或格架。
线性格码在运算时为卷积运算，所以叫卷积码。
发展过程C.E.仙农在1948年发表在《通信的数学理论》一文中的信道编码定理指出：只要采用适当的纠错码，就可在多类信道上传输消息，其误码率p e 可以任意小 (1)式中n为码长；E r(R)为信息率R的函数,与信道有关。
当R 小于信道容量C时,E r(R)为正值。
可惜的是这一定理仅仅指出理论上可以达到的目标，而未能给出构造性的实现方法。
自仙农的论文发表以来，人们经过持续不懈的努力已找到多种好码，可以满足许多实用要求。
但在理论上，仍存在一些问题未能解决。
汉明码R.W.汉明于1950年首先给出可以纠正一个独立错误的线性分组码──汉明码。
差不多与此同时E.戈雷给出一种可以纠正三个错误的完备码。
纠错编码方法
纠错编码方法
纠错编码是一种用于改正数据传输过程中发生的错误的方法。
它主要通过在原始数据中添加冗余信息来实现。
常见的纠错编码方法有以下几种：
1. 卷积码：利用线性移位寄存器的状态转移来生成编码序列，并通过异或运算添加冗余信息。
接收端利用Viterbi算法进行译码，从而实现纠错。
2. 海明码：通过在原始数据中添加奇偶校验位，实现纠错。
原始数据被划分为多个块，并在每个块中添加校验位。
接收端通过比较接收到的数据与校验位的奇偶性来判断和修复错误。
3. BCH码：是一种广义的海明码。
通过在原始数据中添加更多的冗余信息，实现更高的纠错能力。
4. RS码：是一种使用广义域的纠错码。
通过将数据划分为多个子块，并在每个子块中添加冗余信息，实现纠错能力和纠错范围的灵活处理。
5. LDPC码：是一种利用稀疏矩阵和图论的编码方法。
通过在原始数据中添加冗余信息，并建立检验矩阵，实现纠错。
这些纠错编码方法各有特点，应根据具体场景和需求选择适合的方法。
纠错编码可以大幅提高数据传输的可靠性，广泛应用于通信、存储等领域。
第九章 差错控制编码_sxq
ASK
FSK
PSK
DPSK
信 道 噪 声
解 调
解 密
译 码
信 宿
同步系统
A/D
信源编码 信道编码
数据压缩 差错控制
3
copyright 信息科学与技术学院通信原理教研组
在通信过程中，会受到各种外来干扰，如脉冲干扰，随 机噪声干扰，人为干扰及通信线路传输性能的限制都将使信 号失真。由于以上原因，引起数据信息序列产生错误，称之 为差错。
10-1 10-2 10-3 Pe 10-4 10-5 10-6
D
编码后
C
信噪比 (dB)
copyright 信息科学与技术学院通信原理教研组 32
传输速率和Eb/n0的关系 对于给定的传输系统式 10-1 中，RB为码元速率。 -2 10 若希望提高传输速率， 由上式看出势必使信噪 -3 10 比下降，误码率增大。 假设系统原来工作在图 Pe 中C点，提高速率后由C 10-4 点升到E点。但加用纠 错编码后，仍可将误码 10-5 率降到D点。这时付出 的代价仍是带宽增大。 10-6
copyright 信息科学与技术学院通信原理教研组
25
4、对纠错编码的要求
纠、检错能力强，编码效率高，码长短， 编码规律简单。
copyright 信息科学与技术学院通信原理教研组
26
5. 差错控制编码的效用
假设在随机信道中，发送“0”和“1”的错 误概率相等，都等于p，且p＜＜1，在码长为n 的码组中，发生r个错误的概率为：
20
3、分组码
对被传输的信息序列分组，每组为k个信息元，对 每组按某种关系附加(n-k) 个监督码元 (校验)，形成 为n位的码字。这种方法构成的码组称为分组码。
纠错编码的方法
纠错编码的方法纠错编码（Error Correction Code，ECC）是一种在数字通信中用于检测和纠正错误的技术。
在数字通信中，由于噪声、干扰或其他原因，数据可能会发生错误。
纠错编码通过添加冗余信息来提高数据传输的可靠性，从而实现错误的检测和纠正。
1. 纠错编码的基本原理纠错编码的基本原理是通过在待传输数据中添加额外的冗余信息，并将这些冗余信息与原始数据一起传输。
接收方根据冗余信息对接收到的数据进行校验，并尝试恢复出原始数据。
常用的纠错编码方法包括海明码（Hamming Code）、卷积码（Convolutional Code）、低密度奇偶校验（Low-Density Parity Check, LDPC）等。
这些方法采用不同的算法和策略来实现错误检测和纠正。
2. 海明码海明码是一种最早被广泛应用于纠错编码中的方法。
它通过在待传输数据中添加冗余位来实现错误检测和纠正。
海明码采用了一种特殊的生成矩阵和校验矩阵来计算校验位，并将其添加到待传输数据中。
接收方根据接收到的数据和校验位计算出错误位，并进行纠正。
海明码的一个重要特点是可以检测和纠正多个错误。
通过添加足够数量的校验位，海明码能够检测到并纠正多达两个比特的错误。
3. 卷积码卷积码是一种基于状态机的纠错编码方法，它采用了一种特殊的编码器来生成冗余信息。
卷积码的编码器使用一个或多个移位寄存器和一个组合逻辑电路来生成冗余信息。
待传输数据经过编码器后，会产生一系列冗余比特，这些比特与原始数据一起传输。
接收方使用最大似然译码算法对接收到的数据进行解码，并根据冗余比特计算出错误位，并尝试进行纠正。
卷积码具有较高的编解码性能，但其复杂度较高。
为了降低复杂度，常常采用迭代译码算法（如Turbo译码）来提高性能。
4. 低密度奇偶校验低密度奇偶校验（LDPC）是一种近年来得到广泛关注和应用的纠错编码方法。
它采用了一种特殊的校验矩阵来生成冗余信息。
LDPC码的校验矩阵是一个稀疏矩阵，其中每一行和每一列的1的数量较少。
信息论与纠错编码答案8-9章
第八章 线性分组码8.13（1）n=6 k=3，码字共2k = 8个（2）100011010101001110G ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦（3）(010111)0(010111)(100011)0(010111)T TH H ⋅≠⋅=不是码字是码字8.14（1）n = 5 k = 2 （2）1010010110110100101101001G H ⎡⎤⎡⎤⎢⎥==⎢⎥⎢⎥⎣⎦⎢⎥⎣⎦8.151000011010010100101100001111(1001)(1001100)(1100)(1100110)(1101)(1101001)100110011001101101001G G G G ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦⋅=⋅=⋅=输出码字序列为8.16011110010110101101001G H ⎡⎤⎢⎥'==⎢⎥⎢⎥⎣⎦1000011010010100101100001111H G ⎡⎤⎢⎥⎢⎥'==⎢⎥⎢⎥⎣⎦（1） 1011101101G ⎡⎤=⎢⎥⎣⎦（3）简化译码表：（4）因为陪集首有包括两重错误图样，因此不是完备码。
8.181111010101010001110110010101001101101100100101011101011000011000000000011110100000000011100010000000011010001000000010110000100000001110000010000011000000001000000110000000100010100000H G ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦=00001000101000000000101001000000000010110⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦（1）（2）标准阵列为8行16列，略。
（3）110110010110101110001 H⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦第九章 循环码9.2一个（n ，k ）循环码的所有码多项式都可以由其中一个码多项式的倍式组成，称该码多项式为对应循环码的生成多项式。
通信原理课件：纠错编码
这种方法只能检测错误，但不能纠正错误 比如：当接收端收到禁用码组100时，无法判决哪一位码 发生了错误 000（晴） 101（云） 110（雨） 错一位 100
要想纠正错误，需要增加多余度，比如，只准使用两 个码组
12
000（晴）
111（阴）
其他均为禁用码组，则它可检测两个错码或能纠正一 个错码。 如：接收端接收到禁用码组100，若认为只有一个错码， 可纠正，若错码数不超过2个，只能检测错误 4种信息完全可以由2位二进制数字来表示，即前两位。 可见，第三位完全是多余的，这第三位就作为附加的 监督码
k k n k r
18
编码效率是衡量码性能的一个重要参量，编码效率与
抗干扰能力这两个参数是相互矛盾的 编码的主要任务就是如何找到一种编码，在满足一定 误码率要求的前提下，尽量提高编码效率。
五、编码增益
描述编码系统对非编码系统性能的改善程度，定义为 在给定误码率要求下，非编码系统与编码系统之间所 需信噪比的差。 编码增益越大越好
理论依据：Shannon信道编码定理 定理指出：
对于一给定的有干扰信道，若其信道容量为C， 只要发送端以低于C的速率R发送信息，则一定存在 一种编码方法，使编码错误概率P随着码长n的增加， 按指数下降到任意小的值。
Pe
nE ( R )
E（R）称为误差指数，n编码长度，R信息发送速率
15
23
在接收端，按上式计算各码元，若结果为1认为有错； 否则，无错。如： 11010 1
注意：只能检测奇数个错误，当错码为奇数个时，由于 打乱了码字中”1”个数的奇偶性，故能发现差错。但当 错码为偶数个时，因码字中1个数奇偶性保持不变，则 无法发现错码。
特点：结构简单，易于实现，编码效率高，虽然不理想， 但干扰不严重时，且码长不长的情况下仍很有用。
纠错编码的基本原理与性能
纠错编码的基本原理与性能
1．分组码的基本原理
（1）分组码的定义
分组码是指将信息码分组，为每组信码附加若干监督码（即差错控制码）的编码方式。
（2）分组码的结构
分组码一般用符号（n，k）表示，其中n是码组的总位数，又称码组的长度（码长），k 是码组中信息码元的数目，n－k＝r为码组中的监督码元数目，又称监督位数目。
图11-1 分组码的结构
（3）分组码的参量
①码重
码重是指分组码中“1”的个数目。
②码距
码距是指两个码组中对应位上数字不同的位数，又称汉明距离。
③最小码距
最小码距是指编码中各个码组之间距离的最小值。
2．纠错编码的基本原理
最小码距d0的大小直接关系编码的检错和纠错能力：
（1）为检测e个错码，要求最小码距
（2）为纠正t个错码，要求最小码距
（3）为纠正t个错码，同时检测e个错码，要求最小码距
码距与纠错和检错能力的关系如图11-2所示。
图11-2 码距与检错和纠错能力的关系
纠错编码的性能
1．误码率的改善
采用纠错编码，误码率得到很大改善，改善的程度和所用的编码有关。
2．信噪比的改善
对于给定的传输系统，为
式中，R B为码元速率。
3．带宽增大
监督码元加入，发送序列增长，冗余度增大，若保持信息码元速率不变，则传输速率增大，系统带宽增大。
纠错编码技术
• 解调器输出二进制r，由于信道噪声影响， 发生的码字v可能不等于r，n位置某些位 不r同i ，vi , P(ri / vi ) p;
ri vi , P(ri / vi ) (1 p)
d (r , v)
两者距离，等价于码字发生错误个数， Why？
码字长度为n的分
组码
P(r / v) pd (r,v) (1 p)nd (r,v)
如何在噪声信道上实现可靠通信？ 为什么需要纠错编码（信道编码）？
常见的噪声信道1-模拟 线 （ADSL）
调制解调器
线
调制解调器
一根 受到其他 线干扰，硬件电路导致信号 失真，线路会产生加性热噪声
常见的噪声信道2-深空通信
伽利略号 飞船
无线电波
地球
伽利略号
飞船发射信号到达地球是非常微弱的信号，受到地面 和太空干扰源的背景辐射
MLD
• 假定接收为r，则译码器条件错误 概率为： P(E / r) P(vˆ v / r)
译码器错误概率为：
P(E) P(vˆ v / r)P(r) r
P(r)为接收序列为r的条件概率，其独立于译码规则。最优的译码规则应该对于每个r使P(E/r)最 小，也就是最大化P(v_hat=v/r), why?
常见的噪声信道3-细胞复制
父/母细胞
子细胞 子细胞
DNA会产生突变， 变异（恶劣环境产生的辐
射，污染）
常见的噪声信道4-计算机磁盘驱 动器
内存/硬盘/光盘
磁盘驱动器
内存/硬盘/光盘
磁盘驱动器通过将一小块磁介质校准到两个方向(1或0） ，磁介质小材料可能改变磁化方向，或者一个短时脉冲干 扰会导致数据读取电路读出错误值，磁盘运输或保存过程
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
9.1 差错控制 5.2 线性分组码 9.3 循环码 9.4 卷积码
9.1 差错控制
9.1.1 差错控制 9.1.2 码距与检纠错能力 5.3.3 最优译码与最大似然译码
差错控制
●差错类型 ■随机错误: 数据流中发生的错误彼此无关 , 表现为 错误之间的无相关性. ■突发错误: 数据流中一个错误的发生 , 带来一连串 错误的发生 , 表现为误错之间的相关性.
基本概念
● 例：试构造 (5 , 2) 线性分组码 , 且dmin = 3 信息组 m： 00 01 10 11 00000 00001 00010 00011 00100 00101 00110 00111 01000 01001 01010 01011 01100 01101 01110 01111 10000 10001 10010 10011 10100 10101 10110 10111 11000 11001 11010 11011 11100 11101 11110 11111 1组 2组 3组 4组 5组 6组 7组 8组 9组 00000 00000 00000 00000 00000 00000 00000 00000 00000 01011 01011 01011 01101 01101 01101 01110 01110 01110 10101 10110 10111 10011 10110 10111 10011 10101 10111 11110 11101 11100 11110 11011 11010 11101 11001 11001
●交错（或称交织）-----针对突发错误
带交错器的传输系统 ■信道噪声造成的符号流中的突发差错，有可能被均化 而转换为码流上随机的、可纠正的差错。
差错控制
●纠错码的分类 ■按译码器处理错误的性能分类 ◆能通过译码器自动发现错误的码称为检错码; ◆纠正错误的码称为纠错码; ◆纠正删除错误的码称为纠删码 . ■按对信息位处理的方法分类 ◆分组码 ◆卷积码.
基本概念/模运算
●模 2 运算 (二进制)
+ 0 0 0 1 1 1 1 0 × 0 0 0 1 0 1 0 1
■运算法则 ◆1+1=0 , 1+0= 0+1=1 , 1+1+1=1 , 1+1+1+1=0 , … ◆1×0=0 , 0×1=0 , 0×0=0 , 1×1=1 ◆0-1=1 , 1-0=1 , 1-1=0
码距与检纠错能力
●码距 ■定义：设 Ci = ( ci1 , ci2 , … , cin ) , Cj= ( cj1 , cj2 , … , cjn )是码C的两个码字 , Ci与Cj 中 cir≠cjr (r =1, 2, …, n )的个数称为 Ci与 Cj的汉明距离 , 简称 码距，记为 d(Ci , Cj)。 ■定理： ◆对于任意Ci , 有d(Ci , Ci )=0 ◆对于任意Ci , Cj , 有d(Ci , Cj ) = d(Cj , Ci ) ◆对于任意Ci , Cj , Cs , 有 d(Ci , Cj ) +d(Cj , Cs ) ≥ d(Ci , Cs )
码距与检纠错能力/检纠错能力
●同时考虑检错和纠错
结论：若最小距离为dmin的码同时能检ed个、纠ec个 差错，则必有 ed+ec≤dmin-1 及 ec≤ed
码距与检纠错能力
●纠错分组码中的两个重要参数 ■编码效率: R=k/n ■码 C最小距离: dmin ●纠错码的基本任务是构造出 ■当R 一定 , 使得dmin 尽可能大的码 ; ■dmin 一定, R 尽可能高的码。
差错控制/分类
●按校验位与信息位之间的关系分类 ■线性码 ■非线性码 ●按能纠正错误的类型分类 ■纠正随机(独立)错误的码 ; ■纠正突发错误的码 ; ■纠正同步错误的码 ; ■纠正随机错误与突发错误的码 .
码距与检纠错能力
●分组码 ■分组码是信源输出的q进制的源数据码流按k个码 元(信息位)划分为一段信息组m , 通过编码器按一 定规则产生r个校验(监督)元， 输出长度 n= k+ r 个码元的 q 进制码字(码组、码矢) ，此过程称为分 组码编码。
差错控制
●差错控制系统
■前向纠错方式( FEC)：发送端发送具有纠错功能的码 , 接 收端收到这些码后，通过译码器不仅能发现错误 , 而且能 自行纠正错误。
FEC 发送
可以纠正错误的码
接收
■重传反馈方式( ARQ)：发送端发送具有检错功能的码 , 接 收端收到这些码后，译码器对发送的码进行判决 ,接收端将 判决的结果通过反馈信道告诉发送端 , 发送端将接收端认 为有错的消息再次发送 , 直到接收端认为正确为止 .
码距与检纠错能力/检纠错能力/几种处理方法比较
●将码流中的码元“0‖ → (000) , ―1‖ → (111) ■无论(000)或(111)传输后有一个错误或有两个错误 , 接收端能检测其错误 ; ■若 (000) 、(111) 传输后只有一个错误 , 则接收端可 将 (001) 、(010) 、(100)译码为(000) ;将(011) 、 (101) 、(110)译码为 (111) ; 结论： 1、最小距离为 d min的(n,k)分组码，能检测出 d■若 个差错。 (000) 、(111) 传输后有两个以下错误 , 则接收端 min－1 无法将 (011) 、(101) 、(110)正确地译码 ; 2、最小距离为dmin的(n,k)分组码，能纠正 ■若传输后 (000) 错成(111)或(111)错成(000) ,则接收 t=INI[(d -1)/2] 个差错。 min 端无法检测其错误。 3、纠错能力总小于检错能力。 ■结论: 能检测2个随机错误 , 能纠正1个随机错 误。 注意：上面是分组码单独考虑检错或纠错的情况。
注意：上面的“*”代表某一种运算符号。
近世代数学初步/群的概念
●若运算 * 是普通的加法“+‖,则群称为加群。 ●若运算 * 是普通的乘法“×‖,则群称为乘群。 ●定义2：若群G 仅有有限个原素则称为有限群;否则为 无限群。 ●无限群的例子 ■例1：整数集对加法构成Abel群，对乘法不是群。 ■例2：有理数、实数、复数集对加法构成Abel群,不 含0的有理数、实数、复数集对乘法构成Abel群。 ●有限群的例子 ■例1：数 0 对加法构成群 , 数 1 对乘法构成群. ■例2：集合{ 0 , 1 , 2 , … , m-1}对模m加法运算构成 Abel群，对乘法不是群。
近世代数学初步
● 群的概念 ■定义1：G是一个非空集合，*是G中的一个代数运算，若 ◆1、封闭性：a , b∈G , 有 a * b ∈G ； ◆2、结合律：a , b , c∈G , 有(a * b) * c = a * ( b * c )； ◆3、存在单位元素 e∈G , a∈ G , 有 e * a = a * e = a ； ◆4、a∈G , 存在逆元素 a-1∈G , 有a-1 * a = a-1 * a = e； ◆5、交换律：a , b∈G , 有 a * b = b * a。 ■如果这种运算 * 满足： ◆条件1, 2, 3, 4则 G 称对代数运算为一个群，或称G为一 个非交换群； ◆条件 1, 2, 3, 4 , 5则称G为一个交换群或Abel群。
码距与检纠错能力
●检纠错能力 ●将二进制源数据码流经过如下几种处理(编码)后, 在 BSC信道中传输。几种处理方法比较如下： ■不编码 ◆若其中有码元“0‖错成“1‖或“1‖错成“0‖。 ◆结论： 接收端都无法检查出其错误。 ■将码流中的码元“0‖ → (00) , ―1‖ → (11) ◆无论若(00)或(11)错成(01)或(10) , 则接收端能检 查出其错误 ; 但不能确定是(00)还是(11) ◆若(00)错成(11) 或 (11)错成(00) , 则接收端无法 检出其错误。 ◆结论: 能检测1个随机错误。
码距与检纠错能力/分组码
●相关概念 ■源数据按k个信息位组成的不同信息组有:M=qk 组 ■按n个的码元能组成的码字共有: N=qn 个 ■在qn个码字中与信源符号组对应的qk个码字称为 许用码字 , 这 q k 个码字集合记为C , 称为 (n，k) 分组码; 而其余qn - qk个码字称为禁用码字。 ■许用码字表示为Ci=( ci1 , ci2 , … , cin ) i=1 , 2 , … , M。其中ci1 , ci2 , … , cin为码元 , n为码字的长度。 ●编码效率或码率：R=k/n ■表示信息位在码字中的比重 , 是衡量分组码有效性 的一个基本参数。
基本概念
●系统码 ■若信息组 m的 k 个码元以整体不变的形式 , 放在 码字的任意位置中, 该码为系统码。否则 称为非系 统码。 ■系统码通常如下图将信息组放在码字的最左边或 最右边。
k 位信息位 n- k位校验位 n- k 位校验位 k位信息位
基本概念
●码字的重量 ■定义：(n , k)码 C 的一个码字Ci中非零码元的个数 称为码字Ci 的汉明重量 , 简称码重 , 记为W(Ci)。 ■定义：(n , k)码 C中所有非零码字的汉明重量的最 小值称为码 C 的最小汉明重量 , 或码C最小重量， 记为Wmin。 ■推论：设Ci , Cj 为二元分组码C的任意两个码字 , 则 W(Ci + Cj ) = d (Ci , Cj )。 ■定理：二元( n , k )线性分组码C的最小距离等于其 最小重量。
9.2 线性分组码
9.2.1 基本概念 9.2.2 近世代数初步 9.2.3 生成矩阵与校验矩阵 9.2.4 伴随式与译码
基本概念
●模运算(对于整数) ■同余 ◆a = b(mod m) : a 除以 m 与 b 除以 m(m>1) 的 余数相同， 或称为 a 和 b 对于模 m 同余 。 ◆最小非负剩余 : a = r (mod m) ; 0 ≤r < m ; r 为 模 m最小非负剩余。 ■模m运算: a , b ∈{ 0 , 1 , 2 , … , m-1} ， r为最小 非负剩余， 将 a + b=r (mod m) , a × b =r (mod a b r m) 记为 a b r ◆这种求a + b 和 a × b 的模 m最小非负剩余称为 模m的加法运算和模 m的乘法运算。为了简单 起见 , 以后将运算符号 , 简记为+和×。