第六章信道编码
合集下载
第6章信道编码信道
通常qn>> qk，分组编码的任务是要在n维n重矢 量空间的qn种可能组合中选择其中的qk个构成一个 码空间，其元素就是许用码的码集。
2021/5/17
第6章信道编码信道信道编
23
• 选择一个ｋ维n重子空间作为码空间。 • 确定由k维k重信息空间到ｋ维n重码空间的映射方
法。 • 码空间的不同选择方法，以及信息组与码组的不
误比特率或码组差错率。
2021/5/17
第6章信道编码信道信道编
7
• 定量地描述信号的差错，收、发码之“差” ：
差错图样E＝发码C－ 收码R （模M）
• 例：8进制(M=8)码元，
若发码
C=（0,2,5,4,7,5,2）
收码变为
R=（0,1,5,4,7,5,4）
差错图样 E=C－R=（0,1,0,0,0,0,6）（模8）
19
V1,V2 , ,Vn
2021/5/17
第6章信道编码信道信道编
20
• 以（100）为基底可张成一维三重子空间V1，含21 =2 个元 素，即
V1 {(000), (100)}
• 以(010)(001)为基底可张成二维三重子空间V2，含 22 =4个 元素，即
V2 {(000),(001),(010),(011)}
• 若满足条件：
➢ V中矢量元素在矢量加运算下构成加群；
➢ V中矢量元素与数域F元素的标乘封闭在V中；
➢ 分配律、结合律成立，
则称集合V是数域F上的n维矢量空间，或称n维线性空间，
n维矢量又称n重(n-tuples)。
2021/5/17
第6章信道编码信道信道编
18
对于域F上的若干矢量 V1,V2 , ,Vi及Vk
第6章信道编码
分组码：将信息序列分割成k位一组后独立编解码， 分组间无关。
卷积码：编解码运算不仅与本组信息有关，还与前 面若干组有关。
按照码元与原始信息位的关系，分为线性码和 非线性码。
线性码：所有码元均是原始信息元的线性组合，编 码器不带反馈回路。
非线性码：码元并不都是信息元的线性组合，可能 还与前面的码元有关，编码器可能含反馈回路。
例：R=(110000)，C=(100001)
E＝C⊕R=(010001)，表明接收符号系列的第 2位和第6位出现了错误。
2020/1/21
14
检错、纠错能力
差错的产生
码字集合是N维矢量空间XN中的一个子集。 若传输无误，接收到的码字应在码字集合内。 若出现差错，有两种可能：
2020/1/21
9
检错与纠错方式
自动请求重发方式（ARQ）
译码设备不复杂，对 突发错误特别有效
发送端发送检错码
接收端译码器判断当前码字传输是否出错
当有错时，按某种协议通过一个反向信道 请求发送端重传已发送的全部或部分码字
2020/1/21
10
检错与纠错方式
混合纠错（HEC）
检错、纠错能力强，译
不重复：用0代表A，1代表B。 既不检错，又不纠错 重复一次：用00代表A，11代表B。 检错但不纠错
增加一位码元，传送效率降低一倍。 重复两次：用000代表A，用111代表B。
增加两位码元，效率降低两倍。 既检错又纠错
2020/1/21
6
纠错码分类
按照对信息序列的处理方法，有分组码和卷积 码两种。
如加性高斯白噪声
突发差错
由突发噪声引起的前后相关、成堆出现的差错。 数学模型：双状态一阶马尔可夫链模型
卷积码：编解码运算不仅与本组信息有关，还与前 面若干组有关。
按照码元与原始信息位的关系，分为线性码和 非线性码。
线性码：所有码元均是原始信息元的线性组合，编 码器不带反馈回路。
非线性码：码元并不都是信息元的线性组合，可能 还与前面的码元有关，编码器可能含反馈回路。
例：R=(110000)，C=(100001)
E＝C⊕R=(010001)，表明接收符号系列的第 2位和第6位出现了错误。
2020/1/21
14
检错、纠错能力
差错的产生
码字集合是N维矢量空间XN中的一个子集。 若传输无误，接收到的码字应在码字集合内。 若出现差错，有两种可能：
2020/1/21
9
检错与纠错方式
自动请求重发方式（ARQ）
译码设备不复杂，对 突发错误特别有效
发送端发送检错码
接收端译码器判断当前码字传输是否出错
当有错时，按某种协议通过一个反向信道 请求发送端重传已发送的全部或部分码字
2020/1/21
10
检错与纠错方式
混合纠错（HEC）
检错、纠错能力强，译
不重复：用0代表A，1代表B。 既不检错，又不纠错 重复一次：用00代表A，11代表B。 检错但不纠错
增加一位码元，传送效率降低一倍。 重复两次：用000代表A，用111代表B。
增加两位码元，效率降低两倍。 既检错又纠错
2020/1/21
6
纠错码分类
按照对信息序列的处理方法，有分组码和卷积 码两种。
如加性高斯白噪声
突发差错
由突发噪声引起的前后相关、成堆出现的差错。 数学模型：双状态一阶马尔可夫链模型
6信道编码1
纠随机差错与突发差错码
• 按照纠正差错类型可分为纠随机差错码、纠突 发差错码、介于中间的纠随机/突发差错(混合 差错)码等。 • 一般来说，针对随机错误的编码方法与设备比 较简单，成本较低，而效果较显著；而纠正突 发错误的编码方法和设备较复杂，成本较高， 效果不如前者显著。 • 因此，要根据错误的性质设计编码方案和选择 差错控制的方式。
• 分组码又可分为循环码和非循环码两种类型。 循环码的特点是，若将其全部码字分成若干组， 则每组中任一码字的码元循环移位后仍是这组 的码字。非循环码是任意1个码字中码元循环 移位后不一定再是该码书中的码字。 • 在卷积码中，每组的监督码元不但与本码组的 信息码元有关，而且还与前面若干组信息码元 有关，即不是分组监督，而是每个监督码元对 它的前后码元都实行监督，前后相关，因此有 时也称为连环码。
6.1.3 随机编码
• 编码的分析、设计的途径： • 一、根据特定的数学理论，分析和设计一种特 定的编码方法。 • 二、不涉及具体编码方法的设计，运用概率统 计方法在特定信道条件下对编码信号的性能作 出统计分析，求出差错概率的上、下限边界， 其中最优码所能达到的差错概率上界称作随机 码界。 • 用这种方法不能得知最优码是如何具体编出来 的，却能得知最优码可以好到什么程度，并进 而推导出有扰离散信道的编码定理，对指导编 码技术具有特别重要的理论价值。
6.1 信道编码的基本概念
• 信道编码的目的是为了改善数字通信系统的传 输质量。 • 由于实际信道存在噪声和干扰的影响，使得发 送的码字与经信道传输后所接收的码字之间存 在差异，我们称这种差异为差错。 • 一般，信道噪声/干扰越大，码字产生差错的 概率也就越大。
1.差错符号与差错比特
• 信号差错与信息差错既有联系又有区别，分别 用差错符号与差错比特来描述。 • 差错符号：由符号发生差错引起，也叫信号差 错，信号差错概率通常用符号差错概率（误码 元率）表示。
第六章信道编码
精品资料
（5）码重
码重是指码字中所含“1”的数目(shùmù)，比如：
WA10WA200WA30000 WB111 WB2112 WB31113
精品资料
汉明重量 设码字v＝(v0，v1，v2，…，vn-1)∈ Vn(F2)，令w(v)为码字v中那些不为0的码元
个数，即
w(v) 1
则称w(v)是码字v的汉明重量，简称(viji0ǎnchēng)重量 而称C中那些不等于0的码字的重量的最小值wmin(v)为C的最小重量 任一码字的汉明重量都可以看作是该码字与0码字间的汉明距离 若 v＝(0111000) 则 w(v)＝3；u＝(1000111) 则w(u)＝4
精品资料
（6）码距：
码距是指两个(liǎnɡ ɡè)码字Ci与Cj中相应码元不相同的数 目。
比如： （1，1）重复码
dA1B1d101
（2，1）重复(chóngfdù)A 码2B2d1 0
0 12
（3，1）重复码
dA3B3d1 0
0 1
1 03
精品资料
汉明距离(jùlí) 设a和b是集合Vn(F2)中的任意两个码字，令 a＝(a0，a1，a2，…，an-1) b＝(b0，b1，b2，…，bn-1)
1）域： 域是由一些元素所构成的集合，在集合里，可以定义(dìngyì)任意 两个元素在某种意义上的加法和乘法，则这个集合称为域。记做： F。F中的成员叫做元素或简称元。域中任意两个元素的和、积仍 是域中的元素，并且满足交换律和分配律。 常用的有F2 常用的运算包括：模2加
2）阶： 域F中元素(yuán sù)的个数叫做F的阶.
r＝ v + e 为了纠错，必须知道r中哪些位上存在错误，这可由校正子(伴随式)s来确定
（5）码重
码重是指码字中所含“1”的数目(shùmù)，比如：
WA10WA200WA30000 WB111 WB2112 WB31113
精品资料
汉明重量 设码字v＝(v0，v1，v2，…，vn-1)∈ Vn(F2)，令w(v)为码字v中那些不为0的码元
个数，即
w(v) 1
则称w(v)是码字v的汉明重量，简称(viji0ǎnchēng)重量 而称C中那些不等于0的码字的重量的最小值wmin(v)为C的最小重量 任一码字的汉明重量都可以看作是该码字与0码字间的汉明距离 若 v＝(0111000) 则 w(v)＝3；u＝(1000111) 则w(u)＝4
精品资料
（6）码距：
码距是指两个(liǎnɡ ɡè)码字Ci与Cj中相应码元不相同的数 目。
比如： （1，1）重复码
dA1B1d101
（2，1）重复(chóngfdù)A 码2B2d1 0
0 12
（3，1）重复码
dA3B3d1 0
0 1
1 03
精品资料
汉明距离(jùlí) 设a和b是集合Vn(F2)中的任意两个码字，令 a＝(a0，a1，a2，…，an-1) b＝(b0，b1，b2，…，bn-1)
1）域： 域是由一些元素所构成的集合，在集合里，可以定义(dìngyì)任意 两个元素在某种意义上的加法和乘法，则这个集合称为域。记做： F。F中的成员叫做元素或简称元。域中任意两个元素的和、积仍 是域中的元素，并且满足交换律和分配律。 常用的有F2 常用的运算包括：模2加
2）阶： 域F中元素(yuán sù)的个数叫做F的阶.
r＝ v + e 为了纠错，必须知道r中哪些位上存在错误，这可由校正子(伴随式)s来确定
语音编码和信道编码
17
5、数字基带信号常用码型
移 动 通 信 原 理
• 在设计数字基带信号码型时，应考虑以 下原则
– 线路传输码的频谱中无直流分量和只有很小 的低频分量 – 便于从基带信号中提取定时信息 – 尽可能提高传输码型的传输效率 – 基带传输信号具有内在的检错能力
18
5、数字基带信号常用码型
移 动 通 信 原 理
移 动 通 信 原 理
• 数字基带信号的线路传输码型
– 单极性码含直流分量，不宜在线路上传输， 通常只用于设备内部 – 双极性码和交替极性码的直流分量基本等于 零，因此适合在线路中传输 – 多电平信号，由于它的传信率及抗噪声性能 较差，故宜用于要求高传信率而信道噪声较 小的场合 – 归零码便于提取同步信息
23
GSM系统语音编码器性能要求
移 动 通 信 原 理
（3）码变换 • GSM系统所确定的基本语音编码的变码 器可将13位线性PCM码流变换成16kbit/s 的无线传输比特率。 • 在GSM语音编码器网络一端将完成A律 或µ律的PCM变换。
24
GSM系统语音编码器性能要求
移 动 通 信 原 理
8
1、 概述
• 语音编码技术通常分为三类
移 动 通 信 原 理
– 波形编码（如PCM） – 声源编码（或参量编码） – 混合编码
9
1、概述
移 动 通 信 原 理
• 波形编码的目的在于尽可能精确地再现原来的 语音波形。
– 如A/D转换，直接将时域波形变换成数字系列，接 收恢复的信号质量好
• 声源编码是将语音信息用特定的声源模型表示。
（4）非话信号的传输 • 语音编译码器没有对语音频段的数据做 出要求，然而，必须要求语音编译器能 够传输由网络提供给用户的各种音频信 号音，如拨号音、振铃音、忙音等。
第6章信讲义道编码
(m 1m 2 m k) 编码器
码字 c
编码信道
接收向量r
信道 译码器
译出的 码 字 cˆ
2 进制信道：码字 c 和接收向量 r 均由二元序列表示的编码信道
信 道 输 入 ： c (c 1 c 2 c n ) c i { 0 ,1 } 转移概率 p ( r | c ) 描述了 信 道 输 出 ： r (r 1 r 2 r n ) r i { 0 ,1 } 2 进制信道噪声干扰程度
为降低平均差错率，可先对消息进行编码再送入信道传送， 这种为降低平均差错率进行的编码称为信道编码
5
信道编码的作用
信道编码的基本思想是根据一定的规律在待发送的信息码中加入 一些多余的码元(校验码元)，以保证传输过程的可靠性
在带宽固定的信道中，总的信息传输率是固定的，由于信道编码 增加了数据量，其结果只能是以降低传送有用信息码率为代价， 所以增加的冗余符号越多，检错和纠错能力就越强，但传输效率 越低
突发差错信道：在有记忆信道中，噪声干扰的影响往往是前 后相关的，错误会成串出现；典型的有短波信道、移动通信 信道、散射信道以及受大的脉冲干扰和串话影响的明线和电 缆信道，甚至还包括在磁记录中，划痕、涂层缺损将造成成 串的差错
混合差错信道：有些实际信道既有独立随机差错也有突发性 成串差错，其差错是这两种差错的综合
3
6.1.1 信道编码的作用与分类
对于无噪无损信道只要对信源进行适当的编码，总能以信道 容量无差错的传递信息；但是一般信道总会存在噪声和干扰， 信息传输会造成损失 信道编码的目的是改善通信系统的传输质量。由于实际信道 存在噪声干扰，使发送的码字与信道传输后接收的码字之间 存在差异，这种差异称为差错 一般而言信道噪声、干扰越大，码字产生差错的概率也越大
信息论与编码_第6章信道编码概述
按照编码函数f的线性性 线性码：编码函数f ( f1,f2,…,fn)是线性函数 非线性码：否则，称为非线性码。
12
6.2 信道编码概念
按照编码函数对信息元处理方法: 分组码与卷积码
分组码 设k, n是正整数，k n，则把从EAk到An的编码函数 f : EAn 称为一个(n, k)分组码编码器，或称为(n, k)编码函数。全体 码字构成的集合 C={c =f (m): mE} 称为一个q元 (n, k)分组码 (block code)，或简称为(n, k)码。
23
6.3 信道译码准则
设 x= x1x2…xn, y= y1y2…yn是两个二元码字，容易验证以 下等式成立:
d ( x, y )
n
xi yi ,
i 1
其中是模二加法 汉明距离的性质 定理6-1 设x、y与z是长为n的码字，那么汉明距离满足 以下性质： (1) 非负性：d(x, y) 0。且d(x, y) = 0的充分必要条件是 x = y； (2) 对称性：d(x, y) = d(y, x)； (3) 三角不等式：d(x, y) d(x, z)+ d( z, y)。
7
第6章
6.1 6.2 6.3 6.4 6.5
信道编码
信道差错概率 信道编码概念 信道信道译码准则 码的检错与纠错能力 信道编码定理
8
6.2 信道编码概念
信道编码器是一个映射f，它把信源符号序列m变换成 信道符号序列c = f (m)，f称为信道编码函数，或称为纠 错编码函数。信道编码也称为纠错编码。
20
6.2 信道编码概念
例6.1 重复码 重复码是一个(n, 1)分组码，其编码规 则是将每位信息元重复n 1次，也称为n次重复码。 即C ={00…0, 11…1}。对重复码，可以采用大数准 则译码。即如果接收序列中0的个数多于1的个数， 则译为0；否则，译为1。 例如，2元3次重复码的编码规则如下： “0” “000”， “1” “111”。 它是一个2元(3, 1)分组码C={000, 111} 。
第六章 信道编码练习题
，伴 ， 行
随式 S 可能的值有 生成矩阵 G 为
种,差错图案 e 的长度为 行的矩阵，系统校验矩阵 H 为
T 的矩阵，G 和 H 满足的关系式是 GH
5. 循环码的生成多项式 g(x)有如下性质： 1) g(x)是循环码码多项
式中的一个唯一的
多项式； 2) 它具有首 1 末 1 的 ； 4)它
10.
对于（n，k）循环码，寻找其生成多项式 g(x)需要将 xn+1 因 次因式即为生成多项式 g(x)，而其 ， 其为 次多项式。 利用生成多项
式分解，找到其中的 余因式 h(x)为
式 g(x)，可以很方便地得到对应的生成矩阵 G，其方法是：将生 成多项式 g(x)对应的码字作为 k 行生成矩阵 G 的第 k 行；再利 用循环码的循环移位特性，将 g(x)整体左移一位，得到的码字依 次生成矩阵 G 的第 k-1，k-2 行直到第 1 行。由 h(x)可以得到一 致校验矩阵 H， 其方法是： 将生成多项式 h(x)对应的反序多项式 h*(x)的对应的码字作为 r 行校验矩阵 H 的第 r 行，其余行的产 生方式与生成矩阵 G 产生方式类似。
第六章 信道编码练习题
一、 填空题
1. 信道编码——根据信源消息 m 进行信道编码产生码字 c, 通常 c
为一个 n 长的序列。 信道编码的目的是动状态或存在方， 信道编 码称为冗余编码的原因是动状态或存在方， 信道编码被称为纠错 编码，原因是动或存在方。
2. 纠错码结构是信息位+校验位，常用的三种检纠错编码方法是：
动状态或存在，动状态或，动状态或。
3. 信道编码的汉明距离是动状态或存在方, 最小汉明距离是动状
态或存在方，体现信道编码检纠错能力的定理内容是动状 或存在方， 其中最关键的量是最小汉明距离。 信道译码时遵循的 原则的最大似然译码原则， 实际操作时就是将接收向量译码为与 其汉明距离最小的许用码。
6 信道编码分析
8
6.1.2 编码信道
消息 m (m1 m2 mk )
信 道 编码器
码字 c
编码信道
接收向量 r
信 道 译码器
译出的 ˆ 码字 c
2 进制信道：码字 c 和接收向量 r 均由二元序列表示的编码信道
信道输入：c (c1c2 cn ) 信道输出：r ( r1 r2 rn ) ci {0,1} ri {0,1}
转移概率 p ( r | c ) 描述了 2 进制信道噪声干扰程度
无记忆 2 进制信道：对于任意的 n，均有： p(r | c ) n i 1 p( ri | ci )
无记忆 2 进制对称信道(BSC)：发生差错 若噪声是白噪声，则 2 进 制信道可等效为一个 BSC 的概率相同的无记忆 2 进制信道，即：
第六章 信道编码
6.1 6.2 6.3 6.4 信道编码的概念 线性分组码 循环码 卷积码
6.1 信道编码的概念
6.1.1 6.1.2 6.1.3 6.1.4 信道编码的作用与分类 编码信道 检错与纠错原理 检错与纠错方式和能力
2
6.1.1
信道编码的作用与分类
广义的信道编码是为特定信道传输而进行的传输信号的设计 与实现，常见的信道编码有以下几种： 描述编码：用于描述特定的数据信号，如 ASCII 码、不归 零(NRZ)码、格雷(Gray)码 约束编码：用于对信号特性进行约束，如用于减少直流分 量的HDB-3码，用于相位与同步检测的巴克(Brarker)码 扩频编码：用于扩展信号频谱为近似白噪声谱以满足某些 相关特性，如 m 序列、戈尔德(Gold)序列 纠错编码：用于检测与纠正信号传输过程中因噪声干扰导 致的差错，如重复码、循环码、BCH 码、卷积码 通信的目的是要把对方不知道的信息及时可靠地 (有时是秘密 地)传送给对方，纠错编码是提高信号传输可靠性的是主要措 施之一；因此本章主要学习纠错编码
信道编码
第6章信道编码教学内容：信道编码的概念、信道编码定理、线性分组码、循环码6.1信道编码的概念教学内容：1、信道编码的意义2、信道编码的分类3、信道编码的基本原理4、检错和纠错能力1、信道编码的意义由于实际信道存在噪声和干扰，使发送的码字与信道传输后所接收的码字之间存在差异，称这种差异为差错。
信道编码的目的是为了改善通信系统的传输质量。
基本思路是根据一定的规律在待发送的信息码中加入一些多余的码元，以保证传输过程的可靠性。
信道编码的任务就是构造出以最小冗余度代价换取最大抗干扰性能的“好码”。
2、信道编码的分类纠错编码的目的是引入冗余度，即在传输的信息码元后增加一些多余的码元（称为校验元，也叫监督元），以使受损或出错的信息仍能在接收端恢复。
一般来说，针对随机错误的编码方法与设备比较简单，成本较低，而效果较显著；而纠正突发错误的编码方法和设备较复杂，成本较高，效果不如前者显著。
因此，要根据错误的性质设计编码方案和选择差错控制的方式。
3、信道编码的基本原理可见，用纠（检）错控制差错的方法来提高通信系统的可靠性是以牺牲有效性的代价来换取的。
在通信系统中，差错控制方式一般可以分为检错重发、前向纠错、混合纠错检错和信息反馈等四种类型。
香农理论为通信差错控制奠定了理论基础。
香农的信道编码定理指出：对于一个给定的有干扰信道，如信道容量为C，只要发送端以低于C的速率R发送信息(R为编码器输入的二元码元速率)，则一定存在一种编码方法，使编码错误概率p随着码长n的增加，按指数下降到任意小的值。
这就是说，可以通过编码使通信过程实际上不发生错误，或者使错误控制在允许的数值之下。
4、检错和纠错能力举例：A、B两个消息a、没有检错和纠错能力：0、1b、检出一位错码的能力：00、11c、判决传输有错：000、111（大数法则）一般来说，引入监督码元越多，码的检错、纠错能力越强，但信道的传输效率下降也越多。
人们研究的目标是寻找一种编码方法使所加的监督码元最少，而检错、纠错能力又高且又便于实现。
第六章 信道编码
9
最小距离是信道编码的一个重要参数， 最小距离是信道编码的一个重要参数 ， 它直接与编码的 检错和纠错能力有关。在一般情况下， 检错和纠错能力有关 。 在一般情况下 ， 对于分组码有如下 结论： 结论： (1)为检测 个错码，最小距离应满足 为检测e个错码 为检测 个错码， d min ≥ e +1 (2)为纠正 个错误，最小距离应满足 为纠正t个错误 为纠正 个错误， d min ≥2t +1 (3)为纠正 个错误 ， 同时又能够检测 个错误 ， 最小码距 为纠正t个错误 同时又能够检测e个错误 个错误， 为纠正 个错误， 应满足 d min ≥e + t +1 (e > t)
6
例如
三位二进制码元共有8种可能的组合。 三位二进制码元共有 种可能的组合。若将其全部用 种可能的组合 来表示天气，则可以表示8种不同的天气状况 种不同的天气状况。 来表示天气，则可以表示 种不同的天气状况。 000 (晴) ，001 (云) ， 010 (阴)， 011 (雨)， 晴 云 阴， 雨， 100 (雪)，101（霜），110（雾），111（雹）。 雪， （ （ （
7
这时，虽然只传送 种不同的天气 种不同的天气， 这时，虽然只传送4种不同的天气，但是接收端却有可 能发现码组中的一个错码。 能发现码组中的一个错码。 例如， 这一码组中错了一位码， 例如，若000(晴)这一码组中错了一位码，则接收到的 晴 这一码组中错了一位码 码组可能变为100或010或001。由于这 种码组都是不能使 码组可能变为 或 或 。由于这3种码组都是不能使 用的，称为禁用码组，故接收端在收到禁用码组时， 用的，称为禁用码组，故接收端在收到禁用码组时，就可 以发现错误，即检出了错误。 以发现错误，即检出了错误。 上述的编码方法只能检测错误，不能纠正错误。例如， 上述的编码方法只能检测错误，不能纠正错误。例如， 当收到的禁用码组为100时，接收端无法判断是哪一位码发 当收到的禁用码组为 时 生了错误，因为晴(000)、阴(101)、雨(110)三种码组错了一 生了错误，因为晴 、 、 三种码组错了一 位都可能变成100。可见，若要能够纠正错误，还必须增加 位都可能变成 。可见，若要能够纠正错误， 冗余度。 冗余度。
最小距离是信道编码的一个重要参数， 最小距离是信道编码的一个重要参数 ， 它直接与编码的 检错和纠错能力有关。在一般情况下， 检错和纠错能力有关 。 在一般情况下 ， 对于分组码有如下 结论： 结论： (1)为检测 个错码，最小距离应满足 为检测e个错码 为检测 个错码， d min ≥ e +1 (2)为纠正 个错误，最小距离应满足 为纠正t个错误 为纠正 个错误， d min ≥2t +1 (3)为纠正 个错误 ， 同时又能够检测 个错误 ， 最小码距 为纠正t个错误 同时又能够检测e个错误 个错误， 为纠正 个错误， 应满足 d min ≥e + t +1 (e > t)
6
例如
三位二进制码元共有8种可能的组合。 三位二进制码元共有 种可能的组合。若将其全部用 种可能的组合 来表示天气，则可以表示8种不同的天气状况 种不同的天气状况。 来表示天气，则可以表示 种不同的天气状况。 000 (晴) ，001 (云) ， 010 (阴)， 011 (雨)， 晴 云 阴， 雨， 100 (雪)，101（霜），110（雾），111（雹）。 雪， （ （ （
7
这时，虽然只传送 种不同的天气 种不同的天气， 这时，虽然只传送4种不同的天气，但是接收端却有可 能发现码组中的一个错码。 能发现码组中的一个错码。 例如， 这一码组中错了一位码， 例如，若000(晴)这一码组中错了一位码，则接收到的 晴 这一码组中错了一位码 码组可能变为100或010或001。由于这 种码组都是不能使 码组可能变为 或 或 。由于这3种码组都是不能使 用的，称为禁用码组，故接收端在收到禁用码组时， 用的，称为禁用码组，故接收端在收到禁用码组时，就可 以发现错误，即检出了错误。 以发现错误，即检出了错误。 上述的编码方法只能检测错误，不能纠正错误。例如， 上述的编码方法只能检测错误，不能纠正错误。例如， 当收到的禁用码组为100时，接收端无法判断是哪一位码发 当收到的禁用码组为 时 生了错误，因为晴(000)、阴(101)、雨(110)三种码组错了一 生了错误，因为晴 、 、 三种码组错了一 位都可能变成100。可见，若要能够纠正错误，还必须增加 位都可能变成 。可见，若要能够纠正错误， 冗余度。 冗余度。
第六章 信道编码
BSC编码信道
BSC输入输出关系等效为
e=1表示差 错,e=0表示正确
rce mod2 p(e1)pb,p(e0)1pb
差错图案：指n长的随机序列e=(e0,e1,…, en-1).
称e=(e0,e1,…, en-1)中ei=1为第i位上的一个随机错误.
第i至第j位之间有很多错误时,称为一个j-i+1长的 突发错误.
i
•如:
发送序列c: (1111011000)
接收序列的r: (0110010110)
比较c和r，可写出另一个序列e：1001001110
r = c + e (mod 2)或e = r+c (mod 2)
对于一个BSC信道总有转移概率 p b 1/2，n比
特传输中发生差错数目越少，概率越大，即
i 1 p b n p b 1 p b n 1 p b t 1 p b n t p b n
冗余编码：为了实现检纠错,所以码字c的长度
n一定大于消息m的长度k。
纠错编码
m m 0 ,m 1 , ,m k 1
c c 0 ,c 1 , ,c n 1
编码码率R ：每个码字的序列符号（或码元） 平均传送的消息比特数,称为编码码率:
Rk/n
对检纠错码的基本要求是: 检错和纠错能力尽量强； 编码效率尽量高；编码规律尽量简单。 实际中要根 据具体指标要求， 保证有一定纠、 检错能力和编 码效率，并且易于实现。
•编码码率: Rs tsstt 1 1 1s st t1
t 1
pi,t mi, j mod2, j 0
s1
ps, j mi, j mod2, i 0
s1
t 1
ps,t mi,t ms, j
第6章信道编码
第6章 信道编码
信道编码是以信息在信道上的正确传输为目 标的编码，可分为两个层次上的问题：
如何正确接收载有信息的信号 －－线路编码
如何避免少量差错信号对信息内容的影响 －－纠错编码
1
编码
信源编码
提高数字信号有效性 将信源的模拟信号转变为数字信号 降低数码率,压缩传输频带(数据压缩)
信道编码
kk
r
r
卷积码：
先将信息序列分组,不同的是编解码运算不仅与 本组信息有关,而且还与前面若干组有关。
16
纠错码分类
按照码元与原始信息位的关系,分为 线性码：所有码元均是原始信息元的线性组 合,编码器不带反馈回路。 非线性码：码元并不都是信息元的线性组合, 可能还与前面已编的码元有关,编码器可能含 反馈回路。
7
差错图样（error pattern）
定量地描述信号的差错，收、发码之“差” ：
差错图样E＝发码C－ 收码R （模M）
例：8进制(M=8)码元，
若发码
C=（0,2,5,4,7,5,2）
收码变为
R=（0,1,5,4,7,5,4）
差错图样 E=C－R=（0,1,0,0,0,0,6）（模8）
二进制码：E=C R 或 C = R E ，差错图样
差错和差错控制系统分类 矢量空间与码空间 随机编码 信道编码定理
4
差错类型
差错符号：由符号发生差错引起，也叫信 号差错，信号差错概率用误码元率表示
差错比特：由信息比特发生差错引起，也 叫信息差错，信息差错概率用误比特率表 示
对于二进制传输系统，符号差错等效于比 特差错；
对于多进制系统，一个符号差错到底对应 多少比特差错却难以确定。因为一个符号 由多个比特组成。
信道编码是以信息在信道上的正确传输为目 标的编码，可分为两个层次上的问题：
如何正确接收载有信息的信号 －－线路编码
如何避免少量差错信号对信息内容的影响 －－纠错编码
1
编码
信源编码
提高数字信号有效性 将信源的模拟信号转变为数字信号 降低数码率,压缩传输频带(数据压缩)
信道编码
kk
r
r
卷积码：
先将信息序列分组,不同的是编解码运算不仅与 本组信息有关,而且还与前面若干组有关。
16
纠错码分类
按照码元与原始信息位的关系,分为 线性码：所有码元均是原始信息元的线性组 合,编码器不带反馈回路。 非线性码：码元并不都是信息元的线性组合, 可能还与前面已编的码元有关,编码器可能含 反馈回路。
7
差错图样（error pattern）
定量地描述信号的差错，收、发码之“差” ：
差错图样E＝发码C－ 收码R （模M）
例：8进制(M=8)码元，
若发码
C=（0,2,5,4,7,5,2）
收码变为
R=（0,1,5,4,7,5,4）
差错图样 E=C－R=（0,1,0,0,0,0,6）（模8）
二进制码：E=C R 或 C = R E ，差错图样
差错和差错控制系统分类 矢量空间与码空间 随机编码 信道编码定理
4
差错类型
差错符号：由符号发生差错引起，也叫信 号差错，信号差错概率用误码元率表示
差错比特：由信息比特发生差错引起，也 叫信息差错，信息差错概率用误比特率表 示
对于二进制传输系统，符号差错等效于比 特差错；
对于多进制系统，一个符号差错到底对应 多少比特差错却难以确定。因为一个符号 由多个比特组成。
第六章：信道编码定理
错误概率与译码准则、编码方法－ 错误概率与译码准则、编码方法－6
• 译码准则二：最大似然译码准则 译码准则二：
p( y | g( y)) = m p( y | xm) ax
m
• 最大后验概率译码准则 最大似然译码准则 最大后验概率译码准则&最大似然译码准则
– 输入等概时－－二者是一致的 输入等概时－－二者是一致的 －－
传输信息量大－－传输要有效 传输信息量大－－传输要有效 －－ 传输信息无差错－－传输要可靠 传输信息无差错－－传输要可靠 －－ 可靠性？ 可靠性？
§6.1:问题引出与定理描述
• 提出的与信道传输可靠性有关的问题： 提出的与信道传输可靠性有关的问题： 可靠性有关的问题
– 如何能使信息传输后发生的错误最少？ 如何能使信息传输后发生的错误最少？ • 错误概率与那些因素有关？ 错误概率与那些因素有关？ • 有无办法控制？ 有无办法控制？ 具体信道编码技术 • 能控制到什么程度？ 能控制到什么程度？ – 无误传输可达的最大信息率是多少？ 无误传输可达的最大信息率是多少？
错误概率与译码准则、编码方法－ 错误概率与译码准则、编码方法－8
• 选择好的译码规则可以降低错误概率 • FANO不等式说明 无论什么译码规则 对减少误码 不等式说明,无论什么译码规则 不等式说明 无论什么译码规则,对减少误码 率的作用有限,误码率受信道特性的影响严重。 误码率受信道特性的影响严重 率的作用有限 误码率受信道特性的影响严重。 • 增加码空间 ，并选择适当的编码方法,可以既使 增加码空间M，并选择适当的编码方法 可以既使 错误概率降低,又使码率保持较大 又使码率保持较大。 错误概率降低 又使码率保持较大。 • 适当的编码方法就是适应信道特性的方法即 信道 适当的编码方法就是适应信道特性的方法即:信道 编码
信息论与编码第6章信道编码
素(既约)多项式
若 p( x) f ( x), deg( p( x)) 1且p( x)在F[ x] 中只有因式 c和cp( x) 则称 p( x) 为域F上的不可约多项式。
的集合
余类环
多项式剩余类环 n n1 f ( x) an x an1x ... a1x a ai Fq 用 Fq [ x] 或者 GF (q)[ x] 表示所有这样多项式
纠错码的分类
根据监督码元与信息组之间的关系 系统码 信息码元是否发生变化 非系统码 代数码 几何码 算术码 线性码 非线性码 分组码 卷积码
构造编码的数学方法
根据监督码元和信息码元的关系
根据码的功能
按纠误的类型
检错码 纠错码 纠删码 纠随机差错码 纠突发差错码 纠混合差错码 二元码 多元码 等保护纠错码 不等保护纠错码
3 3 2 2 3 2 3 2
x x , x x, x x 1, x 1, x ,
3 3 3 3
x x 1, x x, x 1, x , x 1, x,1, 0
2 2 2 2
4．有限域的性质和代数结构
1）有限域 Fq 的结构 对 a Fq , a 0, 满足 na 0, 的最小正整 数 n ，称为元素 a 的周期。 定理6-6：在有限域 Fq中 (1) ( Fq , ) 是循环加群，它的非零元素的周期等于其 域的特征； (2) ( Fq* , ) 是循环乘群，共有 (q 1) 个乘群的生成 元。 a 乘群 ( Fq* , ) 的生成元 a 称有限域 Fq 的本原元， 的阶为 q 1 ，即 a q 1 e ，且 F * a
q
本原元性质定理6-7
* F (1) q
的元素的阶都是 q 1 的因子， Fq* 的所 q 1 x e 0 的根。 有元恰是 (2) 若 a 是 Fq 的本原元，则当且仅当(k , q 1) 1 k k a 时， 也是本原元。非本原元 a 的阶是
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2015-6-28 3
（ ）11、非高斯噪声信道的信道容量比高斯噪声信道的 信道容量小。 （ ）12、信息率失真函数具有单调递减性。 （ ）13、异前缀码不能及时可译。 （ ）14、用码树构造的一定是及时码。 （ ）15、香农编码压缩了符号相关造成的冗余。 （ ）16、有失真信源编码指的是保真度准则下的信源编码。 （ ）17、变长无失真信源编码比定长编码的编码效率高。 （ ）18、香农编码是最佳编码。 （ ）19、卷积、交织都可以达到差错随机化的目的。。 （ ）20、卷积码的序列距离决定了其检错和纠错能力。
2015-6-28 8
设有离散无记忆信源P(X)={0.37,0.25,0.18,0.10,0.07,0.03}, （1）求该信源的符号熵。 （2）用哈夫曼编码编成二元变长码，计算其编码效率。 （3）要求其译码错误小于10采用定长二元码要达到（2）中 的哈夫曼编码效率，问需要多少个信源符号连在一起编？ 设信源P(X)={0.20,0.01,0.10, 0.19, 0.18,0.15,0.17 },（1）用香农编码编成二元变长码，计算 其编码效率。 （2）用哈夫曼编码编成二元变长码，计算其编码效率。
2015-6-28 5
居住在某地区的女孩中有25%是大学生，在女大学生 中有75%身高为1.6米以上，而女孩中身高1.6米以上的 占总数一半。假如得知“身高1.6米以上的某女孩是大 学生”的消息，问获得多少信息量？
பைடு நூலகம்
从大量统计资料知道，男性中红绿色盲的发病率为7%，女 性发病率为0.5%。如果问一位男同志：“你是否是红绿色 盲?”，他的回答可能是“是”，可能是“否”，平均每个回 答中含有多少信息量？如果问一位女同志，则答案中含有的 平均信息量是多少？如何理解这两个结果的大小？
2015-6-28
6
二元信源X,P(0)=2/3,,经过下面的离散无记 忆信道后，输出用Y表示。符号转移矩阵为： 试求:H(X),H(Y|X),H(X,Y)，H(X|Y),H(Y)。* 证明联合熵H(X,Y)与熵H(X)及条件熵H(X|Y)之间的 关系式。 某信道为强对称信道（即均匀信道）输入符号和输出符 号的个数均为m，正确的传输概率为1—ε,错误概率为ε被 对称的均匀分给m—1个输出符号 ，写出其信道容量的表达 式。
2015-6-28 7
某有扰离散信道的传输情况如下图所示 ,求该信道的信道容量。 电话信道的带宽为 3.3kHz,若信噪功率比为 20dB.求该信 道的信道容量。 一个平均功率受限的连续信道，其通频带为1MHZ,信道上 存在白色高斯噪声。 （1）已知信道上的信号和噪声的平均功率比值 为10 ，求该信 道的信道容量。 （2）信道上的信号和噪声的平均功率比值降为5，要达到相同 的信道容量，信道的通频带应为多大？ （3）若信道通频带减少为0.5MHZ, 信道上的信号和噪声的平 均功率比值应为多大？
总复习
1、按发出符号之间的关系来分，信源可以分为（ ）和 （ ） 2、连续信源的熵是（ ），不再具有熵的物理含义。 3、对于有记忆离散序列信源，需引入（ ）描述信源发 出的符号序列内各个符号之间的统计关联特性 3、连续信源X,平均功率被限定为P时，符合（ ）分布 才具有最大熵，最大熵是（ ）。 4、数据处理过程中信息具有（ ）。 5、信源冗余度产生的原因包括（ ）和（ ）。 6、单符号连续信道的信道容量取决于（ ）。 7、 香农信息极限的含义是（ ）。 8、对于无失真信源编码，平均码长越小，说明压缩效率 （ ）。
2015-6-28
9
现有线性分组码，其生成矩阵为 G= （1）计算码集，并列出信息组与码字的映射关系。 （2）将该码系统化处理，写出系统形式的生成矩阵。 （3）写出系统码的校验矩阵，若收码r=[100110]，检验 它是否为码字？
下面是某(n,k)线性二元码的全部码字：C1=000000, C2=000111, C3=011001,C4=011110, C5=101011,C6=101100,C7=110010,C8=110101 求n,k为何值？ 构造此码的生成矩阵G. 对G进行系统化，重新编码。
2015-6-28 1
9、对于限失真信源编码，保证 D的前提下，尽量减少 （ ）。 10、立即码指的是（ ）。 11、算术编码是（ ）分组码。 12、游程编码是（ ）失真信源编码。 13、线性分组码的（ ）就是该码空间的对偶空 间的生成矩阵。 14、若（n，k）线性分组码为MDC码，那么它的最小 码距为（ ）。 15、完备码的特点是（ ）。 16、卷积码的自由距离决定了其（ ）。
111010 110001 011101
2015-6-28
10
2015-6-28
11
2015-6-28
4
信息、消息、信号的定义是什么？三者的关系是什么？ 什么样的马尔可夫链是遍历的？ 简述离散信源的最大熵定理。 简述信息率失真函数的物理意义。 叙述变长信源编码定理。 惟一可译码存在的充要条件是什么 ？ 什么是差错图样？有哪些差错图样类型？ 什么是本原多项式？ 对于信道编码，有哪两种译码算法？简述之。 为什么说BSC信道的最小距离译码就是最大似然译码？ 什么是完备吗？举出两种完备吗的例子。 写出卷积码的解析表达式 。说明为什么称之为卷积码？
2015-6-28
2
（ （ （ （ （ （
） 1、信息是指各个事物运动的状态及状态变化的方式。 ）2、信息就是信息，既不是物质也不是能量。 ）3、马尔可夫信源是离散无记忆信源。 ）4、不可约的马尔可夫链一定是遍历的。 ） 5、单符号连续信源的绝对熵为无穷大。 ）6、序列信源的极限熵是这样定义的：H(X)= H(XL|X1,X2,…,XL-1)。 （ ）7、平均互信息量I(X;Y)是接收端所获取的关于发送端 信源X的信息量。 （ ）8、信源X,经过处理后，输出为Y，H(Y)小于H(X), 说 明信息不增。 （ ）9、如果一个消息包含的符号比表达这个消息所需要的 符号多，那么该消息存在冗余度。 （ ）10、有噪无损离散信道的输入为X,输出为Y，那么其信 道容量Ｃ＝ｍａｘＨ（Ｙ）。
（ ）11、非高斯噪声信道的信道容量比高斯噪声信道的 信道容量小。 （ ）12、信息率失真函数具有单调递减性。 （ ）13、异前缀码不能及时可译。 （ ）14、用码树构造的一定是及时码。 （ ）15、香农编码压缩了符号相关造成的冗余。 （ ）16、有失真信源编码指的是保真度准则下的信源编码。 （ ）17、变长无失真信源编码比定长编码的编码效率高。 （ ）18、香农编码是最佳编码。 （ ）19、卷积、交织都可以达到差错随机化的目的。。 （ ）20、卷积码的序列距离决定了其检错和纠错能力。
2015-6-28 8
设有离散无记忆信源P(X)={0.37,0.25,0.18,0.10,0.07,0.03}, （1）求该信源的符号熵。 （2）用哈夫曼编码编成二元变长码，计算其编码效率。 （3）要求其译码错误小于10采用定长二元码要达到（2）中 的哈夫曼编码效率，问需要多少个信源符号连在一起编？ 设信源P(X)={0.20,0.01,0.10, 0.19, 0.18,0.15,0.17 },（1）用香农编码编成二元变长码，计算 其编码效率。 （2）用哈夫曼编码编成二元变长码，计算其编码效率。
2015-6-28 5
居住在某地区的女孩中有25%是大学生，在女大学生 中有75%身高为1.6米以上，而女孩中身高1.6米以上的 占总数一半。假如得知“身高1.6米以上的某女孩是大 学生”的消息，问获得多少信息量？
பைடு நூலகம்
从大量统计资料知道，男性中红绿色盲的发病率为7%，女 性发病率为0.5%。如果问一位男同志：“你是否是红绿色 盲?”，他的回答可能是“是”，可能是“否”，平均每个回 答中含有多少信息量？如果问一位女同志，则答案中含有的 平均信息量是多少？如何理解这两个结果的大小？
2015-6-28
6
二元信源X,P(0)=2/3,,经过下面的离散无记 忆信道后，输出用Y表示。符号转移矩阵为： 试求:H(X),H(Y|X),H(X,Y)，H(X|Y),H(Y)。* 证明联合熵H(X,Y)与熵H(X)及条件熵H(X|Y)之间的 关系式。 某信道为强对称信道（即均匀信道）输入符号和输出符 号的个数均为m，正确的传输概率为1—ε,错误概率为ε被 对称的均匀分给m—1个输出符号 ，写出其信道容量的表达 式。
2015-6-28 7
某有扰离散信道的传输情况如下图所示 ,求该信道的信道容量。 电话信道的带宽为 3.3kHz,若信噪功率比为 20dB.求该信 道的信道容量。 一个平均功率受限的连续信道，其通频带为1MHZ,信道上 存在白色高斯噪声。 （1）已知信道上的信号和噪声的平均功率比值 为10 ，求该信 道的信道容量。 （2）信道上的信号和噪声的平均功率比值降为5，要达到相同 的信道容量，信道的通频带应为多大？ （3）若信道通频带减少为0.5MHZ, 信道上的信号和噪声的平 均功率比值应为多大？
总复习
1、按发出符号之间的关系来分，信源可以分为（ ）和 （ ） 2、连续信源的熵是（ ），不再具有熵的物理含义。 3、对于有记忆离散序列信源，需引入（ ）描述信源发 出的符号序列内各个符号之间的统计关联特性 3、连续信源X,平均功率被限定为P时，符合（ ）分布 才具有最大熵，最大熵是（ ）。 4、数据处理过程中信息具有（ ）。 5、信源冗余度产生的原因包括（ ）和（ ）。 6、单符号连续信道的信道容量取决于（ ）。 7、 香农信息极限的含义是（ ）。 8、对于无失真信源编码，平均码长越小，说明压缩效率 （ ）。
2015-6-28
9
现有线性分组码，其生成矩阵为 G= （1）计算码集，并列出信息组与码字的映射关系。 （2）将该码系统化处理，写出系统形式的生成矩阵。 （3）写出系统码的校验矩阵，若收码r=[100110]，检验 它是否为码字？
下面是某(n,k)线性二元码的全部码字：C1=000000, C2=000111, C3=011001,C4=011110, C5=101011,C6=101100,C7=110010,C8=110101 求n,k为何值？ 构造此码的生成矩阵G. 对G进行系统化，重新编码。
2015-6-28 1
9、对于限失真信源编码，保证 D的前提下，尽量减少 （ ）。 10、立即码指的是（ ）。 11、算术编码是（ ）分组码。 12、游程编码是（ ）失真信源编码。 13、线性分组码的（ ）就是该码空间的对偶空 间的生成矩阵。 14、若（n，k）线性分组码为MDC码，那么它的最小 码距为（ ）。 15、完备码的特点是（ ）。 16、卷积码的自由距离决定了其（ ）。
111010 110001 011101
2015-6-28
10
2015-6-28
11
2015-6-28
4
信息、消息、信号的定义是什么？三者的关系是什么？ 什么样的马尔可夫链是遍历的？ 简述离散信源的最大熵定理。 简述信息率失真函数的物理意义。 叙述变长信源编码定理。 惟一可译码存在的充要条件是什么 ？ 什么是差错图样？有哪些差错图样类型？ 什么是本原多项式？ 对于信道编码，有哪两种译码算法？简述之。 为什么说BSC信道的最小距离译码就是最大似然译码？ 什么是完备吗？举出两种完备吗的例子。 写出卷积码的解析表达式 。说明为什么称之为卷积码？
2015-6-28
2
（ （ （ （ （ （
） 1、信息是指各个事物运动的状态及状态变化的方式。 ）2、信息就是信息，既不是物质也不是能量。 ）3、马尔可夫信源是离散无记忆信源。 ）4、不可约的马尔可夫链一定是遍历的。 ） 5、单符号连续信源的绝对熵为无穷大。 ）6、序列信源的极限熵是这样定义的：H(X)= H(XL|X1,X2,…,XL-1)。 （ ）7、平均互信息量I(X;Y)是接收端所获取的关于发送端 信源X的信息量。 （ ）8、信源X,经过处理后，输出为Y，H(Y)小于H(X), 说 明信息不增。 （ ）9、如果一个消息包含的符号比表达这个消息所需要的 符号多，那么该消息存在冗余度。 （ ）10、有噪无损离散信道的输入为X,输出为Y，那么其信 道容量Ｃ＝ｍａｘＨ（Ｙ）。