第七课-理论-信源与信道编码

消息m
码字C
接收向量R
消息m’
纠错编码
信道
纠错译码
FEC
消息m Page 25
码字C
接收向量R
消息m’
自动请求重发(ARQ)：
发端发送检错码， 收端译码器判断当前码字传输是否出错； 消息当m 有纠错错编码时按码某字C种协信道议通接收过向量一R 个纠错反译码向消信息m道’ 请FE求C
发送端重传已发送的码字(全部或部分)。
的可抗长度字节。
t
i 纠错能力强的编码一般要求的交织深度相对较低。纠错 能力弱的则要求更深的交织深度。 如果方阵中行码是能纠 t 个随机错误，交织后能纠t
个长度为i的突发错误。i称为交织深度。
Page 37
为了进一步提高纠错能力，可以在交织阵列中不 仅对每行进行纠错编码，而且也对每列进行纠错 编码，这种形式的交织码称为乘积码。
纠错编码之所以具有检错、纠错能力,是因为在信息码 元之外加入了监督码。监督码不载信息,只是用来监督 信息码在传输中有无差错。
纠错编码所提高的可靠性,是以牺牲信道利用率为代价 换取的。
监督码引入越多,检错、纠错能力越强,但信道的传输效 率下降也越多。
Page 30
信道编码
信道编码
在被传输信息中附加一些冗余码,即监督码元,利用附 加码元与信息码元间的约束关系加以校验,以检测和 纠正错误。
Page 9
Page 10
Page 11
1、 香农编码
Page 12
Page 13
2、 费诺编码
Page 14
Page 15
3、 哈夫曼编码
Page 16
Page 17
信源编码 信道编码
Page 18
信源编码
提高数字信号有效性 将信源的模拟信号转变为数字信号 降低数码率,压缩传输频带(数据压缩)
一个码组的集合中任意二个码组间的最小汉明距离。 码重W：
码组中非0的数目。
Page 33
误码分类 随机信道——噪声引入的随机误码，均匀分布 突发信道——由干扰、快衰落引起的突发误码
如何减少误码？ 从信源编码看，误码引起的性能恶化尽可能小， 容错技术
从传输看，可采用抗干扰能力强的调制方式，信 道特性不理想可采用均衡。特别需要差错控制技 术。数字通信中，要求误码率10－8以下，必须 采用差错控制。
信息反馈(IRQ)： 收端把收到的数据,原封不动地通过反馈信道送回到发 端,发端比较发的数据与反馈来的数据,从而发现错误, 并且把错误的消息再次传送,直到发端没有发现错误为 止。
Page 27
0:晴,1:雨
若1→0,0→1。收端无法发现错误
00晴
能发现
00
一个错误
01 禁用码组
10
11雨
11
信道编码
提高数字通信可靠性 数字信号在信道的传输过程中,由于实际信 道的传输特性不理想以及存在加性噪声,在 接收端往往会产生误码。
Page 19
纠错编译码的基本原理与分析方法
差错率
是衡量传输质量的重要指标之一。 码元差错率/符号差错率
指在传输的码元总数中发生差错的码元数所占的比 例(平均值),简称误码率。
• 插入1位监督码后具有检出1位错码的能 力,但不能予以纠正。
Page 28
000晴 111雨
000
001
晴
010
100
011
101
雨
110
111
• 在只有1位错码的情况下,可以判决哪位是错 码并予以纠正。
Page 29
最大似然译码： 将接收到的码字译码为与它差别最小的许用码字,并 且认为这个许用码字就是它所对应的发送码字,从而 在码字的纠错能力内实现自动纠错。
kk
r
r
• 卷积码：
– 先将信息序列分组,不同的是编解码运算不仅与 本组信息有关,而且还与前面若干组有关。
Page 23
23
按照码元与原始信息位的关系,分为 线性码：所有码元均是原始信息元的线性组合,编码 器不带反馈回路。 非线性码：码元并不都是信息元的线性组合,可能还 与前面已编的码元有关,编码器可能含反馈回路。
Turbo 码。它巧妙地将两个简单分量码通过伪随机交织器并行级 联来构造具有伪随机特性的长码，并通过在两个软入/软出(SISO)译码 器之间进行多次迭代实现了伪随机译码。他的性能远远超过了其他的 编码方式，得到了广泛的关注和发展，并对当今的编码理论和研究方 法产生了深远的影响，信道编码学也随之进入了一个新的阶段。
Page 35
纠正和检测突发错误的分组码－交织码interleaved
在实际应用中,比特差错经常成串发生,这是由于持续时 间较长的衰落谷点会影响到几个连续的比特,而前向纠错编 码仅在检测和校正单个差错和不太长的差错串时才最有效( 如RS 只能纠正 8 个字节的错误) 。
为了纠正这些成串发生的比特差错及一些突发错误,可
是指信号差错概率 比特差错率 /比特误码率：
在传输的比特总数中发生差错的比特数所占比例 是指信息差错概率 对二进制传输系统,符号差错等效于比特差错;对多进制 系统,一个符号差错对应多少比特差错却难以确定。
Page 20
差错图样
随机差错：
差错是相互独立的,不相关 存在这种差错的信道是无记忆信道或随机信
(2)建立消息集合X与代码组集合C之间的一一对应关系。 通常称具有上述映射规则的信源编码器为正规编码器，
编出来的码称为非奇异码。
Page 7
Page 8
5.0.3 信息传输速率和编码效率 消息在信道上传输的过程中，每单位时间所
传输的实际信息量称为信息传输速率。(其单 位与信道容量相同，用符号Rt表示)
以运用交织技术来分散这些误差, 使长串的比特差错变成短
串差错, 从而可以用前向码对其纠错。
Page 36
实现交织和解交织一般使用卷积方式。
交织技术对已编码的信号按一定规则重新排列，解
交织后突发性错误在时间上被分散，使其类似于独立发
生的随机错误，从而前向纠错编码可以有效的进行纠错
，前向纠错码加交积的作用可以理解为扩展了前向纠错
消息m
码字C
接收向量R
消息m’
检错编码
信道
检错译码
ARQ
Page 26
图6.1.8 FEC与ARQ纠错应用方式
混合纠错(HEC)： 是FEC与ARQ方式的结合。 发端发送同时具有自动纠错和检测能力的码组,收端收 到码组后,检查差错情况,如果差错在码的纠错能力以 内,则自动进行纠正。 如果信道干扰很严重,错误很多,超过了码的纠错能力, 但能检测出来,则经反馈信道请求发端重发这组数据。
信源编码是以提高通信有效性为目的的编码。通 常通过压缩信源的冗余度来实现。采用的一般方法是压 缩每个信源符号的平均比特数或信源的码率。
信道编码是以提高信息传输的可靠性为目的的编码 。通常通过增加信源的冗余度来实现。采用的一般方法 是增大码率或带宽。与信源编码正好相反。
密码则是以提高通信系统的安全性为目的的编码。通 常通过加密和解密来实现。从信息论的观点出发，加密可 视为“增熵”的过程，解密可视为“减熵”的过程。
Page 41
Page 42
感谢您的聆听!
第七课 信源与信道编码
信源编码 信道编码
Page 2
信源编码
Page 3
编码的目的是为了优化通信系统。一般 说来，通信系统的性能指标主要是有效性、 可靠性、安全性。所谓优化，就是使这些指 标达到最佳。除了经济性外，这些指标正是 信息论研究的对象。按照不同的编码目的， 编码问题可分为三类：信源编码、信道编码 和安全编码(密码)。
纠错码与检错码在理论上没有本质区别,只是应 用场合不同,而侧重的性能参数也不同。
Page 22
纠错码分类
按照对信息序列的处理方法,有分组码和卷积码
分组码：
将k个信息码元分成一组,由这k个码元按照一定
规则产生r个监督码元,组成长度n = k + r的码
字
n
010 101 010 001 110 010xxxx 101xxxx 010 xxxx
道
突发差错：
指成串出现的错误,错误与错误间有相关性, 一个差错往往要影响到后面一串字
E: 0 0 1 0 0 1 0 0 0 0 0 0 1 0 0 1 1 1 0 0 0 0 0
0 0 突发长度= 4
Page 21
突发长度= 6
纠错码分类
从功能角度讲,差错码分为检错码和纠错码 检错码：用于发现差错 纠错码：能自动纠正差错
交织一般都带固有延时，在语音中交织的延时不 要超过40ms。
Page 38
Page 39
Shannon 编码定理指出：如果采用足够长的随机编码，就能逼 近Shannon 信道容量。但是传统的编码都有规则的代数结构，远远 谈不上“随机”；同时，出于译码复杂度的考虑，码长也不可能太 长。所以传统的信道编码性能与信道容量之间都有较大的差距。事 实上，长期以来信道容量仅作为一个理论极限存在，实际的编码方 案设计和评估都没有以Shannon限为依据。
Page 4
一般情况下，信源编码可分为离散信源编码、 连续信源编码和相关信源编码。离散信源编码 可做到无失真编码；而连续信源编码则只能做 到限失真编码。
Page 5
Page 6
由信源编码器的数学模型可将信源编码器的作用归纳 为：
(1)用信道的基本符号按照规定的编码方法把信源发出的 消息变换成相应的代码组；
按照适用的差错类型,分成: 纠随机差错码:用于随机差错信道,其纠错能力用码组 内允许的独立差错的个数来衡量。 纠突发差错码:针对突发差错而设计,其纠错能力主要 用可纠突发差错的最大长度来衡量
PБайду номын сангаасge 24
前向纠错(FEC)：
发送端的信道编码器将信息码组编成具有一 定纠错能力的码。
接收端信道译码器对接收码字进行译码,若传 输中产生的差错数目在码的纠错能力之内时, 译码器对差错进行定位并加以纠正。
Page 40
约束长度（constraint length）= 寄存器个数（N）+1;
编码速率是指在保证原有信息能够得到还原的码流速度。通常码流速率 越低，编码效率就越高。
典型的Turbo码编码器：由两个反馈的编码器（称为成员编码器）通过 一个交织器I并行连接而成。如果必要，由成员编码器输出的序列经过删余 阵，从而可以产生一系列不同码率的码。例如，对于生成矩阵为g=[g1,g2] 的(2，1，2)卷积码通过编码后，如果进行删余，则得到码率为1/2的编码输 出序列；如果不进行删余，得到的码率为1/3。
到的数字序列 R 是否符合既定的 规则,从而发现 R 中
是否有错,或者纠正其中的差错； 根据相关性来检测/发现和纠正传输过程中产生的差错
就是信道编码的基本思想。
Page 32
纠错编码的检错纠错能力,要取决于码组的码距 码距越大,检错、纠错能力越强。 汉明距离：
二个码组对应码位码元不同的个数。 最小码距dmin：
信源编码减少了冗余度
冗余度是随机的、无规律的。
信道编码增加了冗余度
冗余度是特定的、有规律的,故可利用其在接收端进 行检错和纠错。
Page 31
信道编码的基本思想
信道编码
按一定规则给数字序列m增加一些多余的码元,使不具 有规律性的信息序列 m 变换为具有某种规律性的数码 序列 C；
码序列中的信息序列码元与多余码元之间是相关的； 信道译码器利用这种预知的编码规则译码。检验接收
Page 34
循环码 (Cyclic code)
1957 年发现 特点
线性分组码 循环性——任一许用码字经过循环移位后，得
到的码组仍为一个许用码组
如 (a6 a5a4 a3a2 a1a0 ) 是循环码的一许用码组 则 (a0 a6 a5a4 a3a2 a1 ) 也是一许用码组
循环码是线性分组码的一个子类。因此，所 有线性分组码的性质均适用于循环码。