第五章 信道编码
数字通信原理章 (5)
第5章 信道编码技术
5.1.2 差错控制编码的基本思想 差错控制编码的基本实现方法是在发送端给被传输的
信息附上一些监督码元，这些多余的码元与信息码元之间 以某种确定的规则相互关联。在接收端按照既定的规则校 验信息码元与监督码元之间的关系，一旦传输发生错误， 则信息码元与监督码元的关系就受到破坏，从而使接收端 可以发现错误，进而纠正错误。因此，各种编码和译码方 法是差错控制编码所要研究的问题。 5.1.3 差错控制方式
距应满足
dmin≥t+e+1 (e>t)
(5-3)
第5章 信道编码技术 图 5-2 纠错码纠错能力图示一
第5章 信道编码技术 图 5-3 纠错码纠错能力图示二
第5章 信道编码技术
5.2.3 奇偶监督码 奇偶监督码(又称为奇偶校验码)是一种最简单的检错
码，它的基本思想是在n－1位信息码元后面附加一位监督 码元，构成(n，n－1)的分组码，监督码元的作用是使码长 为n的码组中“1” 的个数保持为奇数或偶数。码组中“1” 的个数保持为奇数的编码称为奇数监督码，保持为偶数的 编码称为偶数监督码。
的一种改进形式，它不仅对每一行进行奇偶校验，同时对每 一列也进行奇偶校验。如表5-2所示的例子采用的是偶校验。
发送时，该码是按11001100、00100111、00011110、 11000000、01111011、00100111、01101001的顺序发送，而 在接收端将所接收的信号以列的形式排列，可得表5-2所示 的阵列。
(5-5)
奇偶监督码最小码距为2，无论是奇校验还是偶校验，
都只能检测出单个或奇数个错误，而不能检测出偶数个错
误，因此检错能力低，但编码效率随着n的增加而提高。
电视原理课件之信道编码
提高传输安全性：信道编码技术可以提高数字电视信号的传输安全性，防止信号被非法窃 取和篡改。
移动通信系统中的应用
提高传输速率：通过信道编码提高数据传输速率，降低传输延迟 增强抗干扰能力：通过信道编码增强信号的抗干扰能力，提高传输质量 提高传输可靠性：通过信道编码提高信号传输的可靠性，降低传输错误率 提高传输安全性：通过信道编码提高信号传输的安全性，防止信息泄露和窃取
码
线性编码的优点：易于实现， 易于解码，易于纠错
差分编码原理
差分编码：将原始数据转换为差分信号 差分信号：相邻两个信号之间的差值 优点：提高传输效率，降低误码率 应用：数字通信、卫星通信等领域
卷积编码原理
卷积编码是一种线性分组码，通过卷积运算生成编码序列 卷积编码的优点是具有较强的纠错能力，可以纠正多种错误 卷积编码的缺点是编码效率较低，需要较大的带宽 卷积编码的应用广泛，如数字电视、卫星通信等领域
交织码：用于提高传输的 稳定性和可靠性
数字信号：由0和1组成 的信号
信道编码：将数字信号 转换为适合传输的信号
纠错码：用于检测和纠 正传输中的错误
扩频码：用于提高传输 的抗干扰能力
信道编码的应用
数字电视广播系统中的应用
提高传输效率：通过信道编码技术，提高数字电视信号的传输效率，降低传输成本。
增强抗干扰能力：信道编码技术可以提高数字电视信号的抗干扰能力，保证信号传输的稳 定性。
交织编码原理
交织编码：将数据流分成多个子流，每个子流进行独立的编码
交织器：实现交织编码的关键设备，将数据流分成多个子流
交织深度：交织器将数据流分成的子流数量，决定了交织编码的复杂度 交织编码的优点：提高数据传输的可靠性，降低误码率，提高数据传输的 速度
第五章 语音编码、信道编码和交织技术
第5章语音编码、信道编码和交织技术引言一般的数字通信系统都包含信源编解码、信道编解码和调制解调这三对功能模块，语音编码是一种信源编码的，在移动通信中由于信道的特点，往往还需要交织和去交织这一对功能模块。
为什么要进行信源编码、信道编码和交织呢？从实现过程分析：信源编码——原理：去掉一些信息（信源中统计特性具有相关性的信息）；（有效性）目的：尽可能用最少的信息比特表示信源，从而达到压缩信息速率，以较少的信息速率传送信息；信道编码——原理：加入一些信息（监督码或检验码）；（可靠性）目的：用来供接收端纠正或检出信息在信道中传输时，由于干扰、噪声或衰落等所造成的误码。
交织——原理：不改变信息量，只改变信息的排序；（可靠性）目的：克服信道中由于深衰落而造成的突发的成串的误码。
对本章的学习，我们复习信源编码和信道编码的基础上，重点掌握：1．移动通信对编码的要求；2．蜂窝移动通信典型系统用到的编码方式；3．在这些系统中的实现过程；4．交织的原理和作用。
5.1 语音编码通信系统中的语音编码的目的是解除语音信源的统计相关性，语音编码大致分为三类。
一．语音编码的分类（参考：《吴伟陵，《移动通信原理》，电子工业出版社，P72）1．波形编码波形编码是以精确再现语音波形为目的，并以保真度即自然度为度量标准的编码方法。
这类编码是保留语音个性特征为主要目标的方法，其码速较高。
常用的波形编码及其原理：PCM、DPCM、ADPCM应用：适用于骨干（固定）通信网。
2．参量编码利用人类的发声机制，仅传送反映语音波形变化主要参量的编码方法。
在接收端，可根据发声模型，由传送过来的变化参量激励产生人工合成的语音。
参量编码的主要标准是可懂度。
显然，这类编码是以提取并传送语音的共性特征参量为目的的编码方式，其码速较低。
（声码器）常用的参量编码及其原理：LPC应用：主要用于军事保密通信。
3．混合编码混合编码是吸取上述两类编码的优点，以参量编码为基础，并附加一定的波形编码特征，以实现在可懂度基础上适当改善自然度目的的编码方式。
第5章 信道编码
第5章 信道编码
如上所述，信道编码就是给已知信息组按预定规
则添加监督码元，以构成码字。在k个信息元之后附加 r(r＝n－k)个监督码元，使每个监督元是其中某些信息 元的和。例如，信息分组长度k＝3，在每一信息组后 加上4个监督元，构成(7，3)线性分组码。设该码的码 字为(c6，c5，c4，c3，c2，c1，c0)， 其中c6 ，c5 ，c4 为信息元;c3 ，c2 ，c1 ，c0 为监督元，每 个码元取值为“0”或“1”，即ci∈ GF(2)。监督元可按
第5章 信道编码
5.3.2 线性码生成矩阵和一致监督矩阵 在（n，k）线性分组码中，n表示码长，k表示信 息位的维数，也就是子空间的维数，设 M＝(m1，
m2，…，mk)是输入纠错码编码器的信息组，则由纠错
码编码器输出的码字 C为 C＝MG (5―2)
第5章 信道编码
5.3.1 线性分组码的基本概念
在通信中，为了能在接收端发现和纠正信息传输 中产生的错误，发送端需要对所传输的数字信息序列 进行编码。首先，把信息序列按一定长度分成若干信 息码组，每组由相继的k位信息数字组成。然后，编 码器按照预定的线性运算规则(可由线性方程组来规 定)，把信息码组变换成n重(n>k)码字，其中(n-k)个 附加码元是由信息码元的线性运算产生的。就是说通
第5章 信道编码
5.3 线性分组码
分组码的编码包括两个基本步骤：首先将信源的 输出序列分为k位一组的消息组(也称信息组，简称消 息或信息)；然后信道编码器根据一定的编码规则将k 位消息变换成n个码元的码字。一个(n，k)分组码，如 果码的数域为 GF(m)，即每一个码元可能有m种取值， 则信源可发出m k种不同的消息组。
第5章 信道编码
第五章 信道编码 习题解答
第五章 信道编码 习题解答1．写出与10011的汉明距离为3的所有码字。
解：共有10个：01111，00101，00000，01010，01001，00110，11101，10100，11000，11110。
2． 已知码字集合的最小码距为d ，问利用该组码字可以纠正几个错误？可以发现几个错误？请写出一般关系式。
解：根据公式：(1)1d e ≥+ 可发现e 个错。
(2)21d t ≥+ 可纠正t 个错。
得出规律：（1）1d = ，则不能发现错及纠错。
（2）d 为奇数：可纠12d -个码元错或发现1d -个码元错。
（3）d 为偶数：可纠12d-个码元错，或最多发现1d -个码元错。
（4）码距越大，纠、检错能力越强。
3．试计算（8，7）奇偶校验码漏检概率和编码效率。
已知码元错误概率为410e p -=。
解：由于410e p -=较小，可只计算错两个码元（忽略错4或6个码元）的情况：228788!10 2.8106!2!e p C p --==⨯=⨯⨯ 787.5%8η==4．已知信道的误码率410e p -=，若采用“五三”定比码，问这时系统的等效（实际）误码率为多少？ 解：由于410e p -=较小，可只计算错两个码元的情况1125211283232(1)610e e e p C C p p C C p --=-≈=⨯5．求000000，110110，011101，101011四个汉明码字的汉明距离，并据此求出校正错误用的校验表。
解：先求出码字间距离：000000 110110 011101 101011000000 4 4 4 110110 4 4 4 011101 4 4 4 101011 4 4 4汉明距离为4，可纠一位错。
由于一个码字共有6个码元，根据公式：21617rn ≥+=+= 得 3r = 即每个码字应有3位监督码元，6-3=3位信息码元。
直观地写出各码字：123456000000110110011101101011x x x x x x 令456x x x 为监督码元，观察规律则可写出监督方程：413523612x x x x x x x x x=⊕⎧⎪=⊕⎨⎪=⊕⎩从而写出校验子方程：113422353126s x x x s x x x s x x x *********⎧=⊕⊕⎪=⊕⊕⎨⎪=⊕⊕⎩列出校验表：6．写出信息位6k =，且能纠正1个错的汉明码。
信道编码习题解答
第五章 信道编码 习题解答1．写出与10011的汉明距离为3的所有码字。
解：共有10个：01111，00101，00000，01010，01001，00110，11101，10100，11000，11110。
2． 已知码字集合的最小码距为d ，问利用该组码字可以纠正几个错误？可以发现几个错误？请写出一般关系式。
解：根据公式：(1)1d e ≥+ 可发现e 个错。
(2)21d t ≥+ 可纠正t 个错。
得出规律：（1）1d = ，则不能发现错及纠错。
（2）d 为奇数：可纠12d -个码元错或发现1d -个码元错。
（3）d 为偶数：可纠12d-个码元错，或最多发现1d -个码元错。
（4）码距越大，纠、检错能力越强。
3．试计算（8，7）奇偶校验码漏检概率和编码效率。
已知码元错误概率为410e p -=。
解：由于410e p -=较小，可只计算错两个码元（忽略错4或6个码元）的情况：228788!10 2.8106!2!e p C p --==⨯=⨯⨯ 787.5%8η==4．已知信道的误码率410e p -=，若采用“五三”定比码，问这时系统的等效（实际）误码率为多少？ 解：由于410e p -=较小，可只计算错两个码元的情况1125211283232(1)610e e e p C C p p C C p --=-≈=⨯5．求000000，110110，011101，101011四个汉明码字的汉明距离，并据此求出校正错误用的校验表。
解：先求出码字间距离：000000 110110 011101 101011000000 4 4 4 110110 4 4 4 011101 4 4 4 101011 4 4 4 汉明距离为4，可纠一位错。
由于一个码字共有6个码元，根据公式：21617rn ≥+=+= 得 3r = 即每个码字应有3位监督码元，6-3=3位信息码元。
直观地写出各码字：123456000000110110011101101011x x x x x x 令456x x x 为监督码元，观察规律则可写出监督方程：413523612x x x x x x x x x=⊕⎧⎪=⊕⎨⎪=⊕⎩从而写出校验子方程：113422353126s x x x s x x x s x x x *********⎧=⊕⊕⎪=⊕⊕⎨⎪=⊕⊕⎩列出校验表：6．写出信息位6k =，且能纠正1个错的汉明码。
信息论基础与编码(第五章)
5-1 有一信源，它有六种可能的输出，其概率分布如下表所示，表中给出了对应的六种编码12345C C C C C 、、、、和6C 。
（1） 求这些码中哪些是唯一可译码； （2） 求哪些是非延长码（即时码）；（3） 对所有唯一可译码求出其平均码长。
解：（1(2)1,3,6是即时码。
5-2证明若存在一个码长为12,,,q l l l ⋅⋅⋅的唯一可译码，则一定存在具有相同码长的即时码。
证明：由定理可知若存在一个码长为Lq L L ,,2,1 的唯一可译码，则必定满足kraft 不等式∑=-qi l ir1≤1。
由定理44⋅可知若码长满足kraft 不等式，则一定存在这样码长的即时码。
所以若存在码长Lq L L ,,2,1 的唯一可译码，则一定存在具有相同码长P （y=0）的即时码。
5-3设信源126126()s s s S p p p P s ⋅⋅⋅⎡⎤⎡⎤=⎢⎥⎢⎥⋅⋅⋅⎣⎦⎣⎦，611i i p ==∑。
将此信源编码成为r 元唯一可译变长码（即码符号集12{,,,}r X x x x =⋅⋅⋅），其对应的码长为（126,,,l l l ⋅⋅⋅）=（1，1，2，3，2，3），求r 值的最小下限。
解：要将此信源编码成为 r 元唯一可译变长码，其码字对应的码长（l 1 ,l 2 ,l 3, l 4,l 5, l 6）=(1,1,2,3,2,3) 必须满足克拉夫特不等式，即132321161≤+++++=------=-∑r r r r r r ri li所以要满足122232≤++r r r ，其中 r 是大于或等于1的正整数。
可见，当r=1时，不能满足Kraft 不等式。
当r=2, 1824222>++，不能满足Kraft 。
当r=3,127262729232<=++，满足Kraft 。
所以，求得r 的最大值下限值等于3。
5-4设某城市有805门公务和60000门居民。
作为系统工程师，你需要为这些用户分配。
信道编码原理
第5章 信道编码原理
4）好的错误控制编码方案的目标：
(1)用可以纠正的错误个数来衡量纠错能力; (2)快速有效地对消息进行编码; (3)快速有效地对接收到的消息进行译码; (4)单位时间内所能传输的信息比特数尽量大(即有少的 冗余度)。 上述第(1)个目标是最基本的。为了增加一个编码方案 的纠错能力，必须引入更多的冗余度。但增加的冗余度会
注：
（2） 不同的译码规则会引起不同的可靠程度。
例：若已知二进制对称信道传递矩阵为
0 1 4 3 4 1 3 4 1 4
P0 1
其信源符号“0”和“1”的正确传递概率均为p=1/4；“0” 和“1”的错误传递概率均为p＝3／4。
第5章 信道编码原理 如采取译码规则(2)，F(0)=0,F(1)=1，则信道输出端出
• 信源编码之后的码字序列抗干扰能力很脆弱， 在信道噪声的影响下容易产生差错，为了提高 通信系统的有效性和可靠性，要在信源编码器 和信道之间加上一个信道编码器。
第5章 信道编码原理
5.1.1 信道分类
不研究信号在信道中传输的物理过程，并假定信道的 传输特性是已知的，将信道用其输入/输出的统计关系模型 来描述，信道的分类方法有： （1）按输入／输出信号在幅度和时间上的取值分： 数字信道或离散信道、模拟信道或波形信道和连续信道。 （2）按输入/输出之间关系的记忆性分,可分为无记忆信道和 有记忆信道 （3） 按输入/输出信号之间的关系是否是确定分，可分为有 噪声信道和无噪声信道。
信道转移图如图所示
第5章 信道编码原理
2. 离散无记忆扩展信道
第五章信源编码(编码定义及定长编码)
信源符号集X＝[a1,a2,…an]={优、良、中、差} 用二元码，码符号集合为{0,1} 码字集合为 Y=[W1,W2,…Wn]={00,01,10,11}
编码过程：00代表优，01代表良，10代表中，11代 表差。每一个码字都是2个码符号组成的序列。
解码：按照码符号的顺序，从根节点依次查询到终端节点，就得到对应的 信源符号。再从根节点对剩下的码符号序列做相同的处理，直到处理完码 符号序列中所有的码符号
对应表中的码4分析
A
0
1
0
1
1
0
0
1
0
10 1
0
1
000
001 010
011 100 101 110
111
一阶节点 二阶节点 三阶节点
唯一可译码存在的充要条件
下面，首先求得独立等概率情况，即
H 0 log2 27 4.76bit
其次，计算独立不等概率情况，
27
H1 pi log pi 4.03bit
i 1
再次，若仅考虑字母有一维相关性，求H2
H2 3.32bit
最后，利用统计推断方法求出，由于采用的逼近的方法和 所取的样本的不同，推算值也有不同，这里采用Shannon 的推断值。 H 1.4bit
冗余度
定义：衡量信源发出消息时包含了多余信息的物 理量
来源：
1.信源符号的相关性。相关程度越大，信源的实 际上越小，越趋向于H∞（X） 。
2.信源符号分布的不均匀性。等概率分布时信源 熵最大，不均匀分布时，信源熵减小。当各符号 之间不存在依赖关系且为等概率分布时，信源实 际熵趋于最大熵H0（X）
第五章信道编码
上海第二工业大学冯涛编写
17:18:27
3、单用户信道和多用户信道 单用户信道：信道只有一个输入端和一个输出端，且只能 进行单方向的通信。 多用户信道：又称多端信道，输入端或者输出端至少有一 端具有两个或者两个以上用户，并且可以实现双向通信，目 前大多数信道都是多端信道。 4、离散信道、连续信道、半离散半连续信道和波形信道 离散信道：又称数字信道，该类信道中输入空间、输出空 间均为离散时间集合，集合中事件的数量是有限的，或者无 限的，随机变量取值都是离散的。 波形信道：也称为时间连续信道，信道输入、输出都是时 间的函数，而且随机变量的取值都取自连续集合，且在时间 上的取值是连续的。
17:18:27
信道(information channels)
X={X0,X1,X2… Xn-1}含n 个元素的输入符号集
Y={y0,y1,y2…ym-1}含m个 元素的输出符号
n与m的值不同，信道模型不同
9
上海第二工业大学冯涛编写
17:18:27
信道的数学模型： {X P(Y/X) Y}
x
P(Y/X)
由于长途线路是无法传送近似于0的分量，即：在计算机 的远程通信中，是不能直接传输原始的电脉冲信号（基带信 号）。因此就需要利用频带传输，用基带脉冲对载波波形的 某些参量进行控制，使这些参量随基带脉冲变化，这就是调 制。经过调制的信号称为已调信号。已调信号通过线路传输 到接收端，然后经过解调恢复为原始基带脉冲。
Y
输入与输出之间一般不是确定的函数关系，而是统计 依赖的。
10
上海第二工业大学冯涛编写
17:18:27
5.1 信道分类 1、有线信道和无线信道 有线信道：明线、对称电缆、同轴电缆及光缆等。 无线信道：地波传播、短波电离层反射、超短波或微波视 距中继、人造卫星中继以及各种散射信道等。
第五章信道编码定理
判决区域
Ym: lnp(y|xm) > lnp(y|xm’) 给定m,错误概率
pem p( y | xm ) yYmC M
信道编码逆定理
离散平稳源有M个字母，熵为HL(U)(limL->∞)， 信道容量为C,当HL(U)>(N/L)C时,误码率为非零值。
联合典型序列及信道编码定理
联合典型序列
x是e典型序列 | 1 log p(x) H (X ) | e
N
y 是e典型序列 | 1 log p(y) H (Y ) | e
Fano不等式和编码逆定理
信源序列：u=(u1,u2,…,uL) ∈UL 码序列（信道输入）：x=(x1,x2,…,xN) 接收序列（信道输出）： y=(y1,y2,…,yN) 译码器输出：v=(v1,v2,…,vL) Fano不等式主要说明Pb, HL(U), 和I(UL;VL)之间
的关系
所有Q(m)相同
最大对数似然译码
ln p( y | m') ln p( y | m)
最小汉明距离译码
汉明距离 d(x, y), x, y中分量不同的数目 码字先验等概 K元对称信道
p(i | i) 1 p p( j | i) p /(K 1)
最小汉明距离译码
N
ln p( y | xm ) ln p( yi | xmi ) n1 p
Fano不等式
pb log(M 1) H ( pb ) H (U |V )
pb
log(M
1)
H ( pb )
信道编码(差错控制编码)
行监督码元 ↓
0101101100
1
0101010010ຫໍສະໝຸດ 00011000011
0
1100011100
1
0011111111
0
0001001111
1
1110110000
1
列监督码元 0 0 1 1 1 0 0 0 0 1
0
5.2.3 群计数码
把信息码元中“1”的个数用二进制数字 表示，并作为监督码元放在信息码元的后面， 这样构成的码称为群计数码。
表5-2
国际通用的七中取三码
5.2.5 ISBN国际统一图书编号
国际统一图书编号也是一种检错码，主 要目的是为了防止书号在通信过程中发生误 传。图书编号的格式有统一的规定。
5.3 线性分组码
5.3.1 线性分组码基本概念 5.3.2 汉明码 5.3.3 对一般线性分组码的讨论
上一节介绍了一些简单编码，其中奇偶 监督码的编码原理利用了代数关系式，这类 建立在代数学基础上的编码称为代数码。
系。
图5-5 最小码距与检纠错能力的关系示意图
5.2 几种常用的检错码
5.2.1 奇偶监督码（奇偶校验码） 5.2.2 二维奇偶监督码 5.2.3 群计数码 5.2.4 恒比码 5.2.5 ISBN国际统一图书编号
5.2.1 奇偶监督码（奇偶校验码）
奇偶监督码（又称为奇偶校验码）是一 种最简单也是最基本的检错码，在计算机数 据传输中得到了广泛的应用。
第5章 信道编码（差错控制编码）
5.1 信道编码基本概念 5.2 几种常用的检错码 5.3 线性分组码 5.4 循环码 5.5 卷积码 5.6 交织编码 本章内容小结
学习要点
信源编码的概念 差错控制编码的分类及其工作原理 常用的检错码 线性分组码 循环码 卷积码 交织码
turbo
1
0
1)
假设交织后的第二个子码的输入序列为： 假设交织后的第二个子码的输入序列为：U’ = (1 1 0 1 1 0 0 1) 第二个子码的校验序列为： 第二个子码的校验序列为：v2 = (1 0 0 1 1 0 1 1) Turbo码的输出序列为： 111，010，100，001，101，110， Turbo码的输出序列为：V = （111，010，100，001，101，110， 码的输出序列为 011，111） 011，111）
译码判决
第一部分为基于接收序列和卷积码栅格结构的最大 似然概率的对数似然比， 似然概率的对数似然比，而第二部分则是信息序列的 先验信息
1 , ˆ uk = 0 , 当 L (u k ) ≥ 0 当 L (u k ) < 0
20
对数似然比(续)
当前信息比特u的软输出（即条件对数似 然比）在理想情况下可以被表示为三个 相互独立的部分
− δ1 −δ 2
)
25
LOG-MAP算法
log(eδ1 +...+eδn ) = m δ1~(n−1),δn) +log(1+exp(− δ1~(n−1) −δn )) , eδ1~n−1 =eδ1 +...+eδn−1 ax( =δ1~(n−1) +log(1+exp(−(δ1~(n−1) −δn))) =δ1 +log(1+e
12
Turbo码交织器
在Turbo码中，信息数据经交织处理后 再送入第二个子编码器。通常, 交织器 尺寸 N 远远大于编码器存储级数υ， 而且交织向量的元素是随机选择的
信 息 数 据 编码器 1 凿孔 交 织 器 编码器 2
5信道编码
信道容量/DMC信道/对称DMC
●对称DMC信道的容量 ■性质1：对称DMC信道的条件熵 H(Y|X) 与输入符 号概率分布 p( xi ) 无关，且有H(Y/X)=H(Y/xi)， i=0,1,…,q-1。 ■性质2：输入符号等概率分布时 ,输出符号等概率 分布；反之亦然。 ■性质3：当输入符号等概率分布时, 对称DMC信道 的I(X;Y)达到其信道容量。为
C / w E 2 1 C / W b lim lim 2 ln 2 ln 2 1 . 6 dB C / W 0C C / W 0 N / W 0
信道容量
●DMC信道的容量 ■输入符号集 X ={ x1 , x2 , … , xq } ■输出符号集 Y ={ y1 , y2 , … , yQ } ■如已知信道的转移概率 p( yj | xi ) , 则对应输入符 号的概率分布p(xi)可以求出信道的传输信息 qQ I(X;Y) p ( y x ) j| i
信道容量/DMC信道
●若信道平均传输一个符号需要t秒种 , 则单位时间的 信道容量记为Ct。 Ct = C / t 单位: bit/s ●这里存在两个问题： ■一是I(X;Y)的最大值是否存在？ ■二是如果最大值存在，怎样才能找到它？ 定理：给定转移概率矩阵P后，平均互信息I(X;Y)是 概率矢量Px的上信道编码的目的是提高信息传输或通信的可靠 性。 ■信道编码的任务是降低误码率，使系统具有一定 的纠错能力和抗干扰能力，提高数据传输效率。 ■信道编码的过程是在源数据码流中加插一些码 元，达到在接收端进行检错和纠错的目的。 ■在带宽固定的信道中，总的传送码率是固定的， 由于信道编码增加了数据量，其结果只能是以降 低传送有用信息码率为代价了。
加性高斯白噪声
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
a1 0.5
b1
0.5
a2
0.5
b2
无噪无损信道：错误概率0 P=0.5的二元对称信道：错误概率50%
-信息论基础 李富年 武汉科技大学
信道 编码器
f
译码规则
X
信道
Y
A {a1,a2,.....ar}
B {b1,b2,.....bs}
信道 译码器
F
A {a1,a2,.....ar}
噪声
b1
p(b2 | ar )
p(bs | a1)
p(bs | a2)
p(bs |
ar
)
在这么多种译码规则中，我们选择哪一种?
选择的标准是什么？
当然希望译码后的错误概率越小越好.
-信息论基础 李富年 武汉科技大学
译码规则
对于确定 b j ，制定译码函数 F(bj) ai 译码正确的概率是 p(ai|bj)p [F (bj)|bj] 译码错误的概率是
-信息论基础 李富年 武汉科技大学
b1
b2
F F
(b1 ) (b2 )
a2 a1
错误概率下降为0.01
译码规则
对于一个 rs的传递矩阵，译码规则共有 r s 种
b1
b2
bs
a1 p(b1 | a1)
a2 p(b1 | a2)
ar
p(b1 |
ar
)
p(b2 | a1) p(b2 | a2)
F (b j)a i j 1 ,2 K s
b1
a1 p(b1 | a1) a2 p(b1 | a2)
ar
p(b1 |
ar
)
信息论基础 李富年 武汉科技大学
b2
p(b2 | a1) p(b2 | a2)
p(b2
|
--
ar
)
bs
p(bs | a1)
p(bs | a2)
p(bs |
ar
)
解调器
信 噪声 干
道
扰
源
S＋N
有噪信道编码
信源编码：有效性 信道编码：可靠性
是否 可以编码成0 1 000 111 有效性：0 1 更好 可靠性：000 111 更好，提供纠错功能
-信息论基础 李富年 武汉科技大学
有噪信道编码
有效性，可靠性很难兼顾。提高有效性， 需要消除冗余；提高可靠性，需要适当增 加冗余。
a1 p(b1 | a1)
a2 p(b1 | a2)
ar
p(b1 |
ar
)
信息论基础 李富年 武汉科技大学
b2
p(b2 | a1)
p(b2 | a2)
p(b2--| ar )
bs
p(bs | a1)
p(bs | a2)
p(bs |
ar
)
译码规则
“译码规则”：设计一个函F数(b j ) ，对于每一 个输出符号b j ，确定唯一的输入符号a i 与之 对应
香农第二定理，在理论上很好的统一了有效 性和可靠性，使信息传输率达到信道容量的情 况下，还能够无失真的在有噪信道中传输。
-信息论基础 李富年 武汉科技大学
错误概率及相关因素
与以下三个因素有关： 信道特性 译码规则 编码方法
-信息论基础 李富年 武汉科技大学
信道统计特性
a1
1
b1
1
a2
b2
0.5
j 1
s
p[b j F (b j )]
j 1
称为正确概率
等输入概率情况下
PE
1 r
s j1
p[bj
|
F(bj )]
技巧：一般都不直接 PE ，而是先算 P E 然后求用
PE 1PE
-信息论基础 李富年 武汉科技大学
08
a1
0.2
0.1
a2
0.9
译码规则－例
b1
b2
X P(X)
a1 0.4
a2 0.6
译码规则
a1
1
b1
a2
F F
(b1 ) (b2 )
a1 a2
错误概率为0
信息论基础 李富年 武汉科技大学
1
b2
F F
(b1 ) (b2 )
a2 a1
错误概率为1
--
译码规则
二元对称信道a 1
0.01 0.99
F F
(b1 ) (b2 )
a1 a2
0.99
a2
0.01
错误概率为0.99
p ( e |b j) 1 p ( a i|b j) 1 p [ F ( b j) |b j]
称为条件错误概率
因为输出信号是个随机变量，b j 只是其中一个符号
定义平均错误概率
s
PEE[p(e|bj)] p(bj)•p(e|bj)
信息论基础 李富年 武汉科技大学
--
j1
译码规则
s
s
PE p(bj ) • p(e | bj ) p(bj ) •{1 p[F (bj ) | bj ]}
第五章 有噪信道编码
错误概率及相关因素 如何使信号经过传输后，错误概率最
信道小编码定理 在有噪信道中，无差错传输的最大信
息量有多大
线性分组码 实用编码范例
-信息论基础 李富年 武汉科技大学
有噪信道编码
编码器
等效信道Biblioteka 消息信号S信源
信源编码器
信道编码器
调制器
消息
信宿
信源解码器
信道解码器
解码器
-信息论基础 李富年 武汉科技大学
) )
a1 a1
先计算译码正确的概率
s
PE(F1) p[bjF(bj)] p(a1,b1) p(a1,b2)
j1
p(a1)p(b1 |a1) p(a1)p(b2 |a1) 0.4*0.80.4*0.20.4
PE(F1)1PE(F1)0.6
同理 PE(F2)0.4 PE(F3)0.14 PE(F4)0.86
F1
:
F F
(b1) (b2 )
a1 a1
F2
:
F(b1) F (b2 )
a2 a2
F3
:
FF((bb12))
a1 a2
F4
:
F F
(b1) (b2 )
a2 a1
计算各种译码规则对应的平均差错概率
-信息论基础 李富年 武汉科技大学
译码规则－例
对于规则一(F1) ：
F F
( (
b1 b2
p(e|bj)1p [F (bj)|bj]
使p(e | bj )最小就是要使 p[F(bj)|bj] 最大
-信息论基础 李富年 武汉科技大学
最小错误概率准则
平均错误概率定义后，一个很自然的准则就是
使平均错误概率最小，即最小错误概率准则
s
P EE [p(e|bj)] p(bj)•p(e|bj) j 1
平均错误概率是一个求和式，每一项都是非负 的,如果每一项都为最小，则整个求和式最小.
求和式的每一项 p(bj)•p(e|bj) ,其中 p(b j )与译码 规则无关
j 1
j 1
s
s
p(bj ) p(bj ) • p[F (bj ) | bj ]
j 1
j 1
s
1 p(bj ) • p[F (bj ) | bj ] j 1
s
1 p[bj F (bj )] j 1
-信息论基础 李富年 武汉科技大学
正确概 率
译码规则
s
PE
p(b j ) • p[ F (b j ) | b j ]