信息论-第7章抗干扰信道编码

)|y j ] p( y j )

) p[ F ( y j )|y j ] p( y j )
1 p[ F ( y j ), y j ]
p( xy ) p[ F(y),y ] p( xy ) p( x*y )
XY Y,X x* XY Y
p(xy) p(y|x)p(x)
19
7.2 译码规则的选择准则
4、费诺不等式
译码时发生错误是由信道中噪声引起的，因此平均 错误概率pE与信道疑义度H(X|Y)有关。表述这种关系有 下述引理：费诺不等式 引理7.2.1 错误概率pE与信道疑义度H(X|Y)之间的关系
H(X|Y)＜H(pE)十pElog(r—1)
这个不等式称为费诺不等式。 虽然PE与译码规则有关，但不管采用什么译码规则 该不等式均成立。对于给定的信源、信道及编码、译码 规则，信道疑义度H(X|Y)=H(X)－I(X;Y)就可以被确定， 它是信源熵超过I(X;Y)的部分。这个值给定了译码错误的 下限。 20
(2) 定义7.2.2 极大似然译码规则 选择译码函数F(yj)＝x*，使之满足条件
p( y j | x* ) p( x* ) p( y j | xi ) p( xi ) 对i
当信道输入符号为等概分布时，可以写成
p( y j | x* ) p( y j | xi )
对i
当信道输入符号为等概分布时，应用极大似然译码规则 是最方便的。所用的条件概率为信道矩阵中的元素。
5
第7章
抗干扰信道编码
• 通过信道编码实现信源与信道相匹配。
• 信道编码的编码对象是信源编码器输出的数字序 列M，又称为信息序列。通常是由二元符号0,1构 成的序列，而且0和1是独立等概的。 • 信道编码是按一定的规则给数字序列M增加一些 多余的码元，使不具有规律性的信息序列M变换 为具有某种规律性的数字序列C，又称为码序列。 • 码序列中信息序列的诸码元与多余码元之间是相 关的。
pE E[ p(e | y j )] p( y j ) p(e | y j )
j 1 s
平均错误概率pE的含义是经过译码后，平均接收到一个符号 所产生错误概率的大小。 14
7.2 译码规则的选择准则
2、译码规则 使平均错误概率pE最小为选择译码规则的准则 (1) 定义7. 2.1 最大后验概率译码规则理想观测者规则 选择译码函数F(yj)＝x*，使之满足条件
p( x* | y j ) p( xi | y j )
对i
它是选择这样一种译码函数，对于每一个输出符号 yj，j＝1、2，…，s 均译成具有最大后验概率的那个输 入符号x*，则信道译码错误概率会最小。但一般说来， 后验概率应用起来并不方便，这时我们引入极大似然译 码规则。
15
7.2 译码规则的选择准则
接收端 接收序列 1 000
111
2 3 4 5 6 7 8
001 010 011 100 101 110 111
25
7.3.1 简单重复编码
p3 P 3 p p2 p pp 2 p2 p pp 2 pp 2 p2 p p2 p pp 2 pp 2 p2 p pp 2 p3 2 3 p p p
23
7.3.1 简单重复编码
设有二元对称信道如图所示。
其信道矩阵为 0.99 0.01 P 0.01 0.99
最佳译码规则 F ( y1 ) x1 A: F ( y2 ) x2
输入分布为等概分布条 件下, 平均错误概率 1 1 pE p( y | x ) [0.01 0.01] 10 2 r Y , X x* 2
6
第7章
抗干扰信道编码
• 在接收端，信道译码器利用这种预知的编码规 则来译码，或者说检验接收到的数字序列R中 是否有错，或者纠正其中的差错。 • 信道编码的基本思想是根据相关性来检测和纠 正传输过程中产生的差错。 • 在有噪信道中传输消息是会发生错误的，错误 概率和信道的统计特性、译码过程及译码规则 有关。
– –
接收到符号1时，译码器把它译成1； 译码错误概率PE=0.9。
a2=1
p 1=b 1-p
2
反之，如果： – 接收到符号0时，译码器把它译成1； – 接收到符号1时，译码器把它译成0； – 译码错误概率PE=0.1。
结论：错误概率既与信道的统计特性有关，也与译码规则有关。
11
7.1 译码规则
定义7.1 设信道输入符号集为X=(xi，i=1,2 …,r)， 输出符号集为Y=(yj，j=l,2,…,s)，若对每一个输出 符号yj都有一个确定的函数F(yj)，使yj对应于唯一的 一个输入符号xi，则称这样的函数为译码规则，即
第7章
抗干扰信道编码
信道编码是以信息在信道上的正确传输为目 标的编码，可分为两个层次上的问题： • 如何正确接收载有信息的信号 －－线路编码 • 如何避免少量差错信号对信息内容的影响 －－纠错编码
1
纠错码分类
• 从功能角度：检错码 、纠错码 • 对信息序列的处理方法：分组码、卷积码 • 码元与原始信息位的关系：线性码、非线 性码 • 差错类型：纠随机差错码、纠突发差错码、 介于中间的纠随机/突发差错码。 • 构码理论：代数码、几何码、算术码、组 合码等
* 当输入为等概分布， p( x ) p( xi ) 则有
p( y j | x* ) p( y j | xi )
对i
17
7.2 译码规则的选择准则
3、平均错误概率
pE
p( y
j 1
s
j
) p( e|y j )
j
1 p[ F ( y p( y
Y Y Y j Y
7
第7章
抗干扰能力，使差错率最小。 • 实质：增加冗余度，扩大信号空间，增大信 号间距离。 • 重要意义：通过信道编码的方法，可以用不 可靠的信道实现可靠的传输。
8
第7章
抗干扰信道编码
内容提要
7.1 译码规则 7.2 译码规则的选择准则 7.3 信道编码的编码原则 7.4 抗干扰信道编码定理 7.5 分组码及其检纠能力 7.7 线性分组码及其生成矩阵 7.8 一致检验矩阵与伴随式 7.9 标准阵列与译码表 7.10 检纠能力与一致检验矩阵的关系 7.11 完备码 7.12 汉明码与扩展汉明码
2
差错控制系统分类
• 前向纠错（FEC）：发端信息经纠错编码后 传送，收端通过纠错译码自动纠正传递过 程中的差错 • 反馈重发（ARQ）：收端通过检测接收码 是否符合编码规律来判断，如判定码组有 错，则通过反向信道通知发端重发该码 • 混合纠错（HEC）：前向纠错和反馈重发 的结合，发端发送的码兼有检错和纠错两 种能力
16
7.2 译码规则的选择准则
(3) 最大后验概率译码规则和极大似然译码规则是等价的 最大后验概率译码规则可以很容易推出极大似然译码 规则。由贝叶斯公式，最大后验概率公式可写为
p( y j | x * ) p( x * ) p( y j ) p( y j | xi ) p( xi ) p( y j ) 对i
设输入符号为等概分布，采用极大似然译码规则 （即大数逻辑译码） F ( 1 ) 1 F ( 4 ) 8
F ( 2 ) 1 F ( 3 ) 1 F ( 5 ) 1 F ( 6 ) 8 F ( 7 ) 8 F ( 8 ) 8
输入为等概条件下，相应的平均错误概率为 1 pE p( j | i ) p( i ) *p( j | i ) M Y ,X x Y , X x*
24
7.3.1 简单重复编码
简单重复编码： 规定信源符号为“0’’(或“1”)时，则重复发 送三个“0”(或“1”)，此时构成的新信道可 以看成是二元对称信道的三次扩展信道。
没有使用 发送端用作 的码字 消息的码字 a1 000 a 2 001 a 3 010 a4 011 a5 100 a6 101 a7 110 a8
13
7.2 译码规则的选择准则
1、错误概率 • 在确定译码规则 F(yj)＝xi， i=1,2 …,r , j=l,2,…,s 之后， 若信道输出端接收到的符号为yj，则一定译成xi。 • 如果发送端发送的就是xi，即为正确译码； • 反之，若发送端发送的xk，且ki，即为错误译码。 • 经过译码后条件正确概率为 p[F ( y j ) | y j ] p( xi | y j ) • 条件错误概率为 p(e | y j ) 1 p( xi | y j ) 1 p[F ( y j ) | y j ] 平均错误概率pE为
4
第7章
抗干扰信道编码
• 信道是通信系统中的重要组成部分，信道的任务是以信 号方式传输信息。 • 信道的输入端和输出端连接着编码器和译码器，形成了 一个新的信道，即编码信道。 • 信道的特征是由信道传递概率p(y|x)来描述的。由此可 以算出它的信道容量C，只要在信道中实际传送的信息 率R＜C，在接收端就应当能够无差错地译出发端所输 送的信息。
Y,X x*
Y
18
7.2 译码规则的选择准则
3、平均错误概率 若输入为等慨分布，则
1 pE *p( y | x ) r Y ,X x
(*)
式(*)意味着，在输入为等概分布的条件下， 译码错误概率PE可用信道矩阵中的元素来表示。 这种求和是除去信道矩阵中每列中对应于F(yj) ＝x*的那一项后，求矩阵中其余元素之和。 注：改变信道的传递特性，降低平均错误概率。
3
第7章 抗干扰信道编码
• 通信的有效性问题：即如何通过对信源进行编码， 压缩信源的多余度，提高传输的效率。 • 通信的可靠性问题：即消息通过信道传输时如何 选择编码方案以减少差错。 • 通信的可靠性显然与信道的统计特性有关，因为 杂噪干扰是造成错误的主要因素。其次，编码方 法和译码方法也将影响信息传输的可靠性。
7.2 译码规则的选择准则
4、费诺不等式 以H(X|Y)为纵坐标， pE为横坐标，函数H(pE)十 pElog(r—1)随pE变化的曲线如下图所示。
21
7.2 译码规则的选择准则
4、费诺不等式 费诺不等式 H(X|Y)＜H(pE)十pElog(r—1)
从费诺不等式可以看出，当作了一次译码判决后所保留的 关于信源的不确定性可以分成两部分： • 第一部分是接收到Y后，判决是否发生错误的不确定性 H(PE, 1-PE)，
• 第二部分是当判决是错误的，其错误概率为PE确定由r-1个 输人符号中哪一个引起错误的不确定性，它是(r-1 )个符号 不确定性的最大值log(r-1 )与PE的乘积。
22
7.3 信道编码的编码原则
• 选择最佳译码规则只能使错误概率pE有限地减小， 无法使pE任意地小 • 必须优选信道编码方法来进一步减小错误概率 • 编码方法介绍 简单重复编码
1 3 ( p pp 2 p p 2 p p 2 p p 2 p p 2 p p 2 p 3 ) 2 p 3 3 pp 2 3 10 4
F(yj)=xi i=1,2 …,r和 j＝l,2,…,s
显然，对于有r个输入、s个输出的信道而言，按 上述定义得到的译码规则共有rs 种。
12
7.1 译码规则
例 7.2 设有一信道，其信道矩阵为
• 由于r＝3，s＝3，s个输出符号中的每一个 都可以译成 r 个输入符号中的任何一个， 故按此倍道矩阵总共可设计出3 3=27种译码 规则。 • 在所有的译码规则中，不是每一种译码规 则部是合理的，因此我们要讨论选择译码 规则的准则。
9
7.1 译码规则
• 错误概率与信道统计特征有关。例如在二 元对称信道中
– 单个符号的错误传递概率是p – 单个符号的正确传递概率是1-p
• 错误概率与译码过程和译码规则的关系也 很大。
10
7.1 译码规则
例7.1 设有一个二元对称信道，如下图所示，其输入符号为 等概分布。
X 在信道输出端，如果规定： a1=0 0 – 接收到符号0时，译码器把它译成0； 1-p=0.1 p=0.9 Y 0=b1