第6章 有噪信道编码
合集下载
北工大信息论第六章 有噪信道编码14
0.8 0.2 [PY|X ] 0.1 0.9
转移矩阵各行元素乘以对应的输入概率，得联合概率矩阵
0.32 0.08 [PXY ] 0.06 0.54
译码规则F1对应的平均差错率为
s
Pe (F1) 1 P[F1(bj ), bj ] j 1 1 [P(a1b1) P(a1b2 )] 1 (0.32 0.08) 0.6
j 1
s
s
1 P(bj F (bj )) 1 P(bja*j )
j 1
j 1
Pe
P（aibj )
P（ai )P(bj | ai )
Y X a*
Y X a*
当输入等概:
上式可化为：
P[F(bj )] P a*j 1/ r
Pe
1 r
Y
P(bj | ai )
X a*
例6-1： 参见下图，假设P(a1)=0.4,分别求出4种译码规 则所对应的平均差错率。
最大后验概率条件可等价为最大联合概率条件,为什么呢?
P(a*j | bj ) P(ai | bj ) P(bj )P(a*j | bj ) P(bj )P(ai | bj ) P(a*jbj ) P(aibj )
则最佳译码规则又可表示为：
F：FP((ba*jjb)
j)
a*j A，bj P(aibj )
F1：FF（ （ 11 bb12
) )
a1 a1
F3：FF（ （ 33 bb21
) )
a1 a2
F2：FF（ （ 22 bb12
) )
a2 a2
F4：FF（ （ 44 bb12))
a2 a1
二.错误译码概率 “好”的译码规则的标准是：错误译码概率小
信息论第6章 有噪信道编码
2
6.1噪声信道的编码问1错误概率与译码规则
8
6.1.2译码规则
S个输出符号中的每一个都可以译成r个输入符号中的任何一个。
9
10
11
（X－X*）表示译码规则 之外对应的X
p( y j )
12
13
14
15
16
17
一般来说，后验概率是难以确定的，所有应用起来很不方便，这时引入极大似然译码规则
41
00－
01－
10－
11－
42
43
44
可见，汉明距离用来定量描述符号序列之间的“相似”程度， D越大，码字间相似性越小，反之，D越小，码字间相似性越大。
45
46
47
48
49
50
编码 选用M个消息所对应的码字间最 小距离dmin尽可能大的编码方法； 译码采用将接收序列bj译成与之距离 最近的那个码字ai的译码规则；
35
6.2.2消息符号个数
36
37
38
39
6.2.3（5，2）线性码
Ɩ（5，2）线性码：码长为5，码字的前2个码元是信息位，后3个码元是校验位。 一般来说，如果码长是N，信息位数目为K，那么校验位为（N－K）位， 这种码称为（N，K）分组码。
40
则四个消息分别为00，01，10， 11
51
52
53
54
55
56
关于香农第二定理的说明：
说明1：从上述定理可知，任何信道的信道容量 是一个明确的分界点，当取分界点以下的信息 传输率时，PE以指数趋于零；当取分界点以上 的信息传输率时、PE以指数趋于1。因此，在任 何信道中信道容量是可达的、最大的可靠信息 传输率。 说明2：香农第二定理只是一个存在定理，它只 说明错误概率趋于零的好码是存在的，但没有 给出令人满意的构码方法
信息论基础第6章有噪信道编码定理[103页]
![信息论基础第6章有噪信道编码定理[103页]](https://img.taocdn.com/s3/m/29f089d31ed9ad51f11df279.png)
6.5.2 线性分组码的译码
在二元域中，少 1 个方程导致 2 个解，少 2 个方程导致 22 个解，
以此类推，少 k 个方程导致 2k 个解，即每个伴随式对应的错误图样
有 2k 个解。究竟取哪一个作为错误图样的解呢？根据最小汉明距离
译码规则，应该取重量最小者作为 E 的估值。但是如果每接收一个码 字就要解一次线性方程，太麻烦。当 n-k 不大时，通常预先把不同 S 下的方程组解出来，把各种情况下的最小汉明距离译码输出列成一个 码表，称为标准阵列译码表。在实时译码时就不必解方程组，而只要 查标准阵列译码表就可以了。
《信息论基础》
第6章 有噪信道编码
本章内容
6.1 错误概率
6.7 卷积码
6.2 有噪信道编码定理
6.8 交织码
6.3 联合信源信道编码定理 6.9 级联码
6.4 信道编码的基本概念
6.10 Turbo码
6.5 线性分组码
6.11 LDPC码
6.6 循环码
《信息论基础》
6.1 错误概率
6.1.1 错误概率和译码规则
信道编码的实质就是通过牺牲有效性来换取可靠性的提高。在信
息码元中加入监督码元的多少，可以通过冗余度 来衡量。例如，每
3 个信息码元中加入 1 个监督码元，这时冗余度 1/ 4 。信道编码的
任务就.4.1 信道编码的分类
①
按照信道特性和设计的码字类型进行划分，信道编码可
标准阵列译码表为一个 2nk 行 2k 列的码表，用来存放接收码字
R rn1,rn2 ,,r1,r0 可能的 2n 种组合。
构造标准阵列译码表，一般可以采用以下几个步骤： ① 根据最小汉明距离译码规则，确定各伴随式对应的差错图样。
信息论与编码-第6章 有噪信道编码
p(e|bj)=1-p(ai|bj)=1-p[F(bj)|bj]
平均错误译码概率:
PE p(b j ) P(e | b j ) p(b j )[1 P(ai | b j )]
j 1 j 1
s
s
最小错误概率准则
问题: 如何选择p(ai|bj)? 使p(e|bj)最小, 就应选 择p[F(bj)|bj]为最大, 即选择译码函数
简单重复编码
根据这个规则计算得译码后的错误概率为
Y , X a
PE
p ( i ) p ( j | i ) p( j | i )
1 = M
Y , X a
1 3 2 2 2 2 2 2 3 ( p pp pp pp pp pp pp p ) 2 p 3 3 pp 2 3*104 ( p 0.01)
X a ,Y
p ( ai ) p (b j | ai ) p (ai ) pe( i )
X X Y
X a ,Y
p (b j | ai ) p (ai ) F (b j ) a
如果先验概率p(ai)相等, 则: 1 PE Pe( i ) r X
第6.1节 错误概率与译码规则
1 [(0.2 0.3) (0.3 0.3) (0.2 0.4)] 0.567 3
第6.1节 错误概率与译码规则
0.5 0.3 0.2 P 0.2 0.3 0.5 for A 0.3 0.3 0.4 若采用前述译码函数A, 则平均错误率为: 1 PE P(b | a ) 3 Y , X a*
p2 p pp 2
4
平均错误译码概率:
PE p(b j ) P(e | b j ) p(b j )[1 P(ai | b j )]
j 1 j 1
s
s
最小错误概率准则
问题: 如何选择p(ai|bj)? 使p(e|bj)最小, 就应选 择p[F(bj)|bj]为最大, 即选择译码函数
简单重复编码
根据这个规则计算得译码后的错误概率为
Y , X a
PE
p ( i ) p ( j | i ) p( j | i )
1 = M
Y , X a
1 3 2 2 2 2 2 2 3 ( p pp pp pp pp pp pp p ) 2 p 3 3 pp 2 3*104 ( p 0.01)
X a ,Y
p ( ai ) p (b j | ai ) p (ai ) pe( i )
X X Y
X a ,Y
p (b j | ai ) p (ai ) F (b j ) a
如果先验概率p(ai)相等, 则: 1 PE Pe( i ) r X
第6.1节 错误概率与译码规则
1 [(0.2 0.3) (0.3 0.3) (0.2 0.4)] 0.567 3
第6.1节 错误概率与译码规则
0.5 0.3 0.2 P 0.2 0.3 0.5 for A 0.3 0.3 0.4 若采用前述译码函数A, 则平均错误率为: 1 PE P(b | a ) 3 Y , X a*
p2 p pp 2
4
第六章有噪信道编码
p( x i / y j ) = p( x i ) p( y j / x i ) p( y j ) p( x * ) p( y j / x )
p( 样，当信道输入符号集X的先验概率为等概时，根 这样，当信道输入符号集X的先验概率为等概时， 据最大后验概率译码准则， 据最大后验概率译码准则， p(x*)p(yj/x*)≥p(xi)p(yj/xi) (i=1,2,……n) 最大后验概率可以用最大信道转移概率来取代。 最大后验概率可以用最大信道转移概率来取代。
使用最大后验概率译码准则必须已知后验概率，一般 使用最大后验概率译码准则必须已知后验概率， 说来，后验概率很难确定， 说来，后验概率很难确定，但信道的统计特性描述总 是给出信道转移概率， 是给出信道转移概率，因此利用信道转移概率的译码 准则。 准则。 由概率中的贝叶斯定理可有： 由概率中的贝叶斯定理可有：
6.1.2译码准则 6.1.2译码准则
定义6.1.1 定义6.1.1 设信道 输入符号集X={x ,i=1,2,…,r}, 输入符号集X={xi,i=1,2, ,r}, 输符号集为Y={y ,j=1,2,…,s}, 输符号集为Y={yj,j=1,2, ,s}, 若对每一个输出符号y 若对每一个输出符号yj都有一个确定的函数 对应于惟一的一个输入符号x F(yj)，使yj对应于惟一的一个输入符号xi，则 这样的函数为译码规则。 这样的函数为译码规则。 F(yj)=xi (i=1,2,…r; j=1,2,…s) 对于有r个输入， 个输出的信道来说， 对于有r个输入，s个输出的信道来说，可以 rs个不同的译码准则 个不同的译码准则。 有rs个不同的译码准则。
消息集中 一个元素
信道波形 空间中的 一个点
失真后 的波形
恢复的 消息
信信 编编
p( 样，当信道输入符号集X的先验概率为等概时，根 这样，当信道输入符号集X的先验概率为等概时， 据最大后验概率译码准则， 据最大后验概率译码准则， p(x*)p(yj/x*)≥p(xi)p(yj/xi) (i=1,2,……n) 最大后验概率可以用最大信道转移概率来取代。 最大后验概率可以用最大信道转移概率来取代。
使用最大后验概率译码准则必须已知后验概率，一般 使用最大后验概率译码准则必须已知后验概率， 说来，后验概率很难确定， 说来，后验概率很难确定，但信道的统计特性描述总 是给出信道转移概率， 是给出信道转移概率，因此利用信道转移概率的译码 准则。 准则。 由概率中的贝叶斯定理可有： 由概率中的贝叶斯定理可有：
6.1.2译码准则 6.1.2译码准则
定义6.1.1 定义6.1.1 设信道 输入符号集X={x ,i=1,2,…,r}, 输入符号集X={xi,i=1,2, ,r}, 输符号集为Y={y ,j=1,2,…,s}, 输符号集为Y={yj,j=1,2, ,s}, 若对每一个输出符号y 若对每一个输出符号yj都有一个确定的函数 对应于惟一的一个输入符号x F(yj)，使yj对应于惟一的一个输入符号xi，则 这样的函数为译码规则。 这样的函数为译码规则。 F(yj)=xi (i=1,2,…r; j=1,2,…s) 对于有r个输入， 个输出的信道来说， 对于有r个输入，s个输出的信道来说，可以 rs个不同的译码准则 个不同的译码准则。 有rs个不同的译码准则。
消息集中 一个元素
信道波形 空间中的 一个点
失真后 的波形
恢复的 消息
信信 编编
信息论与编码[第六章有噪声道编码定理与纠错码]山东大学期末考试知识点复习
![信息论与编码[第六章有噪声道编码定理与纠错码]山东大学期末考试知识点复习](https://img.taocdn.com/s3/m/b40579cd08a1284ac85043d8.png)
第六章有噪声道编码定理与纠错码6．1．1 译码准则在有噪信道中传输消息是会发生错误的，而接收端引起错误的大小与选择的译码准则有关，也与信道编码所选码字有关。
3．最小距离译码准则(1)汉明距离码字αi和输出序列βj之间对应位置上不同码元的个数，记为D(αi，βj)，称汉明距离。
对于二元信道(二元码)汉明距离为在二元对称信道中最小距离译码准则等于最大似然译码准则。
而在其他信道中，它们不一定相等。
6．1．2 平均错误概率最小错误概率译码准则使P E最小。
最大似然译码准则本身只与信道传递概率有关，不再依赖先验概率P(αi)(或P(a i))，但不一定能使P E最小。
最大似然译码准则只有在输入符号等概率分布时P E才达最小，此时他与最小错误概率译码准则是等价的。
6．1．3 费诺不等式6．1．4 信道编码的编、译基本原则主要讨论二元对称无记忆信道。
1．编码原则在n次扩展信道输入符号αi中选取M个码字组成一组码书C，应尽量使选取的M个码字中任意两不同码字的汉明距离尽可能地大。
2．译码原则采用最大似然译码准则，即当收到βj后，译成与之汉明距离为最近的那个码字α*。
遵照上述编、译码原则，可做到保持一定信道信息传输速率(码率)R，而使PE尽可能地小。
6．1．5 联合ε典型序列6．1．6 有噪信道编码定理及其逆定理1．定理及其逆定理有噪信道的信道容量为C，若信息传输率R<C，只要码长n足够长，必存在一种信道编码和相应的译码规则，使译码平均错误概率P E为任意小。
反之，若R>C则不存在以R传输信息而P E为任意小的码。
此定理可推广到有记忆信道、连续信道、波形信道中。
只是与研究信道容量一样，在连续情况下需对输入信源加入某些限制条件。
2．有噪信道编码与抗干扰能力有噪信道编码定理及其逆定理论证了，任何信道的信道容量是一个明确的分界点。
当R<C并接近C时，总能克服和消除信道中干扰和噪声引起的错误，达到可靠地传输信息。
第六章有噪信道编码定理
一般P(bj)不等于0，最大后验概率可表示为：选择译 码函数：F (bj ) a* , a* A, bj B 使满足 1式
P(b j a ) P(a ) P(b j ai ) P(ai ), ai A ai a
* *
2018/11/1
理信学院 孙桂萍
*
12/17
最大似然译码准则
(0) (1) PE P(0) P P(1) P e e
1 1 1 1 1 2 3 2 3 3
可见，译错的可能性减少，译对的可能性增加了。
2018/11/1
理信学院 孙桂萍
6/17
译码规则
数学定义：设离散单符号信道的输入符号集为 A={ai}，i=1,2,…,r；输出符号集为B={bj}， j=1,2,…,s。制定译码规则就是设计一个函数 F(bj)，它对于每一个输出符号bj确定一个唯一 的输入符号ai与其对应。
2018/11/1
理信学院 孙桂萍
9/17
平均错误概率
平均错误概率PE应是条件错误概率对所有的Y求统 计平均。
PE P(b j ) P(e b j )
j 1
s
为了是PE尽可能的小，对于“=”右侧的每个求和项都是非负的， 所以应使得每个项尽量的小，而且译码规则只影响条件错误概 率，对P(bj)没有影响，所以应选取译码规则使得条件错误概率 尽量的小，那么也就是寻找条件正确概率尽量的大。
2018/11/1
理信学院 孙桂萍
11/17
最大后验概率准则另一种描述
因为一般已知传递概率 P(bj ai ) 和输入符号的先验 概率 P(ai ) ，所以将 P(a* b j ) P(ai b j ), ai A ai a* 根据贝叶斯定律改写为：
信息论第6章有噪信道编码
可编辑ppt
定理
分组码最小汉明距离与检错和纠错能力的关系:
1）dmin e (t为纠错个数） 用于FEC
3）dmin e t 1（e>t） 用于HEC（又检又纠）
↑→ 检错和纠错能力↑
可编辑ppt
dmin e 1
可编辑ppt
可编辑ppt
4
差错控制方式
差错控制方式一般可以分为四种类型：
• 检错重发（ARQ） • 前向纠错（FEC） • 混合纠错检错（HEC） • 信息反馈（IRQ）
可编辑ppt
汉明距离与最大似然译码
• 定理 对于一个二进制对称信道，如果信道输 入码字为等概率分布，则其最大似然译码可以 等价于最小汉明距离译码。
8
dmin 2t 1
可编辑ppt
9
dmin e t 1
可编辑ppt
10
可编辑ppt
1
译码规则的选择依据: 使平均错误概率最小。
最小错误概率准则
选择译码函数F(bj)=a*并使之满足条件: p(a*|bj)≥p(ai|bj) （对所有ai≠a*）
极大似然译码准则
• 选择译码函数F(bj)=a*,使满足 p(bj|a*)p(a*)≥p(bj|ai)p(ai)，即p(a*bj)≥p(aibj)。
可编辑ppt
2
有噪信道编码定理 ——香农第二定理
定理1 设有一离散无记忆平稳信道，其信道容量为C，
只要待传送的信息传输率 R＜C，则存在一种编码， 当输入序列长度n足够大时，使译码错误概率任意小。 物理含义：
(1) 只要R＜C，就可以在有噪信道中以任意小 的错误概率(pE＜)传输信息；
(2) 当输入序列长度n足够大时，可以以任意接 近信道容量C的信息传输率传递信息。
定理
分组码最小汉明距离与检错和纠错能力的关系:
1）dmin e (t为纠错个数） 用于FEC
3）dmin e t 1（e>t） 用于HEC（又检又纠）
↑→ 检错和纠错能力↑
可编辑ppt
dmin e 1
可编辑ppt
可编辑ppt
4
差错控制方式
差错控制方式一般可以分为四种类型：
• 检错重发（ARQ） • 前向纠错（FEC） • 混合纠错检错（HEC） • 信息反馈（IRQ）
可编辑ppt
汉明距离与最大似然译码
• 定理 对于一个二进制对称信道，如果信道输 入码字为等概率分布，则其最大似然译码可以 等价于最小汉明距离译码。
8
dmin 2t 1
可编辑ppt
9
dmin e t 1
可编辑ppt
10
可编辑ppt
1
译码规则的选择依据: 使平均错误概率最小。
最小错误概率准则
选择译码函数F(bj)=a*并使之满足条件: p(a*|bj)≥p(ai|bj) （对所有ai≠a*）
极大似然译码准则
• 选择译码函数F(bj)=a*,使满足 p(bj|a*)p(a*)≥p(bj|ai)p(ai)，即p(a*bj)≥p(aibj)。
可编辑ppt
2
有噪信道编码定理 ——香农第二定理
定理1 设有一离散无记忆平稳信道，其信道容量为C，
只要待传送的信息传输率 R＜C，则存在一种编码， 当输入序列长度n足够大时，使译码错误概率任意小。 物理含义：
(1) 只要R＜C，就可以在有噪信道中以任意小 的错误概率(pE＜)传输信息；
(2) 当输入序列长度n足够大时，可以以任意接 近信道容量C的信息传输率传递信息。
第六章有噪信道编码定理
A的PE=0.600
Hale Waihona Puke >在输入不是等概率分布时,根据最大似然译码规则,仍 其 PE = 0 .50 可采用译码函数为B,计算其平均错误概率P’’E=0.6. 但采用最小错误概率译码准则, 它不是最小的. 比如 输入不是等概率分布时最大似然译码准则的平均 错误概率不是最小.
C : F (b2 ) ==0.567 B的PE a 3 F (b ) = a 3 3
例6.2(续6.1)
根据最大似然译码规则可选择译码函数为B. 因为在矩阵的第1列中P(b1|a1)=0.5最大;第3列中 P(b3|a2)=0.5最大;而在第2列中P(b2|ai)=0.3,所以 F(b2)任选a1,a2,a3都行. 在输入等概率分布时采用译码函数B可使信道平均错 译码函数为: 误概率最小. F (b ) = a
我们也可以在矩阵 P(ai )P(bj | ai )]中先对i求和，除去译码规则中 [ F(bj ) = ai*所对应的P(aibj )( j =1,..., r); 然后再对各行求和。
因 式 此 (6.12)也 以 可 写成 P =∑ E
X Y −a*对 的 j 应 b
∑
P(ai )P(bj | ai )
在此译码规则下，平均错误概率 PE=P(0)Pe(0)+P(1)Pe(1)=2/3 反之，若译码器根据这个特殊信道定出另一种译码规则，将 输出端接收符号“0”译成“1”，接收符号“1”译成“0”， 则译错的可能性就减少了，为1/3。而译对的可能性就增大了， 为2/3。
码的规则有关。
译码规则：
设离散单符号信道的输入符号集为A = {ai }, i = 1,2,..., r; 输出符号集为B = {b j }, j = 1,2,..., s。制定译码规则就是 设计一个函数F (b j )，，它对于每一个输出符号b j 确定 一个惟一的输入符号ai与其对应（单值函数），即 (i = 1,2,..., r ) F (b j ) = ai ( j = 1,2,..., s) (6.1)
第6章 有噪信道编码定理
有噪信道编码定理是研究在有噪声和干扰的信道中进行无错传输的最大信息传输率的理论。对于无噪无损信道，只需适当编码即可无差错传递信息。然而，实际信道总存在噪声和干扰，因此需要分析错误概率并采取措施进行控制。错误概率与信道的统计特性及译码规则密切相关。译码规则是根据信道输出符号选择对应输入符号的函数，其选择应依据使平均错误概率最小的原则。最大后验概率准则和最大似然译ቤተ መጻሕፍቲ ባይዱ准则是常用的译码准则，旨在选择具有最大后验概率或最大似然值的输入符号作为译码输出。通过合理设计译码规则，可以有效降低错误概率，提高通信的可靠性。此外，文档还详细推导了平均错误概率的计算公式，为评估和优化信道编码性能提供了理论依据。
6第六章 有噪信道编码
F ( y j ) xi
X x1 , x2 , , xr
F ( y1 ) x1 / x2 / / xr
F ( y2 ) x1 / x2 / / xr
（i 1, 2, , r j 1, 2, , s）
Y y1 , y2 , , y s
信道
F ( ys ) x1 / x2 / / xr
H(X |Y )
X ,Y
1 p xy log p x | y 1 1 p xy log p xy log p x | y Y ,X* p x | y
X X * ,Y
H ( X | Y ) [ H ( PE ) PE log( r 1)]
设译码规则为
当输入符号是xi时，译码正确 当输入符号为除xi以 译码错误 外的(r-1)种符号时，
F ( y j ) xi
正确译码的概率：(条件正确概率）
p F ( y j ) | y j p ( xi | y j )
错误译码的概率：(条件错误概率）
p(e | y j ) 1 p(xi | y j ) 1 p[F( y j ) | y j ]
F ( y2 ) x2 F ( y3 ) x3 F ( y1 ) x1 F ( y2 ) x3 F ( y 3 ) x2
译码规则A
译码规则B
对于有r个输入符号，s个输出符号的信道，总共可以设计出 s 种译码规则，到底哪一种译码规则最好？依据什么标准来选择译 码规则？
r
11
6.2.3 错误概率
Y ,X* Y ,X*
1 p ( yj | xi ) p ( xi )
X x1 , x2 , , xr
F ( y1 ) x1 / x2 / / xr
F ( y2 ) x1 / x2 / / xr
（i 1, 2, , r j 1, 2, , s）
Y y1 , y2 , , y s
信道
F ( ys ) x1 / x2 / / xr
H(X |Y )
X ,Y
1 p xy log p x | y 1 1 p xy log p xy log p x | y Y ,X* p x | y
X X * ,Y
H ( X | Y ) [ H ( PE ) PE log( r 1)]
设译码规则为
当输入符号是xi时，译码正确 当输入符号为除xi以 译码错误 外的(r-1)种符号时，
F ( y j ) xi
正确译码的概率：(条件正确概率）
p F ( y j ) | y j p ( xi | y j )
错误译码的概率：(条件错误概率）
p(e | y j ) 1 p(xi | y j ) 1 p[F( y j ) | y j ]
F ( y2 ) x2 F ( y3 ) x3 F ( y1 ) x1 F ( y2 ) x3 F ( y 3 ) x2
译码规则A
译码规则B
对于有r个输入符号，s个输出符号的信道，总共可以设计出 s 种译码规则，到底哪一种译码规则最好？依据什么标准来选择译 码规则？
r
11
6.2.3 错误概率
Y ,X* Y ,X*
1 p ( yj | xi ) p ( xi )
信道编码6-x - 副本
(纠正1位错误且编码效率较高的线性分组码)
信息位a6a5a4a3 监督位a2a1a0 信息位a6a5a4a3 监督位a2a1a0
0000 0001 0010 0011 0100 0101 0110 0111
000 011 101 110 110 101 011 000
1000 1001 1010 1011 1100 1101 1110 1111
，通过生成矩阵可以得到生成码组。 如果输入码组为 0011
Q PT
1 0 A 0 0 1 1 G 0 0 1 1 0 0 0 0 0 1 0 0 0 1 0 0 0 1 1 1 1 1 1 0 0 0 1 1 1 1 0 1 0 1 0 1 1
信息位 监督位
偶监督
an1 an2 a1 a0 0
奇监督
an1 an2 a1 a0 1
如果以上关系被破坏，则出现错误，因此能检查出 奇数个错误，但不能检测偶数个错误。 最小码距为 dmin=2 这种码检错能力不高，采用什么方法提高呢？
汉明码的编码效率
汉明码能纠正一个错码，则要求 2r-1 ≥n 或2r ≥k+r+1 汉明码的编码效率等于 K/n=(2r-1-r)/(2r-1)=1-r/(2r-1)=1-r/n 可见，汉明码是一种高效码。
6.3 循环码
所谓循环码（Cyclic Code）就是任何一个 码字循环右移一位后所得到的仍是一个合法 码字，也就是说这个码在循环位移运算下具 有封闭性。 具有这种循环特性的子空间称为循环子空间。 循环码是线性分组码中最有理论意义和实用 价值的一种编码。
错码位置 a4 a5 a6 无错
S1 a6 a5 a4 a2 S2 a6 a5 a3 a1 S3 a6 a4 a3 a0
信息位a6a5a4a3 监督位a2a1a0 信息位a6a5a4a3 监督位a2a1a0
0000 0001 0010 0011 0100 0101 0110 0111
000 011 101 110 110 101 011 000
1000 1001 1010 1011 1100 1101 1110 1111
，通过生成矩阵可以得到生成码组。 如果输入码组为 0011
Q PT
1 0 A 0 0 1 1 G 0 0 1 1 0 0 0 0 0 1 0 0 0 1 0 0 0 1 1 1 1 1 1 0 0 0 1 1 1 1 0 1 0 1 0 1 1
信息位 监督位
偶监督
an1 an2 a1 a0 0
奇监督
an1 an2 a1 a0 1
如果以上关系被破坏，则出现错误，因此能检查出 奇数个错误，但不能检测偶数个错误。 最小码距为 dmin=2 这种码检错能力不高，采用什么方法提高呢？
汉明码的编码效率
汉明码能纠正一个错码，则要求 2r-1 ≥n 或2r ≥k+r+1 汉明码的编码效率等于 K/n=(2r-1-r)/(2r-1)=1-r/(2r-1)=1-r/n 可见，汉明码是一种高效码。
6.3 循环码
所谓循环码（Cyclic Code）就是任何一个 码字循环右移一位后所得到的仍是一个合法 码字，也就是说这个码在循环位移运算下具 有封闭性。 具有这种循环特性的子空间称为循环子空间。 循环码是线性分组码中最有理论意义和实用 价值的一种编码。
错码位置 a4 a5 a6 无错
S1 a6 a5 a4 a2 S2 a6 a5 a3 a1 S3 a6 a4 a3 a0
信息论基础理论和应用第三版傅祖芸-讲义
001 010 011 100 101 110
用作消息旳码字（ 许用码字） 000 （表达0）
二元对称信 道旳三次扩
展信道
111 （表达1）
输出端 接受序列
000 001 010 011 100 101 110 111
则信道矩阵为：
根据最大似然译码准则，当p=0.01，可得译码函数为：
F(000)=000 F(100)=000
一般信道传播时都会产生错误，而选择译码准 则并不会消除错误，那么怎样降低错误概率呢？下边讨 论经过编码措施来降低错误概率。
例：对于如下二元对称信道
0
0.99
0
0.01
0.01
1
1
0.99
按照最大似然准则译码，
怎样提升信道传播旳正确率呢？可用反复消息旳措施，即尝试 扩展信道旳措施。
未用旳码字 （禁用码字）
第二种措施旳错误率为
比较可知，第一种措施好。仔细观察发觉： 在第一种措施中，假如 000 有一位犯错，就能够鉴定犯错 了； 而在第二种措施中，假如000中任何一位犯错，就变成了其 他旳正当旳码字，我们无法判断是否犯错。 再仔细观察，发觉第二种措施中，码字之间太相同。
码字距离： 长度为n旳两个码字相应位置上不同码元旳个数。一
详细计算如下：
即：
假如先验概率相等，则：
某个输入符号ai传播引起旳 错误概率
例：某信道
1）若根据最大似然准则选择译码函数为B： 若输入等概率，则平均错误概率为
若输入不等概分布 ，则错误概率为：
2）采用最小错误概率译码准则，则联合矩阵为：
所得译码函数为：C： 平均错误概率：
6.2 错误概率与编码措施
0
1/3
2/3
用作消息旳码字（ 许用码字） 000 （表达0）
二元对称信 道旳三次扩
展信道
111 （表达1）
输出端 接受序列
000 001 010 011 100 101 110 111
则信道矩阵为：
根据最大似然译码准则，当p=0.01，可得译码函数为：
F(000)=000 F(100)=000
一般信道传播时都会产生错误，而选择译码准 则并不会消除错误，那么怎样降低错误概率呢？下边讨 论经过编码措施来降低错误概率。
例：对于如下二元对称信道
0
0.99
0
0.01
0.01
1
1
0.99
按照最大似然准则译码，
怎样提升信道传播旳正确率呢？可用反复消息旳措施，即尝试 扩展信道旳措施。
未用旳码字 （禁用码字）
第二种措施旳错误率为
比较可知，第一种措施好。仔细观察发觉： 在第一种措施中，假如 000 有一位犯错，就能够鉴定犯错 了； 而在第二种措施中，假如000中任何一位犯错，就变成了其 他旳正当旳码字，我们无法判断是否犯错。 再仔细观察，发觉第二种措施中，码字之间太相同。
码字距离： 长度为n旳两个码字相应位置上不同码元旳个数。一
详细计算如下：
即：
假如先验概率相等，则：
某个输入符号ai传播引起旳 错误概率
例：某信道
1）若根据最大似然准则选择译码函数为B： 若输入等概率，则平均错误概率为
若输入不等概分布 ，则错误概率为：
2）采用最小错误概率译码准则，则联合矩阵为：
所得译码函数为：C： 平均错误概率：
6.2 错误概率与编码措施
0
1/3
2/3
ch6-有噪信道编码编码
, r}, 输出符号
, s}, 如果对已每一个符号y j , 都有一个确 （i 1, , r，j 1, , s） . 9
定的函数F ( y j ), 使y j 对应于唯一的一个输入符号xi，称这样的 函数为译码规则，记为F ( y j ) xi
6.1.2 译码规则
译码规则 1： F (y1)=F(y2)=F(y3)=F (y4)=x1, F (y5)=F(y6)=F(y7)=F (y8)= x2. 译码规则 2： F (y1)=F (y2)=F (y3)=F (y4)= F (y5)=F (y6)= F(y7)=x1, F(y8)= x2.
信息对抗技术研究所
第6章 有噪信道编码
教师：李琼
哈尔滨工业大学
计算机科学与技术学院
主要内容
6.1 噪声信道的编码问题 6.2 错误概率与编码方法
6.3 有噪信道编码定理
6.4 错误概率的上界
2
信
源
信 源 编 码 器⊕Fra bibliotek保 密 编 码 器
信 道 编 码 器
调 制 器
信道
解 调 器
信 道 译 码 器
⊕
平均错误概率（设输入等概率分布）：
(0) (1) pE p(Y 0) pE p(Y 1) pE 2/3
12
6.1.2 译码规则
译码函数2：F(0)=1,F(1)=0
y1 0 y2 1
1 3 P 2 x2 1 3
x1 0
2 3 1 3
信道 输出 0
注：对于同一有噪声信道，可以制定不同的译码函数
目标：在rs个译码规则中找到最理想的一个。 准则：使平均错误概率最小的
14
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
(2)
Pemin=
29
2． 设有一离散信道，其信道矩阵为
（1）当信源X的概率分布为p(a1)=2/3，p(a2)=p(a3)=1/6时， 按最大后验概率准则选择译码函数，并计算其平均错误译码概 率Pemin
（2）当信源是等概率分布时，选择最大似然译码准则选择 译码函数，并计算其平均错误译码概率Pemin。
41
习题：
1． 设离散无记忆信道的输入符号集X:{0,1}，输出符号集 Y:{0,1,2}，信道矩阵为: P=
若某信源输出两个等概消息x1，x2，现在用信道输入符号集对 x1，x2进行编码，W1=00，W2=11代表x1，x2。按最大似然准则写 出译码函数，并求出最小平均错误译码概率Pemin。
30
解： (1) 联合概率：
后验概率
根据最大后验概率准则：F(b1)=1
信道矩阵为：
(2) 当信源是等概率分布时 采用最大似然译码准则F(b1)=a1，F(b2)=a2，F(b3)=a3
32
33
34
35
36
37
38
39
40
65
66
67
68
69
70
71
72
73
74
75
42
解：
P=
(1) 选择译码函数 F(b1)=F(b2)=F(b3)=F(b4)=F(b7)=x1 F(b5)=F(b6)=F(b8)=F(b9)=x2 (2)
43
44
45
46
47
48
49
50
51
52
53
54
设分组码（n,k）中，n=6，k=3，并按下列方 程选取字中的码字。 求信息序列(a1a2a3)变换成六位的八个码字， 并求出编码效率。
习题： 1．
编码效率：
55
56
57
58
59
习题：
1． αi，βj是两个码符号{0,1}组成的符号序列 ， 求αi，βj 之间的汉明距离
解：D(αi，βj)=
2． W:{000,001,010,100,011,110,101,111}的最小汉明距离
解：Dmin=1
60
61
62
63
64
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
-
25
26
27
28
习题：
1． 设某信道，其信道矩阵为 若信道的输入符号a1,a2,a3先验等概， 1）若使平均错误译码概率最小,请选择译码函数。 2）求出此错误译码概率Pemin。 解：(1)因为先验等概,所以选择最大似然译码准则 F(b1)=a1 F(b2)=a3 F(b3)=a2