信息论第6章有噪信道编码
合集下载
北工大信息论第六章 有噪信道编码14
0.8 0.2 [PY|X ] 0.1 0.9
转移矩阵各行元素乘以对应的输入概率，得联合概率矩阵
0.32 0.08 [PXY ] 0.06 0.54
译码规则F1对应的平均差错率为
s
Pe (F1) 1 P[F1(bj ), bj ] j 1 1 [P(a1b1) P(a1b2 )] 1 (0.32 0.08) 0.6
j 1
s
s
1 P(bj F (bj )) 1 P(bja*j )
j 1
j 1
Pe
P（aibj )
P（ai )P(bj | ai )
Y X a*
Y X a*
当输入等概:
上式可化为：
P[F(bj )] P a*j 1/ r
Pe
1 r
Y
P(bj | ai )
X a*
例6-1： 参见下图，假设P(a1)=0.4,分别求出4种译码规 则所对应的平均差错率。
最大后验概率条件可等价为最大联合概率条件,为什么呢?
P(a*j | bj ) P(ai | bj ) P(bj )P(a*j | bj ) P(bj )P(ai | bj ) P(a*jbj ) P(aibj )
则最佳译码规则又可表示为：
F：FP((ba*jjb)
j)
a*j A，bj P(aibj )
F1：FF（ （ 11 bb12
) )
a1 a1
F3：FF（ （ 33 bb21
) )
a1 a2
F2：FF（ （ 22 bb12
) )
a2 a2
F4：FF（ （ 44 bb12))
a2 a1
二.错误译码概率 “好”的译码规则的标准是：错误译码概率小
信息论基础课件第6章有噪信道编码
0
0
p p
1 p
p 0.01
1
p p 1
01
0p p
[P]
1
p
p
F (0) 0 F (1) 1
PE
PE m in
1 r
s j 1
i*
p(b j
/
ai
)
1 2
(
p
p) 102
➢ 重复发送可以使PE减小 但是：信息传输率降低
传输消息:
重复码
0, 0 00
1 1 11
校验元
若传000, 收到误传为100,010,001中的任一 种, 则认为是传的000，实现了纠错。
6.1 信道编码的概念
第5章结论：在无噪无损信道上，只要对信源 的输出进行恰当的编码，总能以信道容量C 无差错地传输信息。
实际信道都有噪声干扰，本章研究香农第二 定理，即通信的可靠性问题。包括：
1.怎么使有噪信道中消息传输错误达到最少? 2.在有噪信道中无错误传输的可达的最大信息
传输率是什么?
信道编码概述
0.57
2 编码方法
• 上一节结论： 消息通过有噪信道传输时会发生错误 错误概率与译码规则有关
• 噪声干扰：破坏了信号的内部结构－－产生畸变 而造成信息的损失。
• 提高信号抗噪声干扰能力：改造信号使其内部结 构具有更强的规律性或相关性，当信号的部分结 构被破坏时，仍能根据信号原有的内在规律和相 关性来发现甚至纠正错误，恢复原来的信息。
• 通信系统模型
消息集中 一个元素
信道波形 空间中的
一个点
失真后 的波形
恢复的 消息
信源 编码
信道 编码
信道
信道 译码
信息论第6章 有噪信道编码
2
6.1噪声信道的编码问1错误概率与译码规则
8
6.1.2译码规则
S个输出符号中的每一个都可以译成r个输入符号中的任何一个。
9
10
11
（X－X*）表示译码规则 之外对应的X
p( y j )
12
13
14
15
16
17
一般来说，后验概率是难以确定的，所有应用起来很不方便，这时引入极大似然译码规则
41
00－
01－
10－
11－
42
43
44
可见，汉明距离用来定量描述符号序列之间的“相似”程度， D越大，码字间相似性越小，反之，D越小，码字间相似性越大。
45
46
47
48
49
50
编码 选用M个消息所对应的码字间最 小距离dmin尽可能大的编码方法； 译码采用将接收序列bj译成与之距离 最近的那个码字ai的译码规则；
35
6.2.2消息符号个数
36
37
38
39
6.2.3（5，2）线性码
Ɩ（5，2）线性码：码长为5，码字的前2个码元是信息位，后3个码元是校验位。 一般来说，如果码长是N，信息位数目为K，那么校验位为（N－K）位， 这种码称为（N，K）分组码。
40
则四个消息分别为00，01，10， 11
51
52
53
54
55
56
关于香农第二定理的说明：
说明1：从上述定理可知，任何信道的信道容量 是一个明确的分界点，当取分界点以下的信息 传输率时，PE以指数趋于零；当取分界点以上 的信息传输率时、PE以指数趋于1。因此，在任 何信道中信道容量是可达的、最大的可靠信息 传输率。 说明2：香农第二定理只是一个存在定理，它只 说明错误概率趋于零的好码是存在的，但没有 给出令人满意的构码方法
信息论基础第6章有噪信道编码定理[103页]
![信息论基础第6章有噪信道编码定理[103页]](https://img.taocdn.com/s3/m/29f089d31ed9ad51f11df279.png)
6.5.2 线性分组码的译码
在二元域中，少 1 个方程导致 2 个解，少 2 个方程导致 22 个解，
以此类推，少 k 个方程导致 2k 个解，即每个伴随式对应的错误图样
有 2k 个解。究竟取哪一个作为错误图样的解呢？根据最小汉明距离
译码规则，应该取重量最小者作为 E 的估值。但是如果每接收一个码 字就要解一次线性方程，太麻烦。当 n-k 不大时，通常预先把不同 S 下的方程组解出来，把各种情况下的最小汉明距离译码输出列成一个 码表，称为标准阵列译码表。在实时译码时就不必解方程组，而只要 查标准阵列译码表就可以了。
《信息论基础》
第6章 有噪信道编码
本章内容
6.1 错误概率
6.7 卷积码
6.2 有噪信道编码定理
6.8 交织码
6.3 联合信源信道编码定理 6.9 级联码
6.4 信道编码的基本概念
6.10 Turbo码
6.5 线性分组码
6.11 LDPC码
6.6 循环码
《信息论基础》
6.1 错误概率
6.1.1 错误概率和译码规则
信道编码的实质就是通过牺牲有效性来换取可靠性的提高。在信
息码元中加入监督码元的多少，可以通过冗余度 来衡量。例如，每
3 个信息码元中加入 1 个监督码元，这时冗余度 1/ 4 。信道编码的
任务就.4.1 信道编码的分类
①
按照信道特性和设计的码字类型进行划分，信道编码可
标准阵列译码表为一个 2nk 行 2k 列的码表，用来存放接收码字
R rn1,rn2 ,,r1,r0 可能的 2n 种组合。
构造标准阵列译码表，一般可以采用以下几个步骤： ① 根据最小汉明距离译码规则，确定各伴随式对应的差错图样。
信息论与编码-第6章 有噪信道编码
p(e|bj)=1-p(ai|bj)=1-p[F(bj)|bj]
平均错误译码概率:
PE p(b j ) P(e | b j ) p(b j )[1 P(ai | b j )]
j 1 j 1
s
s
最小错误概率准则
问题: 如何选择p(ai|bj)? 使p(e|bj)最小, 就应选 择p[F(bj)|bj]为最大, 即选择译码函数
简单重复编码
根据这个规则计算得译码后的错误概率为
Y , X a
PE
p ( i ) p ( j | i ) p( j | i )
1 = M
Y , X a
1 3 2 2 2 2 2 2 3 ( p pp pp pp pp pp pp p ) 2 p 3 3 pp 2 3*104 ( p 0.01)
X a ,Y
p ( ai ) p (b j | ai ) p (ai ) pe( i )
X X Y
X a ,Y
p (b j | ai ) p (ai ) F (b j ) a
如果先验概率p(ai)相等, 则: 1 PE Pe( i ) r X
第6.1节 错误概率与译码规则
1 [(0.2 0.3) (0.3 0.3) (0.2 0.4)] 0.567 3
第6.1节 错误概率与译码规则
0.5 0.3 0.2 P 0.2 0.3 0.5 for A 0.3 0.3 0.4 若采用前述译码函数A, 则平均错误率为: 1 PE P(b | a ) 3 Y , X a*
p2 p pp 2
4
平均错误译码概率:
PE p(b j ) P(e | b j ) p(b j )[1 P(ai | b j )]
j 1 j 1
s
s
最小错误概率准则
问题: 如何选择p(ai|bj)? 使p(e|bj)最小, 就应选 择p[F(bj)|bj]为最大, 即选择译码函数
简单重复编码
根据这个规则计算得译码后的错误概率为
Y , X a
PE
p ( i ) p ( j | i ) p( j | i )
1 = M
Y , X a
1 3 2 2 2 2 2 2 3 ( p pp pp pp pp pp pp p ) 2 p 3 3 pp 2 3*104 ( p 0.01)
X a ,Y
p ( ai ) p (b j | ai ) p (ai ) pe( i )
X X Y
X a ,Y
p (b j | ai ) p (ai ) F (b j ) a
如果先验概率p(ai)相等, 则: 1 PE Pe( i ) r X
第6.1节 错误概率与译码规则
1 [(0.2 0.3) (0.3 0.3) (0.2 0.4)] 0.567 3
第6.1节 错误概率与译码规则
0.5 0.3 0.2 P 0.2 0.3 0.5 for A 0.3 0.3 0.4 若采用前述译码函数A, 则平均错误率为: 1 PE P(b | a ) 3 Y , X a*
p2 p pp 2
4
信息论与编码_第6章信道编码概述
按照编码函数f的线性性 线性码：编码函数f ( f1,f2,…,fn)是线性函数 非线性码：否则，称为非线性码。
12
6.2 信道编码概念
按照编码函数对信息元处理方法: 分组码与卷积码
分组码 设k, n是正整数，k n，则把从EAk到An的编码函数 f : EAn 称为一个(n, k)分组码编码器，或称为(n, k)编码函数。全体 码字构成的集合 C={c =f (m): mE} 称为一个q元 (n, k)分组码 (block code)，或简称为(n, k)码。
23
6.3 信道译码准则
设 x= x1x2…xn, y= y1y2…yn是两个二元码字，容易验证以 下等式成立:
d ( x, y )
n
xi yi ,
i 1
其中是模二加法 汉明距离的性质 定理6-1 设x、y与z是长为n的码字，那么汉明距离满足 以下性质： (1) 非负性：d(x, y) 0。且d(x, y) = 0的充分必要条件是 x = y； (2) 对称性：d(x, y) = d(y, x)； (3) 三角不等式：d(x, y) d(x, z)+ d( z, y)。
7
第6章
6.1 6.2 6.3 6.4 6.5
信道编码
信道差错概率 信道编码概念 信道信道译码准则 码的检错与纠错能力 信道编码定理
8
6.2 信道编码概念
信道编码器是一个映射f，它把信源符号序列m变换成 信道符号序列c = f (m)，f称为信道编码函数，或称为纠 错编码函数。信道编码也称为纠错编码。
20
6.2 信道编码概念
例6.1 重复码 重复码是一个(n, 1)分组码，其编码规 则是将每位信息元重复n 1次，也称为n次重复码。 即C ={00…0, 11…1}。对重复码，可以采用大数准 则译码。即如果接收序列中0的个数多于1的个数， 则译为0；否则，译为1。 例如，2元3次重复码的编码规则如下： “0” “000”， “1” “111”。 它是一个2元(3, 1)分组码C={000, 111} 。
第六章有噪信道编码
p( x i / y j ) = p( x i ) p( y j / x i ) p( y j ) p( x * ) p( y j / x )
p( 样，当信道输入符号集X的先验概率为等概时，根 这样，当信道输入符号集X的先验概率为等概时， 据最大后验概率译码准则， 据最大后验概率译码准则， p(x*)p(yj/x*)≥p(xi)p(yj/xi) (i=1,2,……n) 最大后验概率可以用最大信道转移概率来取代。 最大后验概率可以用最大信道转移概率来取代。
使用最大后验概率译码准则必须已知后验概率，一般 使用最大后验概率译码准则必须已知后验概率， 说来，后验概率很难确定， 说来，后验概率很难确定，但信道的统计特性描述总 是给出信道转移概率， 是给出信道转移概率，因此利用信道转移概率的译码 准则。 准则。 由概率中的贝叶斯定理可有： 由概率中的贝叶斯定理可有：
6.1.2译码准则 6.1.2译码准则
定义6.1.1 定义6.1.1 设信道 输入符号集X={x ,i=1,2,…,r}, 输入符号集X={xi,i=1,2, ,r}, 输符号集为Y={y ,j=1,2,…,s}, 输符号集为Y={yj,j=1,2, ,s}, 若对每一个输出符号y 若对每一个输出符号yj都有一个确定的函数 对应于惟一的一个输入符号x F(yj)，使yj对应于惟一的一个输入符号xi，则 这样的函数为译码规则。 这样的函数为译码规则。 F(yj)=xi (i=1,2,…r; j=1,2,…s) 对于有r个输入， 个输出的信道来说， 对于有r个输入，s个输出的信道来说，可以 rs个不同的译码准则 个不同的译码准则。 有rs个不同的译码准则。
消息集中 一个元素
信道波形 空间中的 一个点
失真后 的波形
恢复的 消息
信信 编编
p( 样，当信道输入符号集X的先验概率为等概时，根 这样，当信道输入符号集X的先验概率为等概时， 据最大后验概率译码准则， 据最大后验概率译码准则， p(x*)p(yj/x*)≥p(xi)p(yj/xi) (i=1,2,……n) 最大后验概率可以用最大信道转移概率来取代。 最大后验概率可以用最大信道转移概率来取代。
使用最大后验概率译码准则必须已知后验概率，一般 使用最大后验概率译码准则必须已知后验概率， 说来，后验概率很难确定， 说来，后验概率很难确定，但信道的统计特性描述总 是给出信道转移概率， 是给出信道转移概率，因此利用信道转移概率的译码 准则。 准则。 由概率中的贝叶斯定理可有： 由概率中的贝叶斯定理可有：
6.1.2译码准则 6.1.2译码准则
定义6.1.1 定义6.1.1 设信道 输入符号集X={x ,i=1,2,…,r}, 输入符号集X={xi,i=1,2, ,r}, 输符号集为Y={y ,j=1,2,…,s}, 输符号集为Y={yj,j=1,2, ,s}, 若对每一个输出符号y 若对每一个输出符号yj都有一个确定的函数 对应于惟一的一个输入符号x F(yj)，使yj对应于惟一的一个输入符号xi，则 这样的函数为译码规则。 这样的函数为译码规则。 F(yj)=xi (i=1,2,…r; j=1,2,…s) 对于有r个输入， 个输出的信道来说， 对于有r个输入，s个输出的信道来说，可以 rs个不同的译码准则 个不同的译码准则。 有rs个不同的译码准则。
消息集中 一个元素
信道波形 空间中的 一个点
失真后 的波形
恢复的 消息
信信 编编
信息论与编码[第六章有噪声道编码定理与纠错码]山东大学期末考试知识点复习
![信息论与编码[第六章有噪声道编码定理与纠错码]山东大学期末考试知识点复习](https://img.taocdn.com/s3/m/b40579cd08a1284ac85043d8.png)
第六章有噪声道编码定理与纠错码6．1．1 译码准则在有噪信道中传输消息是会发生错误的，而接收端引起错误的大小与选择的译码准则有关，也与信道编码所选码字有关。
3．最小距离译码准则(1)汉明距离码字αi和输出序列βj之间对应位置上不同码元的个数，记为D(αi，βj)，称汉明距离。
对于二元信道(二元码)汉明距离为在二元对称信道中最小距离译码准则等于最大似然译码准则。
而在其他信道中，它们不一定相等。
6．1．2 平均错误概率最小错误概率译码准则使P E最小。
最大似然译码准则本身只与信道传递概率有关，不再依赖先验概率P(αi)(或P(a i))，但不一定能使P E最小。
最大似然译码准则只有在输入符号等概率分布时P E才达最小，此时他与最小错误概率译码准则是等价的。
6．1．3 费诺不等式6．1．4 信道编码的编、译基本原则主要讨论二元对称无记忆信道。
1．编码原则在n次扩展信道输入符号αi中选取M个码字组成一组码书C，应尽量使选取的M个码字中任意两不同码字的汉明距离尽可能地大。
2．译码原则采用最大似然译码准则，即当收到βj后，译成与之汉明距离为最近的那个码字α*。
遵照上述编、译码原则，可做到保持一定信道信息传输速率(码率)R，而使PE尽可能地小。
6．1．5 联合ε典型序列6．1．6 有噪信道编码定理及其逆定理1．定理及其逆定理有噪信道的信道容量为C，若信息传输率R<C，只要码长n足够长，必存在一种信道编码和相应的译码规则，使译码平均错误概率P E为任意小。
反之，若R>C则不存在以R传输信息而P E为任意小的码。
此定理可推广到有记忆信道、连续信道、波形信道中。
只是与研究信道容量一样，在连续情况下需对输入信源加入某些限制条件。
2．有噪信道编码与抗干扰能力有噪信道编码定理及其逆定理论证了，任何信道的信道容量是一个明确的分界点。
当R<C并接近C时，总能克服和消除信道中干扰和噪声引起的错误，达到可靠地传输信息。
第6章 有噪信道编码
(2)
Pemin=
29
2． 设有一离散信道，其信道矩阵为
（1）当信源X的概率分布为p(a1)=2/3，p(a2)=p(a3)=1/6时， 按最大后验概率准则选择译码函数，并计算其平均错误译码概 率Pemin
（2）当信源是等概率分布时，选择最大似然译码准则选择 译码函数，并计算其平均错误译码概率Pemin。
41
习题：
1． 设离散无记忆信道的输入符号集X:{0,1}，输出符号集 Y:{0,1,2}，信道矩阵为: P=
若某信源输出两个等概消息x1，x2，现在用信道输入符号集对 x1，x2进行编码，W1=00，W2=11代表x1，x2。按最大似然准则写 出译码函数，并求出最小平均错误译码概率Pemin。
30
解： (1) 联合概率：
后验概率
根据最大后验概率准则：F(b1)=1
信道矩阵为：
(2) 当信源是等概率分布时 采用最大似然译码准则F(b1)=a1，F(b2)=a2，F(b3)=a3
32
33
34
35
36
37
38
39
40
65
66
67
68
69
70
71
72
73
74
75
42
解：
P=
(1) 选择译码函数 F(b1)=F(b2)=F(b3)=F(b4)=F(b7)=x1 F(b5)=F(b6)=F(b8)=F(b9)=x2 (2)
43
44
45
46
47
48
49
50
51
52
53
54
设分组码（n,k）中，n=6，k=3，并按下列方 程选取字中的码字。 求信息序列(a1a2a3)变换成六位的八个码字， 并求出编码效率。
信息论第6章有噪信道编码
可编辑ppt
定理
分组码最小汉明距离与检错和纠错能力的关系:
1）dmin e (t为纠错个数） 用于FEC
3）dmin e t 1（e>t） 用于HEC（又检又纠）
↑→ 检错和纠错能力↑
可编辑ppt
dmin e 1
可编辑ppt
可编辑ppt
4
差错控制方式
差错控制方式一般可以分为四种类型：
• 检错重发（ARQ） • 前向纠错（FEC） • 混合纠错检错（HEC） • 信息反馈（IRQ）
可编辑ppt
汉明距离与最大似然译码
• 定理 对于一个二进制对称信道，如果信道输 入码字为等概率分布，则其最大似然译码可以 等价于最小汉明距离译码。
8
dmin 2t 1
可编辑ppt
9
dmin e t 1
可编辑ppt
10
可编辑ppt
1
译码规则的选择依据: 使平均错误概率最小。
最小错误概率准则
选择译码函数F(bj)=a*并使之满足条件: p(a*|bj)≥p(ai|bj) （对所有ai≠a*）
极大似然译码准则
• 选择译码函数F(bj)=a*,使满足 p(bj|a*)p(a*)≥p(bj|ai)p(ai)，即p(a*bj)≥p(aibj)。
可编辑ppt
2
有噪信道编码定理 ——香农第二定理
定理1 设有一离散无记忆平稳信道，其信道容量为C，
只要待传送的信息传输率 R＜C，则存在一种编码， 当输入序列长度n足够大时，使译码错误概率任意小。 物理含义：
(1) 只要R＜C，就可以在有噪信道中以任意小 的错误概率(pE＜)传输信息；
(2) 当输入序列长度n足够大时，可以以任意接 近信道容量C的信息传输率传递信息。
定理
分组码最小汉明距离与检错和纠错能力的关系:
1）dmin e (t为纠错个数） 用于FEC
3）dmin e t 1（e>t） 用于HEC（又检又纠）
↑→ 检错和纠错能力↑
可编辑ppt
dmin e 1
可编辑ppt
可编辑ppt
4
差错控制方式
差错控制方式一般可以分为四种类型：
• 检错重发（ARQ） • 前向纠错（FEC） • 混合纠错检错（HEC） • 信息反馈（IRQ）
可编辑ppt
汉明距离与最大似然译码
• 定理 对于一个二进制对称信道，如果信道输 入码字为等概率分布，则其最大似然译码可以 等价于最小汉明距离译码。
8
dmin 2t 1
可编辑ppt
9
dmin e t 1
可编辑ppt
10
可编辑ppt
1
译码规则的选择依据: 使平均错误概率最小。
最小错误概率准则
选择译码函数F(bj)=a*并使之满足条件: p(a*|bj)≥p(ai|bj) （对所有ai≠a*）
极大似然译码准则
• 选择译码函数F(bj)=a*,使满足 p(bj|a*)p(a*)≥p(bj|ai)p(ai)，即p(a*bj)≥p(aibj)。
可编辑ppt
2
有噪信道编码定理 ——香农第二定理
定理1 设有一离散无记忆平稳信道，其信道容量为C，
只要待传送的信息传输率 R＜C，则存在一种编码， 当输入序列长度n足够大时，使译码错误概率任意小。 物理含义：
(1) 只要R＜C，就可以在有噪信道中以任意小 的错误概率(pE＜)传输信息；
(2) 当输入序列长度n足够大时，可以以任意接 近信道容量C的信息传输率传递信息。
第6章 有噪信道编码定理12
幻灯片1第6章有噪信道编码定理幻灯片2●在无噪无损信道上，只要对信源的输出进行适当的编码，总能以最大信息传输率C（信道容量）无差错地传输信息。
但一般信道中总存在噪声或干扰，信息传输会造成损失，那么在有噪信道中怎么能使消息通过传输后发生的错误最少？在有噪信道中无错误传输的可达的最大信息传输率是什么？●这就是本章所要研究的内容，即研究通信的可靠性问题。
这时香农在1948年的文章中提出并证明了的信道编码定理，也称香农第二定理。
幻灯片36.1 错误概率和译码规则●在有噪信道中传输消息时会发生错误的。
为了减少错误，提高可靠性，首先就要分析错误概率与哪些因素有关，有没有办法加以控制，能控制到什么程度等问题。
●错误概率与信道统计特性有关。
信道的统计特性可由信道的传递矩阵来描述。
当确定了输入和输出对应关系后，也就确定了信道矩阵中哪些是正确传递概率，哪些是错误传递概率。
●但通信过程一般并不是在信道输出端就结束了，还要经过译码过程（或判决过程）才到达消息的终端（收信者）。
因此译码过程和译码规则对系统的错误概率影响很大。
幻灯片4●错误概率既与信道的统计特性有关，也与译码的规则有关。
●定义译码规则：设离散单符号信道的输入符号集为A={ai}，i=1,2,…,r；输出符号集为B= {bj}，j=1,2,…,s。
制定译码规则就是设计一个函数F(bj)，它对于每一个输出符号bj 确定一个唯一的输入符号ai 与其对应（单值函数）。
即● F(bj)= ai （ i=1,2,…,r ） （ j=1,2,…,s ）幻灯片5● 译码规则的选择应该根据什么准则？一个很自然的准则当然就是要使平均错误概率为最小。
● 为了选择译码规则，首先必须计算平均错误概率。
●平均错误概率PE 表示经过译码后平均接收到一个符号所产生的错误大小。
应是条件错误概率P(e | bj)对Y 空间取平均值，e 表示除了F(bj)= ai 以外的所有输入符号的集合。
● PE =E[p(e| bj)]=● 收到符号bj 条件下译码的正确概率为● P[F(bj) | bj)]= P(ai | bj)● P(e | bj) =1- P(ai | bj) =1- P[F(bj) | bj)]()()∑=s1j jjb e p b p幻灯片6如何设计译码规则F(bj)= ai ，使PE 最小()()∑=s1j jjb e p b p● PE =E[p(e| bj)]=●由于上式PE 的表达式中右边是非负项之和，可以选择译码规则使每一项为最小，即得PE 最小。
第六章有噪信道编码定理
A的PE=0.600
Hale Waihona Puke >在输入不是等概率分布时,根据最大似然译码规则,仍 其 PE = 0 .50 可采用译码函数为B,计算其平均错误概率P’’E=0.6. 但采用最小错误概率译码准则, 它不是最小的. 比如 输入不是等概率分布时最大似然译码准则的平均 错误概率不是最小.
C : F (b2 ) ==0.567 B的PE a 3 F (b ) = a 3 3
例6.2(续6.1)
根据最大似然译码规则可选择译码函数为B. 因为在矩阵的第1列中P(b1|a1)=0.5最大;第3列中 P(b3|a2)=0.5最大;而在第2列中P(b2|ai)=0.3,所以 F(b2)任选a1,a2,a3都行. 在输入等概率分布时采用译码函数B可使信道平均错 译码函数为: 误概率最小. F (b ) = a
我们也可以在矩阵 P(ai )P(bj | ai )]中先对i求和，除去译码规则中 [ F(bj ) = ai*所对应的P(aibj )( j =1,..., r); 然后再对各行求和。
因 式 此 (6.12)也 以 可 写成 P =∑ E
X Y −a*对 的 j 应 b
∑
P(ai )P(bj | ai )
在此译码规则下，平均错误概率 PE=P(0)Pe(0)+P(1)Pe(1)=2/3 反之，若译码器根据这个特殊信道定出另一种译码规则，将 输出端接收符号“0”译成“1”，接收符号“1”译成“0”， 则译错的可能性就减少了，为1/3。而译对的可能性就增大了， 为2/3。
码的规则有关。
译码规则：
设离散单符号信道的输入符号集为A = {ai }, i = 1,2,..., r; 输出符号集为B = {b j }, j = 1,2,..., s。制定译码规则就是 设计一个函数F (b j )，，它对于每一个输出符号b j 确定 一个惟一的输入符号ai与其对应（单值函数），即 (i = 1,2,..., r ) F (b j ) = ai ( j = 1,2,..., s) (6.1)
第六章有噪声编码
0.25 0.15 0.10
p(xy)0.010.07 0.02
0.12 0.12 0.16
2021/8/4
(2)根据(yj) p(xiyj)，算出
i
[（y）] = [0.38 0.34 0.28]
(3)再由
(xy p(xy) (y)
算出后验概率，用矩阵表示
0.25 0.380.15 0.340.10 0.28
2021/8/4
6．4 费诺引理及信道编码逆定理
6.4.1 费诺不等式
设信道输入符号X和输出符号Y取自同一符号集
A = {a1, a2, …, ak }，则传输过程中的错误概率pe和信 道疑义度H (X︱Y )之间满足下列关系式：
H (X︱Y ) H2 (pe) + pe log (k-1) 上式就是著名的Fano不等式。
p e y x k xky i k xiy 1 xky（6-2）
通信总希望错误概率最小，由式(6-2)可看出错误概率
pe (xk ) 最小等同于后验概率（xk︱y）最大，这就是
最大后验概率译码准则。
根据概率关系式
(xy)
p(xy) (y)
（6-3）
根据式（6-3）后验概率（x︱y）最大的就意味 着p（x y）全概率最大，因此最大后验概率译码
第6章 有噪信道编码
第6章 有噪信道编码
内容提要 本章介绍了信道编码和译码的基本概 念，介绍了两种常用的译码准则：最大 后验概率译码准则和极大似然译码准则 ,还介绍了在这两种译码准则下错误概 率的计算方法。 本章还介绍了信道编码定理及信道编 码逆定理，以及信息论中的一个重要不 等式Fnao不等式。
3．平均错误概率
由（6-2）式是信道输出y二信道译码器估错的概率，
p(xy)0.010.07 0.02
0.12 0.12 0.16
2021/8/4
(2)根据(yj) p(xiyj)，算出
i
[（y）] = [0.38 0.34 0.28]
(3)再由
(xy p(xy) (y)
算出后验概率，用矩阵表示
0.25 0.380.15 0.340.10 0.28
2021/8/4
6．4 费诺引理及信道编码逆定理
6.4.1 费诺不等式
设信道输入符号X和输出符号Y取自同一符号集
A = {a1, a2, …, ak }，则传输过程中的错误概率pe和信 道疑义度H (X︱Y )之间满足下列关系式：
H (X︱Y ) H2 (pe) + pe log (k-1) 上式就是著名的Fano不等式。
p e y x k xky i k xiy 1 xky（6-2）
通信总希望错误概率最小，由式(6-2)可看出错误概率
pe (xk ) 最小等同于后验概率（xk︱y）最大，这就是
最大后验概率译码准则。
根据概率关系式
(xy)
p(xy) (y)
（6-3）
根据式（6-3）后验概率（x︱y）最大的就意味 着p（x y）全概率最大，因此最大后验概率译码
第6章 有噪信道编码
第6章 有噪信道编码
内容提要 本章介绍了信道编码和译码的基本概 念，介绍了两种常用的译码准则：最大 后验概率译码准则和极大似然译码准则 ,还介绍了在这两种译码准则下错误概 率的计算方法。 本章还介绍了信道编码定理及信道编 码逆定理，以及信息论中的一个重要不 等式Fnao不等式。
3．平均错误概率
由（6-2）式是信道输出y二信道译码器估错的概率，
信息论基础理论与应用第三版(傅祖芸)第六章讲义(课堂)-2023年学习资料
而错误译码的概率为收到b,后翻译为；，但发送端实际上-发送的却不是，则为错误译码，其条件错误概率为：-Pelb;=1 Pa;/b;-e表示：除了Fb,=a:以外的所有输入符号的集合。-则可得平均错误译码概率：-P。=EPe1b,】=∑ b,Pe/b,-它表示经过译码后平均每收到一个符号所产生错误的大小，-也称平均错误概率。-7
第6章有噪信道编码定理-6.1错误概率与译码规则-6.2错误概率与编码方法-6.4有噪信道编码定理-6.5联合信源信 编码定理
前面已经从理论上讨论了，对于无噪无损信道-只要对信源进行适当的编码，总能以信道容量无差-错的传递信息。但是一般信道总 存在噪声和干扰，-信息传输会造成损失。-那么在有噪信道中怎样能使消息传输发生的错误-最少？进行无错传输的可达的最大信 传输率是多-少呢？-这就是本章所要讨论的问题。本章的核心是香农-第二定理。-2
2采用最小错误概率译码准则，则联合矩阵为：-0.125-0.075-0.05-Pab;=Pa,Pb la;[Pab; -0.15-0.2-Fb=43-所得译码函数为：C:Fb,=4-Fb3=43-平均错误概率：-PE=∑PaPb,la -Y,X-a-=∑Pa,b-=0.125+0.05+0.075+0.075+0.05+0.125=0.5≤P-13
选讲当然，也可以对联合概率矩阵PaPbj/a中：-1先求每一行中除去Fb=a*所对应的Pab以外的元素之和；-2然后 对各行的和求和。-具体计算如下：-P=∑PaPb,Ia=∑∑Pa,Pb;la-Y.X-a-XY-a*对应的b;-即： B=∑P4∑{P6,1aF6,≠W}-=∑Pa,pa-某个输入符号ai传P-11
平均错误概率的计算-当译码规则确定后，可进一步计算平均错误概率：-P=2Pb,Pe/b,=21-PIFb,/b,1} b,-=1-2P[Fb,b,]=∑pab,-∑PFb,b,]-=∑pab,-∑Puib,]-,平均正确概率-=∑Pa b,=∑PaPb,1a-+信道传递概率-Y,X-a-上式中，平均错误概率计算是在联合概率矩阵PaPb川a]中：-1先 每一列除去Fb=a*所对应的Pa*b以外的元素之和；-2然后，对所有列求和。-10
6第六章 有噪信道编码
F ( y j ) xi
X x1 , x2 , , xr
F ( y1 ) x1 / x2 / / xr
F ( y2 ) x1 / x2 / / xr
（i 1, 2, , r j 1, 2, , s）
Y y1 , y2 , , y s
信道
F ( ys ) x1 / x2 / / xr
H(X |Y )
X ,Y
1 p xy log p x | y 1 1 p xy log p xy log p x | y Y ,X* p x | y
X X * ,Y
H ( X | Y ) [ H ( PE ) PE log( r 1)]
设译码规则为
当输入符号是xi时，译码正确 当输入符号为除xi以 译码错误 外的(r-1)种符号时，
F ( y j ) xi
正确译码的概率：(条件正确概率）
p F ( y j ) | y j p ( xi | y j )
错误译码的概率：(条件错误概率）
p(e | y j ) 1 p(xi | y j ) 1 p[F( y j ) | y j ]
F ( y2 ) x2 F ( y3 ) x3 F ( y1 ) x1 F ( y2 ) x3 F ( y 3 ) x2
译码规则A
译码规则B
对于有r个输入符号，s个输出符号的信道，总共可以设计出 s 种译码规则，到底哪一种译码规则最好？依据什么标准来选择译 码规则？
r
11
6.2.3 错误概率
Y ,X* Y ,X*
1 p ( yj | xi ) p ( xi )
X x1 , x2 , , xr
F ( y1 ) x1 / x2 / / xr
F ( y2 ) x1 / x2 / / xr
（i 1, 2, , r j 1, 2, , s）
Y y1 , y2 , , y s
信道
F ( ys ) x1 / x2 / / xr
H(X |Y )
X ,Y
1 p xy log p x | y 1 1 p xy log p xy log p x | y Y ,X* p x | y
X X * ,Y
H ( X | Y ) [ H ( PE ) PE log( r 1)]
设译码规则为
当输入符号是xi时，译码正确 当输入符号为除xi以 译码错误 外的(r-1)种符号时，
F ( y j ) xi
正确译码的概率：(条件正确概率）
p F ( y j ) | y j p ( xi | y j )
错误译码的概率：(条件错误概率）
p(e | y j ) 1 p(xi | y j ) 1 p[F( y j ) | y j ]
F ( y2 ) x2 F ( y3 ) x3 F ( y1 ) x1 F ( y2 ) x3 F ( y 3 ) x2
译码规则A
译码规则B
对于有r个输入符号，s个输出符号的信道，总共可以设计出 s 种译码规则，到底哪一种译码规则最好？依据什么标准来选择译 码规则？
r
11
6.2.3 错误概率
Y ,X* Y ,X*
1 p ( yj | xi ) p ( xi )
信息论与编码(第三版) 第6章 信道编码理论
(2,1,2)卷积码编码器
定义6.3两个n重(x，y)之间对应码元取值不同的个数， 称为这两个重之间的汉明距离，记做d(x,y)
定义6.4 n重x非零码元的个数称为汉明重量，简称重 量,用w(x)表示
X:(10101) y:(00111)
w(x)=3 w(y)=3 d(x,y)=2
定义6.5 （n,k）分组码中，任意两个码字x、y之间的 汉明距离的最小值，称为该分组码的最小汉明距离， 简称为最小距离，用d0表示
6.3.1两种译码规则
最大概率译码(MAP) 错误译码的概率最小，也称最小错误概率译码
最大似然译码(MLD)
MAP的简化形式
单个符号传输情况(二元信道)
信道
输入X
0 1 pe
信道 输出Y
0
根据接收符号y来估计 发送符号x是0还是1
计算后验概率p(xi|y)
估值准则
x$ max P(xi | y)
结果是译码错误最 小，所以也称最小
d0
min {d(x,
x, y(n,k )
y)}
计算最小汉明距离方法1 将所有许用码字进行比较，记录每次比较的 汉明距离，最后取汉明距离的最小值即可
总的比较次数为 1 2 3 L 2k 1 (2k 1)2k
2
无论是否 线性分组
码
这种方法 都有效
特点：计算量很 大但是很简洁
❖ 例6.1 （3,2）码共有四个码字，分别为000，011，101， 110，显然d0 =2。 最小汉明距离d0是分组码的重要参数之一，表明 了该分组码抗干扰能力的大小，与码字的检错、 纠在错相能同力的有译关码，规则d0下越，大错，误码译的码抗的干概扰率能越力小越。强，
(4) 纠正t个随机错误, ρ个删除,则要求码的最小距离满足 d0 ≥ ρ +2t+1
信息论第6章
以简单的重复编码为例，来说明为什么通过信道编码可 以降低平均错误概率。 将信源符号重复发送 n 次，并在接收端采用相应的译码 方法， 就有可能减少错误概率， 从而通过牺牲有效性来换取可 靠性的提高。比如信源发出两种符号 A 和 B，分别用“0”和 “1”表示。在发送端，信源符号为“0” （或“1” ）时，则重 复发送三个“0” （或“1” ） 。即用“000”代表消息 A，“111” 表示 B。采用大数原则进行译码。这时的信道编码具有检出两 位和两位以下错码的能力; 或者具有纠正一位错码的能力。
PE 108
当 n 很大时，平均错误概率很小，但同时带来一个新问题，信息传输率 大大减小。编码后的信息传输率（也称码率）表示为
log M （比特/码符号） R n
可见信息传输有效性和可靠性存在矛盾。能否找到一种编码方法，使得 平均错误概率 P E 充分小，而信息传输率 R 又可以保持在一定水平（甚至于达 到信道容量 C）？这就是有噪信道编码定理所回答的问题。
2 3 输，而信道每秒钟传送 25 个二元符号。已知信道矩阵 P 1 3
错误概率 P E 任意小？
1 3 , 2 3
是否存在一种编码方法，使得信源输出信息能通过该信道传输后，平均
有噪信道编码本章内容61错误概率62有噪信道编码定理63联合信源信道编码定理信息论基础61错误概率错误概率是指经过信道译码后信宿接收码元的平均错误概率即错误码元数与总码元数的比值又称为译码错误概率或误码率
《信息论基础》
第 6章
有噪信道编码
本章内容
6.1 错误概率
6.2 有噪信道编码定理 6.3 联合信源信道编码定理
或
Ct Rt
则总可以找到信源和信道编码方法，使得信源输出信息能通过该信 道传输后，平均错误概率 P E 任意小。
PE 108
当 n 很大时，平均错误概率很小，但同时带来一个新问题，信息传输率 大大减小。编码后的信息传输率（也称码率）表示为
log M （比特/码符号） R n
可见信息传输有效性和可靠性存在矛盾。能否找到一种编码方法，使得 平均错误概率 P E 充分小，而信息传输率 R 又可以保持在一定水平（甚至于达 到信道容量 C）？这就是有噪信道编码定理所回答的问题。
2 3 输，而信道每秒钟传送 25 个二元符号。已知信道矩阵 P 1 3
错误概率 P E 任意小？
1 3 , 2 3
是否存在一种编码方法，使得信源输出信息能通过该信道传输后，平均
有噪信道编码本章内容61错误概率62有噪信道编码定理63联合信源信道编码定理信息论基础61错误概率错误概率是指经过信道译码后信宿接收码元的平均错误概率即错误码元数与总码元数的比值又称为译码错误概率或误码率
《信息论基础》
第 6章
有噪信道编码
本章内容
6.1 错误概率
6.2 有噪信道编码定理 6.3 联合信源信道编码定理
或
Ct Rt
则总可以找到信源和信道编码方法，使得信源输出信息能通过该信 道传输后，平均错误概率 P E 任意小。
ch6-有噪信道编码编码
……
译码规则总数：rs r-信道输入的符号序列总数，即码字总数, s-信道输出的符号序列总数，即接收矢量个数.
平均错误 概率最小！
28
10
6.1.2 译码规则
假设译码规则为：F ( y j )=xi，则
• 译码的条件正确概率： p( F ( y j ) | y j ) = p( xi | y j )
H ( E | Y ) ≤ H ( E ) = H ( pE ),
∴H (EX | Y ) ≤ H ( pE ) + pE log(r −1),
(*)
2. H (EX | Y ) = H (E | Y ) + H ( X | EY ),
H ( X | EY ) = p(E = 0)H ( X | Y , E = 0) + p(E = 1)H ( X | Y , E = 1)
Y Y
定义61.2 选择译码函数 F ( y j ) = x*，使之满足条件 . p( x* | y j ) ≥ p( xi | y j ) （xi ≠ x* , 对∀i） 则称为最大后验概率译码规则。
理想译码器
定义61.3 选择译码函数 F ( y j ) = x*，使之满足条件 . p( y j | x* ) ≥ p( y j | xi ) （xi ≠ x* , 对∀i） 则称为极大似然译码规则。
p(E = 0)H( X | Y, E = 0) = (1− pE ) ×0 = 0 p(E = 1)H ( X | Y , E = 1) ≤ pE log(r −1) ∴H ( X | EY ) ≤ pE log(r −1),
∵ E是XY的函数, ∴ H ( E | XY ) = 0,
∴ H ( EX | Y ) = H ( X | Y ),
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第六章 有噪信道编码
错误概率与信道的统计特性有关, 但并不是唯一相 关的因素, 译码方法的选择也会影响错误率。
➢ 信道统计特性 信道统计特性用信道传递矩阵来描述, 该矩阵确 定了哪些是正确传递概率, 哪些是错误传递概率. ➢ 译码规则
通信过程并非到信道输出端就结束, 还要经过 译码过程(或判决过程)才到达消息的终端(收信者).
3
定理2 有噪信道编码定理的逆定理 设有一离散无记忆平稳信道，其信道容量为C，
对于任意>0，若要选用码字总数M=2n(C+ )，则无论
n取多大，也找不到一种编码，使译码错误概率任
意小。
物理含义： 在任何信道中，信道容量C是进行可靠传输的最大 信息传输率。要想使信息传输率大于信道容量而 又无错误地传输消息是不可能的。
4
差Q） • 前向纠错（FEC） • 混合纠错检错（HEC） • 信息反馈（IRQ）
汉明距离与最大似然译码
• 定理 对于一个二进制对称信道，如果信道输 入码字为等概率分布，则其最大似然译码可以 等价于最小汉明距离译码。
定理
分组码最小汉明距离与检错和纠错能力的关系:
1
译码规则的选择依据: 使平均错误概率最小。
最小错误概率准则
选择译码函数F(bj)=a*并使之满足条件: p(a*|bj)≥p(ai|bj) （对所有ai≠a*）
极大似然译码准则
• 选择译码函数F(bj)=a*,使满足 p(bj|a*)p(a*)≥p(bj|ai)p(ai)，即p(a*bj)≥p(aibj)。
2
有噪信道编码定理 ——香农第二定理
定理1
设有一离散无记忆平稳信道，其信道容量为C， 只要待传送的信息传输率 R＜C，则存在一种编码， 当输入序列长度n足够大时，使译码错误概率任意小。
物理含义：
(1) 只要R＜C，就可以在有噪信道中以任意小 的错误概率(pE＜)传输信息；
(2) 当输入序列长度n足够大时，可以以任意接 近信道容量C的信息传输率传递信息。
1）dmin e 1 (e为检错个数)
用于检错重发ARQ
2）d min 2t 1 (t为纠错个数） 用于FEC
3）dmin e t 1（e>t） 用于HEC（又检又纠）
↑→ 检错和纠错能力↑
dmin e 1
8
dmin 2t 1
9
dmin e t 1
10
错误概率与信道的统计特性有关, 但并不是唯一相 关的因素, 译码方法的选择也会影响错误率。
➢ 信道统计特性 信道统计特性用信道传递矩阵来描述, 该矩阵确 定了哪些是正确传递概率, 哪些是错误传递概率. ➢ 译码规则
通信过程并非到信道输出端就结束, 还要经过 译码过程(或判决过程)才到达消息的终端(收信者).
3
定理2 有噪信道编码定理的逆定理 设有一离散无记忆平稳信道，其信道容量为C，
对于任意>0，若要选用码字总数M=2n(C+ )，则无论
n取多大，也找不到一种编码，使译码错误概率任
意小。
物理含义： 在任何信道中，信道容量C是进行可靠传输的最大 信息传输率。要想使信息传输率大于信道容量而 又无错误地传输消息是不可能的。
4
差Q） • 前向纠错（FEC） • 混合纠错检错（HEC） • 信息反馈（IRQ）
汉明距离与最大似然译码
• 定理 对于一个二进制对称信道，如果信道输 入码字为等概率分布，则其最大似然译码可以 等价于最小汉明距离译码。
定理
分组码最小汉明距离与检错和纠错能力的关系:
1
译码规则的选择依据: 使平均错误概率最小。
最小错误概率准则
选择译码函数F(bj)=a*并使之满足条件: p(a*|bj)≥p(ai|bj) （对所有ai≠a*）
极大似然译码准则
• 选择译码函数F(bj)=a*,使满足 p(bj|a*)p(a*)≥p(bj|ai)p(ai)，即p(a*bj)≥p(aibj)。
2
有噪信道编码定理 ——香农第二定理
定理1
设有一离散无记忆平稳信道，其信道容量为C， 只要待传送的信息传输率 R＜C，则存在一种编码， 当输入序列长度n足够大时，使译码错误概率任意小。
物理含义：
(1) 只要R＜C，就可以在有噪信道中以任意小 的错误概率(pE＜)传输信息；
(2) 当输入序列长度n足够大时，可以以任意接 近信道容量C的信息传输率传递信息。
1）dmin e 1 (e为检错个数)
用于检错重发ARQ
2）d min 2t 1 (t为纠错个数） 用于FEC
3）dmin e t 1（e>t） 用于HEC（又检又纠）
↑→ 检错和纠错能力↑
dmin e 1
8
dmin 2t 1
9
dmin e t 1
10