5有噪信道编码及其定理

5.1 错误概率和译码规则
通常信道的传递概率P(bj|ai)与输入符号的先验概 率P(ai) 已知，根据贝叶斯定律，有：
P(a
bj )
P(ai
bj )
P(bj
/ a*)P(a*) P(bj )
P(bj / ai )P(ai ) P(bj )
即 P(bj / a*)P(a*) P(bj / ai )P(ai ) 当信源等概分布时，可选择译码函数
X ,Y
Y
Y ,X a
平均正确概率为
s
PE 1 PE P F(bj )bj P(abj )
Y
j 1
5.1 错误概率和译码规则
也可写成： PE P(bj ai )P(ai ) Y ,X a
其中求和符号 Xa表 示对输入符号集A中除 F(b以j ) 外a
的所有元素求和。
上式的平均错误概率是在联合概率矩阵P(ai )P(bj ai )
5.1 错误概率和译码规则
错误：译码输出≠信源输出
产生原因：噪声干扰
研究目的：减少错误，提高可靠性
研究途径：信道的传递矩阵→信道统计特性→错 误概率
为了减少错误，提高通信的可靠性，就必须分析 错误概率与哪些因素有关，有没有办法控制，能 控制到什么程度。
5.1 错误概率和译码规则
我们知道错误概率与信道的统计特性有关， 信道的统计特性由信道的传递矩阵来描述。
第五章 有噪信道编码
我们要尽可能的提高信息传输率，并控制传输误 差。信源编码以提高传输效率作为主要考虑因素， 信道编码以提高传输可靠性作为主要考虑因素。 这一章讨论信道编码的一些基本概念及信道编码 定理
本章介绍了信道编码和译码的基本概念，介绍了 两种常用的译码准则：最大后验概率译码准则和 最大似然译码准则,还介绍了在这两种译码准则 下错误概率的计算方法。还介绍了信道编码定理 及信道编码逆定理，以及信息论中的一个重要不 等式Fnao不等式。
H (X Y ) H (PE ) PE log( r 1)
这个重要不等式称为费诺不等式。
两种准则使用要点
➢ 最大后验概率准则（最小错误概率准则）
1）由转移概率矩阵的每行分别乘 p(ai)，得到联合概 率矩阵；
2）对于每一列（相当于 bj 固定）找一个最大的概率 对应的ai作为译码结果；
3）所有译码结果所对应的联合概率的和为正确概率, 其他矩阵元素的和为错误概率。
中先求每列除去 F(bj ) 所a对应的 元素之和，然后再对各列求和。
P(a以b外j ) 所有
5.1 错误概率和译码规则
如果先验概率等概分布，有 P(ai ) 1 r
则
1
PE
r
P(b j
Y ,X a
ai )
1
r
X
P(i) e
而 Pe(就i) 是某个输入符号 传a输i 所引起的错误概率
上式表明在等先验概率分布情况下，译码错误概
当确定了输入和输出对应关系后，也就确 定了信道矩阵中哪些是正确传递概率，哪 些是错误传递概率。
在二元对称信道错误传递概率是p，正确的 传递概率就是 。
p 1 p
5.1 错误概率和译码规则
但是，通信过程一般并不是在信道输出端 就结束了，还要经过译码(或判决)过程才到 达消息的终端(收信者)。因此译码过程和译 码规则对系统的错误概率影响很大。
0.01 1
1
F (b2 ) a2
0.99
平均错误概率(输入等概) PE 102
5.2 错误概率与编码方法
如何降低错误概率，提高传输正确率呢？ 一种简单的办法就是重发，可以减小错误，提高
通信可靠率。
没有使用的 码字
001 010 011 100 101 110
用作消息的 码字 000
111
若采用最小错误概率译码准则，则联合概率矩阵
为：
0.125
P(aib j
)
0.05
0.15
0.075 0.075 0.15
0.05 0.125 0.2
F (b1) a3
所得译码函数为C：F(b2) a平3 均错误概率为：
PE
P(ai )P(bj
ai )
F
(b3
)
a3
Y X a
(0.125 0.05) (0.075 0.075) (0.05 0.125) 0.5
下面举例说明，有一个BSC信道，如图所
示
0
1/3
0
2/3
2/3
1
1
1/3
5.1 错误概率和译码规则
若译码规则为收到“0”译作“0”，收到“1”
译作“1”，则平均错误概率为（假设输入
等概分布）：
PE
P(0)
P(0) e
P(1)
P(1) e
2 3
反之，若收到“0”译作“1”，收到“1”译作
“0”，则平均错误概率为1/3，译错的可能
第五章 有噪信道编码
5.1 错误概率和译码规则 5.2 错误概率与编码方法 5.4 有噪信道编码定理 5.5 联合信源信道编码定理 5.6 纠错码的基本思想和汉明码 小结
第五章 有噪信道编码
前一章已经从理论上讨论了，对于无噪无 损信道只要对信源进行适当的编码，总能 以信道容量C无差错的传递信息。但是一般 信道总会存在噪声和干扰，那么在有噪信 道中进行无错传输可以达到的最大信息传 输率是多少呢？怎么使有噪信道中消息传 输错误达到最少?这就是本章所要讨论的问 题。本章的核心是香农第二定理。
X
P(ai
)
P(i) e
1 4
1
1 4
1
1 2
0
0.5
5.1 错误概率和译码规则
可见，此时 PE P。E 所以，输入不是等概分布时 最大似然译码准则的平均错误概率不是最小。
平均错误概率PE与译码规则（译码函数）有关。 而译码规则又由信道特性来决定。由于信道中存 在噪声，导致输出端发生错误，并使接收到输出 符号后，对发送的是什么符号还存在不确定性。 可见，PE与信道疑义度H(X Y是) 有一定关系的，由 此可得
率可用信道矩阵中的元素P(bj|ai)求和（除去每列 对应于F(bj)=a*的那一项）来表示。
5.1 错误概率和译码规则
0.5 0.3 0.2
例 已知信道 P 0.2 0.3 0.5
0.3 0.3 0.4
F (b1) a1
根据最大似然译码准则可得译码函数为B
F
(b2
)
a3
F
(b3
)
a2
在输入等概率分布时采用译码函数B，可使信道平
求错误概率的方法其实是一样的，都是将联合概 率矩阵中除去译码对应得元素外其他元素之和。 或者是转移概率矩阵中除去译码对应元素外其他 元素乘以对应p(ai)求和。
最大后验概率准则可以得到最小错误概率，所以 也称为最小错误概率准则。而最大似然概率准则 不一定得到最小错误概率，只有输入等概时，最 大似然才能得到最小错误概率，即只有等概时， 最大后验概率准则与最大似然概率准则等价。
性为1/3，而译对的可能性增大了，为2/3，
可见错误概率与信道的统计特性有关，也
与译码规则有关。
5.1 错误概率和译码规则
下面来定义译码规则，设离散单符号信道：
输入符号集为 A ai, i 1,2, , r
输出符号集为B bj, j 1,2, , s
制定译码规则就是定义一个单值函数 F(bj ) ai
5.2 错误概率与编码方法
5.1节结论： 1）消息通过有噪信道传输时会发生错误 2）错误概率与译码规则有关 噪声干扰：破坏了信号的内部结构→产生畸变而
造成信息的损失。 提高信号抗噪声干扰能力：改造信号使其内部结
构具有更强的规律性或相关性，当信号的部分结 构被破坏时，仍能根据信号原有的内在规律和相 关性来发现甚至纠正错误，恢复原来的信息。
F(000)=000 F(001)=000 F(010)=000 F(011)=111
F(100)=000 F(101)=111 F(110)=111 F(111)=111
PE
P(i )P( j
Y 3C
i )
率P(e|bj)最小，就要选择P(F(bj) | bj) 为最大。即
选择译码函数：
F(bj ) a, a A,bj B
并满足
P(a bj ) P(ai bj ), ai A ai a
就是把每个输出符号均译成具有最大后验概率的 那个输入符号，使信道错误概率最小。
这种译码规则称为“最大后验概率准则”或“最 小错误概率准则”。
0.6
可见
PE PE
若输入不等概分布，其概率分布为：
P(a1)
1 4
,
P(a2
)
1 4
,
P(a3 )
1 2
根据最大似然译码准则仍选择译码函数为B，则
PE P(ai )Pe(i)
X
1 (0.3 0.2) 1 (0.2 0.3) 1 (0.3 0.4) 0.6
4
4
2
5.1 错误概率和译码规则
二元对称信道的三 次扩展信道
输出端接收 序列
000 001 010 011 100 101 110 111
5.2 错误概率与编码方法
这时信道矩阵为：
p3 p2 p p2 p pp2 p2 p pp2 pp2 p3
P=
p3
pp2
pp2
p2 p pp2
p2 p
p2 p
p
3
根据最大似然译码准则，可得译码函数为：
P(e | bj)= 1- P(F(bj) | bj)
对条件错误概率P(e|bj)取平均值，得平均错误概
率
s
PE E P(e bj ) P(bj )P(e bj )
j 1
如何设计译码规则 F(bj ) 使aiPE最小呢？
5.1 错误概率和译码规则
因为 P(b与j ) 译码规则无关，只要使条件错误概
5.1 错误概率和译码规则
平均错误概率的计算
PE P(bj )P(e bj ) 1 P[F (bj ) bj ] P(bj ) 1 P F (bj )bj
Y
Y
Y
P(aibj ) P F(bj )bj
X ,Y
Y
P(aibj ) P(abj ) P(aibj )
译码规则的选择应该有一个依据，一个自然的依 据就是使平均错误概率最小。
若信道输出端接收到的符号为bj，则译为ai 若发送端发送的是ai则为正确译码；否则为错误
译码。
5.1 错误概率和译码规则
定义收到bj条件下译码的条件正确概率为：
P(F (bj ) / bj ) P(ai / bj )
收到bj条件下译码的条件错误概率P(e|bj)，是发 送端发送除ai外的其他信源符号的概率。它与条 件正确概率之间关系为：
➢ 最大似然概率准则
1）对转移概率矩阵中每列选择最大的一个元素对应 的ai作为译码结果；
2）所有译码结果所对应的转移概率乘以 p(ai)后求和 为正确概率,其他矩阵元素乘以对应p(ai)后求和为 错误概率。
两种准则关系总结
译码方法不一样，最大后验概率准则是求出联合 概率矩阵之后找到每列的最大值所对应的ai；而 最大似然概率准则是直接从转移概率矩阵中找到 每列最大值所对应的ai。
均错误概率最小。
PE
1 3 Y , X a*
P(b
/
a)
1 [(0.3 0.2) 3
(0.2 0.3)
(0.3 0.4)]
0.57
5.1 错误概率和译码规则
若采用前边的译码函数A，则平均错误概率为：
PE'
1 3 Y , X a*
P(b / a)
1[(0.3 0.2) (0.3 0.3) (0.2 0.5)] 3
F(bj ) a, a A,bj B
并满足 P(bj / a*) P(bj / ai ) 这样定义的译码规则称为最大似然译码准则。
5.1 错误概率和译码规则
最大似然译码准则的方法是收到一个 bj 后， 在信道矩阵的第j列，选择最大的值所对应 的输入符号作为译码输出。
最大似然译码准则本身不再依赖于先验概 率 P(ai) ቤተ መጻሕፍቲ ባይዱ但当先验概率为等概率分布时， 它使错误概率PE最小。
5.2 错误概率与编码方法
一般信道传输时都会产生错误，而错误概率与译
码规则有关。但当信道给定即信道矩阵给定，不
论选择什么译码规则PE总不会趋于零从而消除错 误，那么如何减少错误概率呢？下边讨论通过编
码方法来降低错误概率。 0
0.99
0
例：对于二元对称信道
0.01
译码规则 F (b1) a1
它对于每一个输出符号 bj 确定一个惟一的输入符 号 与a其i 对应。
例 0.5
P 0.2 0.3
0.3A：0.2
0.3 0.5 0.3 0.4
BF:(b1) a1
F(b2 ) a2 F(b3) a3
F(b1) a1
F(b2 ) a3 F(b3) a2
5.1 错误概率和译码规则
由于s个输出符号中的每一个都可以译成r个输入 符号中的任何一个，所以共有rs种译码规则可供 选择。