第5章 有噪信道编码

几点说明
1）当输入符号等概时，最大似然准则等价于最大后 验概率准则。 2）该准则可直接从信道传递矩阵中选定译码函数，
21
即收到bj后，译成信道矩阵p中第j列中最大那个元 素所对应的信源符号。
3）该准则本身不再依赖于先验概率p(ai)，但当输入
符号等概时，它使平均错误概率PE最小。 4）当输入符号等概或先验概率未知时，采用此准则。
26
a a *
p( y | x a ) / 3
1/ 2
pE ( B)
a a*
p( y | x a ) / 3
[(1 / 6 1 / 3) (1 / 3 1 / 2) (1 / 6 1 / 2)] / 3
2/3
有 噪 信 道 编 码 定 理
§5.3 费诺(Fano)不等式
码结果；
24

3）所有译码结果所对应的联合概率的和为正确概率，其他矩阵元素 的和为错误概率。
ML准则
1）对转移概率矩阵中每列选择最大的一个元素对应的x作为译码结果； 2）所有译码结果所对应的转移概率的和再乘以 1/r（或pi）为 正确概率,
其他矩阵元素的和再乘以1/r （或pi）为错误概率。
有 噪 信 道 编 码 定 理

p(a*)p(b j a *) p(a i )p(b j a i )
有 噪 信 道 编 码 定 理
5.2.2 最大似然译码准则(ML准则)
若输入符号等概，即 p(ai)=1/r 时， 上式变为： 对所有 i, 当
p(b j | a* ) p(b j | ai )
19
则选择译码函数为 F(y)=a*，称此准则为最大似然译 码准则。
p 其中， E 为平均错误率。
（5．3．1）
错误概率PE的熵：产生错误概 率的平均不确定性
错误产生后，到底 是哪个符号发送而 造成错误的最大不 确定性
有 噪 信 道 编 码 定 理
物理意义
进行一次判决后，关于X的疑义度可分成两项：
(1) 是否判对，疑义度为H ( PE)
30
(2) 如果判决出错（概率为 PE ）,错在r-1个 符号中的哪一个，其疑义度不会超log (r-1)。
有 噪 信 道 编 码 定 理
p E p Emin
1 s P(a i b j ) p(b j a i ) r j1 i * j1 i *
s
20
方法：在信道矩阵中，将每列中最大元素去除， 余下的（r-1）*s项求和后，再乘以1/r，得到p Emin
有 噪 信 道 编 码 定 理
F ( y b j ) ai ,
对于所有 i 1,, r, j 1,, s （5.1.1）
（5.1.1）的含义是，当接收到 b j 就判定为发送符是 a i

每一个信道输出都必须有一个信道输入与之对应。 译码（判决）规则是一个有唯一结果的函数，即单值函数。
有 噪 信 道 编 码 定 理
有 噪 信 道 编 码 定 理
ML准则举例
b1
b2
b3
由ML准则

F (b1 ) a1 F (b2 ) a2
F (b3 ) a2
22
a1 0.5 0.3 0.2 P a2 0.2 0.3 0.5 a3 0.3 0.3 0.4

错误率 PE=1-(0.5+0.3+0.5)/3=0.5667。
有 噪 信 道 编 码 定 理

思考：若p（a1）=P(a2)=1/4,P(a3)=1/2，仍然用 ML准则，设计F(bj)=ai，并计算PE
23
有 噪 信 道 编 码 定 理
两种准则使用要点

MAP准则
1）由转移概率矩阵的每行分别乘 p(x)，得到联合概率矩阵； 2）对于每一列（相当于 y 固定）找一个最大的概率对应的X 作为译
b1
b2
b3
P(a1)=p(a2)=1/4 p(a3)=1/2求译码规则 和 p Emin
a1 0.5 0.3 0.2 P a2 0.2 0.3 0.5 a3 0.3 0.3 0.4
17 由MAP准则

b1
b2
b3
a1 1/8 3/40 1/20 [ P(ai b j )] a2 1/20 3/40 1/8 a3 1/20 3/20 1/5
有噪信道编码定理，即香农第二定理，是信道编 码的理论基础。

本章重点介绍通过信道编码通信系统所能达到的 极限性能，不涉及编码技术的具体实现。
2
有 噪 信 道 编 码 定 理
本章主要内容
1. 2. 3. 4. 5.
概述
常用译码准则 费诺(Fano)不等式 序列的最佳译码准则 有噪信道编码定理
3
有 噪 信 道 编 码 定 理

译码规则：收“0”译“1”，收“1”译“0”，则
9
译错的概率=1/3 译对的概率=2/3
结论：信道总不可避免会搀杂噪声，所以信息在信道传输过 程中，差错是不可避免的。选择合适的译码规则可以弥补信 道的不足。
有 噪 信 道 编 码 定 理
5.1.3 译码（判决）规则
1.单符号译码规则 设信道的输入与输出分别为X和Y，x X , y Y，分别 取自符号集A和B，且 A {a1 , a2 ,, ar } ，B {b1 , b2 ,, bs } 定义译码（判决）规则为 10
例题5.2.2
已知信道的转移概率矩阵为
1 / 2 1 / 3 1 / 6 1 / 6 1 / 2 1 / 3 1 / 3 1 / 6 1 / 2
F ( y1 ) x1 F ( y2 ) x3 F ( y ) x 3 2
25
现有两种译码规则：
§5.1 概述

信道编码就是按一定的规则给信源输出序列增加 某些冗余符号，使其变成满足一定数学规律的码
序列（或 码字），再经信道进行传输。（具有纠
4

错能力）
信道译码就是按与编码器同样的数学规律去掉接
收序列中的冗余符号，恢复信源消息序列。
有 噪 信 道 编 码 定 理
插 入 冗 余 信 息 抽 出 冗 余 信 息

12

平均错误率为： i
a a
P (x a / y b )
i j
*
平均每收到一个符号 所产生错误的大小

PE E[p(e b j )] p(b j ) p(e b j ) p(eb j )
j 1 j 1
s s
s
s
平均正确率为 P 1 P 1 p(b j ) p(e b j ) p(a * b j ) E E
F ( y1 ) x1 规则A： F ( y ) x 2 2 F ( y ) x 3 3
规则B：
设输入等概，求两种译码规则的错误概率。
有 噪 信 道 编 码 定 理
解：设判决函数为 F ( y ) a*，根据平均错误概率公式得
pE ( A)
[(1 / 6 1 / 3) (1 / 3 1 / 6) (1 / 6 1 / 3)] / 3
有 噪 信 道 编 码 定 理
§5.2 常用译码准则
最常用两个准则：
1. 最大后验概率译码准则
14
2. 最大似然译码准则
有 噪 信 道 编 码 定 理
5.2.1 最大后验概率译码准则

对所有 i，当满足 p(a*|bj)≥p(ai|bj) ， a i a *（5.2.1）
时，则选择译码函数为F(bj)=a*，称此准则为最大后验概
发送序列 还原序列
还原序列
5 编码 传输信道 译码
有 噪 信 道 编 码 定 理
信道译码方式

通常有两类信道译码方式
– 硬判决，即首先进行信道传输符号的判决再进行信道译码 – 软判决，即信道传输符号的判决和信道译码同时完成；
；
6 – 通常，单符号的信道译码指的是信道传输符号的判决。

由于译码算法直接影响系统的传输的错误率，所以要选择使平均 差错率最小的译码算法。
有 噪 信 道 编 码 定 理
5.1.1 错误概率


为提高可靠性，必须降低传输的错误概率。
通常有两种错误概率的描述：误码率和误字率。

误码率是指传输码元出错概率（对二进制也称误比特率）. 误字率是指码字出错概率。 对同一通信系统，误码率总比误字率低。
7

错误概率既与信道的统计特性有关，也与译码规则
信
息
论
第5章. 有噪信道编码
内容提要
本章介绍了信道编码和译码的基本概念，介绍了两种常用的译码
准则：最大后验概率译码准则和极大似然译码准则,还介绍了在这 两种译码准则下错误概率的计算方法。
本章还介绍了信道编码定理以及信息论中的一个重要不等式Fnao
不等式。
有 噪 信 道 编 码 定 理
引言

信道编码的目的：提高传输可靠性。
1. 信道疑义度
2. 费诺(Fano)不等式
27
有 噪 信 道 编 码 定 理
5.3.1 信道疑义度（回忆）

设信道的输入与输出分别为X、Y，定义条件熵H(X/Y) 为信道疑义度。 信道疑义度的含义：
–

信道疑义度表示接收到 Y 条件下X的平均不确定性； 根据 I(X;Y)=H(X)-H(X/Y)，信道疑义度又表示X经
译码规则举例
设信道输入X取值为(a1,a2,a3), 信道输出Y取值为 (b1,b2,b3)，转移概率矩阵如下 .5 .3 .2 .2 .3 .5 .3 .3 .4
设计译码规则A为：F(b1)=a1, F(b2)=a2 , F(b3)=a3
11
也可以设计另一个译码规则B：F(b1)=a1, F(b2)=a3 , F(b3)=a2
15
率 (MAP，Maximum a Posteriori) 准则，也称最小错 误概率准则，也叫最大联合概率准则。

MAP准则就是将具有最大后验概率的信道输入符号 作 为译码输出。
有 噪 信 道 编 码 定 理
平均错误概率的计算
PE p (b j ) p (e b j )
j 1 s
pE p (b j )[1 p (a * b j )] 1 p ( a * b j ) p (ai b j ) p (a * b j )
28
–
信道传输信息量的损失；
–
接收的不确定性由信道噪声引起，在无噪情况下， H(X/Y)=0。
有 噪 信 道 编 码 定 理
5.3.2 费诺(Fano)不等式
设信道的输入与输出分别为 X、Y，输入符号的数目 为r，那么信道疑义度满足
29
H ( X | Y ) H ( pE ) pE log(r 1)

共有rs种译码规则可供选择（如例子） 选择依据：错误概率最小
有 噪 信 道 编 码 定 理
2．错误概率的计算

假设采用的译码规则为：
F ( y b j ) a* ,
在接收到 b j 的条件下，若实际上发送的是 a * ，则译码正确，反 之就出现差错。则本次译码的正确概率：(a b ) p i j 条件错误率为：
的选择有关。
有 噪 信 道 编 码 定 理
举例
例如：二元对称信道中，单个符号的错误传递概率是， 正确的传递概率是1- 。
1-ε
0
0
ε
8
1
ε
1
1-ε

设输入等概，错误传递概率=2/3
有 噪 信 道 编 码 定 理

译码规则：收“0”译“0”，收“1”译“1”，则
译错的来自百度文库率= 1 / 2 2 / 3 1 / 2 2 / 3 2 / 3 译对的概率=1/3

F (b1 ) a3
F (b2 ) a3 F (b3 ) a3
有 噪 信 道 编 码 定 理
一般我们知道先验概率和传递概率，故由MAP准则得到：
p (a * b j ) p (a i b j ) p (a * b j )
18
p( b j )

p (a i b j ) p( b j )
j 1 j 1 X Y j 1
s
s
s
16
即 : pE min p(ai b j )
i k j 1
s
求最小错误概率的方法：在联合概率矩阵中，把第j列中的 p(a * b j ) 去除，余下的（r-1）个元素求和，再对所有列求和，得到 p Emin
有 噪 信 道 编 码 定 理
MAP准则举例
j 1 j 1
有 噪 信 道 编 码 定 理
举例
b1
b2
b3
a1 0.5 0.3 0.2 P a2 0.2 0.3 0.5 a3 0.3 0.3 0.4
13

b3
F (b1 ) a1 F (b2 ) a2
F (b3 ) a2
b1
b2
a1 1/6 1/10 1/15 [ P(ai b j )] a2 1/15 1/10 1/6 a3 1/10 1/10 2/15