信息论与编码课件(第五章)

P(ai b j ) 0.05 0.15 0.075 0.125 0.15 0.2
F (b1 ) a3 所得译码函数为C：F (b2 ) a3 F (b ) a 3 3
Y X a
平均错误概率为：
PE
根据最大似然译码准则仍选择译码函数为B，则
PE P(ai ) Pe(i )
X
1 1 1 (0.3 0.2) (0.2 0.3) (0.3 0.4) 0.6 4 4 2
电气信息工程学院
5.1 错误概率和译码规则
若采用最小错误概率译码准则，则联合概率矩阵 为： 0.125 0.075 0.05
电气信息工程学院
5.2 错误概率与编码方法
一般信道传输时都会产生错误，而错误概率与译 码规则有关。但当信道给定即信道矩阵给定，不 论选择什么译码规PE总不会趋于零从而消除错误， 那么如何减少错误概率呢？下边讨论通过编码方 法来降低错误概率。 0.99 0 0 例：对于二元对称信道
0.01 0.01 1 0.99 1
可见，此时 PE PE 。所以，输入不是等概分布时 最大似然译码准则的平均错误概率不是最小。 平均错误概率PE与译码规则（译码函数）有关。 而译码规则又由信道特性来决定。由于信道中存 在噪声，导致输出端发生错误，并使接收到输出 符号后，对发送的是什么符号还存在不确定性。 可见，PE与信道疑义度H ( X Y )是有一定关系的， 由此可得
电气信息工程学院
第五章 有噪信道编码
我们要尽可能的提高信息传输率，并控制传输误 差。信源编码以提高传输效率作为主要考虑因素 ，信道编码以提高传输可靠性作为主要考虑因素 。这一章讨论信道编码的一些基本概念及信道编 码定理 本章介绍了信道编码和译码的基本概念，介绍了 两种常用的译码准则：最大后验概率译码准则和 最大似然译码准则,还介绍了在这两种译码准则 下错误概率的计算方法。还介绍了信道编码定理 及信道编码逆定理，以及信息论中的一个重要不 等式Fnao不等式。
在输入等概率分布时采用译码函数B，可使信道 平均错误概率最小。
1 1 PE P(b a) (0.2 0.3) (0.3 0.3) (0.2 0.4) 0.567 3 Y , X a 3 1 1 (i ) Pe (0.3 0.2) (0.2 0.3) (0.3 0.4) 0.567 3 X 3
P 0.2 0.3 0.5 0.3 0.3 0.4
F (b2 ) a2 F (b3 ) a3
F (b2 ) a3 F (b3 ) a2
电气信息工程学院
5.1 错误概率和译码规则
由于s个输出符号中的每一个都可以译成r个输入 符号中的任何一个，所以共有rs种译码规则可供 选择。 译码规则的选择应该有一个依据，一个自然的依 据就是使平均错误概率最小。 若信道输出端接收到的符号为bj，则译为ai 若发送端发送的是ai则为正确译码；否则为错误 译码。
电气信息工程学院
5.1 错误概率和译码规则
如果先验概率等概分布，有 P(ai ) 1 r 1 则 PE P (b j ai )
r Y , X a 1 Pe( i ) r X
而 Pe(i )就是某个输入符号 a传输所引起的错误概率 i 上式表明在等先验概率分布情况下，译码错误概 率可用信道矩阵中的元素P(bj|ai)求和（除去每 列对应于F(bj)=a*的那一项）来表示。
电气信息工程学院
5.1 错误概率和译码规则
定义收到bj条件下译码的条件正确概率为：
P( F (b j ) / b j ) P(ai / b j )
wenku.baidu.com
收到bj条件下译码的条件错误概率P(e|bj)，是发 送端发送除ai外的其他信源符号的概率。它与条 件正确概率之间关系为：P(e | bj)= 1- P(F(bj) | bj) 对条件错误概率P(e|bj)取平均值，得平均错误 s 概率
0 2/3 2/3 1 1/3 1 1/3 0
电气信息工程学院
5.1 错误概率和译码规则
若译码规则为收到“0”译作“0”，收到“1” 译作“1”，则平均错误概率为（假设输入 等概分布）： 2 (0) (1)
PE P(0) Pe P(1) Pe 3
反之，若收到“0”译作“1”，收到“1”译作 “0”，则平均错误概率为1/3，译错的可能 性为1/3，而译对的可能性增大了，为2/3 ，可见错误概率与信道的统计特性有关， 也与译码规则有关。
Y , X a
P(b
j
ai ) P(ai )
其中求和符号 X 表示对输入符号集A中除F (b j ) a a 以外的所有元素求和。

上式的平均错误概率是在联合概率矩阵P(ai ) P(b j ai ) F (b j ) a所对应的 P(ab j )以外所 中先求每列除去 有元素之和，然后再对各列求和。
电气信息工程学院
第五章 有噪信道编码
5.1 错误概率和译码规则 5.2 错误概率与编码方法 5.4 有噪信道编码定理
5.5联合信源信道编码定理
5.6纠错码的基本思想和汉明码 小结
电气信息工程学院
第五章 有噪信道编码
前一章已经从理论上讨论了，对于无噪无 损信道只要对信源进行适当的编码，总能 以信道容量C无差错的传递信息。但是一般 信道总会存在噪声和干扰，那么在有噪信 道中进行无错传输可以达到的最大信息传 输率是多少呢？怎么使有噪信道中消息传 输错误达到最少?这就是本章所要讨论的问 题。本章的核心是香农第二定理。
PE E P(e b j ) P(b j ) P(e b j )
j 1


如何设计译码规则F (b j ) ai 使PE最小呢？
电气信息工程学院
5.1 错误概率和译码规则
因为P(b j ) 与译码规则无关，只要使条件错误概率 P(e|bj)最小，就要选择P(F(bj) | bj) 为最大。即选 择译码函数： F (b j ) a , a A, b j B 并满足
译码规则
F (b1 ) a1 F (b2 ) a2
平均错误概率(输入等概) PE 102
电气信息工程学院
5.2 错误概率与编码方法
如何降低错误概率，提高传输正确率呢？ 一种简单的办法就是重发，可以减小错误，提高 通信可靠率。
没有使用的 用作消息的 码字 码字 000 001 010 011 100 101 110 111 输出端接收 序列 000 001 010 011 100 101 110 111
二元对称信道的三 次扩展信道
电气信息工程学院
5.2 错误概率与编码方法
P(a ) P(b
i (i ) e
j
ai )
(0.125 0.05) (0.075 0.075) (0.05 0.125) 0.5 P(ai ) P
X
1 1 1 1 1 0 0.5 4 4 2
电气信息工程学院
5.1 错误概率和译码规则
H ( X Y ) H ( PE ) PE log( r 1)
这个重要不等式称为费诺不等式。
电气信息工程学院
5.2 错误概率与编码方法
5.1节结论： 1）消息通过有噪信道传输时会发生错误 2）错误概率与译码规则有关 噪声干扰：破坏了信号的内部结构→产生畸变而 造成信息的损失。 提高信号抗噪声干扰能力：改造信号使其内部结 构具有更强的规律性或相关性，当信号的部分结 构被破坏时，仍能根据信号原有的内在规律和相 关性来发现甚至纠正错误，恢复原来的信息。
P(b j / a* ) P(b j / ai ) 并满足 这样定义的译码规则称为最大似然译码准则。
电气信息工程学院
5.1 错误概率和译码规则
最大似然译码准则的方法是收到一个 b j 后 ，在信道矩阵的第j列，选择最大的值所对 应的输入符号作为译码输出。 最大似然译码准则本身不再依赖于先验概 率 P(ai) 。但当先验概率为等概率分布时， 它使错误概率PE最小。
电气信息工程学院
5.1 错误概率和译码规则
错误：译码输出≠信源输出 产生原因：噪声干扰 研究目的：减少错误，提高可靠性 研究途径：信道的传递矩阵→信道统计特性→错 误概率 为了减少错误，提高通信的可靠性，就必须分析 错误概率与哪些因素有关，有没有办法控制，能 控制到什么程度。
电气信息工程学院
5.1 错误概率和译码规则
我们知道错误概率与信道的统计特性有关 ，信道的统计特性由信道的传递矩阵来描 述。 当确定了输入和输出对应关系后，也就确 定了信道矩阵中哪些是正确传递概率，哪 些是错误传递概率。 在二元对称信道错误传递概率是p，正确的 传递概率就是 p 1 p 。
电气信息工程学院
5.1 错误概率和译码规则
但是，通信过程一般并不是在信道输出端 就结束了，还要经过译码(或判决)过程才到 达消息的终端(收信者)。因此译码过程和译 码规则对系统的错误概率影响很大。 下面举例说明，有一个BSC信道，如图所示
P(a b j ) P(ai b j ), ai A ai a
就是把每个输出符号均译成具有最大后验概率的 那个输入符号，使信道错误概率最小。 这种译码规则称为“最大后验概率准则”或“最 小错误概率准则”。
电气信息工程学院
5.1 错误概率和译码规则
通常信道的传递概率P(bj|ai)与输入符号的先验 概率P(ai) 已知，根据贝叶斯定律，有：
P(a b j ) P(ai b j )

P(b j / a* ) P(a* ) P(b j )

P(b j / ai ) P(ai ) P(b j )
即 P(bj / a* ) P(a* ) P(b j / ai ) P(ai ) 当信源等概分布时，可选择译码函数
F (b j ) a , a A, b j B
电气信息工程学院
5.1 错误概率和译码规则
若采用前边的译码函数A，则平均错误概率为：
PE'
可见 PE PE 若输入不等概分布，其概率分布为：
1 1 1 P(a1 ) , P(a2 ) , P(a3 ) 4 4 2
1 1 P(b / a) [(0.3 0.2) (0.3 0.3) (0.2 0.5)] 0.6 3 Y , X a* 3
电气信息工程学院
5.1 错误概率和译码规则
例 已知信道 F (b1 ) a1 根据最大似然译码准则可得译码函数为B F (b2 ) a3
F (b ) a 3 2
0.5 0.3 0.2 P 0.2 0.3 0.5 0.3 0.3 0.4


j



Y

Y , X a
Y
P(ai b j ) P(a b j )
X ,Y Y
P(a b )
i
平均正确概率为
Y
P E 1 PE P F (b j )b j P(ab j )
j 1


s
电气信息工程学院
5.1 错误概率和译码规则
也可写成： PE
电气信息工程学院
5.1 错误概率和译码规则
平均错误概率的计算
PE P(b j ) P(e b j ) 1 P[ F (b j ) b j ] P(b j ) 1 P F (b j )b j P(ai b j ) P F (b j )b j
X ,Y Y Y
电气信息工程学院
5.1 错误概率和译码规则
下面来定义译码规则，设离散单符号信道： 输入符号集为 A ai , i 1,2,, r 输出符号集为B b j , j 1,2,, s 制定译码规则就是定义一个单值函数 F (b j ) ai 它对于每一个输出符号 b j确定一个惟一的输入符 号ai与其对应。 F 例 0.5 0.3 0.2 A：(b1 ) a1 B: F (b1 ) a1