第六章有噪信道编码定理

i Y ,X a
*
j
)
求和：可先列后行或先行后列，也就是说对于联合概率 矩阵中可先求每列中除去 F ( b ) a 所对应的以外所有元 素，再对各列求和；也可以先对行i求和，除去译码规则 中 F ( b j ) a * 所对应的 P ( a i b j ) ，然后再对各行求和。
* j
2012-5-25
有噪信道编码定理
2012-5-25
理信学院 孙桂萍
1/17
主要内容 错误概率和译码规则

最大后验概率准则 最大似然译码准则
错误概率与编码方法

最小距离译码准则
2012-5-25
理信学院 孙桂萍
2/17
信道编码的目的
o 从信道编码的构造方法看，信道编码的基本思路 是根据一定的规律在待发送的信息码中加入一些 人为多余的码元，以保证传输过程可靠性。信道 编码的任务就是构造出以最小的冗余度代价换取 最大抗干扰性能的“好码”。
2012-5-25
理信学院 孙桂萍
11/17
最大后验概率准则
数学描述
选择译码函数：F ( b j ) a , a A , b j B
* *
并使之满足条件 P ( a * b j ) P ( a i b j ), a i A a i a *
文字描述
采用一个译码函数，它对于每一个输出符号均译成 具有最大后验概率的那个输入符号，则信道错误概 率能达到最小，这种译码规则称为最大后验概率准 则或最小错误概率准则。
收到的为bj ，译成ai，发送的是ai——正确
收到的为bj ，译成ai，发送的不是ai—错误 条件正确概率为： P ( F ( b ) b ) P ( a b ) j j i j 条件错误概率为：P ( e b
j
)
e 代表除了 a i 以外的所有输入符号集
合
P ( e b j ) 1 P ( F (b j ) b j ) 1 P ( a i b j )
PE =2*10-2
的那个传递概率对应的输入符号即为该列对应的输出要 译成的输入符号。 1 1 3 2 PE P ( j i ) [2 p pp * 6] 在此规则下求出P ：
E
M
与发送单个符号相
Y C
3
*
2
比，平均错误概率
2012-5-25

3 10
4
减小了两个数量级
理信学院 孙桂萍
2012-5-25
理信学院 孙桂萍
6/17
1/3 0 2/3 输 2/3 入 1/3 1 二元对称信道
译码规则b：
0
收到“0”译成“1”；收到“1”译成“0”
输 在规则b确定的情况下，错误概率 出 为： 1
发送“0”，收到“1”，译成“0”——正 确的译码，译码正确的概率为2/3； 发送“0”，收到“0”，译成“1”——错 误的译码，译码错误的概率为1/3 在此译码规则下，平均错误概率——PE
2012-5-25
理信学院 孙桂萍
24/17

码三：在这个二元三次扩展信道中，取 M=4再比较一下PE和R
R=2/3,与M=8比较都变小了。
取{000， 011，101，110}
PE =2*10-2，
从8个中取4个有70种方法，选两组比较一下
Ⅰ{000， 011，101，110}
Ⅱ{000， 001，010，100}
P
针对于这种信道，设计两种译码规则：
F ( b1 ) a1 A : F (b2 ) a 2 F ( b3 ) a 3
2012-5-25
F ( b1 ) a1 B : F (b2 ) a 3 F ( b3 ) a 2
理信学院 孙桂萍
9/17
平均错误概率
译码规则的选取原则是使得平均错误概率尽可能小。 在确定了译码规则F(bj)后，若
理信学院 孙桂萍
15/17
平均错误概率的计算
如果先验概率
PE
P ( a i ) 是等概率的 P ( a i ) 1 / r
，则PE为：
1 r
Y ,X a

P (b j a i )
*
1
r
X
Pe
(i )
2012-5-25
理信学院 孙桂萍
16/17
例题6.2
已知信道矩阵如下，根据最大似然译码选取译码规 则，并计算平均错误概率。若输入不等概，概率 分别为1/4，1/4，1/2，比较按照最大似然译码准 则和最大后验概率准则选取的译码规则的PE

理信学院 孙桂萍
2012-5-25
19/17

码一：重复编码
将待发送的消息码重复发送几遍，可以减小错误的发生， 提高可靠性。例如，重发三次，n=3 输入序列 （αi） 输出序列（βj） 000（许用码字） 000 001 001 每输 一出 010 010 位序 011 011 都列 100 100 可 能种 101 101 出可 110 110 错能 ， 111 （许用码字） 111
理信学院 孙桂萍
2012-5-25
5/17
因为是对称信道，那么发送“1”，错译成“0”的概率也为 2/3。 在此译码规则下，平均错误概率——PE (0) (1 )
PE P ( 0 ) Pe 1 2 2 3 P (1) Pe 2 3 1 2 2 3
这里，假设输入端等概率分布。
21/17

重复编码可以使平均错误概率减小的原因
重复编码三次时，α 1(000)对应的输出序列为
β1(000)， β2 (001) ， β3 (010) ， β5 (100) ，
与α 1比较之后可发现，或是相同，或是发生了一位错 误，但是译码的结果都是正确的，降低了译错的可 能性，平均错误概率减小了。 若继续增大n，PE可逐渐减小，n可以无限增大吗？
j
1 P [ F ( b
Y
j
) b j ] P ( b j ) 1 P [ F ( b j ) b j ]P ( b j )
Y

P (a b
i X ,Y
) P[ F (b j )b j ]
Y *
P (aib j ) P (a b j )
Y
P (a b
2012-5-25
理信学院 孙桂萍
12/17
最大后验概率准则另一种描述
因为一般已知传递概率 P (b a ) 和输入符号的先验 概率 P ( a i ) ，所以将 P ( a * b j ) P ( a i b j ), a i A a i a *
j i
根据贝叶斯定律改写为：
P (b j a ) P ( a ) P (b j )
* *

P (b j a i ) P ( a i ) P (b j )
, ai A ai a , b j B
*
一般P(bj)不等于0，最大后验概率可表示为：选择译 码函数：F ( b j ) a * , a * A , b j B 使满足 1式
P ( b j a ) P ( a ) P ( b j a i ) P ( a i ), a i A a i a
2012-5-25
理信学院 孙桂萍
23/17

码二：将8个符号均作为许用码字传送
M=8，log M=3，R=log M / n=3/3=1
同样利用最大似然译码准则选取译码规则，并可 求得 PE =3*10-2 ，比10-2还大。 可发现，在二元信道的n次扩展信道中有2n个输入， 从中取出M个做许用码字，M大， PE大，R大； M小， PE小，R小。
错误概率不仅与信道的统计特性有关，还与接收端 的译码规则有关。
1/3 0 2/3 输 2/3 入 1/3 1 二元对称信道 0
译码规则a：
输 出 在规则a确定的情况下，错误概率
1
收到“0”译成“0”；收到“1”译成“1”
为：
发送“0”，收到“0”，译成“0”——正 确的译码，译码正确的概率为1/3； 发送“0”，收到“1”，译成“1”——错 误的译码，译码错误的概率为2/3
每一个输入符号可以对应于多个输出符号，也就是s 个输出符号中的每一个都可以译成r个输入符号中的 任何一个，所以共有r s种译码规则。

2012-5-25
理信学院 孙桂萍
8/17
译码规则举例
例6.1：有一离散单符号信道，信道矩阵为：
a1 a2 a3 b1 0 .5 0 .2 0 .3 b 2 b3 0 .3 0 .2 0 .3 0 .5 0 .3 0 .4
* *
文字描述
选择译码函数，收到bj后，译成信道矩阵P的第j列中最 大那个元素所对应的信源符号。
注意：最大似然译码准则对于先验概率等概率分布时
才可使得错误概率PE最小。
2012-5-25
理信学院 孙桂萍
14/17
平均错误概率的计算
PE
P (b
Y X ,Y
j
) P (e b j )
a1 a2 a3 b1 0 .5 0 .2 0 .3 b 2 b3 0 .3 0 .2 0 .3 0 .5 0 .3 0 .4
P
2012-5-25
理信学院 孙桂萍
17/17
费诺不等式

平均错误概率与译码规则有关，而译码规则又由 信道特性决定，由于错误的存在，所以当收到某 符号后对发送端仍存在不确定性。可见，PE与信 道疑义度有关：
H ( X / Y ) H ( PE ) PE log( r 1)
费诺不等式
2012-5-25